LCOV - code coverage report
Current view: top level - gcc - gimple-ssa-store-merging.c (source / functions) Hit Total Coverage
Test: gcc.info Lines: 2158 2257 95.6 %
Date: 2020-04-04 11:58:09 Functions: 61 65 93.8 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : /* GIMPLE store merging and byte swapping passes.
       2                 :            :    Copyright (C) 2009-2020 Free Software Foundation, Inc.
       3                 :            :    Contributed by ARM Ltd.
       4                 :            : 
       5                 :            :    This file is part of GCC.
       6                 :            : 
       7                 :            :    GCC is free software; you can redistribute it and/or modify it
       8                 :            :    under the terms of the GNU General Public License as published by
       9                 :            :    the Free Software Foundation; either version 3, or (at your option)
      10                 :            :    any later version.
      11                 :            : 
      12                 :            :    GCC is distributed in the hope that it will be useful, but
      13                 :            :    WITHOUT ANY WARRANTY; without even the implied warranty of
      14                 :            :    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
      15                 :            :    General Public License for more details.
      16                 :            : 
      17                 :            :    You should have received a copy of the GNU General Public License
      18                 :            :    along with GCC; see the file COPYING3.  If not see
      19                 :            :    <http://www.gnu.org/licenses/>.  */
      20                 :            : 
      21                 :            : /* The purpose of the store merging pass is to combine multiple memory stores
      22                 :            :    of constant values, values loaded from memory, bitwise operations on those,
      23                 :            :    or bit-field values, to consecutive locations, into fewer wider stores.
      24                 :            : 
      25                 :            :    For example, if we have a sequence peforming four byte stores to
      26                 :            :    consecutive memory locations:
      27                 :            :    [p     ] := imm1;
      28                 :            :    [p + 1B] := imm2;
      29                 :            :    [p + 2B] := imm3;
      30                 :            :    [p + 3B] := imm4;
      31                 :            :    we can transform this into a single 4-byte store if the target supports it:
      32                 :            :    [p] := imm1:imm2:imm3:imm4 concatenated according to endianness.
      33                 :            : 
      34                 :            :    Or:
      35                 :            :    [p     ] := [q     ];
      36                 :            :    [p + 1B] := [q + 1B];
      37                 :            :    [p + 2B] := [q + 2B];
      38                 :            :    [p + 3B] := [q + 3B];
      39                 :            :    if there is no overlap can be transformed into a single 4-byte
      40                 :            :    load followed by single 4-byte store.
      41                 :            : 
      42                 :            :    Or:
      43                 :            :    [p     ] := [q     ] ^ imm1;
      44                 :            :    [p + 1B] := [q + 1B] ^ imm2;
      45                 :            :    [p + 2B] := [q + 2B] ^ imm3;
      46                 :            :    [p + 3B] := [q + 3B] ^ imm4;
      47                 :            :    if there is no overlap can be transformed into a single 4-byte
      48                 :            :    load, xored with imm1:imm2:imm3:imm4 and stored using a single 4-byte store.
      49                 :            : 
      50                 :            :    Or:
      51                 :            :    [p:1 ] := imm;
      52                 :            :    [p:31] := val & 0x7FFFFFFF;
      53                 :            :    we can transform this into a single 4-byte store if the target supports it:
      54                 :            :    [p] := imm:(val & 0x7FFFFFFF) concatenated according to endianness.
      55                 :            : 
      56                 :            :    The algorithm is applied to each basic block in three phases:
      57                 :            : 
      58                 :            :    1) Scan through the basic block and record assignments to destinations
      59                 :            :    that can be expressed as a store to memory of a certain size at a certain
      60                 :            :    bit offset from base expressions we can handle.  For bit-fields we also
      61                 :            :    record the surrounding bit region, i.e. bits that could be stored in
      62                 :            :    a read-modify-write operation when storing the bit-field.  Record store
      63                 :            :    chains to different bases in a hash_map (m_stores) and make sure to
      64                 :            :    terminate such chains when appropriate (for example when the stored
      65                 :            :    values get used subsequently).
      66                 :            :    These stores can be a result of structure element initializers, array stores
      67                 :            :    etc.  A store_immediate_info object is recorded for every such store.
      68                 :            :    Record as many such assignments to a single base as possible until a
      69                 :            :    statement that interferes with the store sequence is encountered.
      70                 :            :    Each store has up to 2 operands, which can be a either constant, a memory
      71                 :            :    load or an SSA name, from which the value to be stored can be computed.
      72                 :            :    At most one of the operands can be a constant.  The operands are recorded
      73                 :            :    in store_operand_info struct.
      74                 :            : 
      75                 :            :    2) Analyze the chains of stores recorded in phase 1) (i.e. the vector of
      76                 :            :    store_immediate_info objects) and coalesce contiguous stores into
      77                 :            :    merged_store_group objects.  For bit-field stores, we don't need to
      78                 :            :    require the stores to be contiguous, just their surrounding bit regions
      79                 :            :    have to be contiguous.  If the expression being stored is different
      80                 :            :    between adjacent stores, such as one store storing a constant and
      81                 :            :    following storing a value loaded from memory, or if the loaded memory
      82                 :            :    objects are not adjacent, a new merged_store_group is created as well.
      83                 :            : 
      84                 :            :    For example, given the stores:
      85                 :            :    [p     ] := 0;
      86                 :            :    [p + 1B] := 1;
      87                 :            :    [p + 3B] := 0;
      88                 :            :    [p + 4B] := 1;
      89                 :            :    [p + 5B] := 0;
      90                 :            :    [p + 6B] := 0;
      91                 :            :    This phase would produce two merged_store_group objects, one recording the
      92                 :            :    two bytes stored in the memory region [p : p + 1] and another
      93                 :            :    recording the four bytes stored in the memory region [p + 3 : p + 6].
      94                 :            : 
      95                 :            :    3) The merged_store_group objects produced in phase 2) are processed
      96                 :            :    to generate the sequence of wider stores that set the contiguous memory
      97                 :            :    regions to the sequence of bytes that correspond to it.  This may emit
      98                 :            :    multiple stores per store group to handle contiguous stores that are not
      99                 :            :    of a size that is a power of 2.  For example it can try to emit a 40-bit
     100                 :            :    store as a 32-bit store followed by an 8-bit store.
     101                 :            :    We try to emit as wide stores as we can while respecting STRICT_ALIGNMENT
     102                 :            :    or TARGET_SLOW_UNALIGNED_ACCESS settings.
     103                 :            : 
     104                 :            :    Note on endianness and example:
     105                 :            :    Consider 2 contiguous 16-bit stores followed by 2 contiguous 8-bit stores:
     106                 :            :    [p     ] := 0x1234;
     107                 :            :    [p + 2B] := 0x5678;
     108                 :            :    [p + 4B] := 0xab;
     109                 :            :    [p + 5B] := 0xcd;
     110                 :            : 
     111                 :            :    The memory layout for little-endian (LE) and big-endian (BE) must be:
     112                 :            :   p |LE|BE|
     113                 :            :   ---------
     114                 :            :   0 |34|12|
     115                 :            :   1 |12|34|
     116                 :            :   2 |78|56|
     117                 :            :   3 |56|78|
     118                 :            :   4 |ab|ab|
     119                 :            :   5 |cd|cd|
     120                 :            : 
     121                 :            :   To merge these into a single 48-bit merged value 'val' in phase 2)
     122                 :            :   on little-endian we insert stores to higher (consecutive) bitpositions
     123                 :            :   into the most significant bits of the merged value.
     124                 :            :   The final merged value would be: 0xcdab56781234
     125                 :            : 
     126                 :            :   For big-endian we insert stores to higher bitpositions into the least
     127                 :            :   significant bits of the merged value.
     128                 :            :   The final merged value would be: 0x12345678abcd
     129                 :            : 
     130                 :            :   Then, in phase 3), we want to emit this 48-bit value as a 32-bit store
     131                 :            :   followed by a 16-bit store.  Again, we must consider endianness when
     132                 :            :   breaking down the 48-bit value 'val' computed above.
     133                 :            :   For little endian we emit:
     134                 :            :   [p]      (32-bit) := 0x56781234; // val & 0x0000ffffffff;
     135                 :            :   [p + 4B] (16-bit) := 0xcdab;    // (val & 0xffff00000000) >> 32;
     136                 :            : 
     137                 :            :   Whereas for big-endian we emit:
     138                 :            :   [p]      (32-bit) := 0x12345678; // (val & 0xffffffff0000) >> 16;
     139                 :            :   [p + 4B] (16-bit) := 0xabcd;     //  val & 0x00000000ffff;  */
     140                 :            : 
     141                 :            : #include "config.h"
     142                 :            : #include "system.h"
     143                 :            : #include "coretypes.h"
     144                 :            : #include "backend.h"
     145                 :            : #include "tree.h"
     146                 :            : #include "gimple.h"
     147                 :            : #include "builtins.h"
     148                 :            : #include "fold-const.h"
     149                 :            : #include "tree-pass.h"
     150                 :            : #include "ssa.h"
     151                 :            : #include "gimple-pretty-print.h"
     152                 :            : #include "alias.h"
     153                 :            : #include "fold-const.h"
     154                 :            : #include "print-tree.h"
     155                 :            : #include "tree-hash-traits.h"
     156                 :            : #include "gimple-iterator.h"
     157                 :            : #include "gimplify.h"
     158                 :            : #include "gimple-fold.h"
     159                 :            : #include "stor-layout.h"
     160                 :            : #include "timevar.h"
     161                 :            : #include "cfganal.h"
     162                 :            : #include "cfgcleanup.h"
     163                 :            : #include "tree-cfg.h"
     164                 :            : #include "except.h"
     165                 :            : #include "tree-eh.h"
     166                 :            : #include "target.h"
     167                 :            : #include "gimplify-me.h"
     168                 :            : #include "rtl.h"
     169                 :            : #include "expr.h"     /* For get_bit_range.  */
     170                 :            : #include "optabs-tree.h"
     171                 :            : #include "dbgcnt.h"
     172                 :            : #include "selftest.h"
     173                 :            : 
     174                 :            : /* The maximum size (in bits) of the stores this pass should generate.  */
     175                 :            : #define MAX_STORE_BITSIZE (BITS_PER_WORD)
     176                 :            : #define MAX_STORE_BYTES (MAX_STORE_BITSIZE / BITS_PER_UNIT)
     177                 :            : 
     178                 :            : /* Limit to bound the number of aliasing checks for loads with the same
     179                 :            :    vuse as the corresponding store.  */
     180                 :            : #define MAX_STORE_ALIAS_CHECKS 64
     181                 :            : 
     182                 :            : namespace {
     183                 :            : 
     184                 :            : struct bswap_stat
     185                 :            : {
     186                 :            :   /* Number of hand-written 16-bit nop / bswaps found.  */
     187                 :            :   int found_16bit;
     188                 :            : 
     189                 :            :   /* Number of hand-written 32-bit nop / bswaps found.  */
     190                 :            :   int found_32bit;
     191                 :            : 
     192                 :            :   /* Number of hand-written 64-bit nop / bswaps found.  */
     193                 :            :   int found_64bit;
     194                 :            : } nop_stats, bswap_stats;
     195                 :            : 
     196                 :            : /* A symbolic number structure is used to detect byte permutation and selection
     197                 :            :    patterns of a source.  To achieve that, its field N contains an artificial
     198                 :            :    number consisting of BITS_PER_MARKER sized markers tracking where does each
     199                 :            :    byte come from in the source:
     200                 :            : 
     201                 :            :    0       - target byte has the value 0
     202                 :            :    FF      - target byte has an unknown value (eg. due to sign extension)
     203                 :            :    1..size - marker value is the byte index in the source (0 for lsb).
     204                 :            : 
     205                 :            :    To detect permutations on memory sources (arrays and structures), a symbolic
     206                 :            :    number is also associated:
     207                 :            :    - a base address BASE_ADDR and an OFFSET giving the address of the source;
     208                 :            :    - a range which gives the difference between the highest and lowest accessed
     209                 :            :      memory location to make such a symbolic number;
     210                 :            :    - the address SRC of the source element of lowest address as a convenience
     211                 :            :      to easily get BASE_ADDR + offset + lowest bytepos;
     212                 :            :    - number of expressions N_OPS bitwise ored together to represent
     213                 :            :      approximate cost of the computation.
     214                 :            : 
     215                 :            :    Note 1: the range is different from size as size reflects the size of the
     216                 :            :    type of the current expression.  For instance, for an array char a[],
     217                 :            :    (short) a[0] | (short) a[3] would have a size of 2 but a range of 4 while
     218                 :            :    (short) a[0] | ((short) a[0] << 1) would still have a size of 2 but this
     219                 :            :    time a range of 1.
     220                 :            : 
     221                 :            :    Note 2: for non-memory sources, range holds the same value as size.
     222                 :            : 
     223                 :            :    Note 3: SRC points to the SSA_NAME in case of non-memory source.  */
     224                 :            : 
     225                 :            : struct symbolic_number {
     226                 :            :   uint64_t n;
     227                 :            :   tree type;
     228                 :            :   tree base_addr;
     229                 :            :   tree offset;
     230                 :            :   poly_int64_pod bytepos;
     231                 :            :   tree src;
     232                 :            :   tree alias_set;
     233                 :            :   tree vuse;
     234                 :            :   unsigned HOST_WIDE_INT range;
     235                 :            :   int n_ops;
     236                 :            : };
     237                 :            : 
     238                 :            : #define BITS_PER_MARKER 8
     239                 :            : #define MARKER_MASK ((1 << BITS_PER_MARKER) - 1)
     240                 :            : #define MARKER_BYTE_UNKNOWN MARKER_MASK
     241                 :            : #define HEAD_MARKER(n, size) \
     242                 :            :   ((n) & ((uint64_t) MARKER_MASK << (((size) - 1) * BITS_PER_MARKER)))
     243                 :            : 
     244                 :            : /* The number which the find_bswap_or_nop_1 result should match in
     245                 :            :    order to have a nop.  The number is masked according to the size of
     246                 :            :    the symbolic number before using it.  */
     247                 :            : #define CMPNOP (sizeof (int64_t) < 8 ? 0 : \
     248                 :            :   (uint64_t)0x08070605 << 32 | 0x04030201)
     249                 :            : 
     250                 :            : /* The number which the find_bswap_or_nop_1 result should match in
     251                 :            :    order to have a byte swap.  The number is masked according to the
     252                 :            :    size of the symbolic number before using it.  */
     253                 :            : #define CMPXCHG (sizeof (int64_t) < 8 ? 0 : \
     254                 :            :   (uint64_t)0x01020304 << 32 | 0x05060708)
     255                 :            : 
     256                 :            : /* Perform a SHIFT or ROTATE operation by COUNT bits on symbolic
     257                 :            :    number N.  Return false if the requested operation is not permitted
     258                 :            :    on a symbolic number.  */
     259                 :            : 
     260                 :            : inline bool
     261                 :            : do_shift_rotate (enum tree_code code,
     262                 :            :                  struct symbolic_number *n,
     263                 :            :                  int count)
     264                 :            : {
     265                 :            :   int i, size = TYPE_PRECISION (n->type) / BITS_PER_UNIT;
     266                 :            :   unsigned head_marker;
     267                 :            : 
     268                 :            :   if (count < 0
     269                 :            :       || count >= TYPE_PRECISION (n->type)
     270                 :            :       || count % BITS_PER_UNIT != 0)
     271                 :            :     return false;
     272                 :            :   count = (count / BITS_PER_UNIT) * BITS_PER_MARKER;
     273                 :            : 
     274                 :            :   /* Zero out the extra bits of N in order to avoid them being shifted
     275                 :            :      into the significant bits.  */
     276                 :            :   if (size < 64 / BITS_PER_MARKER)
     277                 :            :     n->n &= ((uint64_t) 1 << (size * BITS_PER_MARKER)) - 1;
     278                 :            : 
     279                 :            :   switch (code)
     280                 :            :     {
     281                 :            :     case LSHIFT_EXPR:
     282                 :            :       n->n <<= count;
     283                 :            :       break;
     284                 :            :     case RSHIFT_EXPR:
     285                 :            :       head_marker = HEAD_MARKER (n->n, size);
     286                 :            :       n->n >>= count;
     287                 :            :       /* Arithmetic shift of signed type: result is dependent on the value.  */
     288                 :            :       if (!TYPE_UNSIGNED (n->type) && head_marker)
     289                 :            :         for (i = 0; i < count / BITS_PER_MARKER; i++)
     290                 :            :           n->n |= (uint64_t) MARKER_BYTE_UNKNOWN
     291                 :            :                   << ((size - 1 - i) * BITS_PER_MARKER);
     292                 :            :       break;
     293                 :            :     case LROTATE_EXPR:
     294                 :            :       n->n = (n->n << count) | (n->n >> ((size * BITS_PER_MARKER) - count));
     295                 :            :       break;
     296                 :            :     case RROTATE_EXPR:
     297                 :            :       n->n = (n->n >> count) | (n->n << ((size * BITS_PER_MARKER) - count));
     298                 :            :       break;
     299                 :            :     default:
     300                 :            :       return false;
     301                 :            :     }
     302                 :            :   /* Zero unused bits for size.  */
     303                 :            :   if (size < 64 / BITS_PER_MARKER)
     304                 :            :     n->n &= ((uint64_t) 1 << (size * BITS_PER_MARKER)) - 1;
     305                 :            :   return true;
     306                 :            : }
     307                 :            : 
     308                 :            : /* Perform sanity checking for the symbolic number N and the gimple
     309                 :            :    statement STMT.  */
     310                 :            : 
     311                 :            : inline bool
     312                 :            : verify_symbolic_number_p (struct symbolic_number *n, gimple *stmt)
     313                 :            : {
     314                 :            :   tree lhs_type;
     315                 :            : 
     316                 :            :   lhs_type = gimple_expr_type (stmt);
     317                 :            : 
     318                 :            :   if (TREE_CODE (lhs_type) != INTEGER_TYPE
     319                 :            :       && TREE_CODE (lhs_type) != ENUMERAL_TYPE)
     320                 :            :     return false;
     321                 :            : 
     322                 :            :   if (TYPE_PRECISION (lhs_type) != TYPE_PRECISION (n->type))
     323                 :            :     return false;
     324                 :            : 
     325                 :            :   return true;
     326                 :            : }
     327                 :            : 
     328                 :            : /* Initialize the symbolic number N for the bswap pass from the base element
     329                 :            :    SRC manipulated by the bitwise OR expression.  */
     330                 :            : 
     331                 :            : bool
     332                 :     713861 : init_symbolic_number (struct symbolic_number *n, tree src)
     333                 :            : {
     334                 :     713861 :   int size;
     335                 :            : 
     336                 :     713861 :   if (! INTEGRAL_TYPE_P (TREE_TYPE (src)))
     337                 :            :     return false;
     338                 :            : 
     339                 :     317568 :   n->base_addr = n->offset = n->alias_set = n->vuse = NULL_TREE;
     340                 :     317568 :   n->src = src;
     341                 :            : 
     342                 :            :   /* Set up the symbolic number N by setting each byte to a value between 1 and
     343                 :            :      the byte size of rhs1.  The highest order byte is set to n->size and the
     344                 :            :      lowest order byte to 1.  */
     345                 :     317568 :   n->type = TREE_TYPE (src);
     346                 :     317568 :   size = TYPE_PRECISION (n->type);
     347                 :     317568 :   if (size % BITS_PER_UNIT != 0)
     348                 :            :     return false;
     349                 :     311088 :   size /= BITS_PER_UNIT;
     350                 :     311088 :   if (size > 64 / BITS_PER_MARKER)
     351                 :            :     return false;
     352                 :     310900 :   n->range = size;
     353                 :     310900 :   n->n = CMPNOP;
     354                 :     310900 :   n->n_ops = 1;
     355                 :            : 
     356                 :     310900 :   if (size < 64 / BITS_PER_MARKER)
     357                 :     183644 :     n->n &= ((uint64_t) 1 << (size * BITS_PER_MARKER)) - 1;
     358                 :            : 
     359                 :            :   return true;
     360                 :            : }
     361                 :            : 
     362                 :            : /* Check if STMT might be a byte swap or a nop from a memory source and returns
     363                 :            :    the answer. If so, REF is that memory source and the base of the memory area
     364                 :            :    accessed and the offset of the access from that base are recorded in N.  */
     365                 :            : 
     366                 :            : bool
     367                 :    1196650 : find_bswap_or_nop_load (gimple *stmt, tree ref, struct symbolic_number *n)
     368                 :            : {
     369                 :            :   /* Leaf node is an array or component ref. Memorize its base and
     370                 :            :      offset from base to compare to other such leaf node.  */
     371                 :    1196650 :   poly_int64 bitsize, bitpos, bytepos;
     372                 :    1196650 :   machine_mode mode;
     373                 :    1196650 :   int unsignedp, reversep, volatilep;
     374                 :    1196650 :   tree offset, base_addr;
     375                 :            : 
     376                 :            :   /* Not prepared to handle PDP endian.  */
     377                 :    1196650 :   if (BYTES_BIG_ENDIAN != WORDS_BIG_ENDIAN)
     378                 :            :     return false;
     379                 :            : 
     380                 :    1862100 :   if (!gimple_assign_load_p (stmt) || gimple_has_volatile_ops (stmt))
     381                 :            :     return false;
     382                 :            : 
     383                 :     665176 :   base_addr = get_inner_reference (ref, &bitsize, &bitpos, &offset, &mode,
     384                 :            :                                    &unsignedp, &reversep, &volatilep);
     385                 :            : 
     386                 :     665176 :   if (TREE_CODE (base_addr) == TARGET_MEM_REF)
     387                 :            :     /* Do not rewrite TARGET_MEM_REF.  */
     388                 :            :     return false;
     389                 :     624345 :   else if (TREE_CODE (base_addr) == MEM_REF)
     390                 :            :     {
     391                 :     211709 :       poly_offset_int bit_offset = 0;
     392                 :     211709 :       tree off = TREE_OPERAND (base_addr, 1);
     393                 :            : 
     394                 :     211709 :       if (!integer_zerop (off))
     395                 :            :         {
     396                 :      60144 :           poly_offset_int boff = mem_ref_offset (base_addr);
     397                 :      60144 :           boff <<= LOG2_BITS_PER_UNIT;
     398                 :      60144 :           bit_offset += boff;
     399                 :            :         }
     400                 :            : 
     401                 :     211709 :       base_addr = TREE_OPERAND (base_addr, 0);
     402                 :            : 
     403                 :            :       /* Avoid returning a negative bitpos as this may wreak havoc later.  */
     404                 :     211709 :       if (maybe_lt (bit_offset, 0))
     405                 :            :         {
     406                 :       2194 :           tree byte_offset = wide_int_to_tree
     407                 :       2194 :             (sizetype, bits_to_bytes_round_down (bit_offset));
     408                 :       2194 :           bit_offset = num_trailing_bits (bit_offset);
     409                 :       2194 :           if (offset)
     410                 :          0 :             offset = size_binop (PLUS_EXPR, offset, byte_offset);
     411                 :            :           else
     412                 :       2194 :             offset = byte_offset;
     413                 :            :         }
     414                 :            : 
     415                 :     211709 :       bitpos += bit_offset.force_shwi ();
     416                 :            :     }
     417                 :            :   else
     418                 :     412636 :     base_addr = build_fold_addr_expr (base_addr);
     419                 :            : 
     420                 :     624345 :   if (!multiple_p (bitpos, BITS_PER_UNIT, &bytepos))
     421                 :            :     return false;
     422                 :     624236 :   if (!multiple_p (bitsize, BITS_PER_UNIT))
     423                 :            :     return false;
     424                 :     624117 :   if (reversep)
     425                 :            :     return false;
     426                 :            : 
     427                 :     624069 :   if (!init_symbolic_number (n, ref))
     428                 :            :     return false;
     429                 :     242061 :   n->base_addr = base_addr;
     430                 :     242061 :   n->offset = offset;
     431                 :     242061 :   n->bytepos = bytepos;
     432                 :     242061 :   n->alias_set = reference_alias_ptr_type (ref);
     433                 :     242061 :   n->vuse = gimple_vuse (stmt);
     434                 :     242061 :   return true;
     435                 :            : }
     436                 :            : 
     437                 :            : /* Compute the symbolic number N representing the result of a bitwise OR on 2
     438                 :            :    symbolic number N1 and N2 whose source statements are respectively
     439                 :            :    SOURCE_STMT1 and SOURCE_STMT2.  */
     440                 :            : 
     441                 :            : gimple *
     442                 :      64551 : perform_symbolic_merge (gimple *source_stmt1, struct symbolic_number *n1,
     443                 :            :                         gimple *source_stmt2, struct symbolic_number *n2,
     444                 :            :                         struct symbolic_number *n)
     445                 :            : {
     446                 :      64551 :   int i, size;
     447                 :      64551 :   uint64_t mask;
     448                 :      64551 :   gimple *source_stmt;
     449                 :      64551 :   struct symbolic_number *n_start;
     450                 :            : 
     451                 :      64551 :   tree rhs1 = gimple_assign_rhs1 (source_stmt1);
     452                 :      64551 :   if (TREE_CODE (rhs1) == BIT_FIELD_REF
     453                 :      64551 :       && TREE_CODE (TREE_OPERAND (rhs1, 0)) == SSA_NAME)
     454                 :         61 :     rhs1 = TREE_OPERAND (rhs1, 0);
     455                 :      64551 :   tree rhs2 = gimple_assign_rhs1 (source_stmt2);
     456                 :      64551 :   if (TREE_CODE (rhs2) == BIT_FIELD_REF
     457                 :      64551 :       && TREE_CODE (TREE_OPERAND (rhs2, 0)) == SSA_NAME)
     458                 :         87 :     rhs2 = TREE_OPERAND (rhs2, 0);
     459                 :            : 
     460                 :            :   /* Sources are different, cancel bswap if they are not memory location with
     461                 :            :      the same base (array, structure, ...).  */
     462                 :      64551 :   if (rhs1 != rhs2)
     463                 :            :     {
     464                 :      52893 :       uint64_t inc;
     465                 :      52893 :       HOST_WIDE_INT start1, start2, start_sub, end_sub, end1, end2, end;
     466                 :      52893 :       struct symbolic_number *toinc_n_ptr, *n_end;
     467                 :      52893 :       basic_block bb1, bb2;
     468                 :            : 
     469                 :      39187 :       if (!n1->base_addr || !n2->base_addr
     470                 :      92032 :           || !operand_equal_p (n1->base_addr, n2->base_addr, 0))
     471                 :      21140 :         return NULL;
     472                 :            : 
     473                 :      31753 :       if (!n1->offset != !n2->offset
     474                 :      31753 :           || (n1->offset && !operand_equal_p (n1->offset, n2->offset, 0)))
     475                 :       1208 :         return NULL;
     476                 :            : 
     477                 :      30545 :       start1 = 0;
     478                 :      30545 :       if (!(n2->bytepos - n1->bytepos).is_constant (&start2))
     479                 :            :         return NULL;
     480                 :            : 
     481                 :      30545 :       if (start1 < start2)
     482                 :            :         {
     483                 :            :           n_start = n1;
     484                 :            :           start_sub = start2 - start1;
     485                 :            :         }
     486                 :            :       else
     487                 :            :         {
     488                 :       7216 :           n_start = n2;
     489                 :       7216 :           start_sub = start1 - start2;
     490                 :            :         }
     491                 :            : 
     492                 :      30545 :       bb1 = gimple_bb (source_stmt1);
     493                 :      30545 :       bb2 = gimple_bb (source_stmt2);
     494                 :      30545 :       if (dominated_by_p (CDI_DOMINATORS, bb1, bb2))
     495                 :            :         source_stmt = source_stmt1;
     496                 :            :       else
     497                 :        574 :         source_stmt = source_stmt2;
     498                 :            : 
     499                 :            :       /* Find the highest address at which a load is performed and
     500                 :            :          compute related info.  */
     501                 :      30545 :       end1 = start1 + (n1->range - 1);
     502                 :      30545 :       end2 = start2 + (n2->range - 1);
     503                 :      30545 :       if (end1 < end2)
     504                 :            :         {
     505                 :      30545 :           end = end2;
     506                 :      30545 :           end_sub = end2 - end1;
     507                 :            :         }
     508                 :            :       else
     509                 :            :         {
     510                 :            :           end = end1;
     511                 :            :           end_sub = end1 - end2;
     512                 :            :         }
     513                 :      30545 :       n_end = (end2 > end1) ? n2 : n1;
     514                 :            : 
     515                 :            :       /* Find symbolic number whose lsb is the most significant.  */
     516                 :      30545 :       if (BYTES_BIG_ENDIAN)
     517                 :            :         toinc_n_ptr = (n_end == n1) ? n2 : n1;
     518                 :            :       else
     519                 :      30545 :         toinc_n_ptr = (n_start == n1) ? n2 : n1;
     520                 :            : 
     521                 :      30545 :       n->range = end - MIN (start1, start2) + 1;
     522                 :            : 
     523                 :            :       /* Check that the range of memory covered can be represented by
     524                 :            :          a symbolic number.  */
     525                 :      30545 :       if (n->range > 64 / BITS_PER_MARKER)
     526                 :            :         return NULL;
     527                 :            : 
     528                 :            :       /* Reinterpret byte marks in symbolic number holding the value of
     529                 :            :          bigger weight according to target endianness.  */
     530                 :      26377 :       inc = BYTES_BIG_ENDIAN ? end_sub : start_sub;
     531                 :      26377 :       size = TYPE_PRECISION (n1->type) / BITS_PER_UNIT;
     532                 :     192201 :       for (i = 0; i < size; i++, inc <<= BITS_PER_MARKER)
     533                 :            :         {
     534                 :     165824 :           unsigned marker
     535                 :     165824 :             = (toinc_n_ptr->n >> (i * BITS_PER_MARKER)) & MARKER_MASK;
     536                 :     165824 :           if (marker && marker != MARKER_BYTE_UNKNOWN)
     537                 :      53385 :             toinc_n_ptr->n += inc;
     538                 :            :         }
     539                 :            :     }
     540                 :            :   else
     541                 :            :     {
     542                 :      11658 :       n->range = n1->range;
     543                 :      11658 :       n_start = n1;
     544                 :      11658 :       source_stmt = source_stmt1;
     545                 :            :     }
     546                 :            : 
     547                 :      38035 :   if (!n1->alias_set
     548                 :      38035 :       || alias_ptr_types_compatible_p (n1->alias_set, n2->alias_set))
     549                 :      36997 :     n->alias_set = n1->alias_set;
     550                 :            :   else
     551                 :       1038 :     n->alias_set = ptr_type_node;
     552                 :      38035 :   n->vuse = n_start->vuse;
     553                 :      38035 :   n->base_addr = n_start->base_addr;
     554                 :      38035 :   n->offset = n_start->offset;
     555                 :      38035 :   n->src = n_start->src;
     556                 :      38035 :   n->bytepos = n_start->bytepos;
     557                 :      38035 :   n->type = n_start->type;
     558                 :      38035 :   size = TYPE_PRECISION (n->type) / BITS_PER_UNIT;
     559                 :            : 
     560                 :     271869 :   for (i = 0, mask = MARKER_MASK; i < size; i++, mask <<= BITS_PER_MARKER)
     561                 :            :     {
     562                 :     234656 :       uint64_t masked1, masked2;
     563                 :            : 
     564                 :     234656 :       masked1 = n1->n & mask;
     565                 :     234656 :       masked2 = n2->n & mask;
     566                 :     234656 :       if (masked1 && masked2 && masked1 != masked2)
     567                 :            :         return NULL;
     568                 :            :     }
     569                 :      37213 :   n->n = n1->n | n2->n;
     570                 :      37213 :   n->n_ops = n1->n_ops + n2->n_ops;
     571                 :            : 
     572                 :      37213 :   return source_stmt;
     573                 :            : }
     574                 :            : 
     575                 :            : /* find_bswap_or_nop_1 invokes itself recursively with N and tries to perform
     576                 :            :    the operation given by the rhs of STMT on the result.  If the operation
     577                 :            :    could successfully be executed the function returns a gimple stmt whose
     578                 :            :    rhs's first tree is the expression of the source operand and NULL
     579                 :            :    otherwise.  */
     580                 :            : 
     581                 :            : gimple *
     582                 :    1677330 : find_bswap_or_nop_1 (gimple *stmt, struct symbolic_number *n, int limit)
     583                 :            : {
     584                 :    1677330 :   enum tree_code code;
     585                 :    1677330 :   tree rhs1, rhs2 = NULL;
     586                 :    1677330 :   gimple *rhs1_stmt, *rhs2_stmt, *source_stmt1;
     587                 :    1677330 :   enum gimple_rhs_class rhs_class;
     588                 :            : 
     589                 :    1677330 :   if (!limit || !is_gimple_assign (stmt))
     590                 :            :     return NULL;
     591                 :            : 
     592                 :    1196650 :   rhs1 = gimple_assign_rhs1 (stmt);
     593                 :            : 
     594                 :    1196650 :   if (find_bswap_or_nop_load (stmt, rhs1, n))
     595                 :            :     return stmt;
     596                 :            : 
     597                 :            :   /* Handle BIT_FIELD_REF.  */
     598                 :     954586 :   if (TREE_CODE (rhs1) == BIT_FIELD_REF
     599                 :     954586 :       && TREE_CODE (TREE_OPERAND (rhs1, 0)) == SSA_NAME)
     600                 :            :     {
     601                 :       5727 :       unsigned HOST_WIDE_INT bitsize = tree_to_uhwi (TREE_OPERAND (rhs1, 1));
     602                 :       5727 :       unsigned HOST_WIDE_INT bitpos = tree_to_uhwi (TREE_OPERAND (rhs1, 2));
     603                 :       5727 :       if (bitpos % BITS_PER_UNIT == 0
     604                 :       5727 :           && bitsize % BITS_PER_UNIT == 0
     605                 :      11454 :           && init_symbolic_number (n, TREE_OPERAND (rhs1, 0)))
     606                 :            :         {
     607                 :            :           /* Handle big-endian bit numbering in BIT_FIELD_REF.  */
     608                 :        111 :           if (BYTES_BIG_ENDIAN)
     609                 :            :             bitpos = TYPE_PRECISION (n->type) - bitpos - bitsize;
     610                 :            : 
     611                 :            :           /* Shift.  */
     612                 :        111 :           if (!do_shift_rotate (RSHIFT_EXPR, n, bitpos))
     613                 :            :             return NULL;
     614                 :            : 
     615                 :            :           /* Mask.  */
     616                 :            :           uint64_t mask = 0;
     617                 :            :           uint64_t tmp = (1 << BITS_PER_UNIT) - 1;
     618                 :        312 :           for (unsigned i = 0; i < bitsize / BITS_PER_UNIT;
     619                 :        201 :                i++, tmp <<= BITS_PER_UNIT)
     620                 :        201 :             mask |= (uint64_t) MARKER_MASK << (i * BITS_PER_MARKER);
     621                 :        111 :           n->n &= mask;
     622                 :            : 
     623                 :            :           /* Convert.  */
     624                 :        111 :           n->type = TREE_TYPE (rhs1);
     625                 :        111 :           if (!n->base_addr)
     626                 :        111 :             n->range = TYPE_PRECISION (n->type) / BITS_PER_UNIT;
     627                 :            : 
     628                 :        111 :           return verify_symbolic_number_p (n, stmt) ? stmt : NULL;
     629                 :            :         }
     630                 :            : 
     631                 :       5616 :       return NULL;
     632                 :            :     }
     633                 :            : 
     634                 :     948859 :   if (TREE_CODE (rhs1) != SSA_NAME)
     635                 :            :     return NULL;
     636                 :            : 
     637                 :     492436 :   code = gimple_assign_rhs_code (stmt);
     638                 :     492436 :   rhs_class = gimple_assign_rhs_class (stmt);
     639                 :     492436 :   rhs1_stmt = SSA_NAME_DEF_STMT (rhs1);
     640                 :            : 
     641                 :     492436 :   if (rhs_class == GIMPLE_BINARY_RHS)
     642                 :     375095 :     rhs2 = gimple_assign_rhs2 (stmt);
     643                 :            : 
     644                 :            :   /* Handle unary rhs and binary rhs with integer constants as second
     645                 :            :      operand.  */
     646                 :            : 
     647                 :     492436 :   if (rhs_class == GIMPLE_UNARY_RHS
     648                 :     375108 :       || (rhs_class == GIMPLE_BINARY_RHS
     649                 :     375095 :           && TREE_CODE (rhs2) == INTEGER_CST))
     650                 :            :     {
     651                 :     270786 :       if (code != BIT_AND_EXPR
     652                 :     270786 :           && code != LSHIFT_EXPR
     653                 :            :           && code != RSHIFT_EXPR
     654                 :     246626 :           && code != LROTATE_EXPR
     655                 :     238295 :           && code != RROTATE_EXPR
     656                 :     237426 :           && !CONVERT_EXPR_CODE_P (code))
     657                 :            :         return NULL;
     658                 :            : 
     659                 :     136999 :       source_stmt1 = find_bswap_or_nop_1 (rhs1_stmt, n, limit - 1);
     660                 :            : 
     661                 :            :       /* If find_bswap_or_nop_1 returned NULL, STMT is a leaf node and
     662                 :            :          we have to initialize the symbolic number.  */
     663                 :     136999 :       if (!source_stmt1)
     664                 :            :         {
     665                 :      84065 :           if (gimple_assign_load_p (stmt)
     666                 :      84065 :               || !init_symbolic_number (n, rhs1))
     667                 :      15337 :             return NULL;
     668                 :            :           source_stmt1 = stmt;
     669                 :            :         }
     670                 :            : 
     671                 :     121662 :       switch (code)
     672                 :            :         {
     673                 :       7827 :         case BIT_AND_EXPR:
     674                 :       7827 :           {
     675                 :       7827 :             int i, size = TYPE_PRECISION (n->type) / BITS_PER_UNIT;
     676                 :       7827 :             uint64_t val = int_cst_value (rhs2), mask = 0;
     677                 :       7827 :             uint64_t tmp = (1 << BITS_PER_UNIT) - 1;
     678                 :            : 
     679                 :            :             /* Only constants masking full bytes are allowed.  */
     680                 :      26482 :             for (i = 0; i < size; i++, tmp <<= BITS_PER_UNIT)
     681                 :      25190 :               if ((val & tmp) != 0 && (val & tmp) != tmp)
     682                 :            :                 return NULL;
     683                 :      18655 :               else if (val & tmp)
     684                 :      10369 :                 mask |= (uint64_t) MARKER_MASK << (i * BITS_PER_MARKER);
     685                 :            : 
     686                 :       1292 :             n->n &= mask;
     687                 :            :           }
     688                 :       1292 :           break;
     689                 :      25454 :         case LSHIFT_EXPR:
     690                 :      25454 :         case RSHIFT_EXPR:
     691                 :      25454 :         case LROTATE_EXPR:
     692                 :      25454 :         case RROTATE_EXPR:
     693                 :      25454 :           if (!do_shift_rotate (code, n, (int) TREE_INT_CST_LOW (rhs2)))
     694                 :            :             return NULL;
     695                 :            :           break;
     696                 :      88381 :         CASE_CONVERT:
     697                 :      88381 :           {
     698                 :      88381 :             int i, type_size, old_type_size;
     699                 :      88381 :             tree type;
     700                 :            : 
     701                 :      88381 :             type = gimple_expr_type (stmt);
     702                 :      88381 :             type_size = TYPE_PRECISION (type);
     703                 :      88381 :             if (type_size % BITS_PER_UNIT != 0)
     704                 :            :               return NULL;
     705                 :      87969 :             type_size /= BITS_PER_UNIT;
     706                 :      87969 :             if (type_size > 64 / BITS_PER_MARKER)
     707                 :            :               return NULL;
     708                 :            : 
     709                 :            :             /* Sign extension: result is dependent on the value.  */
     710                 :      87927 :             old_type_size = TYPE_PRECISION (n->type) / BITS_PER_UNIT;
     711                 :      87927 :             if (!TYPE_UNSIGNED (n->type) && type_size > old_type_size
     712                 :      98897 :                 && HEAD_MARKER (n->n, old_type_size))
     713                 :      53586 :               for (i = 0; i < type_size - old_type_size; i++)
     714                 :      42625 :                 n->n |= (uint64_t) MARKER_BYTE_UNKNOWN
     715                 :      42625 :                         << ((type_size - 1 - i) * BITS_PER_MARKER);
     716                 :            : 
     717                 :      87927 :             if (type_size < 64 / BITS_PER_MARKER)
     718                 :            :               {
     719                 :            :                 /* If STMT casts to a smaller type mask out the bits not
     720                 :            :                    belonging to the target type.  */
     721                 :      46635 :                 n->n &= ((uint64_t) 1 << (type_size * BITS_PER_MARKER)) - 1;
     722                 :            :               }
     723                 :      87927 :             n->type = type;
     724                 :      87927 :             if (!n->base_addr)
     725                 :      64523 :               n->range = type_size;
     726                 :            :           }
     727                 :            :           break;
     728                 :            :         default:
     729                 :            :           return NULL;
     730                 :     107563 :         };
     731                 :     107563 :       return verify_symbolic_number_p (n, stmt) ? source_stmt1 : NULL;
     732                 :            :     }
     733                 :            : 
     734                 :            :   /* Handle binary rhs.  */
     735                 :            : 
     736                 :     221650 :   if (rhs_class == GIMPLE_BINARY_RHS)
     737                 :            :     {
     738                 :     221637 :       struct symbolic_number n1, n2;
     739                 :     221637 :       gimple *source_stmt, *source_stmt2;
     740                 :            : 
     741                 :     221637 :       if (code != BIT_IOR_EXPR)
     742                 :            :         return NULL;
     743                 :            : 
     744                 :     129062 :       if (TREE_CODE (rhs2) != SSA_NAME)
     745                 :            :         return NULL;
     746                 :            : 
     747                 :     129023 :       rhs2_stmt = SSA_NAME_DEF_STMT (rhs2);
     748                 :            : 
     749                 :     129023 :       switch (code)
     750                 :            :         {
     751                 :     129023 :         case BIT_IOR_EXPR:
     752                 :     129023 :           source_stmt1 = find_bswap_or_nop_1 (rhs1_stmt, &n1, limit - 1);
     753                 :            : 
     754                 :     129023 :           if (!source_stmt1)
     755                 :            :             return NULL;
     756                 :            : 
     757                 :      29938 :           source_stmt2 = find_bswap_or_nop_1 (rhs2_stmt, &n2, limit - 1);
     758                 :            : 
     759                 :      29938 :           if (!source_stmt2)
     760                 :            :             return NULL;
     761                 :            : 
     762                 :      25833 :           if (TYPE_PRECISION (n1.type) != TYPE_PRECISION (n2.type))
     763                 :            :             return NULL;
     764                 :            : 
     765                 :      25833 :           if (n1.vuse != n2.vuse)
     766                 :            :             return NULL;
     767                 :            : 
     768                 :      24438 :           source_stmt
     769                 :      24438 :             = perform_symbolic_merge (source_stmt1, &n1, source_stmt2, &n2, n);
     770                 :            : 
     771                 :      24438 :           if (!source_stmt)
     772                 :            :             return NULL;
     773                 :            : 
     774                 :      10190 :           if (!verify_symbolic_number_p (n, stmt))
     775                 :            :             return NULL;
     776                 :            : 
     777                 :      10190 :           break;
     778                 :            :         default:
     779                 :            :           return NULL;
     780                 :            :         }
     781                 :      10190 :       return source_stmt;
     782                 :            :     }
     783                 :            :   return NULL;
     784                 :            : }
     785                 :            : 
     786                 :            : /* Helper for find_bswap_or_nop and try_coalesce_bswap to compute
     787                 :            :    *CMPXCHG, *CMPNOP and adjust *N.  */
     788                 :            : 
     789                 :            : void
     790                 :      19262 : find_bswap_or_nop_finalize (struct symbolic_number *n, uint64_t *cmpxchg,
     791                 :            :                             uint64_t *cmpnop)
     792                 :            : {
     793                 :      19262 :   unsigned rsize;
     794                 :      19262 :   uint64_t tmpn, mask;
     795                 :            : 
     796                 :            :   /* The number which the find_bswap_or_nop_1 result should match in order
     797                 :            :      to have a full byte swap.  The number is shifted to the right
     798                 :            :      according to the size of the symbolic number before using it.  */
     799                 :      19262 :   *cmpxchg = CMPXCHG;
     800                 :      19262 :   *cmpnop = CMPNOP;
     801                 :            : 
     802                 :            :   /* Find real size of result (highest non-zero byte).  */
     803                 :      19262 :   if (n->base_addr)
     804                 :     114562 :     for (tmpn = n->n, rsize = 0; tmpn; tmpn >>= BITS_PER_MARKER, rsize++);
     805                 :            :   else
     806                 :       1244 :     rsize = n->range;
     807                 :            : 
     808                 :            :   /* Zero out the bits corresponding to untouched bytes in original gimple
     809                 :            :      expression.  */
     810                 :      19262 :   if (n->range < (int) sizeof (int64_t))
     811                 :            :     {
     812                 :      12211 :       mask = ((uint64_t) 1 << (n->range * BITS_PER_MARKER)) - 1;
     813                 :      12211 :       *cmpxchg >>= (64 / BITS_PER_MARKER - n->range) * BITS_PER_MARKER;
     814                 :      12211 :       *cmpnop &= mask;
     815                 :            :     }
     816                 :            : 
     817                 :            :   /* Zero out the bits corresponding to unused bytes in the result of the
     818                 :            :      gimple expression.  */
     819                 :      19262 :   if (rsize < n->range)
     820                 :            :     {
     821                 :       1568 :       if (BYTES_BIG_ENDIAN)
     822                 :            :         {
     823                 :            :           mask = ((uint64_t) 1 << (rsize * BITS_PER_MARKER)) - 1;
     824                 :            :           *cmpxchg &= mask;
     825                 :            :           *cmpnop >>= (n->range - rsize) * BITS_PER_MARKER;
     826                 :            :         }
     827                 :            :       else
     828                 :            :         {
     829                 :       1568 :           mask = ((uint64_t) 1 << (rsize * BITS_PER_MARKER)) - 1;
     830                 :       1568 :           *cmpxchg >>= (n->range - rsize) * BITS_PER_MARKER;
     831                 :       1568 :           *cmpnop &= mask;
     832                 :            :         }
     833                 :       1568 :       n->range = rsize;
     834                 :            :     }
     835                 :            : 
     836                 :      19262 :   n->range *= BITS_PER_UNIT;
     837                 :      19262 : }
     838                 :            : 
     839                 :            : /* Check if STMT completes a bswap implementation or a read in a given
     840                 :            :    endianness consisting of ORs, SHIFTs and ANDs and sets *BSWAP
     841                 :            :    accordingly.  It also sets N to represent the kind of operations
     842                 :            :    performed: size of the resulting expression and whether it works on
     843                 :            :    a memory source, and if so alias-set and vuse.  At last, the
     844                 :            :    function returns a stmt whose rhs's first tree is the source
     845                 :            :    expression.  */
     846                 :            : 
     847                 :            : gimple *
     848                 :     100552 : find_bswap_or_nop (gimple *stmt, struct symbolic_number *n, bool *bswap)
     849                 :            : {
     850                 :            :   /* The last parameter determines the depth search limit.  It usually
     851                 :            :      correlates directly to the number n of bytes to be touched.  We
     852                 :            :      increase that number by 2 * (log2(n) + 1) here in order to also
     853                 :            :      cover signed -> unsigned conversions of the src operand as can be seen
     854                 :            :      in libgcc, and for initial shift/and operation of the src operand.  */
     855                 :     100552 :   int limit = TREE_INT_CST_LOW (TYPE_SIZE_UNIT (gimple_expr_type (stmt)));
     856                 :     100552 :   limit += 2 * (1 + (int) ceil_log2 ((unsigned HOST_WIDE_INT) limit));
     857                 :     100552 :   gimple *ins_stmt = find_bswap_or_nop_1 (stmt, n, limit);
     858                 :            : 
     859                 :     100552 :   if (!ins_stmt)
     860                 :            :     return NULL;
     861                 :            : 
     862                 :       4909 :   uint64_t cmpxchg, cmpnop;
     863                 :       4909 :   find_bswap_or_nop_finalize (n, &cmpxchg, &cmpnop);
     864                 :            : 
     865                 :            :   /* A complete byte swap should make the symbolic number to start with
     866                 :            :      the largest digit in the highest order byte. Unchanged symbolic
     867                 :            :      number indicates a read with same endianness as target architecture.  */
     868                 :       4909 :   if (n->n == cmpnop)
     869                 :       1683 :     *bswap = false;
     870                 :       3226 :   else if (n->n == cmpxchg)
     871                 :       1317 :     *bswap = true;
     872                 :            :   else
     873                 :            :     return NULL;
     874                 :            : 
     875                 :            :   /* Useless bit manipulation performed by code.  */
     876                 :       3000 :   if (!n->base_addr && n->n == cmpnop && n->n_ops == 1)
     877                 :          0 :     return NULL;
     878                 :            : 
     879                 :            :   return ins_stmt;
     880                 :            : }
     881                 :            : 
     882                 :            : const pass_data pass_data_optimize_bswap =
     883                 :            : {
     884                 :            :   GIMPLE_PASS, /* type */
     885                 :            :   "bswap", /* name */
     886                 :            :   OPTGROUP_NONE, /* optinfo_flags */
     887                 :            :   TV_NONE, /* tv_id */
     888                 :            :   PROP_ssa, /* properties_required */
     889                 :            :   0, /* properties_provided */
     890                 :            :   0, /* properties_destroyed */
     891                 :            :   0, /* todo_flags_start */
     892                 :            :   0, /* todo_flags_finish */
     893                 :            : };
     894                 :            : 
     895                 :            : class pass_optimize_bswap : public gimple_opt_pass
     896                 :            : {
     897                 :            : public:
     898                 :     200773 :   pass_optimize_bswap (gcc::context *ctxt)
     899                 :     401546 :     : gimple_opt_pass (pass_data_optimize_bswap, ctxt)
     900                 :            :   {}
     901                 :            : 
     902                 :            :   /* opt_pass methods: */
     903                 :     686787 :   virtual bool gate (function *)
     904                 :            :     {
     905                 :     686787 :       return flag_expensive_optimizations && optimize && BITS_PER_UNIT == 8;
     906                 :            :     }
     907                 :            : 
     908                 :            :   virtual unsigned int execute (function *);
     909                 :            : 
     910                 :            : }; // class pass_optimize_bswap
     911                 :            : 
     912                 :            : /* Perform the bswap optimization: replace the expression computed in the rhs
     913                 :            :    of gsi_stmt (GSI) (or if NULL add instead of replace) by an equivalent
     914                 :            :    bswap, load or load + bswap expression.
     915                 :            :    Which of these alternatives replace the rhs is given by N->base_addr (non
     916                 :            :    null if a load is needed) and BSWAP.  The type, VUSE and set-alias of the
     917                 :            :    load to perform are also given in N while the builtin bswap invoke is given
     918                 :            :    in FNDEL.  Finally, if a load is involved, INS_STMT refers to one of the
     919                 :            :    load statements involved to construct the rhs in gsi_stmt (GSI) and
     920                 :            :    N->range gives the size of the rhs expression for maintaining some
     921                 :            :    statistics.
     922                 :            : 
     923                 :            :    Note that if the replacement involve a load and if gsi_stmt (GSI) is
     924                 :            :    non-NULL, that stmt is moved just after INS_STMT to do the load with the
     925                 :            :    same VUSE which can lead to gsi_stmt (GSI) changing of basic block.  */
     926                 :            : 
     927                 :            : tree
     928                 :       2252 : bswap_replace (gimple_stmt_iterator gsi, gimple *ins_stmt, tree fndecl,
     929                 :            :                tree bswap_type, tree load_type, struct symbolic_number *n,
     930                 :            :                bool bswap)
     931                 :            : {
     932                 :       2252 :   tree src, tmp, tgt = NULL_TREE;
     933                 :       2252 :   gimple *bswap_stmt;
     934                 :            : 
     935                 :       2252 :   gimple *cur_stmt = gsi_stmt (gsi);
     936                 :       2252 :   src = n->src;
     937                 :       2252 :   if (cur_stmt)
     938                 :       1416 :     tgt = gimple_assign_lhs (cur_stmt);
     939                 :            : 
     940                 :            :   /* Need to load the value from memory first.  */
     941                 :       2252 :   if (n->base_addr)
     942                 :            :     {
     943                 :       1904 :       gimple_stmt_iterator gsi_ins = gsi;
     944                 :       1904 :       if (ins_stmt)
     945                 :       1839 :         gsi_ins = gsi_for_stmt (ins_stmt);
     946                 :       1904 :       tree addr_expr, addr_tmp, val_expr, val_tmp;
     947                 :       1904 :       tree load_offset_ptr, aligned_load_type;
     948                 :       1904 :       gimple *load_stmt;
     949                 :       1904 :       unsigned align = get_object_alignment (src);
     950                 :       1904 :       poly_int64 load_offset = 0;
     951                 :            : 
     952                 :       1904 :       if (cur_stmt)
     953                 :            :         {
     954                 :       1342 :           basic_block ins_bb = gimple_bb (ins_stmt);
     955                 :       1342 :           basic_block cur_bb = gimple_bb (cur_stmt);
     956                 :       1342 :           if (!dominated_by_p (CDI_DOMINATORS, cur_bb, ins_bb))
     957                 :        837 :             return NULL_TREE;
     958                 :            : 
     959                 :            :           /* Move cur_stmt just before one of the load of the original
     960                 :            :              to ensure it has the same VUSE.  See PR61517 for what could
     961                 :            :              go wrong.  */
     962                 :       1342 :           if (gimple_bb (cur_stmt) != gimple_bb (ins_stmt))
     963                 :         38 :             reset_flow_sensitive_info (gimple_assign_lhs (cur_stmt));
     964                 :       1342 :           gsi_move_before (&gsi, &gsi_ins);
     965                 :       1342 :           gsi = gsi_for_stmt (cur_stmt);
     966                 :            :         }
     967                 :            :       else
     968                 :        562 :         gsi = gsi_ins;
     969                 :            : 
     970                 :            :       /* Compute address to load from and cast according to the size
     971                 :            :          of the load.  */
     972                 :       1904 :       addr_expr = build_fold_addr_expr (src);
     973                 :       1904 :       if (is_gimple_mem_ref_addr (addr_expr))
     974                 :        164 :         addr_tmp = unshare_expr (addr_expr);
     975                 :            :       else
     976                 :            :         {
     977                 :       1740 :           addr_tmp = unshare_expr (n->base_addr);
     978                 :       1740 :           if (!is_gimple_mem_ref_addr (addr_tmp))
     979                 :          0 :             addr_tmp = force_gimple_operand_gsi_1 (&gsi, addr_tmp,
     980                 :            :                                                    is_gimple_mem_ref_addr,
     981                 :            :                                                    NULL_TREE, true,
     982                 :            :                                                    GSI_SAME_STMT);
     983                 :       1740 :           load_offset = n->bytepos;
     984                 :       1740 :           if (n->offset)
     985                 :            :             {
     986                 :          3 :               tree off
     987                 :          3 :                 = force_gimple_operand_gsi (&gsi, unshare_expr (n->offset),
     988                 :            :                                             true, NULL_TREE, true,
     989                 :            :                                             GSI_SAME_STMT);
     990                 :          3 :               gimple *stmt
     991                 :          3 :                 = gimple_build_assign (make_ssa_name (TREE_TYPE (addr_tmp)),
     992                 :            :                                        POINTER_PLUS_EXPR, addr_tmp, off);
     993                 :          3 :               gsi_insert_before (&gsi, stmt, GSI_SAME_STMT);
     994                 :          3 :               addr_tmp = gimple_assign_lhs (stmt);
     995                 :            :             }
     996                 :            :         }
     997                 :            : 
     998                 :            :       /* Perform the load.  */
     999                 :       1904 :       aligned_load_type = load_type;
    1000                 :       1904 :       if (align < TYPE_ALIGN (load_type))
    1001                 :       1554 :         aligned_load_type = build_aligned_type (load_type, align);
    1002                 :       1904 :       load_offset_ptr = build_int_cst (n->alias_set, load_offset);
    1003                 :       1904 :       val_expr = fold_build2 (MEM_REF, aligned_load_type, addr_tmp,
    1004                 :            :                               load_offset_ptr);
    1005                 :            : 
    1006                 :       1904 :       if (!bswap)
    1007                 :            :         {
    1008                 :        837 :           if (n->range == 16)
    1009                 :        150 :             nop_stats.found_16bit++;
    1010                 :        687 :           else if (n->range == 32)
    1011                 :        511 :             nop_stats.found_32bit++;
    1012                 :            :           else
    1013                 :            :             {
    1014                 :        176 :               gcc_assert (n->range == 64);
    1015                 :        176 :               nop_stats.found_64bit++;
    1016                 :            :             }
    1017                 :            : 
    1018                 :            :           /* Convert the result of load if necessary.  */
    1019                 :       1589 :           if (tgt && !useless_type_conversion_p (TREE_TYPE (tgt), load_type))
    1020                 :            :             {
    1021                 :        457 :               val_tmp = make_temp_ssa_name (aligned_load_type, NULL,
    1022                 :            :                                             "load_dst");
    1023                 :        457 :               load_stmt = gimple_build_assign (val_tmp, val_expr);
    1024                 :        457 :               gimple_set_vuse (load_stmt, n->vuse);
    1025                 :        457 :               gsi_insert_before (&gsi, load_stmt, GSI_SAME_STMT);
    1026                 :        457 :               gimple_assign_set_rhs_with_ops (&gsi, NOP_EXPR, val_tmp);
    1027                 :        457 :               update_stmt (cur_stmt);
    1028                 :            :             }
    1029                 :        380 :           else if (cur_stmt)
    1030                 :            :             {
    1031                 :        295 :               gimple_assign_set_rhs_with_ops (&gsi, MEM_REF, val_expr);
    1032                 :        295 :               gimple_set_vuse (cur_stmt, n->vuse);
    1033                 :        295 :               update_stmt (cur_stmt);
    1034                 :            :             }
    1035                 :            :           else
    1036                 :            :             {
    1037                 :         85 :               tgt = make_ssa_name (load_type);
    1038                 :         85 :               cur_stmt = gimple_build_assign (tgt, MEM_REF, val_expr);
    1039                 :         85 :               gimple_set_vuse (cur_stmt, n->vuse);
    1040                 :         85 :               gsi_insert_before (&gsi, cur_stmt, GSI_SAME_STMT);
    1041                 :            :             }
    1042                 :            : 
    1043                 :        837 :           if (dump_file)
    1044                 :            :             {
    1045                 :         16 :               fprintf (dump_file,
    1046                 :            :                        "%d bit load in target endianness found at: ",
    1047                 :         16 :                        (int) n->range);
    1048                 :         16 :               print_gimple_stmt (dump_file, cur_stmt, 0);
    1049                 :            :             }
    1050                 :        837 :           return tgt;
    1051                 :            :         }
    1052                 :            :       else
    1053                 :            :         {
    1054                 :       1067 :           val_tmp = make_temp_ssa_name (aligned_load_type, NULL, "load_dst");
    1055                 :       1067 :           load_stmt = gimple_build_assign (val_tmp, val_expr);
    1056                 :       1067 :           gimple_set_vuse (load_stmt, n->vuse);
    1057                 :       1067 :           gsi_insert_before (&gsi, load_stmt, GSI_SAME_STMT);
    1058                 :            :         }
    1059                 :       1067 :       src = val_tmp;
    1060                 :            :     }
    1061                 :        348 :   else if (!bswap)
    1062                 :            :     {
    1063                 :        133 :       gimple *g = NULL;
    1064                 :        134 :       if (tgt && !useless_type_conversion_p (TREE_TYPE (tgt), TREE_TYPE (src)))
    1065                 :            :         {
    1066                 :          0 :           if (!is_gimple_val (src))
    1067                 :            :             return NULL_TREE;
    1068                 :          0 :           g = gimple_build_assign (tgt, NOP_EXPR, src);
    1069                 :            :         }
    1070                 :        133 :       else if (cur_stmt)
    1071                 :          1 :         g = gimple_build_assign (tgt, src);
    1072                 :            :       else
    1073                 :            :         tgt = src;
    1074                 :        133 :       if (n->range == 16)
    1075                 :         68 :         nop_stats.found_16bit++;
    1076                 :         65 :       else if (n->range == 32)
    1077                 :         30 :         nop_stats.found_32bit++;
    1078                 :            :       else
    1079                 :            :         {
    1080                 :         35 :           gcc_assert (n->range == 64);
    1081                 :         35 :           nop_stats.found_64bit++;
    1082                 :            :         }
    1083                 :        133 :       if (dump_file)
    1084                 :            :         {
    1085                 :          1 :           fprintf (dump_file,
    1086                 :            :                    "%d bit reshuffle in target endianness found at: ",
    1087                 :            :                    (int) n->range);
    1088                 :          1 :           if (cur_stmt)
    1089                 :          0 :             print_gimple_stmt (dump_file, cur_stmt, 0);
    1090                 :            :           else
    1091                 :            :             {
    1092                 :          1 :               print_generic_expr (dump_file, tgt, TDF_NONE);
    1093                 :          1 :               fprintf (dump_file, "\n");
    1094                 :            :             }
    1095                 :            :         }
    1096                 :        133 :       if (cur_stmt)
    1097                 :          1 :         gsi_replace (&gsi, g, true);
    1098                 :        133 :       return tgt;
    1099                 :            :     }
    1100                 :        215 :   else if (TREE_CODE (src) == BIT_FIELD_REF)
    1101                 :          0 :     src = TREE_OPERAND (src, 0);
    1102                 :            : 
    1103                 :       1282 :   if (n->range == 16)
    1104                 :        786 :     bswap_stats.found_16bit++;
    1105                 :        496 :   else if (n->range == 32)
    1106                 :        385 :     bswap_stats.found_32bit++;
    1107                 :            :   else
    1108                 :            :     {
    1109                 :        111 :       gcc_assert (n->range == 64);
    1110                 :        111 :       bswap_stats.found_64bit++;
    1111                 :            :     }
    1112                 :            : 
    1113                 :       1282 :   tmp = src;
    1114                 :            : 
    1115                 :            :   /* Convert the src expression if necessary.  */
    1116                 :       1282 :   if (!useless_type_conversion_p (TREE_TYPE (tmp), bswap_type))
    1117                 :            :     {
    1118                 :        109 :       gimple *convert_stmt;
    1119                 :            : 
    1120                 :        109 :       tmp = make_temp_ssa_name (bswap_type, NULL, "bswapsrc");
    1121                 :        109 :       convert_stmt = gimple_build_assign (tmp, NOP_EXPR, src);
    1122                 :        109 :       gsi_insert_before (&gsi, convert_stmt, GSI_SAME_STMT);
    1123                 :            :     }
    1124                 :            : 
    1125                 :            :   /* Canonical form for 16 bit bswap is a rotate expression.  Only 16bit values
    1126                 :            :      are considered as rotation of 2N bit values by N bits is generally not
    1127                 :            :      equivalent to a bswap.  Consider for instance 0x01020304 r>> 16 which
    1128                 :            :      gives 0x03040102 while a bswap for that value is 0x04030201.  */
    1129                 :       1282 :   if (bswap && n->range == 16)
    1130                 :            :     {
    1131                 :        786 :       tree count = build_int_cst (NULL, BITS_PER_UNIT);
    1132                 :        786 :       src = fold_build2 (LROTATE_EXPR, bswap_type, tmp, count);
    1133                 :        786 :       bswap_stmt = gimple_build_assign (NULL, src);
    1134                 :            :     }
    1135                 :            :   else
    1136                 :        496 :     bswap_stmt = gimple_build_call (fndecl, 1, tmp);
    1137                 :            : 
    1138                 :       1282 :   if (tgt == NULL_TREE)
    1139                 :        619 :     tgt = make_ssa_name (bswap_type);
    1140                 :       1282 :   tmp = tgt;
    1141                 :            : 
    1142                 :            :   /* Convert the result if necessary.  */
    1143                 :       1282 :   if (!useless_type_conversion_p (TREE_TYPE (tgt), bswap_type))
    1144                 :            :     {
    1145                 :        253 :       gimple *convert_stmt;
    1146                 :            : 
    1147                 :        253 :       tmp = make_temp_ssa_name (bswap_type, NULL, "bswapdst");
    1148                 :        253 :       convert_stmt = gimple_build_assign (tgt, NOP_EXPR, tmp);
    1149                 :        253 :       gsi_insert_after (&gsi, convert_stmt, GSI_SAME_STMT);
    1150                 :            :     }
    1151                 :            : 
    1152                 :       1282 :   gimple_set_lhs (bswap_stmt, tmp);
    1153                 :            : 
    1154                 :       1282 :   if (dump_file)
    1155                 :            :     {
    1156                 :         46 :       fprintf (dump_file, "%d bit bswap implementation found at: ",
    1157                 :         46 :                (int) n->range);
    1158                 :         46 :       if (cur_stmt)
    1159                 :         32 :         print_gimple_stmt (dump_file, cur_stmt, 0);
    1160                 :            :       else
    1161                 :            :         {
    1162                 :         14 :           print_generic_expr (dump_file, tgt, TDF_NONE);
    1163                 :         14 :           fprintf (dump_file, "\n");
    1164                 :            :         }
    1165                 :            :     }
    1166                 :            : 
    1167                 :       1282 :   if (cur_stmt)
    1168                 :            :     {
    1169                 :        663 :       gsi_insert_after (&gsi, bswap_stmt, GSI_SAME_STMT);
    1170                 :        663 :       gsi_remove (&gsi, true);
    1171                 :            :     }
    1172                 :            :   else
    1173                 :        619 :     gsi_insert_before (&gsi, bswap_stmt, GSI_SAME_STMT);
    1174                 :            :   return tgt;
    1175                 :            : }
    1176                 :            : 
    1177                 :            : /* Find manual byte swap implementations as well as load in a given
    1178                 :            :    endianness. Byte swaps are turned into a bswap builtin invokation
    1179                 :            :    while endian loads are converted to bswap builtin invokation or
    1180                 :            :    simple load according to the target endianness.  */
    1181                 :            : 
    1182                 :            : unsigned int
    1183                 :     645475 : pass_optimize_bswap::execute (function *fun)
    1184                 :            : {
    1185                 :     645475 :   basic_block bb;
    1186                 :     645475 :   bool bswap32_p, bswap64_p;
    1187                 :     645475 :   bool changed = false;
    1188                 :     645475 :   tree bswap32_type = NULL_TREE, bswap64_type = NULL_TREE;
    1189                 :            : 
    1190                 :     645475 :   bswap32_p = (builtin_decl_explicit_p (BUILT_IN_BSWAP32)
    1191                 :    1246610 :                && optab_handler (bswap_optab, SImode) != CODE_FOR_nothing);
    1192                 :     645475 :   bswap64_p = (builtin_decl_explicit_p (BUILT_IN_BSWAP64)
    1193                 :    1246610 :                && (optab_handler (bswap_optab, DImode) != CODE_FOR_nothing
    1194                 :      94217 :                    || (bswap32_p && word_mode == SImode)));
    1195                 :            : 
    1196                 :            :   /* Determine the argument type of the builtins.  The code later on
    1197                 :            :      assumes that the return and argument type are the same.  */
    1198                 :     645475 :   if (bswap32_p)
    1199                 :            :     {
    1200                 :     601134 :       tree fndecl = builtin_decl_explicit (BUILT_IN_BSWAP32);
    1201                 :     601134 :       bswap32_type = TREE_VALUE (TYPE_ARG_TYPES (TREE_TYPE (fndecl)));
    1202                 :            :     }
    1203                 :            : 
    1204                 :     645475 :   if (bswap64_p)
    1205                 :            :     {
    1206                 :     601134 :       tree fndecl = builtin_decl_explicit (BUILT_IN_BSWAP64);
    1207                 :     601134 :       bswap64_type = TREE_VALUE (TYPE_ARG_TYPES (TREE_TYPE (fndecl)));
    1208                 :            :     }
    1209                 :            : 
    1210                 :     645475 :   memset (&nop_stats, 0, sizeof (nop_stats));
    1211                 :     645475 :   memset (&bswap_stats, 0, sizeof (bswap_stats));
    1212                 :     645475 :   calculate_dominance_info (CDI_DOMINATORS);
    1213                 :            : 
    1214                 :    6325340 :   FOR_EACH_BB_FN (bb, fun)
    1215                 :            :     {
    1216                 :    5679860 :       gimple_stmt_iterator gsi;
    1217                 :            : 
    1218                 :            :       /* We do a reverse scan for bswap patterns to make sure we get the
    1219                 :            :          widest match. As bswap pattern matching doesn't handle previously
    1220                 :            :          inserted smaller bswap replacements as sub-patterns, the wider
    1221                 :            :          variant wouldn't be detected.  */
    1222                 :   62925200 :       for (gsi = gsi_last_bb (bb); !gsi_end_p (gsi);)
    1223                 :            :         {
    1224                 :   51565500 :           gimple *ins_stmt, *cur_stmt = gsi_stmt (gsi);
    1225                 :   51565500 :           tree fndecl = NULL_TREE, bswap_type = NULL_TREE, load_type;
    1226                 :   51565500 :           enum tree_code code;
    1227                 :   51565500 :           struct symbolic_number n;
    1228                 :   51565500 :           bool bswap;
    1229                 :            : 
    1230                 :            :           /* This gsi_prev (&gsi) is not part of the for loop because cur_stmt
    1231                 :            :              might be moved to a different basic block by bswap_replace and gsi
    1232                 :            :              must not points to it if that's the case.  Moving the gsi_prev
    1233                 :            :              there make sure that gsi points to the statement previous to
    1234                 :            :              cur_stmt while still making sure that all statements are
    1235                 :            :              considered in this basic block.  */
    1236                 :   51565500 :           gsi_prev (&gsi);
    1237                 :            : 
    1238                 :   51565500 :           if (!is_gimple_assign (cur_stmt))
    1239                 :   51564100 :             continue;
    1240                 :            : 
    1241                 :   13587400 :           code = gimple_assign_rhs_code (cur_stmt);
    1242                 :   13587400 :           switch (code)
    1243                 :            :             {
    1244                 :       6013 :             case LROTATE_EXPR:
    1245                 :       6013 :             case RROTATE_EXPR:
    1246                 :       6013 :               if (!tree_fits_uhwi_p (gimple_assign_rhs2 (cur_stmt))
    1247                 :       6013 :                   || tree_to_uhwi (gimple_assign_rhs2 (cur_stmt))
    1248                 :       3395 :                      % BITS_PER_UNIT)
    1249                 :       5474 :                 continue;
    1250                 :            :               /* Fall through.  */
    1251                 :     100552 :             case BIT_IOR_EXPR:
    1252                 :     100552 :               break;
    1253                 :   13481400 :             default:
    1254                 :   13481400 :               continue;
    1255                 :            :             }
    1256                 :            : 
    1257                 :     100552 :           ins_stmt = find_bswap_or_nop (cur_stmt, &n, &bswap);
    1258                 :            : 
    1259                 :     100552 :           if (!ins_stmt)
    1260                 :      97552 :             continue;
    1261                 :            : 
    1262                 :       3000 :           switch (n.range)
    1263                 :            :             {
    1264                 :        646 :             case 16:
    1265                 :            :               /* Already in canonical form, nothing to do.  */
    1266                 :        646 :               if (code == LROTATE_EXPR || code == RROTATE_EXPR)
    1267                 :        237 :                 continue;
    1268                 :        409 :               load_type = bswap_type = uint16_type_node;
    1269                 :        409 :               break;
    1270                 :        796 :             case 32:
    1271                 :        796 :               load_type = uint32_type_node;
    1272                 :        796 :               if (bswap32_p)
    1273                 :            :                 {
    1274                 :        796 :                   fndecl = builtin_decl_explicit (BUILT_IN_BSWAP32);
    1275                 :        796 :                   bswap_type = bswap32_type;
    1276                 :            :                 }
    1277                 :            :               break;
    1278                 :        211 :             case 64:
    1279                 :        211 :               load_type = uint64_type_node;
    1280                 :        211 :               if (bswap64_p)
    1281                 :            :                 {
    1282                 :        211 :                   fndecl = builtin_decl_explicit (BUILT_IN_BSWAP64);
    1283                 :        211 :                   bswap_type = bswap64_type;
    1284                 :            :                 }
    1285                 :            :               break;
    1286                 :       1347 :             default:
    1287                 :       1347 :               continue;
    1288                 :            :             }
    1289                 :            : 
    1290                 :       1416 :           if (bswap && !fndecl && n.range != 16)
    1291                 :          0 :             continue;
    1292                 :            : 
    1293                 :       1416 :           if (bswap_replace (gsi_for_stmt (cur_stmt), ins_stmt, fndecl,
    1294                 :            :                              bswap_type, load_type, &n, bswap))
    1295                 :       1416 :             changed = true;
    1296                 :            :         }
    1297                 :            :     }
    1298                 :            : 
    1299                 :     645475 :   statistics_counter_event (fun, "16-bit nop implementations found",
    1300                 :            :                             nop_stats.found_16bit);
    1301                 :     645475 :   statistics_counter_event (fun, "32-bit nop implementations found",
    1302                 :            :                             nop_stats.found_32bit);
    1303                 :     645475 :   statistics_counter_event (fun, "64-bit nop implementations found",
    1304                 :            :                             nop_stats.found_64bit);
    1305                 :     645475 :   statistics_counter_event (fun, "16-bit bswap implementations found",
    1306                 :            :                             bswap_stats.found_16bit);
    1307                 :     645475 :   statistics_counter_event (fun, "32-bit bswap implementations found",
    1308                 :            :                             bswap_stats.found_32bit);
    1309                 :     645475 :   statistics_counter_event (fun, "64-bit bswap implementations found",
    1310                 :            :                             bswap_stats.found_64bit);
    1311                 :            : 
    1312                 :     645475 :   return (changed ? TODO_update_ssa : 0);
    1313                 :            : }
    1314                 :            : 
    1315                 :            : } // anon namespace
    1316                 :            : 
    1317                 :            : gimple_opt_pass *
    1318                 :     200773 : make_pass_optimize_bswap (gcc::context *ctxt)
    1319                 :            : {
    1320                 :     200773 :   return new pass_optimize_bswap (ctxt);
    1321                 :            : }
    1322                 :            : 
    1323                 :            : namespace {
    1324                 :            : 
    1325                 :            : /* Struct recording one operand for the store, which is either a constant,
    1326                 :            :    then VAL represents the constant and all the other fields are zero, or
    1327                 :            :    a memory load, then VAL represents the reference, BASE_ADDR is non-NULL
    1328                 :            :    and the other fields also reflect the memory load, or an SSA name, then
    1329                 :            :    VAL represents the SSA name and all the other fields are zero,  */
    1330                 :            : 
    1331                 :            : class store_operand_info
    1332                 :            : {
    1333                 :            : public:
    1334                 :            :   tree val;
    1335                 :            :   tree base_addr;
    1336                 :            :   poly_uint64 bitsize;
    1337                 :            :   poly_uint64 bitpos;
    1338                 :            :   poly_uint64 bitregion_start;
    1339                 :            :   poly_uint64 bitregion_end;
    1340                 :            :   gimple *stmt;
    1341                 :            :   bool bit_not_p;
    1342                 :            :   store_operand_info ();
    1343                 :            : };
    1344                 :            : 
    1345                 :    8663830 : store_operand_info::store_operand_info ()
    1346                 :    8663830 :   : val (NULL_TREE), base_addr (NULL_TREE), bitsize (0), bitpos (0),
    1347                 :    8663830 :     bitregion_start (0), bitregion_end (0), stmt (NULL), bit_not_p (false)
    1348                 :            : {
    1349                 :          0 : }
    1350                 :            : 
    1351                 :            : /* Struct recording the information about a single store of an immediate
    1352                 :            :    to memory.  These are created in the first phase and coalesced into
    1353                 :            :    merged_store_group objects in the second phase.  */
    1354                 :            : 
    1355                 :            : class store_immediate_info
    1356                 :            : {
    1357                 :            : public:
    1358                 :            :   unsigned HOST_WIDE_INT bitsize;
    1359                 :            :   unsigned HOST_WIDE_INT bitpos;
    1360                 :            :   unsigned HOST_WIDE_INT bitregion_start;
    1361                 :            :   /* This is one past the last bit of the bit region.  */
    1362                 :            :   unsigned HOST_WIDE_INT bitregion_end;
    1363                 :            :   gimple *stmt;
    1364                 :            :   unsigned int order;
    1365                 :            :   /* INTEGER_CST for constant stores, MEM_REF for memory copy,
    1366                 :            :      BIT_*_EXPR for logical bitwise operation, BIT_INSERT_EXPR
    1367                 :            :      for bit insertion.
    1368                 :            :      LROTATE_EXPR if it can be only bswap optimized and
    1369                 :            :      ops are not really meaningful.
    1370                 :            :      NOP_EXPR if bswap optimization detected identity, ops
    1371                 :            :      are not meaningful.  */
    1372                 :            :   enum tree_code rhs_code;
    1373                 :            :   /* Two fields for bswap optimization purposes.  */
    1374                 :            :   struct symbolic_number n;
    1375                 :            :   gimple *ins_stmt;
    1376                 :            :   /* True if BIT_{AND,IOR,XOR}_EXPR result is inverted before storing.  */
    1377                 :            :   bool bit_not_p;
    1378                 :            :   /* True if ops have been swapped and thus ops[1] represents
    1379                 :            :      rhs1 of BIT_{AND,IOR,XOR}_EXPR and ops[0] represents rhs2.  */
    1380                 :            :   bool ops_swapped_p;
    1381                 :            :   /* The index number of the landing pad, or 0 if there is none.  */
    1382                 :            :   int lp_nr;
    1383                 :            :   /* Operands.  For BIT_*_EXPR rhs_code both operands are used, otherwise
    1384                 :            :      just the first one.  */
    1385                 :            :   store_operand_info ops[2];
    1386                 :            :   store_immediate_info (unsigned HOST_WIDE_INT, unsigned HOST_WIDE_INT,
    1387                 :            :                         unsigned HOST_WIDE_INT, unsigned HOST_WIDE_INT,
    1388                 :            :                         gimple *, unsigned int, enum tree_code,
    1389                 :            :                         struct symbolic_number &, gimple *, bool, int,
    1390                 :            :                         const store_operand_info &,
    1391                 :            :                         const store_operand_info &);
    1392                 :            : };
    1393                 :            : 
    1394                 :    2839040 : store_immediate_info::store_immediate_info (unsigned HOST_WIDE_INT bs,
    1395                 :            :                                             unsigned HOST_WIDE_INT bp,
    1396                 :            :                                             unsigned HOST_WIDE_INT brs,
    1397                 :            :                                             unsigned HOST_WIDE_INT bre,
    1398                 :            :                                             gimple *st,
    1399                 :            :                                             unsigned int ord,
    1400                 :            :                                             enum tree_code rhscode,
    1401                 :            :                                             struct symbolic_number &nr,
    1402                 :            :                                             gimple *ins_stmtp,
    1403                 :            :                                             bool bitnotp,
    1404                 :            :                                             int nr2,
    1405                 :            :                                             const store_operand_info &op0r,
    1406                 :    2839040 :                                             const store_operand_info &op1r)
    1407                 :            :   : bitsize (bs), bitpos (bp), bitregion_start (brs), bitregion_end (bre),
    1408                 :            :     stmt (st), order (ord), rhs_code (rhscode), n (nr),
    1409                 :            :     ins_stmt (ins_stmtp), bit_not_p (bitnotp), ops_swapped_p (false),
    1410                 :            :     lp_nr (nr2)
    1411                 :            : #if __cplusplus >= 201103L
    1412                 :    2839040 :     , ops { op0r, op1r }
    1413                 :            : {
    1414                 :          0 : }
    1415                 :            : #else
    1416                 :            : {
    1417                 :            :   ops[0] = op0r;
    1418                 :            :   ops[1] = op1r;
    1419                 :            : }
    1420                 :            : #endif
    1421                 :            : 
    1422                 :            : /* Struct representing a group of stores to contiguous memory locations.
    1423                 :            :    These are produced by the second phase (coalescing) and consumed in the
    1424                 :            :    third phase that outputs the widened stores.  */
    1425                 :            : 
    1426                 :            : class merged_store_group
    1427                 :            : {
    1428                 :            : public:
    1429                 :            :   unsigned HOST_WIDE_INT start;
    1430                 :            :   unsigned HOST_WIDE_INT width;
    1431                 :            :   unsigned HOST_WIDE_INT bitregion_start;
    1432                 :            :   unsigned HOST_WIDE_INT bitregion_end;
    1433                 :            :   /* The size of the allocated memory for val and mask.  */
    1434                 :            :   unsigned HOST_WIDE_INT buf_size;
    1435                 :            :   unsigned HOST_WIDE_INT align_base;
    1436                 :            :   poly_uint64 load_align_base[2];
    1437                 :            : 
    1438                 :            :   unsigned int align;
    1439                 :            :   unsigned int load_align[2];
    1440                 :            :   unsigned int first_order;
    1441                 :            :   unsigned int last_order;
    1442                 :            :   bool bit_insertion;
    1443                 :            :   bool only_constants;
    1444                 :            :   unsigned int first_nonmergeable_order;
    1445                 :            :   int lp_nr;
    1446                 :            : 
    1447                 :            :   auto_vec<store_immediate_info *> stores;
    1448                 :            :   /* We record the first and last original statements in the sequence because
    1449                 :            :      we'll need their vuse/vdef and replacement position.  It's easier to keep
    1450                 :            :      track of them separately as 'stores' is reordered by apply_stores.  */
    1451                 :            :   gimple *last_stmt;
    1452                 :            :   gimple *first_stmt;
    1453                 :            :   unsigned char *val;
    1454                 :            :   unsigned char *mask;
    1455                 :            : 
    1456                 :            :   merged_store_group (store_immediate_info *);
    1457                 :            :   ~merged_store_group ();
    1458                 :            :   bool can_be_merged_into (store_immediate_info *);
    1459                 :            :   void merge_into (store_immediate_info *);
    1460                 :            :   void merge_overlapping (store_immediate_info *);
    1461                 :            :   bool apply_stores ();
    1462                 :            : private:
    1463                 :            :   void do_merge (store_immediate_info *);
    1464                 :            : };
    1465                 :            : 
    1466                 :            : /* Debug helper.  Dump LEN elements of byte array PTR to FD in hex.  */
    1467                 :            : 
    1468                 :            : static void
    1469                 :        448 : dump_char_array (FILE *fd, unsigned char *ptr, unsigned int len)
    1470                 :            : {
    1471                 :        448 :   if (!fd)
    1472                 :            :     return;
    1473                 :            : 
    1474                 :      22888 :   for (unsigned int i = 0; i < len; i++)
    1475                 :      22440 :     fprintf (fd, "%02x ", ptr[i]);
    1476                 :        448 :   fprintf (fd, "\n");
    1477                 :            : }
    1478                 :            : 
    1479                 :            : /* Clear out LEN bits starting from bit START in the byte array
    1480                 :            :    PTR.  This clears the bits to the *right* from START.
    1481                 :            :    START must be within [0, BITS_PER_UNIT) and counts starting from
    1482                 :            :    the least significant bit.  */
    1483                 :            : 
    1484                 :            : static void
    1485                 :          6 : clear_bit_region_be (unsigned char *ptr, unsigned int start,
    1486                 :            :                      unsigned int len)
    1487                 :            : {
    1488                 :         10 :   if (len == 0)
    1489                 :            :     return;
    1490                 :            :   /* Clear len bits to the right of start.  */
    1491                 :         10 :   else if (len <= start + 1)
    1492                 :            :     {
    1493                 :          4 :       unsigned char mask = (~(~0U << len));
    1494                 :          4 :       mask = mask << (start + 1U - len);
    1495                 :          4 :       ptr[0] &= ~mask;
    1496                 :            :     }
    1497                 :          6 :   else if (start != BITS_PER_UNIT - 1)
    1498                 :            :     {
    1499                 :          2 :       clear_bit_region_be (ptr, start, (start % BITS_PER_UNIT) + 1);
    1500                 :          2 :       clear_bit_region_be (ptr + 1, BITS_PER_UNIT - 1,
    1501                 :          2 :                            len - (start % BITS_PER_UNIT) - 1);
    1502                 :            :     }
    1503                 :          4 :   else if (start == BITS_PER_UNIT - 1
    1504                 :          4 :            && len > BITS_PER_UNIT)
    1505                 :            :     {
    1506                 :          4 :       unsigned int nbytes = len / BITS_PER_UNIT;
    1507                 :          4 :       memset (ptr, 0, nbytes);
    1508                 :          4 :       if (len % BITS_PER_UNIT != 0)
    1509                 :          2 :         clear_bit_region_be (ptr + nbytes, BITS_PER_UNIT - 1,
    1510                 :            :                              len % BITS_PER_UNIT);
    1511                 :            :     }
    1512                 :            :   else
    1513                 :          0 :     gcc_unreachable ();
    1514                 :            : }
    1515                 :            : 
    1516                 :            : /* In the byte array PTR clear the bit region starting at bit
    1517                 :            :    START and is LEN bits wide.
    1518                 :            :    For regions spanning multiple bytes do this recursively until we reach
    1519                 :            :    zero LEN or a region contained within a single byte.  */
    1520                 :            : 
    1521                 :            : static void
    1522                 :    1651270 : clear_bit_region (unsigned char *ptr, unsigned int start,
    1523                 :            :                   unsigned int len)
    1524                 :            : {
    1525                 :            :   /* Degenerate base case.  */
    1526                 :    1668240 :   if (len == 0)
    1527                 :            :     return;
    1528                 :    1668240 :   else if (start >= BITS_PER_UNIT)
    1529                 :       5477 :     clear_bit_region (ptr + 1, start - BITS_PER_UNIT, len);
    1530                 :            :   /* Second base case.  */
    1531                 :    1662760 :   else if ((start + len) <= BITS_PER_UNIT)
    1532                 :            :     {
    1533                 :     184265 :       unsigned char mask = (~0U) << (unsigned char) (BITS_PER_UNIT - len);
    1534                 :     184265 :       mask >>= BITS_PER_UNIT - (start + len);
    1535                 :            : 
    1536                 :     184265 :       ptr[0] &= ~mask;
    1537                 :            : 
    1538                 :     184265 :       return;
    1539                 :            :     }
    1540                 :            :   /* Clear most significant bits in a byte and proceed with the next byte.  */
    1541                 :    1478490 :   else if (start != 0)
    1542                 :            :     {
    1543                 :      10536 :       clear_bit_region (ptr, start, BITS_PER_UNIT - start);
    1544                 :      10536 :       clear_bit_region (ptr + 1, 0, len - (BITS_PER_UNIT - start));
    1545                 :            :     }
    1546                 :            :   /* Whole bytes need to be cleared.  */
    1547                 :    1467960 :   else if (start == 0 && len > BITS_PER_UNIT)
    1548                 :            :     {
    1549                 :    1467960 :       unsigned int nbytes = len / BITS_PER_UNIT;
    1550                 :            :       /* We could recurse on each byte but we clear whole bytes, so a simple
    1551                 :            :          memset will do.  */
    1552                 :    1467960 :       memset (ptr, '\0', nbytes);
    1553                 :            :       /* Clear the remaining sub-byte region if there is one.  */
    1554                 :    1467960 :       if (len % BITS_PER_UNIT != 0)
    1555                 :        950 :         clear_bit_region (ptr + nbytes, 0, len % BITS_PER_UNIT);
    1556                 :            :     }
    1557                 :            :   else
    1558                 :          0 :     gcc_unreachable ();
    1559                 :            : }
    1560                 :            : 
    1561                 :            : /* Write BITLEN bits of EXPR to the byte array PTR at
    1562                 :            :    bit position BITPOS.  PTR should contain TOTAL_BYTES elements.
    1563                 :            :    Return true if the operation succeeded.  */
    1564                 :            : 
    1565                 :            : static bool
    1566                 :    1219820 : encode_tree_to_bitpos (tree expr, unsigned char *ptr, int bitlen, int bitpos,
    1567                 :            :                        unsigned int total_bytes)
    1568                 :            : {
    1569                 :    1219820 :   unsigned int first_byte = bitpos / BITS_PER_UNIT;
    1570                 :    1219820 :   bool sub_byte_op_p = ((bitlen % BITS_PER_UNIT)
    1571                 :    1214350 :                         || (bitpos % BITS_PER_UNIT)
    1572                 :    3648240 :                         || !int_mode_for_size (bitlen, 0).exists ());
    1573                 :    1219820 :   bool empty_ctor_p
    1574                 :    1219820 :     = (TREE_CODE (expr) == CONSTRUCTOR
    1575                 :     237408 :        && CONSTRUCTOR_NELTS (expr) == 0
    1576                 :     237408 :        && TYPE_SIZE_UNIT (TREE_TYPE (expr))
    1577                 :    1457230 :                        && tree_fits_uhwi_p (TYPE_SIZE_UNIT (TREE_TYPE (expr))));
    1578                 :            : 
    1579                 :    1219820 :   if (!sub_byte_op_p)
    1580                 :            :     {
    1581                 :    1140210 :       if (first_byte >= total_bytes)
    1582                 :            :         return false;
    1583                 :    1140210 :       total_bytes -= first_byte;
    1584                 :    1140210 :       if (empty_ctor_p)
    1585                 :            :         {
    1586                 :     163482 :           unsigned HOST_WIDE_INT rhs_bytes
    1587                 :     163482 :             = tree_to_uhwi (TYPE_SIZE_UNIT (TREE_TYPE (expr)));
    1588                 :     163482 :           if (rhs_bytes > total_bytes)
    1589                 :            :             return false;
    1590                 :     163482 :           memset (ptr + first_byte, '\0', rhs_bytes);
    1591                 :     163482 :           return true;
    1592                 :            :         }
    1593                 :     976728 :       return native_encode_expr (expr, ptr + first_byte, total_bytes) != 0;
    1594                 :            :     }
    1595                 :            : 
    1596                 :            :   /* LITTLE-ENDIAN
    1597                 :            :      We are writing a non byte-sized quantity or at a position that is not
    1598                 :            :      at a byte boundary.
    1599                 :            :      |--------|--------|--------| ptr + first_byte
    1600                 :            :            ^              ^
    1601                 :            :            xxx xxxxxxxx xxx< bp>
    1602                 :            :            |______EXPR____|
    1603                 :            : 
    1604                 :            :      First native_encode_expr EXPR into a temporary buffer and shift each
    1605                 :            :      byte in the buffer by 'bp' (carrying the bits over as necessary).
    1606                 :            :      |00000000|00xxxxxx|xxxxxxxx| << bp = |000xxxxx|xxxxxxxx|xxx00000|
    1607                 :            :                                               <------bitlen---->< bp>
    1608                 :            :     Then we clear the destination bits:
    1609                 :            :     |---00000|00000000|000-----| ptr + first_byte
    1610                 :            :         <-------bitlen--->< bp>
    1611                 :            : 
    1612                 :            :     Finally we ORR the bytes of the shifted EXPR into the cleared region:
    1613                 :            :     |---xxxxx||xxxxxxxx||xxx-----| ptr + first_byte.
    1614                 :            : 
    1615                 :            :    BIG-ENDIAN
    1616                 :            :    We are writing a non byte-sized quantity or at a position that is not
    1617                 :            :    at a byte boundary.
    1618                 :            :      ptr + first_byte |--------|--------|--------|
    1619                 :            :                             ^              ^
    1620                 :            :                        <bp >xxx xxxxxxxx xxx
    1621                 :            :                             |_____EXPR_____|
    1622                 :            : 
    1623                 :            :      First native_encode_expr EXPR into a temporary buffer and shift each
    1624                 :            :      byte in the buffer to the right by (carrying the bits over as necessary).
    1625                 :            :      We shift by as much as needed to align the most significant bit of EXPR
    1626                 :            :      with bitpos:
    1627                 :            :      |00xxxxxx|xxxxxxxx| >> 3 = |00000xxx|xxxxxxxx|xxxxx000|
    1628                 :            :         <---bitlen---->          <bp ><-----bitlen----->
    1629                 :            :     Then we clear the destination bits:
    1630                 :            :     ptr + first_byte |-----000||00000000||00000---|
    1631                 :            :                       <bp ><-------bitlen----->
    1632                 :            : 
    1633                 :            :     Finally we ORR the bytes of the shifted EXPR into the cleared region:
    1634                 :            :     ptr + first_byte |---xxxxx||xxxxxxxx||xxx-----|.
    1635                 :            :     The awkwardness comes from the fact that bitpos is counted from the
    1636                 :            :     most significant bit of a byte.  */
    1637                 :            : 
    1638                 :            :   /* We must be dealing with fixed-size data at this point, since the
    1639                 :            :      total size is also fixed.  */
    1640                 :      79611 :   unsigned int byte_size;
    1641                 :      79611 :   if (empty_ctor_p)
    1642                 :            :     {
    1643                 :      73926 :       unsigned HOST_WIDE_INT rhs_bytes
    1644                 :      73926 :         = tree_to_uhwi (TYPE_SIZE_UNIT (TREE_TYPE (expr)));
    1645                 :      73926 :       if (rhs_bytes > total_bytes)
    1646                 :            :         return false;
    1647                 :      73926 :       byte_size = rhs_bytes;
    1648                 :            :     }
    1649                 :            :   else
    1650                 :            :     {
    1651                 :       5685 :       fixed_size_mode mode
    1652                 :       5685 :         = as_a <fixed_size_mode> (TYPE_MODE (TREE_TYPE (expr)));
    1653                 :      11370 :       byte_size = GET_MODE_SIZE (mode);
    1654                 :            :     }
    1655                 :            :   /* Allocate an extra byte so that we have space to shift into.  */
    1656                 :      79611 :   byte_size++;
    1657                 :      79611 :   unsigned char *tmpbuf = XALLOCAVEC (unsigned char, byte_size);
    1658                 :      79611 :   memset (tmpbuf, '\0', byte_size);
    1659                 :            :   /* The store detection code should only have allowed constants that are
    1660                 :            :      accepted by native_encode_expr or empty ctors.  */
    1661                 :      79611 :   if (!empty_ctor_p
    1662                 :      79611 :       && native_encode_expr (expr, tmpbuf, byte_size - 1) == 0)
    1663                 :          0 :     gcc_unreachable ();
    1664                 :            : 
    1665                 :            :   /* The native_encode_expr machinery uses TYPE_MODE to determine how many
    1666                 :            :      bytes to write.  This means it can write more than
    1667                 :            :      ROUND_UP (bitlen, BITS_PER_UNIT) / BITS_PER_UNIT bytes (for example
    1668                 :            :      write 8 bytes for a bitlen of 40).  Skip the bytes that are not within
    1669                 :            :      bitlen and zero out the bits that are not relevant as well (that may
    1670                 :            :      contain a sign bit due to sign-extension).  */
    1671                 :      79611 :   unsigned int padding
    1672                 :      79611 :     = byte_size - ROUND_UP (bitlen, BITS_PER_UNIT) / BITS_PER_UNIT - 1;
    1673                 :            :   /* On big-endian the padding is at the 'front' so just skip the initial
    1674                 :            :      bytes.  */
    1675                 :      79611 :   if (BYTES_BIG_ENDIAN)
    1676                 :            :     tmpbuf += padding;
    1677                 :            : 
    1678                 :      79611 :   byte_size -= padding;
    1679                 :            : 
    1680                 :      79611 :   if (bitlen % BITS_PER_UNIT != 0)
    1681                 :            :     {
    1682                 :       5474 :       if (BYTES_BIG_ENDIAN)
    1683                 :            :         clear_bit_region_be (tmpbuf, BITS_PER_UNIT - 1,
    1684                 :            :                              BITS_PER_UNIT - (bitlen % BITS_PER_UNIT));
    1685                 :            :       else
    1686                 :       5474 :         clear_bit_region (tmpbuf, bitlen,
    1687                 :       5474 :                           byte_size * BITS_PER_UNIT - bitlen);
    1688                 :            :     }
    1689                 :            :   /* Left shifting relies on the last byte being clear if bitlen is
    1690                 :            :      a multiple of BITS_PER_UNIT, which might not be clear if
    1691                 :            :      there are padding bytes.  */
    1692                 :      74137 :   else if (!BYTES_BIG_ENDIAN)
    1693                 :      74137 :     tmpbuf[byte_size - 1] = '\0';
    1694                 :            : 
    1695                 :            :   /* Clear the bit region in PTR where the bits from TMPBUF will be
    1696                 :            :      inserted into.  */
    1697                 :      79611 :   if (BYTES_BIG_ENDIAN)
    1698                 :            :     clear_bit_region_be (ptr + first_byte,
    1699                 :            :                          BITS_PER_UNIT - 1 - (bitpos % BITS_PER_UNIT), bitlen);
    1700                 :            :   else
    1701                 :      79611 :     clear_bit_region (ptr + first_byte, bitpos % BITS_PER_UNIT, bitlen);
    1702                 :            : 
    1703                 :      79611 :   int shift_amnt;
    1704                 :      79611 :   int bitlen_mod = bitlen % BITS_PER_UNIT;
    1705                 :      79611 :   int bitpos_mod = bitpos % BITS_PER_UNIT;
    1706                 :            : 
    1707                 :      79611 :   bool skip_byte = false;
    1708                 :      79611 :   if (BYTES_BIG_ENDIAN)
    1709                 :            :     {
    1710                 :            :       /* BITPOS and BITLEN are exactly aligned and no shifting
    1711                 :            :          is necessary.  */
    1712                 :            :       if (bitpos_mod + bitlen_mod == BITS_PER_UNIT
    1713                 :            :           || (bitpos_mod == 0 && bitlen_mod == 0))
    1714                 :            :         shift_amnt = 0;
    1715                 :            :       /* |. . . . . . . .|
    1716                 :            :           <bp >   <blen >.
    1717                 :            :          We always shift right for BYTES_BIG_ENDIAN so shift the beginning
    1718                 :            :          of the value until it aligns with 'bp' in the next byte over.  */
    1719                 :            :       else if (bitpos_mod + bitlen_mod < BITS_PER_UNIT)
    1720                 :            :         {
    1721                 :            :           shift_amnt = bitlen_mod + bitpos_mod;
    1722                 :            :           skip_byte = bitlen_mod != 0;
    1723                 :            :         }
    1724                 :            :       /* |. . . . . . . .|
    1725                 :            :           <----bp--->
    1726                 :            :             <---blen---->.
    1727                 :            :          Shift the value right within the same byte so it aligns with 'bp'.  */
    1728                 :            :       else
    1729                 :            :         shift_amnt = bitlen_mod + bitpos_mod - BITS_PER_UNIT;
    1730                 :            :     }
    1731                 :            :   else
    1732                 :      79611 :     shift_amnt = bitpos % BITS_PER_UNIT;
    1733                 :            : 
    1734                 :            :   /* Create the shifted version of EXPR.  */
    1735                 :      79611 :   if (!BYTES_BIG_ENDIAN)
    1736                 :            :     {
    1737                 :      79611 :       shift_bytes_in_array_left (tmpbuf, byte_size, shift_amnt);
    1738                 :      79611 :       if (shift_amnt == 0)
    1739                 :      76856 :         byte_size--;
    1740                 :            :     }
    1741                 :            :   else
    1742                 :            :     {
    1743                 :            :       gcc_assert (BYTES_BIG_ENDIAN);
    1744                 :            :       shift_bytes_in_array_right (tmpbuf, byte_size, shift_amnt);
    1745                 :            :       /* If shifting right forced us to move into the next byte skip the now
    1746                 :            :          empty byte.  */
    1747                 :            :       if (skip_byte)
    1748                 :            :         {
    1749                 :            :           tmpbuf++;
    1750                 :            :           byte_size--;
    1751                 :            :         }
    1752                 :            :     }
    1753                 :            : 
    1754                 :            :   /* Insert the bits from TMPBUF.  */
    1755                 :   18737000 :   for (unsigned int i = 0; i < byte_size; i++)
    1756                 :   18657300 :     ptr[first_byte + i] |= tmpbuf[i];
    1757                 :            : 
    1758                 :            :   return true;
    1759                 :            : }
    1760                 :            : 
    1761                 :            : /* Sorting function for store_immediate_info objects.
    1762                 :            :    Sorts them by bitposition.  */
    1763                 :            : 
    1764                 :            : static int
    1765                 :   24669700 : sort_by_bitpos (const void *x, const void *y)
    1766                 :            : {
    1767                 :   24669700 :   store_immediate_info *const *tmp = (store_immediate_info * const *) x;
    1768                 :   24669700 :   store_immediate_info *const *tmp2 = (store_immediate_info * const *) y;
    1769                 :            : 
    1770                 :   24669700 :   if ((*tmp)->bitpos < (*tmp2)->bitpos)
    1771                 :            :     return -1;
    1772                 :   12918700 :   else if ((*tmp)->bitpos > (*tmp2)->bitpos)
    1773                 :            :     return 1;
    1774                 :            :   else
    1775                 :            :     /* If they are the same let's use the order which is guaranteed to
    1776                 :            :        be different.  */
    1777                 :    1059320 :     return (*tmp)->order - (*tmp2)->order;
    1778                 :            : }
    1779                 :            : 
    1780                 :            : /* Sorting function for store_immediate_info objects.
    1781                 :            :    Sorts them by the order field.  */
    1782                 :            : 
    1783                 :            : static int
    1784                 :    9470920 : sort_by_order (const void *x, const void *y)
    1785                 :            : {
    1786                 :    9470920 :   store_immediate_info *const *tmp = (store_immediate_info * const *) x;
    1787                 :    9470920 :   store_immediate_info *const *tmp2 = (store_immediate_info * const *) y;
    1788                 :            : 
    1789                 :    9470920 :   if ((*tmp)->order < (*tmp2)->order)
    1790                 :            :     return -1;
    1791                 :    4727200 :   else if ((*tmp)->order > (*tmp2)->order)
    1792                 :            :     return 1;
    1793                 :            : 
    1794                 :          0 :   gcc_unreachable ();
    1795                 :            : }
    1796                 :            : 
    1797                 :            : /* Initialize a merged_store_group object from a store_immediate_info
    1798                 :            :    object.  */
    1799                 :            : 
    1800                 :     852209 : merged_store_group::merged_store_group (store_immediate_info *info)
    1801                 :            : {
    1802                 :     852209 :   start = info->bitpos;
    1803                 :     852209 :   width = info->bitsize;
    1804                 :     852209 :   bitregion_start = info->bitregion_start;
    1805                 :     852209 :   bitregion_end = info->bitregion_end;
    1806                 :            :   /* VAL has memory allocated for it in apply_stores once the group
    1807                 :            :      width has been finalized.  */
    1808                 :     852209 :   val = NULL;
    1809                 :     852209 :   mask = NULL;
    1810                 :     852209 :   bit_insertion = false;
    1811                 :     852209 :   only_constants = info->rhs_code == INTEGER_CST;
    1812                 :     852209 :   first_nonmergeable_order = ~0U;
    1813                 :     852209 :   lp_nr = info->lp_nr;
    1814                 :     852209 :   unsigned HOST_WIDE_INT align_bitpos = 0;
    1815                 :     852209 :   get_object_alignment_1 (gimple_assign_lhs (info->stmt),
    1816                 :            :                           &align, &align_bitpos);
    1817                 :     852209 :   align_base = start - align_bitpos;
    1818                 :    2556630 :   for (int i = 0; i < 2; ++i)
    1819                 :            :     {
    1820                 :    1704420 :       store_operand_info &op = info->ops[i];
    1821                 :    1704420 :       if (op.base_addr == NULL_TREE)
    1822                 :            :         {
    1823                 :    1463140 :           load_align[i] = 0;
    1824                 :    1463140 :           load_align_base[i] = 0;
    1825                 :            :         }
    1826                 :            :       else
    1827                 :            :         {
    1828                 :     241279 :           get_object_alignment_1 (op.val, &load_align[i], &align_bitpos);
    1829                 :     241279 :           load_align_base[i] = op.bitpos - align_bitpos;
    1830                 :            :         }
    1831                 :            :     }
    1832                 :     852209 :   stores.create (1);
    1833                 :     852209 :   stores.safe_push (info);
    1834                 :     852209 :   last_stmt = info->stmt;
    1835                 :     852209 :   last_order = info->order;
    1836                 :     852209 :   first_stmt = last_stmt;
    1837                 :     852209 :   first_order = last_order;
    1838                 :     852209 :   buf_size = 0;
    1839                 :     852209 : }
    1840                 :            : 
    1841                 :     852209 : merged_store_group::~merged_store_group ()
    1842                 :            : {
    1843                 :     852209 :   if (val)
    1844                 :     513906 :     XDELETEVEC (val);
    1845                 :     852209 : }
    1846                 :            : 
    1847                 :            : /* Return true if the store described by INFO can be merged into the group.  */
    1848                 :            : 
    1849                 :            : bool
    1850                 :     932762 : merged_store_group::can_be_merged_into (store_immediate_info *info)
    1851                 :            : {
    1852                 :            :   /* Do not merge bswap patterns.  */
    1853                 :     932762 :   if (info->rhs_code == LROTATE_EXPR)
    1854                 :            :     return false;
    1855                 :            : 
    1856                 :     922183 :   if (info->lp_nr != lp_nr)
    1857                 :            :     return false;
    1858                 :            : 
    1859                 :            :   /* The canonical case.  */
    1860                 :     922183 :   if (info->rhs_code == stores[0]->rhs_code)
    1861                 :            :     return true;
    1862                 :            : 
    1863                 :            :   /* BIT_INSERT_EXPR is compatible with INTEGER_CST.  */
    1864                 :      50985 :   if (info->rhs_code == BIT_INSERT_EXPR && stores[0]->rhs_code == INTEGER_CST)
    1865                 :            :     return true;
    1866                 :            : 
    1867                 :      50065 :   if (stores[0]->rhs_code == BIT_INSERT_EXPR && info->rhs_code == INTEGER_CST)
    1868                 :            :     return true;
    1869                 :            : 
    1870                 :            :   /* We can turn MEM_REF into BIT_INSERT_EXPR for bit-field stores.  */
    1871                 :      50012 :   if (info->rhs_code == MEM_REF
    1872                 :      26234 :       && (stores[0]->rhs_code == INTEGER_CST
    1873                 :        297 :           || stores[0]->rhs_code == BIT_INSERT_EXPR)
    1874                 :      25954 :       && info->bitregion_start == stores[0]->bitregion_start
    1875                 :      50034 :       && info->bitregion_end == stores[0]->bitregion_end)
    1876                 :            :     return true;
    1877                 :            : 
    1878                 :      49990 :   if (stores[0]->rhs_code == MEM_REF
    1879                 :      21220 :       && (info->rhs_code == INTEGER_CST
    1880                 :      21220 :           || info->rhs_code == BIT_INSERT_EXPR)
    1881                 :      21192 :       && info->bitregion_start == stores[0]->bitregion_start
    1882                 :      49992 :       && info->bitregion_end == stores[0]->bitregion_end)
    1883                 :          2 :     return true;
    1884                 :            : 
    1885                 :            :   return false;
    1886                 :            : }
    1887                 :            : 
    1888                 :            : /* Helper method for merge_into and merge_overlapping to do
    1889                 :            :    the common part.  */
    1890                 :            : 
    1891                 :            : void
    1892                 :    1043080 : merged_store_group::do_merge (store_immediate_info *info)
    1893                 :            : {
    1894                 :    1043080 :   bitregion_start = MIN (bitregion_start, info->bitregion_start);
    1895                 :    1043080 :   bitregion_end = MAX (bitregion_end, info->bitregion_end);
    1896                 :            : 
    1897                 :    1043080 :   unsigned int this_align;
    1898                 :    1043080 :   unsigned HOST_WIDE_INT align_bitpos = 0;
    1899                 :    1043080 :   get_object_alignment_1 (gimple_assign_lhs (info->stmt),
    1900                 :            :                           &this_align, &align_bitpos);
    1901                 :    1043080 :   if (this_align > align)
    1902                 :            :     {
    1903                 :        484 :       align = this_align;
    1904                 :        484 :       align_base = info->bitpos - align_bitpos;
    1905                 :            :     }
    1906                 :    3129230 :   for (int i = 0; i < 2; ++i)
    1907                 :            :     {
    1908                 :    2086150 :       store_operand_info &op = info->ops[i];
    1909                 :    2086150 :       if (!op.base_addr)
    1910                 :    1885870 :         continue;
    1911                 :            : 
    1912                 :     200284 :       get_object_alignment_1 (op.val, &this_align, &align_bitpos);
    1913                 :     200284 :       if (this_align > load_align[i])
    1914                 :            :         {
    1915                 :         14 :           load_align[i] = this_align;
    1916                 :         14 :           load_align_base[i] = op.bitpos - align_bitpos;
    1917                 :            :         }
    1918                 :            :     }
    1919                 :            : 
    1920                 :    1043080 :   gimple *stmt = info->stmt;
    1921                 :    1043080 :   stores.safe_push (info);
    1922                 :    1043080 :   if (info->order > last_order)
    1923                 :            :     {
    1924                 :     839025 :       last_order = info->order;
    1925                 :     839025 :       last_stmt = stmt;
    1926                 :            :     }
    1927                 :     204052 :   else if (info->order < first_order)
    1928                 :            :     {
    1929                 :      81196 :       first_order = info->order;
    1930                 :      81196 :       first_stmt = stmt;
    1931                 :            :     }
    1932                 :    1043080 :   if (info->rhs_code != INTEGER_CST)
    1933                 :     201360 :     only_constants = false;
    1934                 :    1043080 : }
    1935                 :            : 
    1936                 :            : /* Merge a store recorded by INFO into this merged store.
    1937                 :            :    The store is not overlapping with the existing recorded
    1938                 :            :    stores.  */
    1939                 :            : 
    1940                 :            : void
    1941                 :     201424 : merged_store_group::merge_into (store_immediate_info *info)
    1942                 :            : {
    1943                 :            :   /* Make sure we're inserting in the position we think we're inserting.  */
    1944                 :     201424 :   gcc_assert (info->bitpos >= start + width
    1945                 :            :               && info->bitregion_start <= bitregion_end);
    1946                 :            : 
    1947                 :     201424 :   width = info->bitpos + info->bitsize - start;
    1948                 :     201424 :   do_merge (info);
    1949                 :     201424 : }
    1950                 :            : 
    1951                 :            : /* Merge a store described by INFO into this merged store.
    1952                 :            :    INFO overlaps in some way with the current store (i.e. it's not contiguous
    1953                 :            :    which is handled by merged_store_group::merge_into).  */
    1954                 :            : 
    1955                 :            : void
    1956                 :     841653 : merged_store_group::merge_overlapping (store_immediate_info *info)
    1957                 :            : {
    1958                 :            :   /* If the store extends the size of the group, extend the width.  */
    1959                 :     841653 :   if (info->bitpos + info->bitsize > start + width)
    1960                 :     632105 :     width = info->bitpos + info->bitsize - start;
    1961                 :            : 
    1962                 :     841653 :   do_merge (info);
    1963                 :     841653 : }
    1964                 :            : 
    1965                 :            : /* Go through all the recorded stores in this group in program order and
    1966                 :            :    apply their values to the VAL byte array to create the final merged
    1967                 :            :    value.  Return true if the operation succeeded.  */
    1968                 :            : 
    1969                 :            : bool
    1970                 :     851373 : merged_store_group::apply_stores ()
    1971                 :            : {
    1972                 :            :   /* Make sure we have more than one store in the group, otherwise we cannot
    1973                 :            :      merge anything.  */
    1974                 :     851373 :   if (bitregion_start % BITS_PER_UNIT != 0
    1975                 :     851373 :       || bitregion_end % BITS_PER_UNIT != 0
    1976                 :    1702750 :       || stores.length () == 1)
    1977                 :            :     return false;
    1978                 :            : 
    1979                 :     513906 :   stores.qsort (sort_by_order);
    1980                 :     513906 :   store_immediate_info *info;
    1981                 :     513906 :   unsigned int i;
    1982                 :            :   /* Create a power-of-2-sized buffer for native_encode_expr.  */
    1983                 :     513906 :   buf_size = 1 << ceil_log2 ((bitregion_end - bitregion_start) / BITS_PER_UNIT);
    1984                 :     513906 :   val = XNEWVEC (unsigned char, 2 * buf_size);
    1985                 :     513906 :   mask = val + buf_size;
    1986                 :     513906 :   memset (val, 0, buf_size);
    1987                 :     513906 :   memset (mask, ~0U, buf_size);
    1988                 :            : 
    1989                 :    2069510 :   FOR_EACH_VEC_ELT (stores, i, info)
    1990                 :            :     {
    1991                 :    1555610 :       unsigned int pos_in_buffer = info->bitpos - bitregion_start;
    1992                 :    1555610 :       tree cst;
    1993                 :    1555610 :       if (info->ops[0].val && info->ops[0].base_addr == NULL_TREE)
    1994                 :            :         cst = info->ops[0].val;
    1995                 :     334742 :       else if (info->ops[1].val && info->ops[1].base_addr == NULL_TREE)
    1996                 :            :         cst = info->ops[1].val;
    1997                 :            :       else
    1998                 :            :         cst = NULL_TREE;
    1999                 :    1221140 :       bool ret = true;
    2000                 :    1221140 :       if (cst)
    2001                 :            :         {
    2002                 :    1221140 :           if (info->rhs_code == BIT_INSERT_EXPR)
    2003                 :       1320 :             bit_insertion = true;
    2004                 :            :           else
    2005                 :    1219820 :             ret = encode_tree_to_bitpos (cst, val, info->bitsize,
    2006                 :    1219820 :                                          pos_in_buffer, buf_size);
    2007                 :            :         }
    2008                 :    1555610 :       unsigned char *m = mask + (pos_in_buffer / BITS_PER_UNIT);
    2009                 :    1555610 :       if (BYTES_BIG_ENDIAN)
    2010                 :            :         clear_bit_region_be (m, (BITS_PER_UNIT - 1
    2011                 :            :                                  - (pos_in_buffer % BITS_PER_UNIT)),
    2012                 :            :                              info->bitsize);
    2013                 :            :       else
    2014                 :    1555610 :         clear_bit_region (m, pos_in_buffer % BITS_PER_UNIT, info->bitsize);
    2015                 :    1555610 :       if (cst && dump_file && (dump_flags & TDF_DETAILS))
    2016                 :            :         {
    2017                 :        224 :           if (ret)
    2018                 :            :             {
    2019                 :        224 :               fputs ("After writing ", dump_file);
    2020                 :        224 :               print_generic_expr (dump_file, cst, TDF_NONE);
    2021                 :        224 :               fprintf (dump_file, " of size " HOST_WIDE_INT_PRINT_DEC
    2022                 :            :                        " at position %d\n", info->bitsize, pos_in_buffer);
    2023                 :        224 :               fputs ("  the merged value contains ", dump_file);
    2024                 :        224 :               dump_char_array (dump_file, val, buf_size);
    2025                 :        224 :               fputs ("  the merged mask contains  ", dump_file);
    2026                 :        224 :               dump_char_array (dump_file, mask, buf_size);
    2027                 :        224 :               if (bit_insertion)
    2028                 :          0 :                 fputs ("  bit insertion is required\n", dump_file);
    2029                 :            :             }
    2030                 :            :           else
    2031                 :          0 :             fprintf (dump_file, "Failed to merge stores\n");
    2032                 :            :         }
    2033                 :    1555610 :       if (!ret)
    2034                 :            :         return false;
    2035                 :            :     }
    2036                 :     513906 :   stores.qsort (sort_by_bitpos);
    2037                 :            :   return true;
    2038                 :            : }
    2039                 :            : 
    2040                 :            : /* Structure describing the store chain.  */
    2041                 :            : 
    2042                 :            : class imm_store_chain_info
    2043                 :            : {
    2044                 :            : public:
    2045                 :            :   /* Doubly-linked list that imposes an order on chain processing.
    2046                 :            :      PNXP (prev's next pointer) points to the head of a list, or to
    2047                 :            :      the next field in the previous chain in the list.
    2048                 :            :      See pass_store_merging::m_stores_head for more rationale.  */
    2049                 :            :   imm_store_chain_info *next, **pnxp;
    2050                 :            :   tree base_addr;
    2051                 :            :   auto_vec<store_immediate_info *> m_store_info;
    2052                 :            :   auto_vec<merged_store_group *> m_merged_store_groups;
    2053                 :            : 
    2054                 :    1476990 :   imm_store_chain_info (imm_store_chain_info *&inspt, tree b_a)
    2055                 :    1476990 :   : next (inspt), pnxp (&inspt), base_addr (b_a)
    2056                 :            :   {
    2057                 :    1476990 :     inspt = this;
    2058                 :    1476990 :     if (next)
    2059                 :            :       {
    2060                 :     511030 :         gcc_checking_assert (pnxp == next->pnxp);
    2061                 :     511030 :         next->pnxp = &next;
    2062                 :            :       }
    2063                 :    1476990 :   }
    2064                 :    1476990 :   ~imm_store_chain_info ()
    2065                 :    1933660 :   {
    2066                 :    1476990 :     *pnxp = next;
    2067                 :    1476990 :     if (next)
    2068                 :            :       {
    2069                 :     496088 :         gcc_checking_assert (&next == next->pnxp);
    2070                 :     496088 :         next->pnxp = pnxp;
    2071                 :            :       }
    2072                 :    1476990 :   }
    2073                 :            :   bool terminate_and_process_chain ();
    2074                 :            :   bool try_coalesce_bswap (merged_store_group *, unsigned int, unsigned int);
    2075                 :            :   bool coalesce_immediate_stores ();
    2076                 :            :   bool output_merged_store (merged_store_group *);
    2077                 :            :   bool output_merged_stores ();
    2078                 :            : };
    2079                 :            : 
    2080                 :            : const pass_data pass_data_tree_store_merging = {
    2081                 :            :   GIMPLE_PASS,     /* type */
    2082                 :            :   "store-merging", /* name */
    2083                 :            :   OPTGROUP_NONE,   /* optinfo_flags */
    2084                 :            :   TV_GIMPLE_STORE_MERGING,       /* tv_id */
    2085                 :            :   PROP_ssa,     /* properties_required */
    2086                 :            :   0,               /* properties_provided */
    2087                 :            :   0,               /* properties_destroyed */
    2088                 :            :   0,               /* todo_flags_start */
    2089                 :            :   TODO_update_ssa, /* todo_flags_finish */
    2090                 :            : };
    2091                 :            : 
    2092                 :            : class pass_store_merging : public gimple_opt_pass
    2093                 :            : {
    2094                 :            : public:
    2095                 :     200773 :   pass_store_merging (gcc::context *ctxt)
    2096                 :     200773 :     : gimple_opt_pass (pass_data_tree_store_merging, ctxt), m_stores_head ()
    2097                 :            :   {
    2098                 :     200773 :   }
    2099                 :            : 
    2100                 :            :   /* Pass not supported for PDP-endian, nor for insane hosts or
    2101                 :            :      target character sizes where native_{encode,interpret}_expr
    2102                 :            :      doesn't work properly.  */
    2103                 :            :   virtual bool
    2104                 :     686787 :   gate (function *)
    2105                 :            :   {
    2106                 :     686787 :     return flag_store_merging
    2107                 :            :            && BYTES_BIG_ENDIAN == WORDS_BIG_ENDIAN
    2108                 :            :            && CHAR_BIT == 8
    2109                 :     686787 :            && BITS_PER_UNIT == 8;
    2110                 :            :   }
    2111                 :            : 
    2112                 :            :   virtual unsigned int execute (function *);
    2113                 :            : 
    2114                 :            : private:
    2115                 :            :   hash_map<tree_operand_hash, class imm_store_chain_info *> m_stores;
    2116                 :            : 
    2117                 :            :   /* Form a doubly-linked stack of the elements of m_stores, so that
    2118                 :            :      we can iterate over them in a predictable way.  Using this order
    2119                 :            :      avoids extraneous differences in the compiler output just because
    2120                 :            :      of tree pointer variations (e.g. different chains end up in
    2121                 :            :      different positions of m_stores, so they are handled in different
    2122                 :            :      orders, so they allocate or release SSA names in different
    2123                 :            :      orders, and when they get reused, subsequent passes end up
    2124                 :            :      getting different SSA names, which may ultimately change
    2125                 :            :      decisions when going out of SSA).  */
    2126                 :            :   imm_store_chain_info *m_stores_head;
    2127                 :            : 
    2128                 :            :   bool process_store (gimple *);
    2129                 :            :   bool terminate_and_process_chain (imm_store_chain_info *);
    2130                 :            :   bool terminate_all_aliasing_chains (imm_store_chain_info **, gimple *);
    2131                 :            :   bool terminate_and_process_all_chains ();
    2132                 :            : }; // class pass_store_merging
    2133                 :            : 
    2134                 :            : /* Terminate and process all recorded chains.  Return true if any changes
    2135                 :            :    were made.  */
    2136                 :            : 
    2137                 :            : bool
    2138                 :     857075 : pass_store_merging::terminate_and_process_all_chains ()
    2139                 :            : {
    2140                 :     857075 :   bool ret = false;
    2141                 :    1633660 :   while (m_stores_head)
    2142                 :     776582 :     ret |= terminate_and_process_chain (m_stores_head);
    2143                 :     857075 :   gcc_assert (m_stores.is_empty ());
    2144                 :     857075 :   return ret;
    2145                 :            : }
    2146                 :            : 
    2147                 :            : /* Terminate all chains that are affected by the statement STMT.
    2148                 :            :    CHAIN_INFO is the chain we should ignore from the checks if
    2149                 :            :    non-NULL.  Return true if any changes were made.  */
    2150                 :            : 
    2151                 :            : bool
    2152                 :    7638350 : pass_store_merging::terminate_all_aliasing_chains (imm_store_chain_info
    2153                 :            :                                                      **chain_info,
    2154                 :            :                                                    gimple *stmt)
    2155                 :            : {
    2156                 :    7638350 :   bool ret = false;
    2157                 :            : 
    2158                 :            :   /* If the statement doesn't touch memory it can't alias.  */
    2159                 :   14928300 :   if (!gimple_vuse (stmt))
    2160                 :            :     return false;
    2161                 :            : 
    2162                 :    6490540 :   tree store_lhs = gimple_store_p (stmt) ? gimple_get_lhs (stmt) : NULL_TREE;
    2163                 :    6490540 :   ao_ref store_lhs_ref;
    2164                 :    6490540 :   ao_ref_init (&store_lhs_ref, store_lhs);
    2165                 :    6490540 :   for (imm_store_chain_info *next = m_stores_head, *cur = next; cur; cur = next)
    2166                 :            :     {
    2167                 :    7148140 :       next = cur->next;
    2168                 :            : 
    2169                 :            :       /* We already checked all the stores in chain_info and terminated the
    2170                 :            :          chain if necessary.  Skip it here.  */
    2171                 :    7148140 :       if (chain_info && *chain_info == cur)
    2172                 :    1362040 :         continue;
    2173                 :            : 
    2174                 :            :       store_immediate_info *info;
    2175                 :            :       unsigned int i;
    2176                 :   30255100 :       FOR_EACH_VEC_ELT (cur->m_store_info, i, info)
    2177                 :            :         {
    2178                 :   11529500 :           tree lhs = gimple_assign_lhs (info->stmt);
    2179                 :   11529500 :           ao_ref lhs_ref;
    2180                 :   11529500 :           ao_ref_init (&lhs_ref, lhs);
    2181                 :   11529500 :           if (ref_maybe_used_by_stmt_p (stmt, &lhs_ref)
    2182                 :   10946300 :               || stmt_may_clobber_ref_p_1 (stmt, &lhs_ref)
    2183                 :   22390300 :               || (store_lhs && refs_may_alias_p_1 (&store_lhs_ref,
    2184                 :            :                                                    &lhs_ref, false)))
    2185                 :            :             {
    2186                 :     699196 :               if (dump_file && (dump_flags & TDF_DETAILS))
    2187                 :            :                 {
    2188                 :         25 :                   fprintf (dump_file, "stmt causes chain termination:\n");
    2189                 :         25 :                   print_gimple_stmt (dump_file, stmt, 0);
    2190                 :            :                 }
    2191                 :     699196 :               ret |= terminate_and_process_chain (cur);
    2192                 :     699196 :               break;
    2193                 :            :             }
    2194                 :            :         }
    2195                 :            :     }
    2196                 :            : 
    2197                 :            :   return ret;
    2198                 :            : }
    2199                 :            : 
    2200                 :            : /* Helper function.  Terminate the recorded chain storing to base object
    2201                 :            :    BASE.  Return true if the merging and output was successful.  The m_stores
    2202                 :            :    entry is removed after the processing in any case.  */
    2203                 :            : 
    2204                 :            : bool
    2205                 :    1476990 : pass_store_merging::terminate_and_process_chain (imm_store_chain_info *chain_info)
    2206                 :            : {
    2207                 :    1476990 :   bool ret = chain_info->terminate_and_process_chain ();
    2208                 :    1476990 :   m_stores.remove (chain_info->base_addr);
    2209                 :    1476990 :   delete chain_info;
    2210                 :    1476990 :   return ret;
    2211                 :            : }
    2212                 :            : 
    2213                 :            : /* Return true if stmts in between FIRST (inclusive) and LAST (exclusive)
    2214                 :            :    may clobber REF.  FIRST and LAST must have non-NULL vdef.  We want to
    2215                 :            :    be able to sink load of REF across stores between FIRST and LAST, up
    2216                 :            :    to right before LAST.  */
    2217                 :            : 
    2218                 :            : bool
    2219                 :      83426 : stmts_may_clobber_ref_p (gimple *first, gimple *last, tree ref)
    2220                 :            : {
    2221                 :      83426 :   ao_ref r;
    2222                 :      83426 :   ao_ref_init (&r, ref);
    2223                 :      83426 :   unsigned int count = 0;
    2224                 :      83426 :   tree vop = gimple_vdef (last);
    2225                 :      83426 :   gimple *stmt;
    2226                 :            : 
    2227                 :            :   /* Return true conservatively if the basic blocks are different.  */
    2228                 :      83426 :   if (gimple_bb (first) != gimple_bb (last))
    2229                 :            :     return true;
    2230                 :            : 
    2231                 :     193752 :   do
    2232                 :            :     {
    2233                 :     193752 :       stmt = SSA_NAME_DEF_STMT (vop);
    2234                 :     193752 :       if (stmt_may_clobber_ref_p_1 (stmt, &r))
    2235                 :            :         return true;
    2236                 :     190322 :       if (gimple_store_p (stmt)
    2237                 :     190322 :           && refs_anti_dependent_p (ref, gimple_get_lhs (stmt)))
    2238                 :            :         return true;
    2239                 :            :       /* Avoid quadratic compile time by bounding the number of checks
    2240                 :            :          we perform.  */
    2241                 :     188878 :       if (++count > MAX_STORE_ALIAS_CHECKS)
    2242                 :            :         return true;
    2243                 :     188878 :       vop = gimple_vuse (stmt);
    2244                 :            :     }
    2245                 :     188878 :   while (stmt != first);
    2246                 :            : 
    2247                 :            :   return false;
    2248                 :            : }
    2249                 :            : 
    2250                 :            : /* Return true if INFO->ops[IDX] is mergeable with the
    2251                 :            :    corresponding loads already in MERGED_STORE group.
    2252                 :            :    BASE_ADDR is the base address of the whole store group.  */
    2253                 :            : 
    2254                 :            : bool
    2255                 :     240334 : compatible_load_p (merged_store_group *merged_store,
    2256                 :            :                    store_immediate_info *info,
    2257                 :            :                    tree base_addr, int idx)
    2258                 :            : {
    2259                 :     240334 :   store_immediate_info *infof = merged_store->stores[0];
    2260                 :     240334 :   if (!info->ops[idx].base_addr
    2261                 :     240334 :       || maybe_ne (info->ops[idx].bitpos - infof->ops[idx].bitpos,
    2262                 :     240334 :                    info->bitpos - infof->bitpos)
    2263                 :     452775 :       || !operand_equal_p (info->ops[idx].base_addr,
    2264                 :     212441 :                            infof->ops[idx].base_addr, 0))
    2265                 :      31074 :     return false;
    2266                 :            : 
    2267                 :     209260 :   store_immediate_info *infol = merged_store->stores.last ();
    2268                 :     209260 :   tree load_vuse = gimple_vuse (info->ops[idx].stmt);
    2269                 :            :   /* In this case all vuses should be the same, e.g.
    2270                 :            :      _1 = s.a; _2 = s.b; _3 = _1 | 1; t.a = _3; _4 = _2 | 2; t.b = _4;
    2271                 :            :      or
    2272                 :            :      _1 = s.a; _2 = s.b; t.a = _1; t.b = _2;
    2273                 :            :      and we can emit the coalesced load next to any of those loads.  */
    2274                 :     209260 :   if (gimple_vuse (infof->ops[idx].stmt) == load_vuse
    2275                 :     384224 :       && gimple_vuse (infol->ops[idx].stmt) == load_vuse)
    2276                 :            :     return true;
    2277                 :            : 
    2278                 :            :   /* Otherwise, at least for now require that the load has the same
    2279                 :            :      vuse as the store.  See following examples.  */
    2280                 :      68592 :   if (gimple_vuse (info->stmt) != load_vuse)
    2281                 :            :     return false;
    2282                 :            : 
    2283                 :      61594 :   if (gimple_vuse (infof->stmt) != gimple_vuse (infof->ops[idx].stmt)
    2284                 :      30797 :       || (infof != infol
    2285                 :      46686 :           && gimple_vuse (infol->stmt) != gimple_vuse (infol->ops[idx].stmt)))
    2286                 :            :     return false;
    2287                 :            : 
    2288                 :            :   /* If the load is from the same location as the store, already
    2289                 :            :      the construction of the immediate chain info guarantees no intervening
    2290                 :            :      stores, so no further checks are needed.  Example:
    2291                 :            :      _1 = s.a; _2 = _1 & -7; s.a = _2; _3 = s.b; _4 = _3 & -7; s.b = _4;  */
    2292                 :      30156 :   if (known_eq (info->ops[idx].bitpos, info->bitpos)
    2293                 :      30156 :       && operand_equal_p (info->ops[idx].base_addr, base_addr, 0))
    2294                 :            :     return true;
    2295                 :            : 
    2296                 :            :   /* Otherwise, we need to punt if any of the loads can be clobbered by any
    2297                 :            :      of the stores in the group, or any other stores in between those.
    2298                 :            :      Previous calls to compatible_load_p ensured that for all the
    2299                 :            :      merged_store->stores IDX loads, no stmts starting with
    2300                 :            :      merged_store->first_stmt and ending right before merged_store->last_stmt
    2301                 :            :      clobbers those loads.  */
    2302                 :      30016 :   gimple *first = merged_store->first_stmt;
    2303                 :      30016 :   gimple *last = merged_store->last_stmt;
    2304                 :      30016 :   unsigned int i;
    2305                 :      30016 :   store_immediate_info *infoc;
    2306                 :            :   /* The stores are sorted by increasing store bitpos, so if info->stmt store
    2307                 :            :      comes before the so far first load, we'll be changing
    2308                 :            :      merged_store->first_stmt.  In that case we need to give up if
    2309                 :            :      any of the earlier processed loads clobber with the stmts in the new
    2310                 :            :      range.  */
    2311                 :      30016 :   if (info->order < merged_store->first_order)
    2312                 :            :     {
    2313                 :       1026 :       FOR_EACH_VEC_ELT (merged_store->stores, i, infoc)
    2314                 :        846 :         if (stmts_may_clobber_ref_p (info->stmt, first, infoc->ops[idx].val))
    2315                 :            :           return false;
    2316                 :        180 :       first = info->stmt;
    2317                 :            :     }
    2318                 :            :   /* Similarly, we could change merged_store->last_stmt, so ensure
    2319                 :            :      in that case no stmts in the new range clobber any of the earlier
    2320                 :            :      processed loads.  */
    2321                 :      29177 :   else if (info->order > merged_store->last_order)
    2322                 :            :     {
    2323                 :      82182 :       FOR_EACH_VEC_ELT (merged_store->stores, i, infoc)
    2324                 :      57127 :         if (stmts_may_clobber_ref_p (last, info->stmt, infoc->ops[idx].val))
    2325                 :            :           return false;
    2326                 :      25055 :       last = info->stmt;
    2327                 :            :     }
    2328                 :            :   /* And finally, we'd be adding a new load to the set, ensure it isn't
    2329                 :            :      clobbered in the new range.  */
    2330                 :      25240 :   if (stmts_may_clobber_ref_p (first, last, info->ops[idx].val))
    2331                 :         54 :     return false;
    2332                 :            : 
    2333                 :            :   /* Otherwise, we are looking for:
    2334                 :            :      _1 = s.a; _2 = _1 ^ 15; t.a = _2; _3 = s.b; _4 = _3 ^ 15; t.b = _4;
    2335                 :            :      or
    2336                 :            :      _1 = s.a; t.a = _1; _2 = s.b; t.b = _2;  */
    2337                 :            :   return true;
    2338                 :            : }
    2339                 :            : 
    2340                 :            : /* Add all refs loaded to compute VAL to REFS vector.  */
    2341                 :            : 
    2342                 :            : void
    2343                 :        387 : gather_bswap_load_refs (vec<tree> *refs, tree val)
    2344                 :            : {
    2345                 :        387 :   if (TREE_CODE (val) != SSA_NAME)
    2346                 :            :     return;
    2347                 :            : 
    2348                 :        385 :   gimple *stmt = SSA_NAME_DEF_STMT (val);
    2349                 :        385 :   if (!is_gimple_assign (stmt))
    2350                 :            :     return;
    2351                 :            : 
    2352                 :        385 :   if (gimple_assign_load_p (stmt))
    2353                 :            :     {
    2354                 :        359 :       refs->safe_push (gimple_assign_rhs1 (stmt));
    2355                 :        359 :       return;
    2356                 :            :     }
    2357                 :            : 
    2358                 :         26 :   switch (gimple_assign_rhs_class (stmt))
    2359                 :            :     {
    2360                 :          2 :     case GIMPLE_BINARY_RHS:
    2361                 :          2 :       gather_bswap_load_refs (refs, gimple_assign_rhs2 (stmt));
    2362                 :            :       /* FALLTHRU */
    2363                 :         26 :     case GIMPLE_UNARY_RHS:
    2364                 :         26 :       gather_bswap_load_refs (refs, gimple_assign_rhs1 (stmt));
    2365                 :         26 :       break;
    2366                 :          0 :     default:
    2367                 :          0 :       gcc_unreachable ();
    2368                 :            :     }
    2369                 :            : }
    2370                 :            : 
    2371                 :            : /* Check if there are any stores in M_STORE_INFO after index I
    2372                 :            :    (where M_STORE_INFO must be sorted by sort_by_bitpos) that overlap
    2373                 :            :    a potential group ending with END that have their order
    2374                 :            :    smaller than LAST_ORDER.  ALL_INTEGER_CST_P is true if
    2375                 :            :    all the stores already merged and the one under consideration
    2376                 :            :    have rhs_code of INTEGER_CST.  Return true if there are no such stores.
    2377                 :            :    Consider:
    2378                 :            :      MEM[(long long int *)p_28] = 0;
    2379                 :            :      MEM[(long long int *)p_28 + 8B] = 0;
    2380                 :            :      MEM[(long long int *)p_28 + 16B] = 0;
    2381                 :            :      MEM[(long long int *)p_28 + 24B] = 0;
    2382                 :            :      _129 = (int) _130;
    2383                 :            :      MEM[(int *)p_28 + 8B] = _129;
    2384                 :            :      MEM[(int *)p_28].a = -1;
    2385                 :            :    We already have
    2386                 :            :      MEM[(long long int *)p_28] = 0;
    2387                 :            :      MEM[(int *)p_28].a = -1;
    2388                 :            :    stmts in the current group and need to consider if it is safe to
    2389                 :            :    add MEM[(long long int *)p_28 + 8B] = 0; store into the same group.
    2390                 :            :    There is an overlap between that store and the MEM[(int *)p_28 + 8B] = _129;
    2391                 :            :    store though, so if we add the MEM[(long long int *)p_28 + 8B] = 0;
    2392                 :            :    into the group and merging of those 3 stores is successful, merged
    2393                 :            :    stmts will be emitted at the latest store from that group, i.e.
    2394                 :            :    LAST_ORDER, which is the MEM[(int *)p_28].a = -1; store.
    2395                 :            :    The MEM[(int *)p_28 + 8B] = _129; store that originally follows
    2396                 :            :    the MEM[(long long int *)p_28 + 8B] = 0; would now be before it,
    2397                 :            :    so we need to refuse merging MEM[(long long int *)p_28 + 8B] = 0;
    2398                 :            :    into the group.  That way it will be its own store group and will
    2399                 :            :    not be touched.  If ALL_INTEGER_CST_P and there are overlapping
    2400                 :            :    INTEGER_CST stores, those are mergeable using merge_overlapping,
    2401                 :            :    so don't return false for those.  */
    2402                 :            : 
    2403                 :            : static bool
    2404                 :     981562 : check_no_overlap (vec<store_immediate_info *> m_store_info, unsigned int i,
    2405                 :            :                   bool all_integer_cst_p, unsigned int last_order,
    2406                 :            :                   unsigned HOST_WIDE_INT end)
    2407                 :            : {
    2408                 :     981562 :   unsigned int len = m_store_info.length ();
    2409                 :    1108670 :   for (++i; i < len; ++i)
    2410                 :            :     {
    2411                 :     659345 :       store_immediate_info *info = m_store_info[i];
    2412                 :     659345 :       if (info->bitpos >= end)
    2413                 :            :         break;
    2414                 :     127122 :       if (info->order < last_order
    2415                 :      29010 :           && (!all_integer_cst_p || info->rhs_code != INTEGER_CST))
    2416                 :            :         return false;
    2417                 :            :     }
    2418                 :            :   return true;
    2419                 :            : }
    2420                 :            : 
    2421                 :            : /* Return true if m_store_info[first] and at least one following store
    2422                 :            :    form a group which store try_size bitsize value which is byte swapped
    2423                 :            :    from a memory load or some value, or identity from some value.
    2424                 :            :    This uses the bswap pass APIs.  */
    2425                 :            : 
    2426                 :            : bool
    2427                 :      95552 : imm_store_chain_info::try_coalesce_bswap (merged_store_group *merged_store,
    2428                 :            :                                           unsigned int first,
    2429                 :            :                                           unsigned int try_size)
    2430                 :            : {
    2431                 :      95552 :   unsigned int len = m_store_info.length (), last = first;
    2432                 :      95552 :   unsigned HOST_WIDE_INT width = m_store_info[first]->bitsize;
    2433                 :      95552 :   if (width >= try_size)
    2434                 :            :     return false;
    2435                 :      82859 :   for (unsigned int i = first + 1; i < len; ++i)
    2436                 :            :     {
    2437                 :      77487 :       if (m_store_info[i]->bitpos != m_store_info[first]->bitpos + width
    2438                 :      77487 :           || m_store_info[i]->ins_stmt == NULL)
    2439                 :            :         return false;
    2440                 :      75790 :       width += m_store_info[i]->bitsize;
    2441                 :      75790 :       if (width >= try_size)
    2442                 :            :         {
    2443                 :            :           last = i;
    2444                 :            :           break;
    2445                 :            :         }
    2446                 :            :     }
    2447                 :      36133 :   if (width != try_size)
    2448                 :            :     return false;
    2449                 :            : 
    2450                 :      30649 :   bool allow_unaligned
    2451                 :      30649 :     = !STRICT_ALIGNMENT && param_store_merging_allow_unaligned;
    2452                 :            :   /* Punt if the combined store would not be aligned and we need alignment.  */
    2453                 :      30649 :   if (!allow_unaligned)
    2454                 :            :     {
    2455                 :          0 :       unsigned int align = merged_store->align;
    2456                 :          0 :       unsigned HOST_WIDE_INT align_base = merged_store->align_base;
    2457                 :          0 :       for (unsigned int i = first + 1; i <= last; ++i)
    2458                 :            :         {
    2459                 :          0 :           unsigned int this_align;
    2460                 :          0 :           unsigned HOST_WIDE_INT align_bitpos = 0;
    2461                 :          0 :           get_object_alignment_1 (gimple_assign_lhs (m_store_info[i]->stmt),
    2462                 :            :                                   &this_align, &align_bitpos);
    2463                 :          0 :           if (this_align > align)
    2464                 :            :             {
    2465                 :          0 :               align = this_align;
    2466                 :          0 :               align_base = m_store_info[i]->bitpos - align_bitpos;
    2467                 :            :             }
    2468                 :            :         }
    2469                 :          0 :       unsigned HOST_WIDE_INT align_bitpos
    2470                 :          0 :         = (m_store_info[first]->bitpos - align_base) & (align - 1);
    2471                 :          0 :       if (align_bitpos)
    2472                 :          0 :         align = least_bit_hwi (align_bitpos);
    2473                 :          0 :       if (align < try_size)
    2474                 :            :         return false;
    2475                 :            :     }
    2476                 :            : 
    2477                 :      30649 :   tree type;
    2478                 :      30649 :   switch (try_size)
    2479                 :            :     {
    2480                 :       6701 :     case 16: type = uint16_type_node; break;
    2481                 :       7098 :     case 32: type = uint32_type_node; break;
    2482                 :      16850 :     case 64: type = uint64_type_node; break;
    2483                 :          0 :     default: gcc_unreachable ();
    2484                 :            :     }
    2485                 :      30649 :   struct symbolic_number n;
    2486                 :      30649 :   gimple *ins_stmt = NULL;
    2487                 :      30649 :   int vuse_store = -1;
    2488                 :      30649 :   unsigned int first_order = merged_store->first_order;
    2489                 :      30649 :   unsigned int last_order = merged_store->last_order;
    2490                 :      30649 :   gimple *first_stmt = merged_store->first_stmt;
    2491                 :      30649 :   gimple *last_stmt = merged_store->last_stmt;
    2492                 :      30649 :   unsigned HOST_WIDE_INT end = merged_store->start + merged_store->width;
    2493                 :      30649 :   store_immediate_info *infof = m_store_info[first];
    2494                 :            : 
    2495                 :      88321 :   for (unsigned int i = first; i <= last; ++i)
    2496                 :            :     {
    2497                 :      73968 :       store_immediate_info *info = m_store_info[i];
    2498                 :      73968 :       struct symbolic_number this_n = info->n;
    2499                 :      73968 :       this_n.type = type;
    2500                 :      73968 :       if (!this_n.base_addr)
    2501                 :      17449 :         this_n.range = try_size / BITS_PER_UNIT;
    2502                 :            :       else
    2503                 :            :         /* Update vuse in case it has changed by output_merged_stores.  */
    2504                 :     113038 :         this_n.vuse = gimple_vuse (info->ins_stmt);
    2505                 :      73968 :       unsigned int bitpos = info->bitpos - infof->bitpos;
    2506                 :      73968 :       if (!do_shift_rotate (LSHIFT_EXPR, &this_n,
    2507                 :            :                             BYTES_BIG_ENDIAN
    2508                 :            :                             ? try_size - info->bitsize - bitpos
    2509                 :            :                             : bitpos))
    2510                 :      16296 :         return false;
    2511                 :      73968 :       if (this_n.base_addr && vuse_store)
    2512                 :            :         {
    2513                 :            :           unsigned int j;
    2514                 :      87147 :           for (j = first; j <= last; ++j)
    2515                 :     144806 :             if (this_n.vuse == gimple_vuse (m_store_info[j]->stmt))
    2516                 :            :               break;
    2517                 :      31864 :           if (j > last)
    2518                 :            :             {
    2519                 :      14744 :               if (vuse_store == 1)
    2520                 :            :                 return false;
    2521                 :            :               vuse_store = 0;
    2522                 :            :             }
    2523                 :            :         }
    2524                 :      73968 :       if (i == first)
    2525                 :            :         {
    2526                 :      30649 :           n = this_n;
    2527                 :      30649 :           ins_stmt = info->ins_stmt;
    2528                 :            :         }
    2529                 :            :       else
    2530                 :            :         {
    2531                 :      43319 :           if (n.base_addr && n.vuse != this_n.vuse)
    2532                 :            :             {
    2533                 :       6324 :               if (vuse_store == 0)
    2534                 :            :                 return false;
    2535                 :            :               vuse_store = 1;
    2536                 :            :             }
    2537                 :      40113 :           if (info->order > last_order)
    2538                 :            :             {
    2539                 :      36659 :               last_order = info->order;
    2540                 :      36659 :               last_stmt = info->stmt;
    2541                 :            :             }
    2542                 :       3454 :           else if (info->order < first_order)
    2543                 :            :             {
    2544                 :       3405 :               first_order = info->order;
    2545                 :       3405 :               first_stmt = info->stmt;
    2546                 :            :             }
    2547                 :      40113 :           end = MAX (end, info->bitpos + info->bitsize);
    2548                 :            : 
    2549                 :      40113 :           ins_stmt = perform_symbolic_merge (ins_stmt, &n, info->ins_stmt,
    2550                 :            :                                              &this_n, &n);
    2551                 :      40113 :           if (ins_stmt == NULL)
    2552                 :            :             return false;
    2553                 :            :         }
    2554                 :            :     }
    2555                 :            : 
    2556                 :      14353 :   uint64_t cmpxchg, cmpnop;
    2557                 :      14353 :   find_bswap_or_nop_finalize (&n, &cmpxchg, &cmpnop);
    2558                 :            : 
    2559                 :            :   /* A complete byte swap should make the symbolic number to start with
    2560                 :            :      the largest digit in the highest order byte.  Unchanged symbolic
    2561                 :            :      number indicates a read with same endianness as target architecture.  */
    2562                 :      14353 :   if (n.n != cmpnop && n.n != cmpxchg)
    2563                 :            :     return false;
    2564                 :            : 
    2565                 :       8233 :   if (n.base_addr == NULL_TREE && !is_gimple_val (n.src))
    2566                 :            :     return false;
    2567                 :            : 
    2568                 :       8233 :   if (!check_no_overlap (m_store_info, last, false, last_order, end))
    2569                 :            :     return false;
    2570                 :            : 
    2571                 :            :   /* Don't handle memory copy this way if normal non-bswap processing
    2572                 :            :      would handle it too.  */
    2573                 :       8233 :   if (n.n == cmpnop && (unsigned) n.n_ops == last - first + 1)
    2574                 :            :     {
    2575                 :            :       unsigned int i;
    2576                 :      23796 :       for (i = first; i <= last; ++i)
    2577                 :      16553 :         if (m_store_info[i]->rhs_code != MEM_REF)
    2578                 :            :           break;
    2579                 :       7471 :       if (i == last + 1)
    2580                 :            :         return false;
    2581                 :            :     }
    2582                 :            : 
    2583                 :        990 :   if (n.n == cmpxchg)
    2584                 :        762 :     switch (try_size)
    2585                 :            :       {
    2586                 :            :       case 16:
    2587                 :            :         /* Will emit LROTATE_EXPR.  */
    2588                 :            :         break;
    2589                 :        184 :       case 32:
    2590                 :        184 :         if (builtin_decl_explicit_p (BUILT_IN_BSWAP32)
    2591                 :        321 :             && optab_handler (bswap_optab, SImode) != CODE_FOR_nothing)
    2592                 :            :           break;
    2593                 :         47 :         return false;
    2594                 :         71 :       case 64:
    2595                 :         71 :         if (builtin_decl_explicit_p (BUILT_IN_BSWAP64)
    2596                 :        103 :             && optab_handler (bswap_optab, DImode) != CODE_FOR_nothing)
    2597                 :            :           break;
    2598                 :         51 :         return false;
    2599                 :          0 :       default:
    2600                 :          0 :         gcc_unreachable ();
    2601                 :            :       }
    2602                 :            : 
    2603                 :        892 :   if (!allow_unaligned && n.base_addr)
    2604                 :            :     {
    2605                 :          0 :       unsigned int align = get_object_alignment (n.src);
    2606                 :          0 :       if (align < try_size)
    2607                 :            :         return false;
    2608                 :            :     }
    2609                 :            : 
    2610                 :            :   /* If each load has vuse of the corresponding store, need to verify
    2611                 :            :      the loads can be sunk right before the last store.  */
    2612                 :        892 :   if (vuse_store == 1)
    2613                 :            :     {
    2614                 :        186 :       auto_vec<tree, 64> refs;
    2615                 :        480 :       for (unsigned int i = first; i <= last; ++i)
    2616                 :        359 :         gather_bswap_load_refs (&refs,
    2617                 :        359 :                                 gimple_assign_rhs1 (m_store_info[i]->stmt));
    2618                 :            : 
    2619                 :            :       unsigned int i;
    2620                 :            :       tree ref;
    2621                 :        278 :       FOR_EACH_VEC_ELT (refs, i, ref)
    2622                 :        213 :         if (stmts_may_clobber_ref_p (first_stmt, last_stmt, ref))
    2623                 :        112 :           return false;
    2624                 :         65 :       n.vuse = NULL_TREE;
    2625                 :            :     }
    2626                 :            : 
    2627                 :        836 :   infof->n = n;
    2628                 :        836 :   infof->ins_stmt = ins_stmt;
    2629                 :       3048 :   for (unsigned int i = first; i <= last; ++i)
    2630                 :            :     {
    2631                 :       2884 :       m_store_info[i]->rhs_code = n.n == cmpxchg ? LROTATE_EXPR : NOP_EXPR;
    2632                 :       2212 :       m_store_info[i]->ops[0].base_addr = NULL_TREE;
    2633                 :       2212 :       m_store_info[i]->ops[1].base_addr = NULL_TREE;
    2634                 :       2212 :       if (i != first)
    2635                 :       1376 :         merged_store->merge_into (m_store_info[i]);
    2636                 :            :     }
    2637                 :            : 
    2638                 :            :   return true;
    2639                 :            : }
    2640                 :            : 
    2641                 :            : /* Go through the candidate stores recorded in m_store_info and merge them
    2642                 :            :    into merged_store_group objects recorded into m_merged_store_groups
    2643                 :            :    representing the widened stores.  Return true if coalescing was successful
    2644                 :            :    and the number of widened stores is fewer than the original number
    2645                 :            :    of stores.  */
    2646                 :            : 
    2647                 :            : bool
    2648                 :     533254 : imm_store_chain_info::coalesce_immediate_stores ()
    2649                 :            : {
    2650                 :            :   /* Anything less can't be processed.  */
    2651                 :     533254 :   if (m_store_info.length () < 2)
    2652                 :            :     return false;
    2653                 :            : 
    2654                 :     533254 :   if (dump_file && (dump_flags & TDF_DETAILS))
    2655                 :         26 :     fprintf (dump_file, "Attempting to coalesce %u stores in chain\n",
    2656                 :            :              m_store_info.length ());
    2657                 :            : 
    2658                 :     533254 :   store_immediate_info *info;
    2659                 :     533254 :   unsigned int i, ignore = 0;
    2660                 :            : 
    2661                 :            :   /* Order the stores by the bitposition they write to.  */
    2662                 :     533254 :   m_store_info.qsort (sort_by_bitpos);
    2663                 :            : 
    2664                 :     533254 :   info = m_store_info[0];
    2665                 :     533254 :   merged_store_group *merged_store = new merged_store_group (info);
    2666                 :     533254 :   if (dump_file && (dump_flags & TDF_DETAILS))
    2667                 :         26 :     fputs ("New store group\n", dump_file);
    2668                 :            : 
    2669                 :    2428550 :   FOR_EACH_VEC_ELT (m_store_info, i, info)
    2670                 :            :     {
    2671                 :    1895300 :       unsigned HOST_WIDE_INT new_bitregion_start, new_bitregion_end;
    2672                 :            : 
    2673                 :    1895300 :       if (i <= ignore)
    2674                 :     642606 :         goto done;
    2675                 :            : 
    2676                 :            :       /* First try to handle group of stores like:
    2677                 :            :          p[0] = data >> 24;
    2678                 :            :          p[1] = data >> 16;
    2679                 :            :          p[2] = data >> 8;
    2680                 :            :          p[3] = data;
    2681                 :            :          using the bswap framework.  */
    2682                 :    1252690 :       if (info->bitpos == merged_store->start + merged_store->width
    2683                 :     933226 :           && merged_store->stores.length () == 1
    2684                 :     487214 :           && merged_store->stores[0]->ins_stmt != NULL
    2685                 :    1297920 :           && info->ins_stmt != NULL)
    2686                 :            :         {
    2687                 :            :           unsigned int try_size;
    2688                 :     126684 :           for (try_size = 64; try_size >= 16; try_size >>= 1)
    2689                 :      95552 :             if (try_coalesce_bswap (merged_store, i - 1, try_size))
    2690                 :            :               break;
    2691                 :            : 
    2692                 :      31968 :           if (try_size >= 16)
    2693                 :            :             {
    2694                 :        836 :               ignore = i + merged_store->stores.length () - 1;
    2695                 :        836 :               m_merged_store_groups.safe_push (merged_store);
    2696                 :       1672 :               if (ignore < m_store_info.length ())
    2697                 :        357 :                 merged_store = new merged_store_group (m_store_info[ignore]);
    2698                 :            :               else
    2699                 :        479 :                 merged_store = NULL;
    2700                 :        836 :               goto done;
    2701                 :            :             }
    2702                 :            :         }
    2703                 :            : 
    2704                 :    1251860 :       new_bitregion_start
    2705                 :    1251860 :         = MIN (merged_store->bitregion_start, info->bitregion_start);
    2706                 :    1251860 :       new_bitregion_end
    2707                 :    1251860 :         = MAX (merged_store->bitregion_end, info->bitregion_end);
    2708                 :            : 
    2709                 :    1251860 :       if (info->order >= merged_store->first_nonmergeable_order
    2710                 :    1247810 :           || (((new_bitregion_end - new_bitregion_start + 1) / BITS_PER_UNIT)
    2711                 :    1247810 :               > (unsigned) param_store_merging_max_size))
    2712                 :            :         ;
    2713                 :            : 
    2714                 :            :       /* |---store 1---|
    2715                 :            :                |---store 2---|
    2716                 :            :          Overlapping stores.  */
    2717                 :    1247730 :       else if (IN_RANGE (info->bitpos, merged_store->start,
    2718                 :            :                          merged_store->start + merged_store->width - 1)
    2719                 :            :                /* |---store 1---||---store 2---|
    2720                 :            :                   Handle also the consecutive INTEGER_CST stores case here,
    2721                 :            :                   as we have here the code to deal with overlaps.  */
    2722                 :    1247730 :                || (info->bitregion_start <= merged_store->bitregion_end
    2723                 :     932762 :                    && info->rhs_code == INTEGER_CST
    2724                 :     655691 :                    && merged_store->only_constants
    2725                 :     632097 :                    && merged_store->can_be_merged_into (info)))
    2726                 :            :         {
    2727                 :            :           /* Only allow overlapping stores of constants.  */
    2728                 :     745245 :           if (info->rhs_code == INTEGER_CST
    2729                 :     733253 :               && merged_store->only_constants
    2730                 :     733232 :               && info->lp_nr == merged_store->lp_nr)
    2731                 :            :             {
    2732                 :     733231 :               unsigned int last_order
    2733                 :     733231 :                 = MAX (merged_store->last_order, info->order);
    2734                 :     733231 :               unsigned HOST_WIDE_INT end
    2735                 :     733231 :                 = MAX (merged_store->start + merged_store->width,
    2736                 :            :                        info->bitpos + info->bitsize);
    2737                 :     733231 :               if (check_no_overlap (m_store_info, i, true, last_order, end))
    2738                 :            :                 {
    2739                 :            :                   /* check_no_overlap call above made sure there are no
    2740                 :            :                      overlapping stores with non-INTEGER_CST rhs_code
    2741                 :            :                      in between the first and last of the stores we've
    2742                 :            :                      just merged.  If there are any INTEGER_CST rhs_code
    2743                 :            :                      stores in between, we need to merge_overlapping them
    2744                 :            :                      even if in the sort_by_bitpos order there are other
    2745                 :            :                      overlapping stores in between.  Keep those stores as is.
    2746                 :            :                      Example:
    2747                 :            :                         MEM[(int *)p_28] = 0;
    2748                 :            :                         MEM[(char *)p_28 + 3B] = 1;
    2749                 :            :                         MEM[(char *)p_28 + 1B] = 2;
    2750                 :            :                         MEM[(char *)p_28 + 2B] = MEM[(char *)p_28 + 6B];
    2751                 :            :                      We can't merge the zero store with the store of two and
    2752                 :            :                      not merge anything else, because the store of one is
    2753                 :            :                      in the original order in between those two, but in
    2754                 :            :                      store_by_bitpos order it comes after the last store that
    2755                 :            :                      we can't merge with them.  We can merge the first 3 stores
    2756                 :            :                      and keep the last store as is though.  */
    2757                 :     733214 :                   unsigned int len = m_store_info.length ();
    2758                 :     733214 :                   unsigned int try_order = last_order;
    2759                 :     733214 :                   unsigned int first_nonmergeable_order;
    2760                 :     733214 :                   unsigned int k;
    2761                 :     733214 :                   bool last_iter = false;
    2762                 :     733214 :                   int attempts = 0;
    2763                 :     767260 :                   do
    2764                 :            :                     {
    2765                 :     767260 :                       unsigned int max_order = 0;
    2766                 :     767260 :                       unsigned first_nonmergeable_int_order = ~0U;
    2767                 :     767260 :                       unsigned HOST_WIDE_INT this_end = end;
    2768                 :     767260 :                       k = i;
    2769                 :     767260 :                       first_nonmergeable_order = ~0U;
    2770                 :     976712 :                       for (unsigned int j = i + 1; j < len; ++j)
    2771                 :            :                         {
    2772                 :     637959 :                           store_immediate_info *info2 = m_store_info[j];
    2773                 :     637959 :                           if (info2->bitpos >= this_end)
    2774                 :            :                             break;
    2775                 :     209455 :                           if (info2->order < try_order)
    2776                 :            :                             {
    2777                 :     108571 :                               if (info2->rhs_code != INTEGER_CST
    2778                 :     108568 :                                   || info2->lp_nr != merged_store->lp_nr)
    2779                 :            :                                 {
    2780                 :            :                                   /* Normally check_no_overlap makes sure this
    2781                 :            :                                      doesn't happen, but if end grows below,
    2782                 :            :                                      then we need to process more stores than
    2783                 :            :                                      check_no_overlap verified.  Example:
    2784                 :            :                                       MEM[(int *)p_5] = 0;
    2785                 :            :                                       MEM[(short *)p_5 + 3B] = 1;
    2786                 :            :                                       MEM[(char *)p_5 + 4B] = _9;
    2787                 :            :                                       MEM[(char *)p_5 + 2B] = 2;  */
    2788                 :            :                                   k = 0;
    2789                 :            :                                   break;
    2790                 :            :                                 }
    2791                 :     108568 :                               k = j;
    2792                 :     108568 :                               this_end = MAX (this_end,
    2793                 :            :                                               info2->bitpos + info2->bitsize);
    2794                 :            :                             }
    2795                 :     100884 :                           else if (info2->rhs_code == INTEGER_CST
    2796                 :      82754 :                                    && info2->lp_nr == merged_store->lp_nr
    2797                 :      82750 :                                    && !last_iter)
    2798                 :            :                             {
    2799                 :      82750 :                               max_order = MAX (max_order, info2->order + 1);
    2800                 :      82750 :                               first_nonmergeable_int_order
    2801                 :            :                                 = MIN (first_nonmergeable_int_order,
    2802                 :            :                                        info2->order);
    2803                 :            :                             }
    2804                 :            :                           else
    2805                 :      18134 :                             first_nonmergeable_order
    2806                 :            :                               = MIN (first_nonmergeable_order, info2->order);
    2807                 :            :                         }
    2808                 :     767260 :                       if (k == 0)
    2809                 :            :                         {
    2810                 :          3 :                           if (last_order == try_order)
    2811                 :            :                             break;
    2812                 :            :                           /* If this failed, but only because we grew
    2813                 :            :                              try_order, retry with the last working one,
    2814                 :            :                              so that we merge at least something.  */
    2815                 :          0 :                           try_order = last_order;
    2816                 :          0 :                           last_iter = true;
    2817                 :          0 :                           continue;
    2818                 :            :                         }
    2819                 :     767257 :                       last_order = try_order;
    2820                 :            :                       /* Retry with a larger try_order to see if we could
    2821                 :            :                          merge some further INTEGER_CST stores.  */
    2822                 :     767257 :                       if (max_order
    2823                 :     767257 :                           && (first_nonmergeable_int_order
    2824                 :     767257 :                               < first_nonmergeable_order))
    2825                 :            :                         {
    2826                 :      34047 :                           try_order = MIN (max_order,
    2827                 :            :                                            first_nonmergeable_order);
    2828                 :      34047 :                           try_order
    2829                 :      34047 :                             = MIN (try_order,
    2830                 :            :                                    merged_store->first_nonmergeable_order);
    2831                 :      34047 :                           if (try_order > last_order && ++attempts < 16)
    2832                 :      34046 :                             continue;
    2833                 :            :                         }
    2834                 :     733211 :                       first_nonmergeable_order
    2835                 :            :                         = MIN (first_nonmergeable_order,
    2836                 :            :                                first_nonmergeable_int_order);
    2837                 :            :                       end = this_end;
    2838                 :            :                       break;
    2839                 :            :                     }
    2840                 :            :                   while (1);
    2841                 :            : 
    2842                 :     733214 :                   if (k != 0)
    2843                 :            :                     {
    2844                 :     733211 :                       merged_store->merge_overlapping (info);
    2845                 :            : 
    2846                 :     733211 :                       merged_store->first_nonmergeable_order
    2847                 :     733211 :                         = MIN (merged_store->first_nonmergeable_order,
    2848                 :            :                                first_nonmergeable_order);
    2849                 :            : 
    2850                 :     841666 :                       for (unsigned int j = i + 1; j <= k; j++)
    2851                 :            :                         {
    2852                 :     108455 :                           store_immediate_info *info2 = m_store_info[j];
    2853                 :     108455 :                           gcc_assert (info2->bitpos < end);
    2854                 :     108455 :                           if (info2->order < last_order)
    2855                 :            :                             {
    2856                 :     108442 :                               gcc_assert (info2->rhs_code == INTEGER_CST);
    2857                 :     108442 :                               if (info != info2)
    2858                 :     108442 :                                 merged_store->merge_overlapping (info2);
    2859                 :            :                             }
    2860                 :            :                           /* Other stores are kept and not merged in any
    2861                 :            :                              way.  */
    2862                 :            :                         }
    2863                 :     733211 :                       ignore = k;
    2864                 :     733211 :                       goto done;
    2865                 :            :                     }
    2866                 :            :                 }
    2867                 :            :             }
    2868                 :            :         }
    2869                 :            :       /* |---store 1---||---store 2---|
    2870                 :            :          This store is consecutive to the previous one.
    2871                 :            :          Merge it into the current store group.  There can be gaps in between
    2872                 :            :          the stores, but there can't be gaps in between bitregions.  */
    2873                 :     502482 :       else if (info->bitregion_start <= merged_store->bitregion_end
    2874                 :     502482 :                && merged_store->can_be_merged_into (info))
    2875                 :            :         {
    2876                 :     240098 :           store_immediate_info *infof = merged_store->stores[0];
    2877                 :            : 
    2878                 :            :           /* All the rhs_code ops that take 2 operands are commutative,
    2879                 :            :              swap the operands if it could make the operands compatible.  */
    2880                 :     240098 :           if (infof->ops[0].base_addr
    2881                 :     238899 :               && infof->ops[1].base_addr
    2882                 :       1437 :               && info->ops[0].base_addr
    2883                 :       1437 :               && info->ops[1].base_addr
    2884                 :       1437 :               && known_eq (info->ops[1].bitpos - infof->ops[0].bitpos,
    2885                 :            :                            info->bitpos - infof->bitpos)
    2886                 :     240663 :               && operand_equal_p (info->ops[1].base_addr,
    2887                 :            :                                   infof->ops[0].base_addr, 0))
    2888                 :            :             {
    2889                 :        444 :               std::swap (info->ops[0], info->ops[1]);
    2890                 :        444 :               info->ops_swapped_p = true;
    2891                 :            :             }
    2892                 :     240098 :           if (check_no_overlap (m_store_info, i, false,
    2893                 :     240098 :                                 MAX (merged_store->last_order, info->order),
    2894                 :     240098 :                                 MAX (merged_store->start + merged_store->width,
    2895                 :            :                                      info->bitpos + info->bitsize)))
    2896                 :            :             {
    2897                 :            :               /* Turn MEM_REF into BIT_INSERT_EXPR for bit-field stores.  */
    2898                 :     240098 :               if (info->rhs_code == MEM_REF && infof->rhs_code != MEM_REF)
    2899                 :            :                 {
    2900                 :         22 :                   info->rhs_code = BIT_INSERT_EXPR;
    2901                 :         22 :                   info->ops[0].val = gimple_assign_rhs1 (info->stmt);
    2902                 :         22 :                   info->ops[0].base_addr = NULL_TREE;
    2903                 :            :                 }
    2904                 :     240076 :               else if (infof->rhs_code == MEM_REF && info->rhs_code != MEM_REF)
    2905                 :            :                 {
    2906                 :            :                   store_immediate_info *infoj;
    2907                 :            :                   unsigned int j;
    2908                 :          4 :                   FOR_EACH_VEC_ELT (merged_store->stores, j, infoj)
    2909                 :            :                     {
    2910                 :          2 :                       infoj->rhs_code = BIT_INSERT_EXPR;
    2911                 :          2 :                       infoj->ops[0].val = gimple_assign_rhs1 (infoj->stmt);
    2912                 :          2 :                       infoj->ops[0].base_addr = NULL_TREE;
    2913                 :            :                     }
    2914                 :            :                 }
    2915                 :     240098 :               if ((infof->ops[0].base_addr
    2916                 :     238897 :                    ? compatible_load_p (merged_store, info, base_addr, 0)
    2917                 :       1201 :                    : !info->ops[0].base_addr)
    2918                 :     481633 :                   && (infof->ops[1].base_addr
    2919                 :       1437 :                       ? compatible_load_p (merged_store, info, base_addr, 1)
    2920                 :     198617 :                       : !info->ops[1].base_addr))
    2921                 :            :                 {
    2922                 :     200048 :                   merged_store->merge_into (info);
    2923                 :     200048 :                   goto done;
    2924                 :            :                 }
    2925                 :            :             }
    2926                 :            :         }
    2927                 :            : 
    2928                 :            :       /* |---store 1---| <gap> |---store 2---|.
    2929                 :            :          Gap between stores or the rhs not compatible.  Start a new group.  */
    2930                 :            : 
    2931                 :            :       /* Try to apply all the stores recorded for the group to determine
    2932                 :            :          the bitpattern they write and discard it if that fails.
    2933                 :            :          This will also reject single-store groups.  */
    2934                 :     318598 :       if (merged_store->apply_stores ())
    2935                 :      91347 :         m_merged_store_groups.safe_push (merged_store);
    2936                 :            :       else
    2937                 :     227251 :         delete merged_store;
    2938                 :            : 
    2939                 :     318598 :       merged_store = new merged_store_group (info);
    2940                 :     318598 :       if (dump_file && (dump_flags & TDF_DETAILS))
    2941                 :          1 :         fputs ("New store group\n", dump_file);
    2942                 :            : 
    2943                 :    1895300 :     done:
    2944                 :    1895300 :       if (dump_file && (dump_flags & TDF_DETAILS))
    2945                 :            :         {
    2946                 :        229 :           fprintf (dump_file, "Store %u:\nbitsize:" HOST_WIDE_INT_PRINT_DEC
    2947                 :            :                               " bitpos:" HOST_WIDE_INT_PRINT_DEC " val:",
    2948                 :            :                    i, info->bitsize, info->bitpos);
    2949                 :        229 :           print_generic_expr (dump_file, gimple_assign_rhs1 (info->stmt));
    2950                 :        229 :           fputc ('\n', dump_file);
    2951                 :            :         }
    2952                 :            :     }
    2953                 :            : 
    2954                 :            :   /* Record or discard the last store group.  */
    2955                 :     533254 :   if (merged_store)
    2956                 :            :     {
    2957                 :     532775 :       if (merged_store->apply_stores ())
    2958                 :     422559 :         m_merged_store_groups.safe_push (merged_store);
    2959                 :            :       else
    2960                 :     110216 :         delete merged_store;
    2961                 :            :     }
    2962                 :            : 
    2963                 :    1523180 :   gcc_assert (m_merged_store_groups.length () <= m_store_info.length ());
    2964                 :            : 
    2965                 :     533254 :   bool success
    2966                 :     533254 :     = !m_merged_store_groups.is_empty ()
    2967                 :     456668 :       && m_merged_store_groups.length () < m_store_info.length ();
    2968                 :            : 
    2969                 :     456668 :   if (success && dump_file)
    2970                 :         98 :     fprintf (dump_file, "Coalescing successful!\nMerged into %u stores\n",
    2971                 :            :              m_merged_store_groups.length ());
    2972                 :            : 
    2973                 :            :   return success;
    2974                 :            : }
    2975                 :            : 
    2976                 :            : /* Return the type to use for the merged stores or loads described by STMTS.
    2977                 :            :    This is needed to get the alias sets right.  If IS_LOAD, look for rhs,
    2978                 :            :    otherwise lhs.  Additionally set *CLIQUEP and *BASEP to MR_DEPENDENCE_*
    2979                 :            :    of the MEM_REFs if any.  */
    2980                 :            : 
    2981                 :            : static tree
    2982                 :     109983 : get_alias_type_for_stmts (vec<gimple *> &stmts, bool is_load,
    2983                 :            :                           unsigned short *cliquep, unsigned short *basep)
    2984                 :            : {
    2985                 :     109983 :   gimple *stmt;
    2986                 :     109983 :   unsigned int i;
    2987                 :     109983 :   tree type = NULL_TREE;
    2988                 :     109983 :   tree ret = NULL_TREE;
    2989                 :     109983 :   *cliquep = 0;
    2990                 :     109983 :   *basep = 0;
    2991                 :            : 
    2992                 :     401752 :   FOR_EACH_VEC_ELT (stmts, i, stmt)
    2993                 :            :     {
    2994                 :     291769 :       tree ref = is_load ? gimple_assign_rhs1 (stmt)
    2995                 :     283160 :                          : gimple_assign_lhs (stmt);
    2996                 :     291769 :       tree type1 = reference_alias_ptr_type (ref);
    2997                 :     291769 :       tree base = get_base_address (ref);
    2998                 :            : 
    2999                 :     291769 :       if (i == 0)
    3000                 :            :         {
    3001                 :     109983 :           if (TREE_CODE (base) == MEM_REF)
    3002                 :            :             {
    3003                 :      30004 :               *cliquep = MR_DEPENDENCE_CLIQUE (base);
    3004                 :      30004 :               *basep = MR_DEPENDENCE_BASE (base);
    3005                 :            :             }
    3006                 :     109983 :           ret = type = type1;
    3007                 :     109983 :           continue;
    3008                 :            :         }
    3009                 :     181786 :       if (!alias_ptr_types_compatible_p (type, type1))
    3010                 :      61769 :         ret = ptr_type_node;
    3011                 :     181786 :       if (TREE_CODE (base) != MEM_REF
    3012                 :      66432 :           || *cliquep != MR_DEPENDENCE_CLIQUE (base)
    3013                 :     247718 :           || *basep != MR_DEPENDENCE_BASE (base))
    3014                 :            :         {
    3015                 :     115854 :           *cliquep = 0;
    3016                 :     115854 :           *basep = 0;
    3017                 :            :         }
    3018                 :            :     }
    3019                 :     109983 :   return ret;
    3020                 :            : }
    3021                 :            : 
    3022                 :            : /* Return the location_t information we can find among the statements
    3023                 :            :    in STMTS.  */
    3024                 :            : 
    3025                 :            : static location_t
    3026                 :     110042 : get_location_for_stmts (vec<gimple *> &stmts)
    3027                 :            : {
    3028                 :     110042 :   gimple *stmt;
    3029                 :     110042 :   unsigned int i;
    3030                 :            : 
    3031                 :     113119 :   FOR_EACH_VEC_ELT (stmts, i, stmt)
    3032                 :     221864 :     if (gimple_has_location (stmt))
    3033                 :     108922 :       return gimple_location (stmt);
    3034                 :            : 
    3035                 :            :   return UNKNOWN_LOCATION;
    3036                 :            : }
    3037                 :            : 
    3038                 :            : /* Used to decribe a store resulting from splitting a wide store in smaller
    3039                 :            :    regularly-sized stores in split_group.  */
    3040                 :            : 
    3041                 :    1186980 : class split_store
    3042                 :            : {
    3043                 :            : public:
    3044                 :            :   unsigned HOST_WIDE_INT bytepos;
    3045                 :            :   unsigned HOST_WIDE_INT size;
    3046                 :            :   unsigned HOST_WIDE_INT align;
    3047                 :            :   auto_vec<store_immediate_info *> orig_stores;
    3048                 :            :   /* True if there is a single orig stmt covering the whole split store.  */
    3049                 :            :   bool orig;
    3050                 :            :   split_store (unsigned HOST_WIDE_INT, unsigned HOST_WIDE_INT,
    3051                 :            :                unsigned HOST_WIDE_INT);
    3052                 :            : };
    3053                 :            : 
    3054                 :            : /* Simple constructor.  */
    3055                 :            : 
    3056                 :    1186980 : split_store::split_store (unsigned HOST_WIDE_INT bp,
    3057                 :            :                           unsigned HOST_WIDE_INT sz,
    3058                 :    1186980 :                           unsigned HOST_WIDE_INT al)
    3059                 :    1186980 :                           : bytepos (bp), size (sz), align (al), orig (false)
    3060                 :            : {
    3061                 :    1186980 :   orig_stores.create (0);
    3062                 :          0 : }
    3063                 :            : 
    3064                 :            : /* Record all stores in GROUP that write to the region starting at BITPOS and
    3065                 :            :    is of size BITSIZE.  Record infos for such statements in STORES if
    3066                 :            :    non-NULL.  The stores in GROUP must be sorted by bitposition.  Return INFO
    3067                 :            :    if there is exactly one original store in the range (in that case ignore
    3068                 :            :    clobber stmts, unless there are only clobber stmts).  */
    3069                 :            : 
    3070                 :            : static store_immediate_info *
    3071                 :    9888770 : find_constituent_stores (class merged_store_group *group,
    3072                 :            :                          vec<store_immediate_info *> *stores,
    3073                 :            :                          unsigned int *first,
    3074                 :            :                          unsigned HOST_WIDE_INT bitpos,
    3075                 :            :                          unsigned HOST_WIDE_INT bitsize)
    3076                 :            : {
    3077                 :    9888770 :   store_immediate_info *info, *ret = NULL;
    3078                 :    9888770 :   unsigned int i;
    3079                 :    9888770 :   bool second = false;
    3080                 :    9888770 :   bool update_first = true;
    3081                 :    9888770 :   unsigned HOST_WIDE_INT end = bitpos + bitsize;
    3082                 :   30837600 :   for (i = *first; group->stores.iterate (i, &info); ++i)
    3083                 :            :     {
    3084                 :   22049100 :       unsigned HOST_WIDE_INT stmt_start = info->bitpos;
    3085                 :   22049100 :       unsigned HOST_WIDE_INT stmt_end = stmt_start + info->bitsize;
    3086                 :   22049100 :       if (stmt_end <= bitpos)
    3087                 :            :         {
    3088                 :            :           /* BITPOS passed to this function never decreases from within the
    3089                 :            :              same split_group call, so optimize and don't scan info records
    3090                 :            :              which are known to end before or at BITPOS next time.
    3091                 :            :              Only do it if all stores before this one also pass this.  */
    3092                 :    5982450 :           if (update_first)
    3093                 :    2632690 :             *first = i + 1;
    3094                 :    5982450 :           continue;
    3095                 :            :         }
    3096                 :            :       else
    3097                 :   16066700 :         update_first = false;
    3098                 :            : 
    3099                 :            :       /* The stores in GROUP are ordered by bitposition so if we're past
    3100                 :            :          the region for this group return early.  */
    3101                 :   16066700 :       if (stmt_start >= end)
    3102                 :    5169840 :         return ret;
    3103                 :            : 
    3104                 :   10896900 :       if (gimple_clobber_p (info->stmt))
    3105                 :            :         {
    3106                 :    2073670 :           if (stores)
    3107                 :      89660 :             stores->safe_push (info);
    3108                 :    2073670 :           if (ret == NULL)
    3109                 :    1813030 :             ret = info;
    3110                 :    2073670 :           continue;
    3111                 :            :         }
    3112                 :    8823180 :       if (stores)
    3113                 :            :         {
    3114                 :    1358890 :           stores->safe_push (info);
    3115                 :    1358890 :           if (ret && !gimple_clobber_p (ret->stmt))
    3116                 :            :             {
    3117                 :            :               ret = NULL;
    3118                 :            :               second = true;
    3119                 :            :             }
    3120                 :            :         }
    3121                 :    7464300 :       else if (ret && !gimple_clobber_p (ret->stmt))
    3122                 :            :         return NULL;
    3123                 :    8498500 :       if (!second)
    3124                 :    8325440 :         ret = info;
    3125                 :            :     }
    3126                 :            :   return ret;
    3127                 :            : }
    3128                 :            : 
    3129                 :            : /* Return how many SSA_NAMEs used to compute value to store in the INFO
    3130                 :            :    store have multiple uses.  If any SSA_NAME has multiple uses, also
    3131                 :            :    count statements needed to compute it.  */
    3132                 :            : 
    3133                 :            : static unsigned
    3134                 :    1508530 : count_multiple_uses (store_immediate_info *info)
    3135                 :            : {
    3136                 :    1508530 :   gimple *stmt = info->stmt;
    3137                 :    1508530 :   unsigned ret = 0;
    3138                 :    1508530 :   switch (info->rhs_code)
    3139                 :            :     {
    3140                 :            :     case INTEGER_CST:
    3141                 :            :       return 0;
    3142                 :       5684 :     case BIT_AND_EXPR:
    3143                 :       5684 :     case BIT_IOR_EXPR:
    3144                 :       5684 :     case BIT_XOR_EXPR:
    3145                 :       5684 :       if (info->bit_not_p)
    3146                 :            :         {
    3147                 :          9 :           if (!has_single_use (gimple_assign_rhs1 (stmt)))
    3148                 :            :             ret = 1; /* Fall through below to return
    3149                 :            :                         the BIT_NOT_EXPR stmt and then
    3150                 :            :                         BIT_{AND,IOR,XOR}_EXPR and anything it
    3151                 :            :                         uses.  */
    3152                 :            :           else
    3153                 :            :             /* stmt is after this the BIT_NOT_EXPR.  */
    3154                 :          9 :             stmt = SSA_NAME_DEF_STMT (gimple_assign_rhs1 (stmt));
    3155                 :            :         }
    3156                 :       5684 :       if (!has_single_use (gimple_assign_rhs1 (stmt)))
    3157                 :            :         {
    3158                 :          0 :           ret += 1 + info->ops[0].bit_not_p;
    3159                 :          0 :           if (info->ops[1].base_addr)
    3160                 :          0 :             ret += 1 + info->ops[1].bit_not_p;
    3161                 :          0 :           return ret + 1;
    3162                 :            :         }
    3163                 :       5684 :       stmt = SSA_NAME_DEF_STMT (gimple_assign_rhs1 (stmt));
    3164                 :            :       /* stmt is now the BIT_*_EXPR.  */
    3165                 :       5684 :       if (!has_single_use (gimple_assign_rhs1 (stmt)))
    3166                 :       3488 :         ret += 1 + info->ops[info->ops_swapped_p].bit_not_p;
    3167                 :       2196 :       else if (info->ops[info->ops_swapped_p].bit_not_p)
    3168                 :            :         {
    3169                 :        171 :           gimple *stmt2 = SSA_NAME_DEF_STMT (gimple_assign_rhs1 (stmt));
    3170                 :        171 :           if (!has_single_use (gimple_assign_rhs1 (stmt2)))
    3171                 :          0 :             ++ret;
    3172                 :            :         }
    3173                 :       5684 :       if (info->ops[1].base_addr == NULL_TREE)
    3174                 :            :         {
    3175                 :        276 :           gcc_checking_assert (!info->ops_swapped_p);
    3176                 :            :           return ret;
    3177                 :            :         }
    3178                 :       5408 :       if (!has_single_use (gimple_assign_rhs2 (stmt)))
    3179                 :        872 :         ret += 1 + info->ops[1 - info->ops_swapped_p].bit_not_p;
    3180                 :       4536 :       else if (info->ops[1 - info->ops_swapped_p].bit_not_p)
    3181                 :            :         {
    3182                 :         29 :           gimple *stmt2 = SSA_NAME_DEF_STMT (gimple_assign_rhs2 (stmt));
    3183                 :         29 :           if (!has_single_use (gimple_assign_rhs1 (stmt2)))
    3184                 :          0 :             ++ret;
    3185                 :            :         }
    3186                 :            :       return ret;
    3187                 :     444658 :     case MEM_REF:
    3188                 :     444658 :       if (!has_single_use (gimple_assign_rhs1 (stmt)))
    3189                 :     191393 :         return 1 + info->ops[0].bit_not_p;
    3190                 :     253265 :       else if (info->ops[0].bit_not_p)
    3191                 :            :         {
    3192                 :         49 :           stmt = SSA_NAME_DEF_STMT (gimple_assign_rhs1 (stmt));
    3193                 :         49 :           if (!has_single_use (gimple_assign_rhs1 (stmt)))
    3194                 :          2 :             return 1;
    3195                 :            :         }
    3196                 :            :       return 0;
    3197                 :       1320 :     case BIT_INSERT_EXPR:
    3198                 :       1320 :       return has_single_use (gimple_assign_rhs1 (stmt)) ? 0 : 1;
    3199                 :          0 :     default:
    3200                 :          0 :       gcc_unreachable ();
    3201                 :            :     }
    3202                 :            : }
    3203                 :            : 
    3204                 :            : /* Split a merged store described by GROUP by populating the SPLIT_STORES
    3205                 :            :    vector (if non-NULL) with split_store structs describing the byte offset
    3206                 :            :    (from the base), the bit size and alignment of each store as well as the
    3207                 :            :    original statements involved in each such split group.
    3208                 :            :    This is to separate the splitting strategy from the statement
    3209                 :            :    building/emission/linking done in output_merged_store.
    3210                 :            :    Return number of new stores.
    3211                 :            :    If ALLOW_UNALIGNED_STORE is false, then all stores must be aligned.
    3212                 :            :    If ALLOW_UNALIGNED_LOAD is false, then all loads must be aligned.
    3213                 :            :    BZERO_FIRST may be true only when the first store covers the whole group
    3214                 :            :    and clears it; if BZERO_FIRST is true, keep that first store in the set
    3215                 :            :    unmodified and emit further stores for the overrides only.
    3216                 :            :    If SPLIT_STORES is NULL, it is just a dry run to count number of
    3217                 :            :    new stores.  */
    3218                 :            : 
    3219                 :            : static unsigned int
    3220                 :    1310800 : split_group (merged_store_group *group, bool allow_unaligned_store,
    3221                 :            :              bool allow_unaligned_load, bool bzero_first,
    3222                 :            :              vec<split_store *> *split_stores,
    3223                 :            :              unsigned *total_orig,
    3224                 :            :              unsigned *total_new)
    3225                 :            : {
    3226                 :    1310800 :   unsigned HOST_WIDE_INT pos = group->bitregion_start;
    3227                 :    1310800 :   unsigned HOST_WIDE_INT size = group->bitregion_end - pos;
    3228                 :    1310800 :   unsigned HOST_WIDE_INT bytepos = pos / BITS_PER_UNIT;
    3229                 :    1310800 :   unsigned HOST_WIDE_INT group_align = group->align;
    3230                 :    1310800 :   unsigned HOST_WIDE_INT align_base = group->align_base;
    3231                 :    1310800 :   unsigned HOST_WIDE_INT group_load_align = group_align;
    3232                 :    1310800 :   bool any_orig = false;
    3233                 :            : 
    3234                 :    1310800 :   gcc_assert ((size % BITS_PER_UNIT == 0) && (pos % BITS_PER_UNIT == 0));
    3235                 :            : 
    3236                 :    1310800 :   if (group->stores[0]->rhs_code == LROTATE_EXPR
    3237                 :    1310800 :       || group->stores[0]->rhs_code == NOP_EXPR)
    3238                 :            :     {
    3239                 :       2508 :       gcc_assert (!bzero_first);
    3240                 :            :       /* For bswap framework using sets of stores, all the checking
    3241                 :            :          has been done earlier in try_coalesce_bswap and needs to be
    3242                 :            :          emitted as a single store.  */
    3243                 :       2508 :       if (total_orig)
    3244                 :            :         {
    3245                 :            :           /* Avoid the old/new stmt count heuristics.  It should be
    3246                 :            :              always beneficial.  */
    3247                 :        836 :           total_new[0] = 1;
    3248                 :        836 :           total_orig[0] = 2;
    3249                 :            :         }
    3250                 :            : 
    3251                 :       2508 :       if (split_stores)
    3252                 :            :         {
    3253                 :        836 :           unsigned HOST_WIDE_INT align_bitpos
    3254                 :        836 :             = (group->start - align_base) & (group_align - 1);
    3255                 :        836 :           unsigned HOST_WIDE_INT align = group_align;
    3256                 :        836 :           if (align_bitpos)
    3257                 :         54 :             align = least_bit_hwi (align_bitpos);
    3258                 :        836 :           bytepos = group->start / BITS_PER_UNIT;
    3259                 :        836 :           split_store *store
    3260                 :        836 :             = new split_store (bytepos, group->width, align);
    3261                 :        836 :           unsigned int first = 0;
    3262                 :        836 :           find_constituent_stores (group, &store->orig_stores,
    3263                 :            :                                    &first, group->start, group->width);
    3264                 :        836 :           split_stores->safe_push (store);
    3265                 :            :         }
    3266                 :            : 
    3267                 :       2508 :       return 1;
    3268                 :            :     }
    3269                 :            : 
    3270                 :    1308290 :   unsigned int ret = 0, first = 0;
    3271                 :    1308290 :   unsigned HOST_WIDE_INT try_pos = bytepos;
    3272                 :            : 
    3273                 :    1308290 :   if (total_orig)
    3274                 :            :     {
    3275                 :     434146 :       unsigned int i;
    3276                 :     434146 :       store_immediate_info *info = group->stores[0];
    3277                 :            : 
    3278                 :     434146 :       total_new[0] = 0;
    3279                 :     434146 :       total_orig[0] = 1; /* The orig store.  */
    3280                 :     434146 :       info = group->stores[0];
    3281                 :     434146 :       if (info->ops[0].base_addr)
    3282                 :     135895 :         total_orig[0]++;
    3283                 :     434146 :       if (info->ops[1].base_addr)
    3284                 :       1355 :         total_orig[0]++;
    3285                 :     434146 :       switch (info->rhs_code)
    3286                 :            :         {
    3287                 :       1425 :         case BIT_AND_EXPR:
    3288                 :       1425 :         case BIT_IOR_EXPR:
    3289                 :       1425 :         case BIT_XOR_EXPR:
    3290                 :       1425 :           total_orig[0]++; /* The orig BIT_*_EXPR stmt.  */
    3291                 :       1425 :           break;
    3292                 :            :         default:
    3293                 :            :           break;
    3294                 :            :         }
    3295                 :     434146 :       total_orig[0] *= group->stores.length ();
    3296                 :            : 
    3297                 :    1827060 :       FOR_EACH_VEC_ELT (group->stores, i, info)
    3298                 :            :         {
    3299                 :    1392910 :           total_new[0] += count_multiple_uses (info);
    3300                 :    1392910 :           total_orig[0] += (info->bit_not_p
    3301                 :    1392910 :                             + info->ops[0].bit_not_p
    3302                 :    1392910 :                             + info->ops[1].bit_not_p);
    3303                 :            :         }
    3304                 :            :     }
    3305                 :            : 
    3306                 :    1308290 :   if (!allow_unaligned_load)
    3307                 :          0 :     for (int i = 0; i < 2; ++i)
    3308                 :          0 :       if (group->load_align[i])
    3309                 :          0 :         group_load_align = MIN (group_load_align, group->load_align[i]);
    3310                 :            : 
    3311                 :    1308290 :   if (bzero_first)
    3312                 :            :     {
    3313                 :            :       store_immediate_info *gstore;
    3314                 :       7086 :       FOR_EACH_VEC_ELT (group->stores, first, gstore)
    3315                 :       7086 :         if (!gimple_clobber_p (gstore->stmt))
    3316                 :            :           break;
    3317                 :       7000 :       ++first;
    3318                 :       7000 :       ret = 1;
    3319                 :       7000 :       if (split_stores)
    3320                 :            :         {
    3321                 :       1148 :           split_store *store
    3322                 :       1148 :             = new split_store (bytepos, gstore->bitsize, align_base);
    3323                 :       1148 :           store->orig_stores.safe_push (gstore);
    3324                 :       1148 :           store->orig = true;
    3325                 :       1148 :           any_orig = true;
    3326                 :       1148 :           split_stores->safe_push (store);
    3327                 :            :         }
    3328                 :            :     }
    3329                 :            : 
    3330                 :    6726470 :   while (size > 0)
    3331                 :            :     {
    3332                 :    5418180 :       if ((allow_unaligned_store || group_align <= BITS_PER_UNIT)
    3333                 :    2101830 :           && (group->mask[try_pos - bytepos] == (unsigned char) ~0U
    3334                 :    2099650 :               || (bzero_first && group->val[try_pos - bytepos] == 0)))
    3335                 :            :         {
    3336                 :            :           /* Skip padding bytes.  */
    3337                 :     282214 :           ++try_pos;
    3338                 :     282214 :           size -= BITS_PER_UNIT;
    3339                 :     282214 :           continue;
    3340                 :            :         }
    3341                 :            : 
    3342                 :    5135970 :       unsigned HOST_WIDE_INT try_bitpos = try_pos * BITS_PER_UNIT;
    3343                 :    5135970 :       unsigned int try_size = MAX_STORE_BITSIZE, nonmasked;
    3344                 :    5135970 :       unsigned HOST_WIDE_INT align_bitpos
    3345                 :    5135970 :         = (try_bitpos - align_base) & (group_align - 1);
    3346                 :    5135970 :       unsigned HOST_WIDE_INT align = group_align;
    3347                 :    5135970 :       bool found_orig = false;
    3348                 :    5135970 :       if (align_bitpos)
    3349                 :     181863 :         align = least_bit_hwi (align_bitpos);
    3350                 :    5135970 :       if (!allow_unaligned_store)
    3351                 :    3422320 :         try_size = MIN (try_size, align);
    3352                 :    5135970 :       if (!allow_unaligned_load)
    3353                 :            :         {
    3354                 :            :           /* If we can't do or don't want to do unaligned stores
    3355                 :            :              as well as loads, we need to take the loads into account
    3356                 :            :              as well.  */
    3357                 :          0 :           unsigned HOST_WIDE_INT load_align = group_load_align;
    3358                 :          0 :           align_bitpos = (try_bitpos - align_base) & (load_align - 1);
    3359                 :          0 :           if (align_bitpos)
    3360                 :          0 :             load_align = least_bit_hwi (align_bitpos);
    3361                 :          0 :           for (int i = 0; i < 2; ++i)
    3362                 :          0 :             if (group->load_align[i])
    3363                 :            :               {
    3364                 :          0 :                 align_bitpos
    3365                 :          0 :                   = known_alignment (try_bitpos
    3366                 :          0 :                                      - group->stores[0]->bitpos
    3367                 :          0 :                                      + group->stores[0]->ops[i].bitpos
    3368                 :          0 :                                      - group->load_align_base[i]);
    3369                 :          0 :                 if (align_bitpos & (group_load_align - 1))
    3370                 :            :                   {
    3371                 :          0 :                     unsigned HOST_WIDE_INT a = least_bit_hwi (align_bitpos);
    3372                 :          0 :                     load_align = MIN (load_align, a);
    3373                 :            :                   }
    3374                 :            :               }
    3375                 :          0 :           try_size = MIN (try_size, load_align);
    3376                 :            :         }
    3377                 :    5135970 :       store_immediate_info *info
    3378                 :    5135970 :         = find_constituent_stores (group, NULL, &first, try_bitpos, try_size);
    3379                 :    5135970 :       if (info && !gimple_clobber_p (info->stmt))
    3380                 :            :         {
    3381                 :            :           /* If there is just one original statement for the range, see if
    3382                 :            :              we can just reuse the original store which could be even larger
    3383                 :            :              than try_size.  */
    3384                 :    3417790 :           unsigned HOST_WIDE_INT stmt_end
    3385                 :    3417790 :             = ROUND_UP (info->bitpos + info->bitsize, BITS_PER_UNIT);
    3386                 :    3417790 :           info = find_constituent_stores (group, NULL, &first, try_bitpos,
    3387                 :            :                                           stmt_end - try_bitpos);
    3388                 :    3417790 :           if (info && info->bitpos >= try_bitpos)
    3389                 :            :             {
    3390                 :    3323430 :               store_immediate_info *info2 = NULL;
    3391                 :    3323430 :               unsigned int first_copy = first;
    3392                 :    3323430 :               if (info->bitpos > try_bitpos
    3393                 :       1525 :                   && stmt_end - try_bitpos <= try_size)
    3394                 :            :                 {
    3395                 :       1389 :                   info2 = find_constituent_stores (group, NULL, &first_copy,
    3396                 :            :                                                    try_bitpos,
    3397                 :            :                                                    info->bitpos - try_bitpos);
    3398                 :       1389 :                   gcc_assert (info2 == NULL || gimple_clobber_p (info2->stmt));
    3399                 :            :                 }
    3400                 :    3323430 :               if (info2 == NULL && stmt_end - try_bitpos < try_size)
    3401                 :            :                 {
    3402                 :     295604 :                   info2 = find_constituent_stores (group, NULL, &first_copy,
    3403                 :            :                                                    stmt_end,
    3404                 :     147802 :                                                    (try_bitpos + try_size)
    3405                 :            :                                                    - stmt_end);
    3406                 :     147802 :                   gcc_assert (info2 == NULL || gimple_clobber_p (info2->stmt));
    3407                 :            :                 }
    3408                 :    3323430 :               if (info2 == NULL)
    3409                 :            :                 {
    3410                 :    3294950 :                   try_size = stmt_end - try_bitpos;
    3411                 :    3294950 :                   found_orig = true;
    3412                 :    3294950 :                   goto found;
    3413                 :            :                 }
    3414                 :            :             }
    3415                 :            :         }
    3416                 :            : 
    3417                 :            :       /* Approximate store bitsize for the case when there are no padding
    3418                 :            :          bits.  */
    3419                 :    1931130 :       while (try_size > size)
    3420                 :      90112 :         try_size /= 2;
    3421                 :            :       /* Now look for whole padding bytes at the end of that bitsize.  */
    3422                 :    2191940 :       for (nonmasked = try_size / BITS_PER_UNIT; nonmasked > 0; --nonmasked)
    3423                 :    2133350 :         if (group->mask[try_pos - bytepos + nonmasked - 1]
    3424                 :            :             != (unsigned char) ~0U
    3425                 :    2129400 :             && (!bzero_first
    3426                 :     350044 :                 || group->val[try_pos - bytepos + nonmasked - 1] != 0))
    3427                 :            :           break;
    3428                 :    1841020 :       if (nonmasked == 0 || (info && gimple_clobber_p (info->stmt)))
    3429                 :            :         {
    3430                 :            :           /* If entire try_size range is padding, skip it.  */
    3431                 :    1414150 :           try_pos += try_size / BITS_PER_UNIT;
    3432                 :    1414150 :           size -= try_size;
    3433                 :    1414150 :           continue;
    3434                 :            :         }
    3435                 :            :       /* Otherwise try to decrease try_size if second half, last 3 quarters
    3436                 :            :          etc. are padding.  */
    3437                 :     426868 :       nonmasked *= BITS_PER_UNIT;
    3438                 :     429183 :       while (nonmasked <= try_size / 2)
    3439                 :            :         try_size /= 2;
    3440                 :     426868 :       if (!allow_unaligned_store && group_align > BITS_PER_UNIT)
    3441                 :            :         {
    3442                 :            :           /* Now look for whole padding bytes at the start of that bitsize.  */
    3443                 :     204539 :           unsigned int try_bytesize = try_size / BITS_PER_UNIT, masked;
    3444                 :     208216 :           for (masked = 0; masked < try_bytesize; ++masked)
    3445                 :     208216 :             if (group->mask[try_pos - bytepos + masked] != (unsigned char) ~0U
    3446                 :     207344 :                 && (!bzero_first
    3447                 :       4289 :                     || group->val[try_pos - bytepos + masked] != 0))
    3448                 :            :               break;
    3449                 :     204539 :           masked *= BITS_PER_UNIT;
    3450                 :     204539 :           gcc_assert (masked < try_size);
    3451                 :     204539 :           if (masked >= try_size / 2)
    3452                 :            :             {
    3453                 :       1888 :               while (masked >= try_size / 2)
    3454                 :            :                 {
    3455                 :        998 :                   try_size /= 2;
    3456                 :        998 :                   try_pos += try_size / BITS_PER_UNIT;
    3457                 :        998 :                   size -= try_size;
    3458                 :        998 :                   masked -= try_size;
    3459                 :            :                 }
    3460                 :            :               /* Need to recompute the alignment, so just retry at the new
    3461                 :            :                  position.  */
    3462                 :        890 :               continue;
    3463                 :            :             }
    3464                 :            :         }
    3465                 :            : 
    3466                 :     222329 :     found:
    3467                 :    3720930 :       ++ret;
    3468                 :            : 
    3469                 :    3720930 :       if (split_stores)
    3470                 :            :         {
    3471                 :    1184990 :           split_store *store
    3472                 :    1184990 :             = new split_store (try_pos, try_size, align);
    3473                 :    1184990 :           info = find_constituent_stores (group, &store->orig_stores,
    3474                 :            :                                           &first, try_bitpos, try_size);
    3475                 :    1184990 :           if (info
    3476                 :    1078290 :               && !gimple_clobber_p (info->stmt)
    3477                 :    1078290 :               && info->bitpos >= try_bitpos
    3478                 :    1074510 :               && info->bitpos + info->bitsize <= try_bitpos + try_size
    3479                 :    2258710 :               && (store->orig_stores.length () == 1
    3480                 :      59330 :                   || found_orig
    3481                 :       9443 :                   || (info->bitpos == try_bitpos
    3482                 :       9403 :                       && (info->bitpos + info->bitsize
    3483                 :            :                           == try_bitpos + try_size))))
    3484                 :            :             {
    3485                 :    1064280 :               store->orig = true;
    3486                 :    1064280 :               any_orig = true;
    3487                 :            :             }
    3488                 :    1184990 :           split_stores->safe_push (store);
    3489                 :            :         }
    3490                 :            : 
    3491                 :    3720930 :       try_pos += try_size / BITS_PER_UNIT;
    3492                 :    3720930 :       size -= try_size;
    3493                 :            :     }
    3494                 :            : 
    3495                 :    1308290 :   if (total_orig)
    3496                 :            :     {
    3497                 :     434146 :       unsigned int i;
    3498                 :     434146 :       split_store *store;
    3499                 :            :       /* If we are reusing some original stores and any of the
    3500                 :            :          original SSA_NAMEs had multiple uses, we need to subtract
    3501                 :            :          those now before we add the new ones.  */
    3502                 :     434146 :       if (total_new[0] && any_orig)
    3503                 :            :         {
    3504                 :     167787 :           FOR_EACH_VEC_ELT (*split_stores, i, store)
    3505                 :     116128 :             if (store->orig)
    3506                 :     115622 :               total_new[0] -= count_multiple_uses (store->orig_stores[0]);
    3507                 :            :         }
    3508                 :     434146 :       total_new[0] += ret; /* The new store.  */
    3509                 :     434146 :       store_immediate_info *info = group->stores[0];
    3510                 :     434146 :       if (info->ops[0].base_addr)
    3511                 :     135895 :         total_new[0] += ret;
    3512                 :     434146 :       if (info->ops[1].base_addr)
    3513                 :       1355 :         total_new[0] += ret;
    3514                 :     434146 :       switch (info->rhs_code)
    3515                 :            :         {
    3516                 :       1425 :         case BIT_AND_EXPR:
    3517                 :       1425 :         case BIT_IOR_EXPR:
    3518                 :       1425 :         case BIT_XOR_EXPR:
    3519                 :       1425 :           total_new[0] += ret; /* The new BIT_*_EXPR stmt.  */
    3520                 :       1425 :           break;
    3521                 :            :         default:
    3522                 :            :           break;
    3523                 :            :         }
    3524                 :    1620280 :       FOR_EACH_VEC_ELT (*split_stores, i, store)
    3525                 :            :         {
    3526                 :    1186140 :           unsigned int j;
    3527                 :    1186140 :           bool bit_not_p[3] = { false, false, false };
    3528                 :            :           /* If all orig_stores have certain bit_not_p set, then
    3529                 :            :              we'd use a BIT_NOT_EXPR stmt and need to account for it.
    3530                 :            :              If some orig_stores have certain bit_not_p set, then
    3531                 :            :              we'd use a BIT_XOR_EXPR with a mask and need to account for
    3532                 :            :              it.  */
    3533                 :    2633620 :           FOR_EACH_VEC_ELT (store->orig_stores, j, info)
    3534                 :            :             {
    3535                 :    1447480 :               if (info->ops[0].bit_not_p)
    3536                 :        224 :                 bit_not_p[0] = true;
    3537                 :    1447480 :               if (info->ops[1].bit_not_p)
    3538                 :         27 :                 bit_not_p[1] = true;
    3539                 :    1447480 :               if (info->bit_not_p)
    3540                 :          9 :                 bit_not_p[2] = true;
    3541                 :            :             }
    3542                 :    1186140 :           total_new[0] += bit_not_p[0] + bit_not_p[1] + bit_not_p[2];
    3543                 :            :         }
    3544                 :            : 
    3545                 :            :     }
    3546                 :            : 
    3547                 :            :   return ret;
    3548                 :            : }
    3549                 :            : 
    3550                 :            : /* Return the operation through which the operand IDX (if < 2) or
    3551                 :            :    result (IDX == 2) should be inverted.  If NOP_EXPR, no inversion
    3552                 :            :    is done, if BIT_NOT_EXPR, all bits are inverted, if BIT_XOR_EXPR,
    3553                 :            :    the bits should be xored with mask.  */
    3554                 :            : 
    3555                 :            : static enum tree_code
    3556                 :       4200 : invert_op (split_store *split_store, int idx, tree int_type, tree &mask)
    3557                 :            : {
    3558                 :       4200 :   unsigned int i;
    3559                 :       4200 :   store_immediate_info *info;
    3560                 :       4200 :   unsigned int cnt = 0;
    3561                 :       4200 :   bool any_paddings = false;
    3562                 :      15219 :   FOR_EACH_VEC_ELT (split_store->orig_stores, i, info)
    3563                 :            :     {
    3564                 :      11019 :       bool bit_not_p = idx < 2 ? info->ops[idx].bit_not_p : info->bit_not_p;
    3565                 :      11019 :       if (bit_not_p)
    3566                 :            :         {
    3567                 :         88 :           ++cnt;
    3568                 :         88 :           tree lhs = gimple_assign_lhs (info->stmt);
    3569                 :        176 :           if (INTEGRAL_TYPE_P (TREE_TYPE (lhs))
    3570                 :        176 :               && TYPE_PRECISION (TREE_TYPE (lhs)) < info->bitsize)
    3571                 :            :             any_paddings = true;
    3572                 :            :         }
    3573                 :            :     }
    3574                 :       4200 :   mask = NULL_TREE;
    3575                 :       4200 :   if (cnt == 0)
    3576                 :            :     return NOP_EXPR;
    3577                 :         62 :   if (cnt == split_store->orig_stores.length () && !any_paddings)
    3578                 :            :     return BIT_NOT_EXPR;
    3579                 :            : 
    3580                 :         20 :   unsigned HOST_WIDE_INT try_bitpos = split_store->bytepos * BITS_PER_UNIT;
    3581                 :         20 :   unsigned buf_size = split_store->size / BITS_PER_UNIT;
    3582                 :         20 :   unsigned char *buf
    3583                 :         20 :     = XALLOCAVEC (unsigned char, buf_size);
    3584                 :         20 :   memset (buf, ~0U, buf_size);
    3585                 :         90 :   FOR_EACH_VEC_ELT (split_store->orig_stores, i, info)
    3586                 :            :     {
    3587                 :         70 :       bool bit_not_p = idx < 2 ? info->ops[idx].bit_not_p : info->bit_not_p;
    3588                 :         70 :       if (!bit_not_p)
    3589                 :         30 :         continue;
    3590                 :            :       /* Clear regions with bit_not_p and invert afterwards, rather than
    3591                 :            :          clear regions with !bit_not_p, so that gaps in between stores aren't
    3592                 :            :          set in the mask.  */
    3593                 :         40 :       unsigned HOST_WIDE_INT bitsize = info->bitsize;
    3594                 :         40 :       unsigned HOST_WIDE_INT prec = bitsize;
    3595                 :         40 :       unsigned int pos_in_buffer = 0;
    3596                 :         40 :       if (any_paddings)
    3597                 :            :         {
    3598                 :         21 :           tree lhs = gimple_assign_lhs (info->stmt);
    3599                 :         42 :           if (INTEGRAL_TYPE_P (TREE_TYPE (lhs))
    3600                 :         42 :               && TYPE_PRECISION (TREE_TYPE (lhs)) < bitsize)
    3601                 :         40 :             prec = TYPE_PRECISION (TREE_TYPE (lhs));
    3602                 :            :         }
    3603                 :         40 :       if (info->bitpos < try_bitpos)
    3604                 :            :         {
    3605                 :          0 :           gcc_assert (info->bitpos + bitsize > try_bitpos);
    3606                 :          0 :           if (!BYTES_BIG_ENDIAN)
    3607                 :            :             {
    3608                 :          0 :               if (prec <= try_bitpos - info->bitpos)
    3609                 :          0 :                 continue;
    3610                 :          0 :               prec -= try_bitpos - info->bitpos;
    3611                 :            :             }
    3612                 :          0 :           bitsize -= try_bitpos - info->bitpos;
    3613                 :          0 :           if (BYTES_BIG_ENDIAN && prec > bitsize)
    3614                 :            :             prec = bitsize;
    3615                 :            :         }
    3616                 :            :       else
    3617                 :         40 :         pos_in_buffer = info->bitpos - try_bitpos;
    3618                 :         40 :       if (prec < bitsize)
    3619                 :            :         {
    3620                 :            :           /* If this is a bool inversion, invert just the least significant
    3621                 :            :              prec bits rather than all bits of it.  */
    3622                 :            :           if (BYTES_BIG_ENDIAN)
    3623                 :            :             {
    3624                 :            :               pos_in_buffer += bitsize - prec;
    3625                 :            :               if (pos_in_buffer >= split_store->size)
    3626                 :            :                 continue;
    3627                 :            :             }
    3628                 :            :           bitsize = prec;
    3629                 :            :         }
    3630                 :         40 :       if (pos_in_buffer + bitsize > split_store->size)
    3631                 :          0 :         bitsize = split_store->size - pos_in_buffer;
    3632                 :         40 :       unsigned char *p = buf + (pos_in_buffer / BITS_PER_UNIT);
    3633                 :         40 :       if (BYTES_BIG_ENDIAN)
    3634                 :            :         clear_bit_region_be (p, (BITS_PER_UNIT - 1
    3635                 :            :                                  - (pos_in_buffer % BITS_PER_UNIT)), bitsize);
    3636                 :            :       else
    3637                 :         40 :         clear_bit_region (p, pos_in_buffer % BITS_PER_UNIT, bitsize);
    3638                 :            :     }
    3639                 :        112 :   for (unsigned int i = 0; i < buf_size; ++i)
    3640                 :         92 :     buf[i] = ~buf[i];
    3641                 :         20 :   mask = native_interpret_expr (int_type, buf, buf_size);
    3642                 :         20 :   return BIT_XOR_EXPR;
    3643                 :            : }
    3644                 :            : 
    3645                 :            : /* Given a merged store group GROUP output the widened version of it.
    3646                 :            :    The store chain is against the base object BASE.
    3647                 :            :    Try store sizes of at most MAX_STORE_BITSIZE bits wide and don't output
    3648                 :            :    unaligned stores for STRICT_ALIGNMENT targets or if it's too expensive.
    3649                 :            :    Make sure that the number of statements output is less than the number of
    3650                 :            :    original statements.  If a better sequence is possible emit it and
    3651                 :            :    return true.  */
    3652                 :            : 
    3653                 :            : bool
    3654                 :     514742 : imm_store_chain_info::output_merged_store (merged_store_group *group)
    3655                 :            : {
    3656                 :     514742 :   split_store *split_store;
    3657                 :     514742 :   unsigned int i;
    3658                 :     514742 :   unsigned HOST_WIDE_INT start_byte_pos
    3659                 :     514742 :     = group->bitregion_start / BITS_PER_UNIT;
    3660                 :            : 
    3661                 :     514742 :   unsigned int orig_num_stmts = group->stores.length ();
    3662                 :     514742 :   if (orig_num_stmts < 2)
    3663                 :            :     return false;
    3664                 :            : 
    3665                 :     514742 :   auto_vec<class split_store *, 32> split_stores;
    3666                 :     514742 :   bool allow_unaligned_store
    3667                 :     514742 :     = !STRICT_ALIGNMENT && param_store_merging_allow_unaligned;
    3668                 :     514742 :   bool allow_unaligned_load = allow_unaligned_store;
    3669                 :     514742 :   bool bzero_first = false;
    3670                 :     514742 :   store_immediate_info *store;
    3671                 :     514742 :   unsigned int num_clobber_stmts = 0;
    3672                 :     514742 :   if (group->stores[0]->rhs_code == INTEGER_CST)
    3673                 :            :     {
    3674                 :     568188 :       FOR_EACH_VEC_ELT (group->stores, i, store)
    3675                 :     488428 :         if (gimple_clobber_p (store->stmt))
    3676                 :     190360 :           num_clobber_stmts++;
    3677                 :     298068 :         else if (TREE_CODE (gimple_assign_rhs1 (store->stmt)) == CONSTRUCTOR
    3678                 :       3680 :                  && CONSTRUCTOR_NELTS (gimple_assign_rhs1 (store->stmt)) == 0
    3679                 :       3680 :                  && group->start == store->bitpos
    3680                 :       3641 :                  && group->width == store->bitsize
    3681                 :       2926 :                  && (group->start % BITS_PER_UNIT) == 0
    3682                 :     300994 :                  && (group->width % BITS_PER_UNIT) == 0)
    3683                 :            :           {
    3684                 :            :             bzero_first = true;
    3685                 :            :             break;
    3686                 :            :           }
    3687                 :            :         else
    3688                 :            :           break;
    3689                 :    1407880 :       FOR_EACH_VEC_ELT_FROM (group->stores, i, store, i)
    3690                 :    1030060 :         if (gimple_clobber_p (store->stmt))
    3691                 :      13531 :           num_clobber_stmts++;
    3692                 :     377828 :       if (num_clobber_stmts == orig_num_stmts)
    3693                 :            :         return false;
    3694                 :     298068 :       orig_num_stmts -= num_clobber_stmts;
    3695                 :            :     }
    3696                 :     434982 :   if (allow_unaligned_store || bzero_first)
    3697                 :            :     {
    3698                 :            :       /* If unaligned stores are allowed, see how many stores we'd emit
    3699                 :            :          for unaligned and how many stores we'd emit for aligned stores.
    3700                 :            :          Only use unaligned stores if it allows fewer stores than aligned.
    3701                 :            :          Similarly, if there is a whole region clear first, prefer expanding
    3702                 :            :          it together compared to expanding clear first followed by merged
    3703                 :            :          further stores.  */
    3704                 :     434982 :       unsigned cnt[4] = { ~0, ~0, ~0, ~0 };
    3705                 :     434982 :       int pass_min = 0;
    3706                 :    2174910 :       for (int pass = 0; pass < 4; ++pass)
    3707                 :            :         {
    3708                 :    1739930 :           if (!allow_unaligned_store && (pass & 1) != 0)
    3709                 :          0 :             continue;
    3710                 :    1739930 :           if (!bzero_first && (pass & 2) != 0)
    3711                 :     864112 :             continue;
    3712                 :    1751630 :           cnt[pass] = split_group (group, (pass & 1) != 0,
    3713                 :     875816 :                                    allow_unaligned_load, (pass & 2) != 0,
    3714                 :            :                                    NULL, NULL, NULL);
    3715                 :     875816 :           if (cnt[pass] < cnt[pass_min])
    3716                 :      19625 :             pass_min = pass;
    3717                 :            :         }
    3718                 :     434982 :       if ((pass_min & 1) == 0)
    3719                 :     416680 :         allow_unaligned_store = false;
    3720                 :     434982 :       if ((pass_min & 2) == 0)
    3721                 :     433834 :         bzero_first = false;
    3722                 :            :     }
    3723                 :     434982 :   unsigned total_orig, total_new;
    3724                 :     434982 :   split_group (group, allow_unaligned_store, allow_unaligned_load, bzero_first,
    3725                 :            :                &split_stores, &total_orig, &total_new);
    3726                 :            : 
    3727                 :            :   /* Determine if there is a clobber covering the whole group at the start,
    3728                 :            :      followed by proposed split stores that cover the whole group.  In that
    3729                 :            :      case, prefer the transformation even if
    3730                 :            :      split_stores.length () == orig_num_stmts.  */
    3731                 :     434982 :   bool clobber_first = false;
    3732                 :     434982 :   if (num_clobber_stmts
    3733                 :      21654 :       && gimple_clobber_p (group->stores[0]->stmt)
    3734                 :      18435 :       && group->start == group->stores[0]->bitpos
    3735                 :      18435 :       && group->width == group->stores[0]->bitsize
    3736                 :      17360 :       && (group->start % BITS_PER_UNIT) == 0
    3737                 :     452342 :       && (group->width % BITS_PER_UNIT) == 0)
    3738                 :            :     {
    3739                 :      17360 :       clobber_first = true;
    3740                 :      17360 :       unsigned HOST_WIDE_INT pos = group->start / BITS_PER_UNIT;
    3741                 :      56246 :       FOR_EACH_VEC_ELT (split_stores, i, split_store)      
    3742                 :      42981 :         if (split_store->bytepos != pos)
    3743                 :            :           {
    3744                 :            :             clobber_first = false;
    3745                 :            :             break;
    3746                 :            :           }
    3747                 :            :         else
    3748                 :      38886 :           pos += split_store->size / BITS_PER_UNIT;
    3749                 :      17360 :       if (pos != (group->start + group->width) / BITS_PER_UNIT)
    3750                 :      10919 :         clobber_first = false;
    3751                 :            :     }
    3752                 :            : 
    3753                 :     869964 :   if (split_stores.length () >= orig_num_stmts + clobber_first)
    3754                 :            :     {
    3755                 :            : 
    3756                 :            :       /* We didn't manage to reduce the number of statements.  Bail out.  */
    3757                 :     348340 :       if (dump_file && (dump_flags & TDF_DETAILS))
    3758                 :          0 :         fprintf (dump_file, "Exceeded original number of stmts (%u)."
    3759                 :            :                             "  Not profitable to emit new sequence.\n",
    3760                 :            :                  orig_num_stmts);
    3761                 :    1245260 :       FOR_EACH_VEC_ELT (split_stores, i, split_store)
    3762                 :    1793830 :         delete split_store;
    3763                 :            :       return false;
    3764                 :            :     }
    3765                 :      86642 :   if (total_orig <= total_new)
    3766                 :            :     {
    3767                 :            :       /* If number of estimated new statements is above estimated original
    3768                 :            :          statements, bail out too.  */
    3769                 :        780 :       if (dump_file && (dump_flags & TDF_DETAILS))
    3770                 :          0 :         fprintf (dump_file, "Estimated number of original stmts (%u)"
    3771                 :            :                             " not larger than estimated number of new"
    3772                 :            :                             " stmts (%u).\n",
    3773                 :            :                  total_orig, total_new);
    3774                 :       2127 :       FOR_EACH_VEC_ELT (split_stores, i, split_store)
    3775                 :       2694 :         delete split_store;
    3776                 :            :       return false;
    3777                 :            :     }
    3778                 :      85862 :   if (group->stores[0]->rhs_code == INTEGER_CST)
    3779                 :            :     {
    3780                 :     168996 :       bool all_orig = true;
    3781                 :     168996 :       FOR_EACH_VEC_ELT (split_stores, i, split_store)
    3782                 :     163825 :         if (!split_store->orig)
    3783                 :            :           {
    3784                 :            :             all_orig = false;
    3785                 :            :             break;
    3786                 :            :           }
    3787                 :      82728 :       if (all_orig)
    3788                 :            :         {
    3789                 :       5171 :           unsigned int cnt = split_stores.length ();
    3790                 :            :           store_immediate_info *store;
    3791                 :      22769 :           FOR_EACH_VEC_ELT (group->stores, i, store)
    3792                 :      17598 :             if (gimple_clobber_p (store->stmt))
    3793                 :       5406 :               ++cnt;
    3794                 :            :           /* Punt if we wouldn't make any real changes, i.e. keep all
    3795                 :            :              orig stmts + all clobbers.  */
    3796                 :       5171 :           if (cnt == group->stores.length ())
    3797                 :            :             {
    3798                 :       5158 :               if (dump_file && (dump_flags & TDF_DETAILS))
    3799                 :          0 :                 fprintf (dump_file, "Exceeded original number of stmts (%u)."
    3800                 :            :                                     "  Not profitable to emit new sequence.\n",
    3801                 :            :                          orig_num_stmts);
    3802                 :      17320 :               FOR_EACH_VEC_ELT (split_stores, i, split_store)
    3803                 :      24324 :                 delete split_store;
    3804                 :     514742 :               return false;
    3805                 :            :             }
    3806                 :            :         }
    3807                 :            :     }
    3808                 :            : 
    3809                 :      80704 :   gimple_stmt_iterator last_gsi = gsi_for_stmt (group->last_stmt);
    3810                 :      80704 :   gimple_seq seq = NULL;
    3811                 :      80704 :   tree last_vdef, new_vuse;
    3812                 :      80704 :   last_vdef = gimple_vdef (group->last_stmt);
    3813                 :      80704 :   new_vuse = gimple_vuse (group->last_stmt);
    3814                 :      80704 :   tree bswap_res = NULL_TREE;
    3815                 :            : 
    3816                 :            :   /* Clobbers are not removed.  */
    3817                 :      80704 :   if (gimple_clobber_p (group->last_stmt))
    3818                 :            :     {
    3819                 :       1344 :       new_vuse = make_ssa_name (gimple_vop (cfun), group->last_stmt);
    3820                 :        672 :       gimple_set_vdef (group->last_stmt, new_vuse);
    3821                 :            :     }
    3822                 :            : 
    3823                 :      80704 :   if (group->stores[0]->rhs_code == LROTATE_EXPR
    3824                 :      80704 :       || group->stores[0]->rhs_code == NOP_EXPR)
    3825                 :            :     {
    3826                 :        836 :       tree fndecl = NULL_TREE, bswap_type = NULL_TREE, load_type;
    3827                 :        836 :       gimple *ins_stmt = group->stores[0]->ins_stmt;
    3828                 :        836 :       struct symbolic_number *n = &group->stores[0]->n;
    3829                 :        836 :       bool bswap = group->stores[0]->rhs_code == LROTATE_EXPR;
    3830                 :            : 
    3831                 :        836 :       switch (n->range)
    3832                 :            :         {
    3833                 :        595 :         case 16:
    3834                 :        595 :           load_type = bswap_type = uint16_type_node;
    3835                 :        595 :           break;
    3836                 :        130 :         case 32:
    3837                 :        130 :           load_type = uint32_type_node;
    3838                 :        130 :           if (bswap)
    3839                 :            :             {
    3840                 :         92 :               fndecl = builtin_decl_explicit (BUILT_IN_BSWAP32);
    3841                 :         92 :               bswap_type = TREE_VALUE (TYPE_ARG_TYPES (TREE_TYPE (fndecl)));
    3842                 :            :             }
    3843                 :            :           break;
    3844                 :        111 :         case 64:
    3845                 :        111 :           load_type = uint64_type_node;
    3846                 :        111 :           if (bswap)
    3847                 :            :             {
    3848                 :         20 :               fndecl = builtin_decl_explicit (BUILT_IN_BSWAP64);
    3849                 :         20 :               bswap_type = TREE_VALUE (TYPE_ARG_TYPES (TREE_TYPE (fndecl)));
    3850                 :            :             }
    3851                 :            :           break;
    3852                 :          0 :         default:
    3853                 :          0 :           gcc_unreachable ();
    3854                 :            :         }
    3855                 :            : 
    3856                 :            :       /* If the loads have each vuse of the corresponding store,
    3857                 :            :          we've checked the aliasing already in try_coalesce_bswap and
    3858                 :            :          we want to sink the need load into seq.  So need to use new_vuse
    3859                 :            :          on the load.  */
    3860                 :        836 :       if (n->base_addr)
    3861                 :            :         {
    3862                 :        562 :           if (n->vuse == NULL)
    3863                 :            :             {
    3864                 :         65 :               n->vuse = new_vuse;
    3865                 :         65 :               ins_stmt = NULL;
    3866                 :            :             }
    3867                 :            :           else
    3868                 :            :             /* Update vuse in case it has changed by output_merged_stores.  */
    3869                 :        994 :             n->vuse = gimple_vuse (ins_stmt);
    3870                 :            :         }
    3871                 :        836 :       bswap_res = bswap_replace (gsi_start (seq), ins_stmt, fndecl,
    3872                 :            :                                  bswap_type, load_type, n, bswap);
    3873                 :        836 :       gcc_assert (bswap_res);
    3874                 :            :     }
    3875                 :            : 
    3876                 :      80704 :   gimple *stmt = NULL;
    3877                 :     161408 :   auto_vec<gimple *, 32> orig_stmts;
    3878                 :      80704 :   gimple_seq this_seq;
    3879                 :      80704 :   tree addr = force_gimple_operand_1 (unshare_expr (base_addr), &this_seq,
    3880                 :            :                                       is_gimple_mem_ref_addr, NULL_TREE);
    3881                 :      80704 :   gimple_seq_add_seq_without_update (&seq, this_seq);
    3882                 :            : 
    3883                 :      80704 :   tree load_addr[2] = { NULL_TREE, NULL_TREE };
    3884                 :      80704 :   gimple_seq load_seq[2] = { NULL, NULL };
    3885                 :      80704 :   gimple_stmt_iterator load_gsi[2] = { gsi_none (), gsi_none () };
    3886                 :     242112 :   for (int j = 0; j < 2; ++j)
    3887                 :            :     {
    3888                 :     161408 :       store_operand_info &op = group->stores[0]->ops[j];
    3889                 :     161408 :       if (op.base_addr == NULL_TREE)
    3890                 :     159197 :         continue;
    3891                 :            : 
    3892                 :       2211 :       store_immediate_info *infol = group->stores.last ();
    3893                 :       6633 :       if (gimple_vuse (op.stmt) == gimple_vuse (infol->ops[j].stmt))
    3894                 :            :         {
    3895                 :            :           /* We can't pick the location randomly; while we've verified
    3896                 :            :              all the loads have the same vuse, they can be still in different
    3897                 :            :              basic blocks and we need to pick the one from the last bb:
    3898                 :            :              int x = q[0];
    3899                 :            :              if (x == N) return;
    3900                 :            :              int y = q[1];
    3901                 :            :              p[0] = x;
    3902                 :            :              p[1] = y;
    3903                 :            :              otherwise if we put the wider load at the q[0] load, we might
    3904                 :            :              segfault if q[1] is not mapped.  */
    3905                 :       1543 :           basic_block bb = gimple_bb (op.stmt);
    3906                 :       1543 :           gimple *ostmt = op.stmt;
    3907                 :       1543 :           store_immediate_info *info;
    3908                 :       9695 :           FOR_EACH_VEC_ELT (group->stores, i, info)
    3909                 :            :             {
    3910                 :       8152 :               gimple *tstmt = info->ops[j].stmt;
    3911                 :       8152 :               basic_block tbb = gimple_bb (tstmt);
    3912                 :       8152 :               if (dominated_by_p (CDI_DOMINATORS, tbb, bb))
    3913                 :            :                 {
    3914                 :       8103 :                   ostmt = tstmt;
    3915                 :       8103 :                   bb = tbb;
    3916                 :            :                 }
    3917                 :            :             }
    3918                 :       1543 :           load_gsi[j] = gsi_for_stmt (ostmt);
    3919                 :       1543 :           load_addr[j]
    3920                 :       1543 :             = force_gimple_operand_1 (unshare_expr (op.base_addr),
    3921                 :            :                                       &load_seq[j], is_gimple_mem_ref_addr,
    3922                 :            :                                       NULL_TREE);
    3923                 :            :         }
    3924                 :        668 :       else if (operand_equal_p (base_addr, op.base_addr, 0))
    3925                 :         69 :         load_addr[j] = addr;
    3926                 :            :       else
    3927                 :            :         {
    3928                 :        599 :           load_addr[j]
    3929                 :        599 :             = force_gimple_operand_1 (unshare_expr (op.base_addr),
    3930                 :            :                                       &this_seq, is_gimple_mem_ref_addr,
    3931                 :            :                                       NULL_TREE);
    3932                 :        599 :           gimple_seq_add_seq_without_update (&seq, this_seq);
    3933                 :            :         }
    3934                 :            :     }
    3935                 :            : 
    3936                 :     357254 :   FOR_EACH_VEC_ELT (split_stores, i, split_store)
    3937                 :            :     {
    3938                 :     276550 :       unsigned HOST_WIDE_INT try_size = split_store->size;
    3939                 :     276550 :       unsigned HOST_WIDE_INT try_pos = split_store->bytepos;
    3940                 :     276550 :       unsigned HOST_WIDE_INT try_bitpos = try_pos * BITS_PER_UNIT;
    3941                 :     276550 :       unsigned HOST_WIDE_INT align = split_store->align;
    3942                 :     276550 :       tree dest, src;
    3943                 :     276550 :       location_t loc;
    3944                 :     276550 :       if (split_store->orig)
    3945                 :            :         {
    3946                 :            :           /* If there is just a single non-clobber constituent store
    3947                 :            :              which covers the whole area, just reuse the lhs and rhs.  */
    3948                 :     194713 :           gimple *orig_stmt = NULL;
    3949                 :            :           store_immediate_info *store;
    3950                 :            :           unsigned int j;
    3951                 :     194713 :           FOR_EACH_VEC_ELT (split_store->orig_stores, j, store)
    3952                 :     194713 :             if (!gimple_clobber_p (store->stmt))
    3953                 :            :               {
    3954                 :            :                 orig_stmt = store->stmt;
    3955                 :            :                 break;
    3956                 :            :               }
    3957                 :     169872 :           dest = gimple_assign_lhs (orig_stmt);
    3958                 :     169872 :           src = gimple_assign_rhs1 (orig_stmt);
    3959                 :     169872 :           loc = gimple_location (orig_stmt);
    3960                 :            :         }
    3961                 :            :       else
    3962                 :            :         {
    3963                 :            :           store_immediate_info *info;
    3964                 :            :           unsigned short clique, base;
    3965                 :            :           unsigned int k;
    3966                 :     389838 :           FOR_EACH_VEC_ELT (split_store->orig_stores, k, info)
    3967                 :     283160 :             orig_stmts.safe_push (info->stmt);
    3968                 :     106678 :           tree offset_type
    3969                 :     106678 :             = get_alias_type_for_stmts (orig_stmts, false, &clique, &base);
    3970                 :     106678 :           loc = get_location_for_stmts (orig_stmts);
    3971                 :     106678 :           orig_stmts.truncate (0);
    3972                 :            : 
    3973                 :     106678 :           tree int_type = build_nonstandard_integer_type (try_size, UNSIGNED);
    3974                 :     106678 :           int_type = build_aligned_type (int_type, align);
    3975                 :     106678 :           dest = fold_build2 (MEM_REF, int_type, addr,
    3976                 :            :                               build_int_cst (offset_type, try_pos));
    3977                 :     106678 :           if (TREE_CODE (dest) == MEM_REF)
    3978                 :            :             {
    3979                 :     106678 :               MR_DEPENDENCE_CLIQUE (dest) = clique;
    3980                 :     106678 :               MR_DEPENDENCE_BASE (dest) = base;
    3981                 :            :             }
    3982                 :            : 
    3983                 :     106678 :           tree mask;
    3984                 :     106678 :           if (bswap_res)
    3985                 :        836 :             mask = integer_zero_node;
    3986                 :            :           else
    3987                 :     105842 :             mask = native_interpret_expr (int_type,
    3988                 :     105842 :                                           group->mask + try_pos
    3989                 :     105842 :                                           - start_byte_pos,
    3990                 :     105842 :                                           group->buf_size);
    3991                 :            : 
    3992                 :     106678 :           tree ops[2];
    3993                 :     213415 :           for (int j = 0;
    3994                 :     426653 :                j < 1 + (split_store->orig_stores[0]->ops[1].val != NULL_TREE);
    3995                 :            :                ++j)
    3996                 :            :             {
    3997                 :     106737 :               store_operand_info &op = split_store->orig_stores[0]->ops[j];
    3998                 :     106737 :               if (bswap_res)
    3999                 :        836 :                 ops[j] = bswap_res;
    4000                 :     105901 :               else if (op.base_addr)
    4001                 :            :                 {
    4002                 :      11914 :                   FOR_EACH_VEC_ELT (split_store->orig_stores, k, info)
    4003                 :       8609 :                     orig_stmts.safe_push (info->ops[j].stmt);
    4004                 :            : 
    4005                 :       3305 :                   offset_type = get_alias_type_for_stmts (orig_stmts, true,
    4006                 :            :                                                           &clique, &base);
    4007                 :       3305 :                   location_t load_loc = get_location_for_stmts (orig_stmts);
    4008                 :       3305 :                   orig_stmts.truncate (0);
    4009                 :            : 
    4010                 :       3305 :                   unsigned HOST_WIDE_INT load_align = group->load_align[j];
    4011                 :       3305 :                   unsigned HOST_WIDE_INT align_bitpos
    4012                 :       3305 :                     = known_alignment (try_bitpos
    4013                 :       6610 :                                        - split_store->orig_stores[0]->bitpos
    4014                 :       3305 :                                        + op.bitpos);
    4015                 :       3305 :                   if (align_bitpos & (load_align - 1))
    4016                 :        683 :                     load_align = least_bit_hwi (align_bitpos);
    4017                 :            : 
    4018                 :       3305 :                   tree load_int_type
    4019                 :       3305 :                     = build_nonstandard_integer_type (try_size, UNSIGNED);
    4020                 :       3305 :                   load_int_type
    4021                 :       3305 :                     = build_aligned_type (load_int_type, load_align);
    4022                 :            : 
    4023                 :       3305 :                   poly_uint64 load_pos
    4024                 :            :                     = exact_div (try_bitpos
    4025                 :       3305 :                                  - split_store->orig_stores[0]->bitpos
    4026                 :       3305 :                                  + op.bitpos,
    4027                 :       3305 :                                  BITS_PER_UNIT);
    4028                 :       3305 :                   ops[j] = fold_build2 (MEM_REF, load_int_type, load_addr[j],
    4029                 :            :                                         build_int_cst (offset_type, load_pos));
    4030                 :       3305 :                   if (TREE_CODE (ops[j]) == MEM_REF)
    4031                 :            :                     {
    4032                 :       3305 :                       MR_DEPENDENCE_CLIQUE (ops[j]) = clique;
    4033                 :       3305 :                       MR_DEPENDENCE_BASE (ops[j]) = base;
    4034                 :            :                     }
    4035                 :       3305 :                   if (!integer_zerop (mask))
    4036                 :            :                     /* The load might load some bits (that will be masked off
    4037                 :            :                        later on) uninitialized, avoid -W*uninitialized
    4038                 :            :                        warnings in that case.  */
    4039                 :         42 :                     TREE_NO_WARNING (ops[j]) = 1;
    4040                 :            : 
    4041                 :       3305 :                   stmt = gimple_build_assign (make_ssa_name (int_type),
    4042                 :            :                                               ops[j]);
    4043                 :       3305 :                   gimple_set_location (stmt, load_loc);
    4044                 :       3305 :                   if (gsi_bb (load_gsi[j]))
    4045                 :            :                     {
    4046                 :       4968 :                       gimple_set_vuse (stmt, gimple_vuse (op.stmt));
    4047                 :       2484 :                       gimple_seq_add_stmt_without_update (&load_seq[j], stmt);
    4048                 :            :                     }
    4049                 :            :                   else
    4050                 :            :                     {
    4051                 :        821 :                       gimple_set_vuse (stmt, new_vuse);
    4052                 :        821 :                       gimple_seq_add_stmt_without_update (&seq, stmt);
    4053                 :            :                     }
    4054                 :       3305 :                   ops[j] = gimple_assign_lhs (stmt);
    4055                 :       3305 :                   tree xor_mask;
    4056                 :       3305 :                   enum tree_code inv_op
    4057                 :       3305 :                     = invert_op (split_store, j, int_type, xor_mask);
    4058                 :       3305 :                   if (inv_op != NOP_EXPR)
    4059                 :            :                     {
    4060                 :         23 :                       stmt = gimple_build_assign (make_ssa_name (int_type),
    4061                 :            :                                                   inv_op, ops[j], xor_mask);
    4062                 :         23 :                       gimple_set_location (stmt, load_loc);
    4063                 :         23 :                       ops[j] = gimple_assign_lhs (stmt);
    4064                 :            : 
    4065                 :         23 :                       if (gsi_bb (load_gsi[j]))
    4066                 :          9 :                         gimple_seq_add_stmt_without_update (&load_seq[j],
    4067                 :            :                                                             stmt);
    4068                 :            :                       else
    4069                 :         14 :                         gimple_seq_add_stmt_without_update (&seq, stmt);
    4070                 :            :                     }
    4071                 :            :                 }
    4072                 :            :               else
    4073                 :     102596 :                 ops[j] = native_interpret_expr (int_type,
    4074                 :     102596 :                                                 group->val + try_pos
    4075                 :     102596 :                                                 - start_byte_pos,
    4076                 :     102596 :                                                 group->buf_size);
    4077                 :            :             }
    4078                 :            : 
    4079                 :     106678 :           switch (split_store->orig_stores[0]->rhs_code)
    4080                 :            :             {
    4081                 :            :             case BIT_AND_EXPR:
    4082                 :            :             case BIT_IOR_EXPR:
    4083                 :            :             case BIT_XOR_EXPR:
    4084                 :        257 :               FOR_EACH_VEC_ELT (split_store->orig_stores, k, info)
    4085                 :            :                 {
    4086                 :        198 :                   tree rhs1 = gimple_assign_rhs1 (info->stmt);
    4087                 :        198 :                   orig_stmts.safe_push (SSA_NAME_DEF_STMT (rhs1));
    4088                 :            :                 }
    4089                 :         59 :               location_t bit_loc;
    4090                 :         59 :               bit_loc = get_location_for_stmts (orig_stmts);
    4091                 :         59 :               orig_stmts.truncate (0);
    4092                 :            : 
    4093                 :         59 :               stmt
    4094                 :         59 :                 = gimple_build_assign (make_ssa_name (int_type),
    4095                 :         59 :                                        split_store->orig_stores[0]->rhs_code,
    4096                 :            :                                        ops[0], ops[1]);
    4097                 :         59 :               gimple_set_location (stmt, bit_loc);
    4098                 :            :               /* If there is just one load and there is a separate
    4099                 :            :                  load_seq[0], emit the bitwise op right after it.  */
    4100                 :         59 :               if (load_addr[1] == NULL_TREE && gsi_bb (load_gsi[0]))
    4101                 :          0 :                 gimple_seq_add_stmt_without_update (&load_seq[0], stmt);
    4102                 :            :               /* Otherwise, if at least one load is in seq, we need to
    4103                 :            :                  emit the bitwise op right before the store.  If there
    4104                 :            :                  are two loads and are emitted somewhere else, it would
    4105                 :            :                  be better to emit the bitwise op as early as possible;
    4106                 :            :                  we don't track where that would be possible right now
    4107                 :            :                  though.  */
    4108                 :            :               else
    4109                 :         59 :                 gimple_seq_add_stmt_without_update (&seq, stmt);
    4110                 :         59 :               src = gimple_assign_lhs (stmt);
    4111                 :         59 :               tree xor_mask;
    4112                 :         59 :               enum tree_code inv_op;
    4113                 :         59 :               inv_op = invert_op (split_store, 2, int_type, xor_mask);
    4114                 :         59 :               if (inv_op != NOP_EXPR)
    4115                 :            :                 {
    4116                 :          2 :                   stmt = gimple_build_assign (make_ssa_name (int_type),
    4117                 :            :                                               inv_op, src, xor_mask);
    4118                 :          2 :                   gimple_set_location (stmt, bit_loc);
    4119                 :          2 :                   if (load_addr[1] == NULL_TREE && gsi_bb (load_gsi[0]))
    4120                 :          0 :                     gimple_seq_add_stmt_without_update (&load_seq[0], stmt);
    4121                 :            :                   else
    4122                 :          2 :                     gimple_seq_add_stmt_without_update (&seq, stmt);
    4123                 :          2 :                   src = gimple_assign_lhs (stmt);
    4124                 :            :                 }
    4125                 :            :               break;
    4126                 :        836 :             case LROTATE_EXPR:
    4127                 :        836 :             case NOP_EXPR:
    4128                 :        836 :               src = ops[0];
    4129                 :        836 :               if (!is_gimple_val (src))
    4130                 :            :                 {
    4131                 :          0 :                   stmt = gimple_build_assign (make_ssa_name (TREE_TYPE (src)),
    4132                 :            :                                               src);
    4133                 :          0 :                   gimple_seq_add_stmt_without_update (&seq, stmt);
    4134                 :          0 :                   src = gimple_assign_lhs (stmt);
    4135                 :            :                 }
    4136                 :        836 :               if (!useless_type_conversion_p (int_type, TREE_TYPE (src)))
    4137                 :            :                 {
    4138                 :         85 :                   stmt = gimple_build_assign (make_ssa_name (int_type),
    4139                 :            :                                               NOP_EXPR, src);
    4140                 :         85 :                   gimple_seq_add_stmt_without_update (&seq, stmt);
    4141                 :         85 :                   src = gimple_assign_lhs (stmt);
    4142                 :            :                 }
    4143                 :        836 :               inv_op = invert_op (split_store, 2, int_type, xor_mask);
    4144                 :        836 :               if (inv_op != NOP_EXPR)
    4145                 :            :                 {
    4146                 :          6 :                   stmt = gimple_build_assign (make_ssa_name (int_type),
    4147                 :            :                                               inv_op, src, xor_mask);
    4148                 :          6 :                   gimple_set_location (stmt, loc);
    4149                 :          6 :                   gimple_seq_add_stmt_without_update (&seq, stmt);
    4150                 :          6 :                   src = gimple_assign_lhs (stmt);
    4151                 :            :                 }
    4152                 :            :               break;
    4153                 :     105783 :             default:
    4154                 :     105783 :               src = ops[0];
    4155                 :     105783 :               break;
    4156                 :            :             }
    4157                 :            : 
    4158                 :            :           /* If bit insertion is required, we use the source as an accumulator
    4159                 :            :              into which the successive bit-field values are manually inserted.
    4160                 :            :              FIXME: perhaps use BIT_INSERT_EXPR instead in some cases?  */
    4161                 :     106678 :           if (group->bit_insertion)
    4162                 :       3015 :             FOR_EACH_VEC_ELT (split_store->orig_stores, k, info)
    4163                 :       2040 :               if (info->rhs_code == BIT_INSERT_EXPR
    4164                 :       1127 :                   && info->bitpos < try_bitpos + try_size
    4165                 :       1127 :                   && info->bitpos + info->bitsize > try_bitpos)
    4166                 :            :                 {
    4167                 :            :                   /* Mask, truncate, convert to final type, shift and ior into
    4168                 :            :                      the accumulator.  Note that every step can be a no-op.  */
    4169                 :       1127 :                   const HOST_WIDE_INT start_gap = info->bitpos - try_bitpos;
    4170                 :       1127 :                   const HOST_WIDE_INT end_gap
    4171                 :       1127 :                     = (try_bitpos + try_size) - (info->bitpos + info->bitsize);
    4172                 :       1127 :                   tree tem = info->ops[0].val;
    4173                 :       1127 :                   if (TYPE_PRECISION (TREE_TYPE (tem)) <= info->bitsize)
    4174                 :            :                     {
    4175                 :        213 :                       tree bitfield_type
    4176                 :        213 :                         = build_nonstandard_integer_type (info->bitsize,
    4177                 :            :                                                           UNSIGNED);
    4178                 :        213 :                       tem = gimple_convert (&seq, loc, bitfield_type, tem);
    4179                 :            :                     }
    4180                 :        914 :                   else if ((BYTES_BIG_ENDIAN ? start_gap : end_gap) > 0)
    4181                 :            :                     {
    4182                 :         94 :                       const unsigned HOST_WIDE_INT imask
    4183                 :         94 :                         = (HOST_WIDE_INT_1U << info->bitsize) - 1;
    4184                 :        188 :                       tem = gimple_build (&seq, loc,
    4185                 :         94 :                                           BIT_AND_EXPR, TREE_TYPE (tem), tem,
    4186                 :         94 :                                           build_int_cst (TREE_TYPE (tem),
    4187                 :            :                                                          imask));
    4188                 :            :                     }
    4189                 :       1127 :                   const HOST_WIDE_INT shift
    4190                 :            :                     = (BYTES_BIG_ENDIAN ? end_gap : start_gap);
    4191                 :       1127 :                   if (shift < 0)
    4192                 :         14 :                     tem = gimple_build (&seq, loc,
    4193                 :          7 :                                         RSHIFT_EXPR, TREE_TYPE (tem), tem,
    4194                 :          7 :                                         build_int_cst (NULL_TREE, -shift));
    4195                 :       1127 :                   tem = gimple_convert (&seq, loc, int_type, tem);
    4196                 :       1127 :                   if (shift > 0)
    4197                 :       1005 :                     tem = gimple_build (&seq, loc,
    4198                 :            :                                         LSHIFT_EXPR, int_type, tem,
    4199                 :            :                                         build_int_cst (NULL_TREE, shift));
    4200                 :       1127 :                   src = gimple_build (&seq, loc,
    4201                 :            :                                       BIT_IOR_EXPR, int_type, tem, src);
    4202                 :            :                 }
    4203                 :            : 
    4204                 :     106678 :           if (!integer_zerop (mask))
    4205                 :            :             {
    4206                 :        383 :               tree tem = make_ssa_name (int_type);
    4207                 :        383 :               tree load_src = unshare_expr (dest);
    4208                 :            :               /* The load might load some or all bits uninitialized,
    4209                 :            :                  avoid -W*uninitialized warnings in that case.
    4210                 :            :                  As optimization, it would be nice if all the bits are
    4211                 :            :                  provably uninitialized (no stores at all yet or previous
    4212                 :            :                  store a CLOBBER) we'd optimize away the load and replace
    4213                 :            :                  it e.g. with 0.  */
    4214                 :        383 :               TREE_NO_WARNING (load_src) = 1;
    4215                 :        383 :               stmt = gimple_build_assign (tem, load_src);
    4216                 :        383 :               gimple_set_location (stmt, loc);
    4217                 :        383 :               gimple_set_vuse (stmt, new_vuse);
    4218                 :        383 :               gimple_seq_add_stmt_without_update (&seq, stmt);
    4219                 :            : 
    4220                 :            :               /* FIXME: If there is a single chunk of zero bits in mask,
    4221                 :            :                  perhaps use BIT_INSERT_EXPR instead?  */
    4222                 :        383 :               stmt = gimple_build_assign (make_ssa_name (int_type),
    4223                 :            :                                           BIT_AND_EXPR, tem, mask);
    4224                 :        383 :               gimple_set_location (stmt, loc);
    4225                 :        383 :               gimple_seq_add_stmt_without_update (&seq, stmt);
    4226                 :        383 :               tem = gimple_assign_lhs (stmt);
    4227                 :            : 
    4228                 :        383 :               if (TREE_CODE (src) == INTEGER_CST)
    4229                 :        310 :                 src = wide_int_to_tree (int_type,
    4230                 :        310 :                                         wi::bit_and_not (wi::to_wide (src),
    4231                 :        620 :                                                          wi::to_wide (mask)));
    4232                 :            :               else
    4233                 :            :                 {
    4234                 :         73 :                   tree nmask
    4235                 :         73 :                     = wide_int_to_tree (int_type,
    4236                 :         73 :                                         wi::bit_not (wi::to_wide (mask)));
    4237                 :         73 :                   stmt = gimple_build_assign (make_ssa_name (int_type),
    4238                 :            :                                               BIT_AND_EXPR, src, nmask);
    4239                 :         73 :                   gimple_set_location (stmt, loc);
    4240                 :         73 :                   gimple_seq_add_stmt_without_update (&seq, stmt);
    4241                 :         73 :                   src = gimple_assign_lhs (stmt);
    4242                 :            :                 }
    4243                 :        383 :               stmt = gimple_build_assign (make_ssa_name (int_type),
    4244                 :            :                                           BIT_IOR_EXPR, tem, src);
    4245                 :        383 :               gimple_set_location (stmt, loc);
    4246                 :        383 :               gimple_seq_add_stmt_without_update (&seq, stmt);
    4247                 :        383 :               src = gimple_assign_lhs (stmt);
    4248                 :            :             }
    4249                 :            :         }
    4250                 :            : 
    4251                 :     276550 :       stmt = gimple_build_assign (dest, src);
    4252                 :     276550 :       gimple_set_location (stmt, loc);
    4253                 :     276550 :       gimple_set_vuse (stmt, new_vuse);
    4254                 :     276550 :       gimple_seq_add_stmt_without_update (&seq, stmt);
    4255                 :            : 
    4256                 :     276550 :       if (group->lp_nr && stmt_could_throw_p (cfun, stmt))
    4257                 :         22 :         add_stmt_to_eh_lp (stmt, group->lp_nr);
    4258                 :            : 
    4259                 :     276550 :       tree new_vdef;
    4260                 :     553100 :       if (i < split_stores.length () - 1)
    4261                 :     391692 :         new_vdef = make_ssa_name (gimple_vop (cfun), stmt);
    4262                 :            :       else
    4263                 :            :         new_vdef = last_vdef;
    4264                 :            : 
    4265                 :     276550 :       gimple_set_vdef (stmt, new_vdef);
    4266                 :     276550 :       SSA_NAME_DEF_STMT (new_vdef) = stmt;
    4267                 :     276550 :       new_vuse = new_vdef;
    4268                 :            :     }
    4269                 :            : 
    4270                 :     357254 :   FOR_EACH_VEC_ELT (split_stores, i, split_store)
    4271                 :     553100 :     delete split_store;
    4272                 :            : 
    4273                 :      80704 :   gcc_assert (seq);
    4274                 :      80704 :   if (dump_file)
    4275                 :            :     {
    4276                 :        196 :       fprintf (dump_file,
    4277                 :            :                "New sequence of %u stores to replace old one of %u stores\n",
    4278                 :            :                split_stores.length (), orig_num_stmts);
    4279                 :         98 :       if (dump_flags & TDF_DETAILS)
    4280                 :         26 :         print_gimple_seq (dump_file, seq, 0, TDF_VOPS | TDF_MEMSYMS);
    4281                 :            :     }
    4282                 :            : 
    4283                 :      80704 :   if (gimple_clobber_p (group->last_stmt))
    4284                 :        672 :     update_stmt (group->last_stmt);
    4285                 :            : 
    4286                 :      80704 :   if (group->lp_nr > 0)
    4287                 :            :     {
    4288                 :            :       /* We're going to insert a sequence of (potentially) throwing stores
    4289                 :            :          into an active EH region.  This means that we're going to create
    4290                 :            :          new basic blocks with EH edges pointing to the post landing pad
    4291                 :            :          and, therefore, to have to update its PHI nodes, if any.  For the
    4292                 :            :          virtual PHI node, we're going to use the VDEFs created above, but
    4293                 :            :          for the other nodes, we need to record the original reaching defs.  */
    4294                 :          9 :       eh_landing_pad lp = get_eh_landing_pad_from_number (group->lp_nr);
    4295                 :          9 :       basic_block lp_bb = label_to_block (cfun, lp->post_landing_pad);
    4296                 :          9 :       basic_block last_bb = gimple_bb (group->last_stmt);
    4297                 :          9 :       edge last_edge = find_edge (last_bb, lp_bb);
    4298                 :         18 :       auto_vec<tree, 16> last_defs;
    4299                 :          9 :       gphi_iterator gpi;
    4300                 :         18 :       for (gpi = gsi_start_phis (lp_bb); !gsi_end_p (gpi); gsi_next (&gpi))
    4301                 :            :         {
    4302                 :          9 :           gphi *phi = gpi.phi ();
    4303                 :          9 :           tree last_def;
    4304                 :         18 :           if (virtual_operand_p (gimple_phi_result (phi)))
    4305                 :          9 :             last_def = NULL_TREE;
    4306                 :            :           else
    4307                 :          0 :             last_def = gimple_phi_arg_def (phi, last_edge->dest_idx);
    4308                 :          9 :           last_defs.safe_push (last_def);
    4309                 :            :         }
    4310                 :            : 
    4311                 :            :       /* Do the insertion.  Then, if new basic blocks have been created in the
    4312                 :            :          process, rewind the chain of VDEFs create above to walk the new basic
    4313                 :            :          blocks and update the corresponding arguments of the PHI nodes.  */
    4314                 :          9 :       update_modified_stmts (seq);
    4315                 :          9 :       if (gimple_find_sub_bbs (seq, &last_gsi))
    4316                 :         29 :         while (last_vdef != gimple_vuse (group->last_stmt))
    4317                 :            :           {
    4318                 :         20 :             gimple *stmt = SSA_NAME_DEF_STMT (last_vdef);
    4319                 :         20 :             if (stmt_could_throw_p (cfun, stmt))
    4320                 :            :               {
    4321                 :         20 :                 edge new_edge = find_edge (gimple_bb (stmt), lp_bb);
    4322                 :         20 :                 unsigned int i;
    4323                 :         20 :                 for (gpi = gsi_start_phis (lp_bb), i = 0;
    4324                 :         40 :                      !gsi_end_p (gpi);
    4325                 :         20 :                      gsi_next (&gpi), i++)
    4326                 :            :                   {
    4327                 :         20 :                     gphi *phi = gpi.phi ();
    4328                 :         20 :                     tree new_def;
    4329                 :         40 :                     if (virtual_operand_p (gimple_phi_result (phi)))
    4330                 :            :                       new_def = last_vdef;
    4331                 :            :                     else
    4332                 :          0 :                       new_def = last_defs[i];
    4333                 :         20 :                     add_phi_arg (phi, new_def, new_edge, UNKNOWN_LOCATION);
    4334                 :            :                   }
    4335                 :            :               }
    4336                 :         49 :             last_vdef = gimple_vuse (stmt);
    4337                 :            :           }
    4338                 :            :     }
    4339                 :            :   else
    4340                 :      80695 :     gsi_insert_seq_after (&last_gsi, seq, GSI_SAME_STMT);
    4341                 :            : 
    4342                 :     242112 :   for (int j = 0; j < 2; ++j)
    4343                 :     161408 :     if (load_seq[j])
    4344                 :       1543 :       gsi_insert_seq_after (&load_gsi[j], load_seq[j], GSI_SAME_STMT);
    4345                 :            : 
    4346                 :      80704 :   return true;
    4347                 :            : }
    4348                 :            : 
    4349                 :            : /* Process the merged_store_group objects created in the coalescing phase.
    4350                 :            :    The stores are all against the base object BASE.
    4351                 :            :    Try to output the widened stores and delete the original statements if
    4352                 :            :    successful.  Return true iff any changes were made.  */
    4353                 :            : 
    4354                 :            : bool
    4355                 :     456668 : imm_store_chain_info::output_merged_stores ()
    4356                 :            : {
    4357                 :     456668 :   unsigned int i;
    4358                 :     456668 :   merged_store_group *merged_store;
    4359                 :     456668 :   bool ret = false;
    4360                 :     971410 :   FOR_EACH_VEC_ELT (m_merged_store_groups, i, merged_store)
    4361                 :            :     {
    4362                 :     514742 :       if (dbg_cnt (store_merging)
    4363                 :     514742 :           && output_merged_store (merged_store))
    4364                 :            :         {
    4365                 :            :           unsigned int j;
    4366                 :            :           store_immediate_info *store;
    4367                 :    1050200 :           FOR_EACH_VEC_ELT (merged_store->stores, j, store)
    4368                 :            :             {
    4369                 :     454754 :               gimple *stmt = store->stmt;
    4370                 :     454754 :               gimple_stmt_iterator gsi = gsi_for_stmt (stmt);
    4371                 :            :               /* Don't remove clobbers, they are still useful even if
    4372                 :            :                  everything is overwritten afterwards.  */
    4373                 :     454754 :               if (gimple_clobber_p (stmt))
    4374                 :       8987 :                 continue;
    4375                 :     445767 :               gsi_remove (&gsi, true);
    4376                 :     445767 :               if (store->lp_nr)
    4377                 :         46 :                 remove_stmt_from_eh_lp (stmt);
    4378                 :     445767 :               if (stmt != merged_store->last_stmt)
    4379                 :            :                 {
    4380                 :     365735 :                   unlink_stmt_vdef (stmt);
    4381                 :     365735 :                   release_defs (stmt);
    4382                 :            :                 }
    4383                 :            :             }
    4384                 :            :           ret = true;
    4385                 :            :         }
    4386                 :            :     }
    4387                 :     456668 :   if (ret && dump_file)
    4388                 :         98 :     fprintf (dump_file, "Merging successful!\n");
    4389                 :            : 
    4390                 :     456668 :   return ret;
    4391                 :            : }
    4392                 :            : 
    4393                 :            : /* Coalesce the store_immediate_info objects recorded against the base object
    4394                 :            :    BASE in the first phase and output them.
    4395                 :            :    Delete the allocated structures.
    4396                 :            :    Return true if any changes were made.  */
    4397                 :            : 
    4398                 :            : bool
    4399                 :    1476990 : imm_store_chain_info::terminate_and_process_chain ()
    4400                 :            : {
    4401                 :            :   /* Process store chain.  */
    4402                 :    1476990 :   bool ret = false;
    4403                 :    1476990 :   if (m_store_info.length () > 1)
    4404                 :            :     {
    4405                 :     533254 :       ret = coalesce_immediate_stores ();
    4406                 :     533254 :       if (ret)
    4407                 :     456668 :         ret = output_merged_stores ();
    4408                 :            :     }
    4409                 :            : 
    4410                 :            :   /* Delete all the entries we allocated ourselves.  */
    4411                 :    1476990 :   store_immediate_info *info;
    4412                 :    1476990 :   unsigned int i;
    4413                 :    4316030 :   FOR_EACH_VEC_ELT (m_store_info, i, info)
    4414                 :    2839040 :     delete info;
    4415                 :            : 
    4416                 :            :   merged_store_group *merged_info;
    4417                 :    1991730 :   FOR_EACH_VEC_ELT (m_merged_store_groups, i, merged_info)
    4418                 :     514742 :     delete merged_info;
    4419                 :            : 
    4420                 :    1476990 :   return ret;
    4421                 :            : }
    4422                 :            : 
    4423                 :            : /* Return true iff LHS is a destination potentially interesting for
    4424                 :            :    store merging.  In practice these are the codes that get_inner_reference
    4425                 :            :    can process.  */
    4426                 :            : 
    4427                 :            : static bool
    4428                 :    7299590 : lhs_valid_for_store_merging_p (tree lhs)
    4429                 :            : {
    4430                 :          0 :   if (DECL_P (lhs))
    4431                 :            :     return true;
    4432                 :            : 
    4433                 :    5650890 :   switch (TREE_CODE (lhs))
    4434                 :            :     {
    4435                 :            :     case ARRAY_REF:
    4436                 :            :     case ARRAY_RANGE_REF:
    4437                 :            :     case BIT_FIELD_REF:
    4438                 :            :     case COMPONENT_REF:
    4439                 :            :     case MEM_REF:
    4440                 :            :       return true;
    4441                 :          0 :     default:
    4442                 :          0 :       return false;
    4443                 :            :     }
    4444                 :            : 
    4445                 :            :   gcc_unreachable ();
    4446                 :            : }
    4447                 :            : 
    4448                 :            : /* Return true if the tree RHS is a constant we want to consider
    4449                 :            :    during store merging.  In practice accept all codes that
    4450                 :            :    native_encode_expr accepts.  */
    4451                 :            : 
    4452                 :            : static bool
    4453                 :    4273200 : rhs_valid_for_store_merging_p (tree rhs)
    4454                 :            : {
    4455                 :    4273200 :   unsigned HOST_WIDE_INT size;
    4456                 :    4273200 :   if (TREE_CODE (rhs) == CONSTRUCTOR
    4457                 :     801318 :       && CONSTRUCTOR_NELTS (rhs) == 0
    4458                 :     801318 :       && TYPE_SIZE_UNIT (TREE_TYPE (rhs))
    4459                 :    5074520 :       && tree_fits_uhwi_p (TYPE_SIZE_UNIT (TREE_TYPE (rhs))))
    4460                 :            :     return true;
    4461                 :    6943770 :   return (GET_MODE_SIZE (TYPE_MODE (TREE_TYPE (rhs))).is_constant (&size)
    4462                 :    3471890 :           && native_encode_expr (rhs, NULL, size) != 0);
    4463                 :            : }
    4464                 :            : 
    4465                 :            : /* Adjust *PBITPOS, *PBITREGION_START and *PBITREGION_END by BYTE_OFF bytes
    4466                 :            :    and return true on success or false on failure.  */
    4467                 :            : 
    4468                 :            : static bool
    4469                 :     787816 : adjust_bit_pos (poly_offset_int byte_off,
    4470                 :            :                 poly_int64  *pbitpos,
    4471                 :            :                 poly_uint64 *pbitregion_start,
    4472                 :            :                 poly_uint64 *pbitregion_end)
    4473                 :            : {
    4474                 :     787816 :   poly_offset_int bit_off = byte_off << LOG2_BITS_PER_UNIT;
    4475                 :     787816 :   bit_off += *pbitpos;
    4476                 :            : 
    4477                 :     787816 :   if (known_ge (bit_off, 0) && bit_off.to_shwi (pbitpos))
    4478                 :            :     {
    4479                 :     783512 :       if (maybe_ne (*pbitregion_end, 0U))
    4480                 :            :         {
    4481                 :       2524 :           bit_off = byte_off << LOG2_BITS_PER_UNIT;
    4482                 :       2524 :           bit_off += *pbitregion_start;
    4483                 :       5048 :           if (bit_off.to_uhwi (pbitregion_start))
    4484                 :            :             {
    4485                 :       2524 :               bit_off = byte_off << LOG2_BITS_PER_UNIT;
    4486                 :       2524 :               bit_off += *pbitregion_end;
    4487                 :       5048 :               if (!bit_off.to_uhwi (pbitregion_end))
    4488                 :          0 :                 *pbitregion_end = 0;
    4489                 :            :             }
    4490                 :            :           else
    4491                 :          0 :             *pbitregion_end = 0;
    4492                 :            :         }
    4493                 :     783512 :       return true;
    4494                 :            :     }
    4495                 :            :   else
    4496                 :       4304 :     return false;
    4497                 :            : }
    4498                 :            : 
    4499                 :            : /* If MEM is a memory reference usable for store merging (either as
    4500                 :            :    store destination or for loads), return the non-NULL base_addr
    4501                 :            :    and set *PBITSIZE, *PBITPOS, *PBITREGION_START and *PBITREGION_END.
    4502                 :            :    Otherwise return NULL, *PBITPOS should be still valid even for that
    4503                 :            :    case.  */
    4504                 :            : 
    4505                 :            : static tree
    4506                 :    4950670 : mem_valid_for_store_merging (tree mem, poly_uint64 *pbitsize,
    4507                 :            :                              poly_uint64 *pbitpos,
    4508                 :            :                              poly_uint64 *pbitregion_start,
    4509                 :            :                              poly_uint64 *pbitregion_end)
    4510                 :            : {
    4511                 :    4950670 :   poly_int64 bitsize, bitpos;
    4512                 :    4950670 :   poly_uint64 bitregion_start = 0, bitregion_end = 0;
    4513                 :    4950670 :   machine_mode mode;
    4514                 :    4950670 :   int unsignedp = 0, reversep = 0, volatilep = 0;
    4515                 :    4950670 :   tree offset;
    4516                 :    4950670 :   tree base_addr = get_inner_reference (mem, &bitsize, &bitpos, &offset, &mode,
    4517                 :            :                                         &unsignedp, &reversep, &volatilep);
    4518                 :    4950670 :   *pbitsize = bitsize;
    4519                 :    4950670 :   if (known_eq (bitsize, 0))
    4520                 :            :     return NULL_TREE;
    4521                 :            : 
    4522                 :    4950340 :   if (TREE_CODE (mem) == COMPONENT_REF
    4523                 :    4950340 :       && DECL_BIT_FIELD_TYPE (TREE_OPERAND (mem, 1)))
    4524                 :            :     {
    4525                 :      12608 :       get_bit_range (&bitregion_start, &bitregion_end, mem, &bitpos, &offset);
    4526                 :      12608 :       if (maybe_ne (bitregion_end, 0U))
    4527                 :      12608 :         bitregion_end += 1;
    4528                 :            :     }
    4529                 :            : 
    4530                 :    4950340 :   if (reversep)
    4531                 :            :     return NULL_TREE;
    4532                 :            : 
    4533                 :            :   /* We do not want to rewrite TARGET_MEM_REFs.  */
    4534                 :    4949670 :   if (TREE_CODE (base_addr) == TARGET_MEM_REF)
    4535                 :            :     return NULL_TREE;
    4536                 :            :   /* In some cases get_inner_reference may return a
    4537                 :            :      MEM_REF [ptr + byteoffset].  For the purposes of this pass
    4538                 :            :      canonicalize the base_addr to MEM_REF [ptr] and take
    4539                 :            :      byteoffset into account in the bitpos.  This occurs in
    4540                 :            :      PR 23684 and this way we can catch more chains.  */
    4541                 :    4908940 :   else if (TREE_CODE (base_addr) == MEM_REF)
    4542                 :            :     {
    4543                 :     784812 :       if (!adjust_bit_pos (mem_ref_offset (base_addr), &bitpos,
    4544                 :            :                            &bitregion_start, &bitregion_end))
    4545                 :            :         return NULL_TREE;
    4546                 :     780508 :       base_addr = TREE_OPERAND (base_addr, 0);
    4547                 :            :     }
    4548                 :            :   /* get_inner_reference returns the base object, get at its
    4549                 :            :      address now.  */
    4550                 :            :   else
    4551                 :            :     {
    4552                 :    4124130 :       if (maybe_lt (bitpos, 0))
    4553                 :            :         return NULL_TREE;
    4554                 :    4124090 :       base_addr = build_fold_addr_expr (base_addr);
    4555                 :            :     }
    4556                 :            : 
    4557                 :    4904600 :   if (offset)
    4558                 :            :     {
    4559                 :            :       /* If the access is variable offset then a base decl has to be
    4560                 :            :          address-taken to be able to emit pointer-based stores to it.
    4561                 :            :          ???  We might be able to get away with re-using the original
    4562                 :            :          base up to the first variable part and then wrapping that inside
    4563                 :            :          a BIT_FIELD_REF.  */
    4564                 :      25283 :       tree base = get_base_address (base_addr);
    4565                 :      25283 :       if (!base || (DECL_P (base) && !TREE_ADDRESSABLE (base)))
    4566                 :            :         return NULL_TREE;
    4567                 :            : 
    4568                 :            :       /* Similarly to above for the base, remove constant from the offset.  */
    4569                 :      25283 :       if (TREE_CODE (offset) == PLUS_EXPR
    4570                 :       3013 :           && TREE_CODE (TREE_OPERAND (offset, 1)) == INTEGER_CST
    4571                 :      28296 :           && adjust_bit_pos (wi::to_poly_offset (TREE_OPERAND (offset, 1)),
    4572                 :            :                              &bitpos, &bitregion_start, &bitregion_end))
    4573                 :       3004 :         offset = TREE_OPERAND (offset, 0);
    4574                 :            : 
    4575                 :      25283 :       base_addr = build2 (POINTER_PLUS_EXPR, TREE_TYPE (base_addr),
    4576                 :            :                           base_addr, offset);
    4577                 :            :     }
    4578                 :            : 
    4579                 :    4904600 :   if (known_eq (bitregion_end, 0U))
    4580                 :            :     {
    4581                 :    4892250 :       bitregion_start = round_down_to_byte_boundary (bitpos);
    4582                 :    4892250 :       bitregion_end = round_up_to_byte_boundary (bitpos + bitsize);
    4583                 :            :     }
    4584                 :            : 
    4585                 :    4904600 :   *pbitsize = bitsize;
    4586                 :    4904600 :   *pbitpos = bitpos;
    4587                 :    4904600 :   *pbitregion_start = bitregion_start;
    4588                 :    4904600 :   *pbitregion_end = bitregion_end;
    4589                 :    4904600 :   return base_addr;
    4590                 :            : }
    4591                 :            : 
    4592                 :            : /* Return true if STMT is a load that can be used for store merging.
    4593                 :            :    In that case fill in *OP.  BITSIZE, BITPOS, BITREGION_START and
    4594                 :            :    BITREGION_END are properties of the corresponding store.  */
    4595                 :            : 
    4596                 :            : static bool
    4597                 :     886731 : handled_load (gimple *stmt, store_operand_info *op,
    4598                 :            :               poly_uint64 bitsize, poly_uint64 bitpos,
    4599                 :            :               poly_uint64 bitregion_start, poly_uint64 bitregion_end)
    4600                 :            : {
    4601                 :     886731 :   if (!is_gimple_assign (stmt))
    4602                 :            :     return false;
    4603                 :     886696 :   if (gimple_assign_rhs_code (stmt) == BIT_NOT_EXPR)
    4604                 :            :     {
    4605                 :        967 :       tree rhs1 = gimple_assign_rhs1 (stmt);
    4606                 :        967 :       if (TREE_CODE (rhs1) == SSA_NAME
    4607                 :        967 :           && handled_load (SSA_NAME_DEF_STMT (rhs1), op, bitsize, bitpos,
    4608                 :            :                            bitregion_start, bitregion_end))
    4609                 :            :         {
    4610                 :            :           /* Don't allow _1 = load; _2 = ~1; _3 = ~_2; which should have
    4611                 :            :              been optimized earlier, but if allowed here, would confuse the
    4612                 :            :              multiple uses counting.  */
    4613                 :        407 :           if (op->bit_not_p)
    4614                 :            :             return false;
    4615                 :        407 :           op->bit_not_p = !op->bit_not_p;
    4616                 :        407 :           return true;
    4617                 :            :         }
    4618                 :        560 :       return false;
    4619                 :            :     }
    4620                 :     885729 :   if (gimple_vuse (stmt)
    4621                 :     626906 :       && gimple_assign_load_p (stmt)
    4622                 :     626803 :       && !stmt_can_throw_internal (cfun, stmt)
    4623                 :    1504210 :       && !gimple_has_volatile_ops (stmt))
    4624                 :            :     {
    4625                 :     618424 :       tree mem = gimple_assign_rhs1 (stmt);
    4626                 :     618424 :       op->base_addr
    4627                 :     618424 :         = mem_valid_for_store_merging (mem, &op->bitsize, &op->bitpos,
    4628                 :            :                                        &op->bitregion_start,
    4629                 :            :                                        &op->bitregion_end);
    4630                 :     618424 :       if (op->base_addr != NULL_TREE
    4631                 :     575420 :           && known_eq (op->bitsize, bitsize)
    4632                 :    1150840 :           && multiple_p (op->bitpos - bitpos, BITS_PER_UNIT)
    4633                 :     575416 :           && known_ge (op->bitpos - op->bitregion_start,
    4634                 :            :                        bitpos - bitregion_start)
    4635                 :    1193790 :           && known_ge (op->bitregion_end - op->bitpos,
    4636                 :            :                        bitregion_end - bitpos))
    4637                 :            :         {
    4638                 :     575344 :           op->stmt = stmt;
    4639                 :     575344 :           op->val = mem;
    4640                 :     575344 :           op->bit_not_p = false;
    4641                 :     575344 :           return true;
    4642                 :            :         }
    4643                 :            :     }
    4644                 :            :   return false;
    4645                 :            : }
    4646                 :            : 
    4647                 :            : /* Return the index number of the landing pad for STMT, if any.  */
    4648                 :            : 
    4649                 :            : static int
    4650                 :    2839040 : lp_nr_for_store (gimple *stmt)
    4651                 :            : {
    4652                 :    2839040 :   if (!cfun->can_throw_non_call_exceptions || !cfun->eh)
    4653                 :            :     return 0;
    4654                 :            : 
    4655                 :    1139660 :   if (!stmt_could_throw_p (cfun, stmt))
    4656                 :            :     return 0;
    4657                 :            : 
    4658                 :      54761 :   return lookup_stmt_eh_lp (stmt);
    4659                 :            : }
    4660                 :            : 
    4661                 :            : /* Record the store STMT for store merging optimization if it can be
    4662                 :            :    optimized.  Return true if any changes were made.  */
    4663                 :            : 
    4664                 :            : bool
    4665                 :    4332240 : pass_store_merging::process_store (gimple *stmt)
    4666                 :            : {
    4667                 :    4332240 :   tree lhs = gimple_assign_lhs (stmt);
    4668                 :    4332240 :   tree rhs = gimple_assign_rhs1 (stmt);
    4669                 :    4332240 :   poly_uint64 bitsize, bitpos;
    4670                 :    4332240 :   poly_uint64 bitregion_start, bitregion_end;
    4671                 :    4332240 :   tree base_addr
    4672                 :    4332240 :     = mem_valid_for_store_merging (lhs, &bitsize, &bitpos,
    4673                 :    4332240 :                                    &bitregion_start, &bitregion_end);
    4674                 :    4332240 :   if (known_eq (bitsize, 0U))
    4675                 :            :     return false;
    4676                 :            : 
    4677                 :    4331920 :   bool invalid = (base_addr == NULL_TREE
    4678                 :    4331920 :                   || (maybe_gt (bitsize,
    4679                 :            :                                 (unsigned int) MAX_BITSIZE_MODE_ANY_INT)
    4680                 :     435738 :                       && TREE_CODE (rhs) != INTEGER_CST
    4681                 :     435738 :                       && (TREE_CODE (rhs) != CONSTRUCTOR
    4682                 :     374067 :                           || CONSTRUCTOR_NELTS (rhs) != 0)));
    4683                 :    4331920 :   enum tree_code rhs_code = ERROR_MARK;
    4684                 :    4331920 :   bool bit_not_p = false;
    4685                 :    4331920 :   struct symbolic_number n;
    4686                 :    4331920 :   gimple *ins_stmt = NULL;
    4687                 :   12995800 :   store_operand_info ops[2];
    4688                 :    4331920 :   if (invalid)
    4689                 :            :     ;
    4690                 :    4267500 :   else if (rhs_valid_for_store_merging_p (rhs))
    4691                 :            :     {
    4692                 :    2231340 :       rhs_code = INTEGER_CST;
    4693                 :    2231340 :       ops[0].val = rhs;
    4694                 :            :     }
    4695                 :    2036170 :   else if (TREE_CODE (rhs) != SSA_NAME)
    4696                 :            :     invalid = true;
    4697                 :            :   else
    4698                 :            :     {
    4699                 :    1306280 :       gimple *def_stmt = SSA_NAME_DEF_STMT (rhs), *def_stmt1, *def_stmt2;
    4700                 :    1306280 :       if (!is_gimple_assign (def_stmt))
    4701                 :            :         invalid = true;
    4702                 :     872170 :       else if (handled_load (def_stmt, &ops[0], bitsize, bitpos,
    4703                 :            :                              bitregion_start, bitregion_end))
    4704                 :            :         rhs_code = MEM_REF;
    4705                 :     305626 :       else if (gimple_assign_rhs_code (def_stmt) == BIT_NOT_EXPR) 
    4706                 :            :         {
    4707                 :        421 :           tree rhs1 = gimple_assign_rhs1 (def_stmt);
    4708                 :        421 :           if (TREE_CODE (rhs1) == SSA_NAME
    4709                 :        421 :               && is_gimple_assign (SSA_NAME_DEF_STMT (rhs1)))
    4710                 :            :             {
    4711                 :            :               bit_not_p = true;
    4712                 :    1306280 :               def_stmt = SSA_NAME_DEF_STMT (rhs1);
    4713                 :            :             }
    4714                 :            :         }
    4715                 :            : 
    4716                 :    1306280 :       if (rhs_code == ERROR_MARK && !invalid)
    4717                 :     305626 :         switch ((rhs_code = gimple_assign_rhs_code (def_stmt)))
    4718                 :            :           {
    4719                 :      10397 :           case BIT_AND_EXPR:
    4720                 :      10397 :           case BIT_IOR_EXPR:
    4721                 :      10397 :           case BIT_XOR_EXPR:
    4722                 :      10397 :             tree rhs1, rhs2;
    4723                 :      10397 :             rhs1 = gimple_assign_rhs1 (def_stmt);
    4724                 :      10397 :             rhs2 = gimple_assign_rhs2 (def_stmt);
    4725                 :      10397 :             invalid = true;
    4726                 :      10397 :             if (TREE_CODE (rhs1) != SSA_NAME)
    4727                 :            :               break;
    4728                 :      10397 :             def_stmt1 = SSA_NAME_DEF_STMT (rhs1);
    4729                 :      10397 :             if (!is_gimple_assign (def_stmt1)
    4730                 :      10397 :                 || !handled_load (def_stmt1, &ops[0], bitsize, bitpos,
    4731                 :            :                                   bitregion_start, bitregion_end))
    4732                 :            :               break;
    4733                 :       5699 :             if (rhs_valid_for_store_merging_p (rhs2))
    4734                 :       1852 :               ops[1].val = rhs2;
    4735                 :       3847 :             else if (TREE_CODE (rhs2) != SSA_NAME)
    4736                 :            :               break;
    4737                 :            :             else
    4738                 :            :               {
    4739                 :       3847 :                 def_stmt2 = SSA_NAME_DEF_STMT (rhs2);
    4740                 :       3847 :                 if (!is_gimple_assign (def_stmt2))
    4741                 :            :                   break;
    4742                 :       3809 :                 else if (!handled_load (def_stmt2, &ops[1], bitsize, bitpos,
    4743                 :            :                                         bitregion_start, bitregion_end))
    4744                 :            :                   break;
    4745                 :            :               }
    4746                 :            :             invalid = false;
    4747                 :            :             break;
    4748                 :            :           default:
    4749                 :            :             invalid = true;
    4750                 :            :             break;
    4751                 :            :           }
    4752                 :            : 
    4753                 :    1306280 :       unsigned HOST_WIDE_INT const_bitsize;
    4754                 :    1306280 :       if (bitsize.is_constant (&const_bitsize)
    4755                 :    1306280 :           && (const_bitsize % BITS_PER_UNIT) == 0
    4756                 :    1302860 :           && const_bitsize <= 64
    4757                 :    1280850 :           && multiple_p (bitpos, BITS_PER_UNIT))
    4758                 :            :         {
    4759                 :    1280820 :           ins_stmt = find_bswap_or_nop_1 (def_stmt, &n, 12);
    4760                 :    1280820 :           if (ins_stmt)
    4761                 :            :             {
    4762                 :     236212 :               uint64_t nn = n.n;
    4763                 :     236212 :               for (unsigned HOST_WIDE_INT i = 0;
    4764                 :    1501780 :                    i < const_bitsize;
    4765                 :    1265570 :                    i += BITS_PER_UNIT, nn >>= BITS_PER_MARKER)
    4766                 :    1273810 :                 if ((nn & MARKER_MASK) == 0
    4767                 :    1273810 :                     || (nn & MARKER_MASK) == MARKER_BYTE_UNKNOWN)
    4768                 :            :                   {
    4769                 :            :                     ins_stmt = NULL;
    4770                 :            :                     break;
    4771                 :            :                   }
    4772                 :     236212 :               if (ins_stmt)
    4773                 :            :                 {
    4774                 :     227971 :                   if (invalid)
    4775                 :            :                     {
    4776                 :      33005 :                       rhs_code = LROTATE_EXPR;
    4777                 :      33005 :                       ops[0].base_addr = NULL_TREE;
    4778                 :      33005 :                       ops[1].base_addr = NULL_TREE;
    4779                 :            :                     }
    4780                 :            :                   invalid = false;
    4781                 :            :                 }
    4782                 :            :             }
    4783                 :            :         }
    4784                 :            : 
    4785                 :    1306280 :       if (invalid
    4786                 :     701776 :           && bitsize.is_constant (&const_bitsize)
    4787                 :     701776 :           && ((const_bitsize % BITS_PER_UNIT) != 0
    4788                 :     698614 :               || !multiple_p (bitpos, BITS_PER_UNIT))
    4789                 :    1309480 :           && const_bitsize <= 64)
    4790                 :            :         {
    4791                 :            :           /* Bypass a conversion to the bit-field type.  */
    4792                 :       3199 :           if (!bit_not_p
    4793                 :       3199 :               && is_gimple_assign (def_stmt)
    4794                 :       6242 :               && CONVERT_EXPR_CODE_P (rhs_code))
    4795                 :            :             {
    4796                 :       2913 :               tree rhs1 = gimple_assign_rhs1 (def_stmt);
    4797                 :       2913 :               if (TREE_CODE (rhs1) == SSA_NAME
    4798                 :       5826 :                   && INTEGRAL_TYPE_P (TREE_TYPE (rhs1)))
    4799                 :            :                 rhs = rhs1;
    4800                 :            :             }
    4801                 :       3199 :           rhs_code = BIT_INSERT_EXPR;
    4802                 :       3199 :           bit_not_p = false;
    4803                 :       3199 :           ops[0].val = rhs;
    4804                 :       3199 :           ops[0].base_addr = NULL_TREE;
    4805                 :       3199 :           ops[1].base_addr = NULL_TREE;
    4806                 :       3199 :           invalid = false;
    4807                 :            :         }
    4808                 :            :     }
    4809                 :            : 
    4810                 :    4331920 :   unsigned HOST_WIDE_INT const_bitsize, const_bitpos;
    4811                 :    4331920 :   unsigned HOST_WIDE_INT const_bitregion_start, const_bitregion_end;
    4812                 :    4331920 :   if (invalid
    4813                 :    2839040 :       || !bitsize.is_constant (&const_bitsize)
    4814                 :    2839040 :       || !bitpos.is_constant (&const_bitpos)
    4815                 :    2839040 :       || !bitregion_start.is_constant (&const_bitregion_start)
    4816                 :    4331920 :       || !bitregion_end.is_constant (&const_bitregion_end))
    4817                 :    1492880 :     return terminate_all_aliasing_chains (NULL, stmt);
    4818                 :            : 
    4819                 :    2839040 :   if (!ins_stmt)
    4820                 :    2611060 :     memset (&n, 0, sizeof (n));
    4821                 :            : 
    4822                 :    2839040 :   class imm_store_chain_info **chain_info = NULL;
    4823                 :    2839040 :   bool ret = false;
    4824                 :    2839040 :   if (base_addr)
    4825                 :    2839040 :     chain_info = m_stores.get (base_addr);
    4826                 :            : 
    4827                 :    2839040 :   store_immediate_info *info;
    4828                 :    2839040 :   if (chain_info)
    4829                 :            :     {
    4830                 :    1362040 :       unsigned int ord = (*chain_info)->m_store_info.length ();
    4831                 :    2724090 :       info = new store_immediate_info (const_bitsize, const_bitpos,
    4832                 :            :                                        const_bitregion_start,
    4833                 :            :                                        const_bitregion_end,
    4834                 :            :                                        stmt, ord, rhs_code, n, ins_stmt,
    4835                 :    1362040 :                                        bit_not_p, lp_nr_for_store (stmt),
    4836                 :    1362040 :                                        ops[0], ops[1]);
    4837                 :    1362040 :       if (dump_file && (dump_flags & TDF_DETAILS))
    4838                 :            :         {
    4839                 :        203 :           fprintf (dump_file, "Recording immediate store from stmt:\n");
    4840                 :        203 :           print_gimple_stmt (dump_file, stmt, 0);
    4841                 :            :         }
    4842                 :    1362040 :       (*chain_info)->m_store_info.safe_push (info);
    4843                 :    1362040 :       ret |= terminate_all_aliasing_chains (chain_info, stmt);
    4844                 :            :       /* If we reach the limit of stores to merge in a chain terminate and
    4845                 :            :          process the chain now.  */
    4846                 :    1362040 :       if ((*chain_info)->m_store_info.length ()
    4847                 :    1362040 :           == (unsigned int) param_max_stores_to_merge)
    4848                 :            :         {
    4849                 :       1213 :           if (dump_file && (dump_flags & TDF_DETAILS))
    4850                 :          0 :             fprintf (dump_file,
    4851                 :            :                      "Reached maximum number of statements to merge:\n");
    4852                 :       1213 :           ret |= terminate_and_process_chain (*chain_info);
    4853                 :            :         }
    4854                 :    1362040 :       return ret;
    4855                 :            :     }
    4856                 :            : 
    4857                 :            :   /* Store aliases any existing chain?  */
    4858                 :    1476990 :   ret |= terminate_all_aliasing_chains (NULL, stmt);
    4859                 :            :   /* Start a new chain.  */
    4860                 :    1476990 :   class imm_store_chain_info *new_chain
    4861                 :    1476990 :     = new imm_store_chain_info (m_stores_head, base_addr);
    4862                 :    2953980 :   info = new store_immediate_info (const_bitsize, const_bitpos,
    4863                 :            :                                    const_bitregion_start,
    4864                 :            :                                    const_bitregion_end,
    4865                 :            :                                    stmt, 0, rhs_code, n, ins_stmt,
    4866                 :    1476990 :                                    bit_not_p, lp_nr_for_store (stmt),
    4867                 :    1476990 :                                    ops[0], ops[1]);
    4868                 :    1476990 :   new_chain->m_store_info.safe_push (info);
    4869                 :    1476990 :   m_stores.put (base_addr, new_chain);
    4870                 :    1476990 :   if (dump_file && (dump_flags & TDF_DETAILS))
    4871                 :            :     {
    4872                 :         52 :       fprintf (dump_file, "Starting new chain with statement:\n");
    4873                 :         52 :       print_gimple_stmt (dump_file, stmt, 0);
    4874                 :         52 :       fprintf (dump_file, "The base object is:\n");
    4875                 :         52 :       print_generic_expr (dump_file, base_addr);
    4876                 :         52 :       fprintf (dump_file, "\n");
    4877                 :            :     }
    4878                 :            :   return ret;
    4879                 :            : }
    4880                 :            : 
    4881                 :            : /* Return true if STMT is a store valid for store merging.  */
    4882                 :            : 
    4883                 :            : static bool
    4884                 :   24596200 : store_valid_for_store_merging_p (gimple *stmt)
    4885                 :            : {
    4886                 :   36650500 :   return gimple_assign_single_p (stmt)
    4887                 :   12054300 :          && gimple_vdef (stmt)
    4888                 :   12784500 :          && lhs_valid_for_store_merging_p (gimple_assign_lhs (stmt))
    4889                 :    7133650 :          && (!gimple_has_volatile_ops (stmt) || gimple_clobber_p (stmt));
    4890                 :            : }
    4891                 :            : 
    4892                 :            : enum basic_block_status { BB_INVALID, BB_VALID, BB_EXTENDED_VALID };
    4893                 :            : 
    4894                 :            : /* Return the status of basic block BB wrt store merging.  */
    4895                 :            : 
    4896                 :            : static enum basic_block_status
    4897                 :    6123350 : get_status_for_store_merging (basic_block bb)
    4898                 :            : {
    4899                 :    6123350 :   unsigned int num_statements = 0;
    4900                 :    6123350 :   gimple_stmt_iterator gsi;
    4901                 :    6123350 :   edge e;
    4902                 :            : 
    4903                 :   52352900 :   for (gsi = gsi_after_labels (bb); !gsi_end_p (gsi); gsi_next (&gsi))
    4904                 :            :     {
    4905                 :   40931600 :       gimple *stmt = gsi_stmt (gsi);
    4906                 :            : 
    4907                 :   40931600 :       if (is_gimple_debug (stmt))
    4908                 :   24762100 :         continue;
    4909                 :            : 
    4910                 :   16169400 :       if (store_valid_for_store_merging_p (stmt) && ++num_statements >= 2)
    4911                 :            :         break;
    4912                 :            :     }
    4913                 :            : 
    4914                 :    6123350 :   if (num_statements == 0)
    4915                 :            :     return BB_INVALID;
    4916                 :            : 
    4917                 :     788060 :   if (cfun->can_throw_non_call_exceptions && cfun->eh
    4918                 :    1576120 :       && store_valid_for_store_merging_p (gimple_seq_last_stmt (bb_seq (bb)))
    4919                 :     285438 :       && (e = find_fallthru_edge (bb->succs))
    4920                 :    1867590 :       && e->dest == bb->next_bb)
    4921                 :            :     return BB_EXTENDED_VALID;
    4922                 :            : 
    4923                 :    1525920 :   return num_statements >= 2 ? BB_VALID : BB_INVALID;
    4924                 :            : }
    4925                 :            : 
    4926                 :            : /* Entry point for the pass.  Go over each basic block recording chains of
    4927                 :            :    immediate stores.  Upon encountering a terminating statement (as defined
    4928                 :            :    by stmt_terminates_chain_p) process the recorded stores and emit the widened
    4929                 :            :    variants.  */
    4930                 :            : 
    4931                 :            : unsigned int
    4932                 :     645454 : pass_store_merging::execute (function *fun)
    4933                 :            : {
    4934                 :     645454 :   basic_block bb;
    4935                 :     645454 :   hash_set<gimple *> orig_stmts;
    4936                 :     645454 :   bool changed = false, open_chains = false;
    4937                 :            : 
    4938                 :            :   /* If the function can throw and catch non-call exceptions, we'll be trying
    4939                 :            :      to merge stores across different basic blocks so we need to first unsplit
    4940                 :            :      the EH edges in order to streamline the CFG of the function.  */
    4941                 :     645454 :   if (cfun->can_throw_non_call_exceptions && cfun->eh)
    4942                 :     166832 :     unsplit_eh_edges ();
    4943                 :            : 
    4944                 :     645454 :   calculate_dominance_info (CDI_DOMINATORS);
    4945                 :            : 
    4946                 :    6768800 :   FOR_EACH_BB_FN (bb, fun)
    4947                 :            :     {
    4948                 :    6123350 :       const basic_block_status bb_status = get_status_for_store_merging (bb);
    4949                 :    6123350 :       gimple_stmt_iterator gsi;
    4950                 :            : 
    4951                 :    6123350 :       if (open_chains && (bb_status == BB_INVALID || !single_pred_p (bb)))
    4952                 :            :         {
    4953                 :      51482 :           changed |= terminate_and_process_all_chains ();
    4954                 :      51482 :           open_chains = false;
    4955                 :            :         }
    4956                 :            : 
    4957                 :    6123350 :       if (bb_status == BB_INVALID)
    4958                 :    5267240 :         continue;
    4959                 :            : 
    4960                 :     856113 :       if (dump_file && (dump_flags & TDF_DETAILS))
    4961                 :         24 :         fprintf (dump_file, "Processing basic block <%d>:\n", bb->index);
    4962                 :            : 
    4963                 :   22182200 :       for (gsi = gsi_after_labels (bb); !gsi_end_p (gsi); gsi_next (&gsi))
    4964                 :            :         {
    4965                 :   20469900 :           gimple *stmt = gsi_stmt (gsi);
    4966                 :            : 
    4967                 :   20469900 :           if (is_gimple_debug (stmt))
    4968                 :   12825500 :             continue;
    4969                 :            : 
    4970                 :   14940300 :           if (gimple_has_volatile_ops (stmt) && !gimple_clobber_p (stmt))
    4971                 :            :             {
    4972                 :            :               /* Terminate all chains.  */
    4973                 :       5706 :               if (dump_file && (dump_flags & TDF_DETAILS))
    4974                 :          1 :                 fprintf (dump_file, "Volatile access terminates "
    4975                 :            :                                     "all chains\n");
    4976                 :       5706 :               changed |= terminate_and_process_all_chains ();
    4977                 :       5706 :               open_chains = false;
    4978                 :       5706 :               continue;
    4979                 :            :             }
    4980                 :            : 
    4981                 :    7638680 :           if (store_valid_for_store_merging_p (stmt))
    4982                 :    4332240 :             changed |= process_store (stmt);
    4983                 :            :           else
    4984                 :    3306440 :             changed |= terminate_all_aliasing_chains (NULL, stmt);
    4985                 :            :         }
    4986                 :            : 
    4987                 :     856113 :       if (bb_status == BB_EXTENDED_VALID)
    4988                 :            :         open_chains = true;
    4989                 :            :       else
    4990                 :            :         {
    4991                 :     799887 :           changed |= terminate_and_process_all_chains ();
    4992                 :     799887 :           open_chains = false;
    4993                 :            :         }
    4994                 :            :     }
    4995                 :            : 
    4996                 :     645454 :   if (open_chains)
    4997                 :          0 :     changed |= terminate_and_process_all_chains ();
    4998                 :            : 
    4999                 :            :   /* If the function can throw and catch non-call exceptions and something
    5000                 :            :      changed during the pass, then the CFG has (very likely) changed too.  */
    5001                 :     645454 :   if (cfun->can_throw_non_call_exceptions && cfun->eh && changed)
    5002                 :            :     {
    5003                 :       4014 :       free_dominance_info (CDI_DOMINATORS);
    5004                 :       4014 :       return TODO_cleanup_cfg;
    5005                 :            :     }
    5006                 :            : 
    5007                 :            :   return 0;
    5008                 :            : }
    5009                 :            : 
    5010                 :            : } // anon namespace
    5011                 :            : 
    5012                 :            : /* Construct and return a store merging pass object.  */
    5013                 :            : 
    5014                 :            : gimple_opt_pass *
    5015                 :     200773 : make_pass_store_merging (gcc::context *ctxt)
    5016                 :            : {
    5017                 :     200773 :   return new pass_store_merging (ctxt);
    5018                 :            : }
    5019                 :            : 
    5020                 :            : #if CHECKING_P
    5021                 :            : 
    5022                 :            : namespace selftest {
    5023                 :            : 
    5024                 :            : /* Selftests for store merging helpers.  */
    5025                 :            : 
    5026                 :            : /* Assert that all elements of the byte arrays X and Y, both of length N
    5027                 :            :    are equal.  */
    5028                 :            : 
    5029                 :            : static void
    5030                 :         16 : verify_array_eq (unsigned char *x, unsigned char *y, unsigned int n)
    5031                 :            : {
    5032                 :         56 :   for (unsigned int i = 0; i < n; i++)
    5033                 :            :     {
    5034                 :         40 :       if (x[i] != y[i])
    5035                 :            :         {
    5036                 :          0 :           fprintf (stderr, "Arrays do not match.  X:\n");
    5037                 :          0 :           dump_char_array (stderr, x, n);
    5038                 :          0 :           fprintf (stderr, "Y:\n");
    5039                 :          0 :           dump_char_array (stderr, y, n);
    5040                 :            :         }
    5041                 :         40 :       ASSERT_EQ (x[i], y[i]);
    5042                 :            :     }
    5043                 :         16 : }
    5044                 :            : 
    5045                 :            : /* Test shift_bytes_in_array_left and that it carries bits across between
    5046                 :            :    bytes correctly.  */
    5047                 :            : 
    5048                 :            : static void
    5049                 :          2 : verify_shift_bytes_in_array_left (void)
    5050                 :            : {
    5051                 :            :    /* byte 1   | byte 0
    5052                 :            :       00011111 | 11100000.  */
    5053                 :          2 :   unsigned char orig[2] = { 0xe0, 0x1f };
    5054                 :          2 :   unsigned char in[2];
    5055                 :          2 :   memcpy (in, orig, sizeof orig);
    5056                 :            : 
    5057                 :          2 :   unsigned char expected[2] = { 0x80, 0x7f };
    5058                 :          2 :   shift_bytes_in_array_left (in, sizeof (in), 2);
    5059                 :          2 :   verify_array_eq (in, expected, sizeof (in));
    5060                 :            : 
    5061                 :          2 :   memcpy (in, orig, sizeof orig);
    5062                 :          2 :   memcpy (expected, orig, sizeof orig);
    5063                 :            :   /* Check that shifting by zero doesn't change anything.  */
    5064                 :          2 :   shift_bytes_in_array_left (in, sizeof (in), 0);
    5065                 :          2 :   verify_array_eq (in, expected, sizeof (in));
    5066                 :            : 
    5067                 :          2 : }
    5068                 :            : 
    5069                 :            : /* Test shift_bytes_in_array_right and that it carries bits across between
    5070                 :            :    bytes correctly.  */
    5071                 :            : 
    5072                 :            : static void
    5073                 :          2 : verify_shift_bytes_in_array_right (void)
    5074                 :            : {
    5075                 :            :    /* byte 1   | byte 0
    5076                 :            :       00011111 | 11100000.  */
    5077                 :          2 :   unsigned char orig[2] = { 0x1f, 0xe0};
    5078                 :          2 :   unsigned char in[2];
    5079                 :          2 :   memcpy (in, orig, sizeof orig);
    5080                 :          2 :   unsigned char expected[2] = { 0x07, 0xf8};
    5081                 :          2 :   shift_bytes_in_array_right (in, sizeof (in), 2);
    5082                 :          2 :   verify_array_eq (in, expected, sizeof (in));
    5083                 :            : 
    5084                 :          2 :   memcpy (in, orig, sizeof orig);
    5085                 :          2 :   memcpy (expected, orig, sizeof orig);
    5086                 :            :   /* Check that shifting by zero doesn't change anything.  */
    5087                 :          2 :   shift_bytes_in_array_right (in, sizeof (in), 0);
    5088                 :          2 :   verify_array_eq (in, expected, sizeof (in));
    5089                 :          2 : }
    5090                 :            : 
    5091                 :            : /* Test clear_bit_region that it clears exactly the bits asked and
    5092                 :            :    nothing more.  */
    5093                 :            : 
    5094                 :            : static void
    5095                 :          2 : verify_clear_bit_region (void)
    5096                 :            : {
    5097                 :            :   /* Start with all bits set and test clearing various patterns in them.  */
    5098                 :          2 :   unsigned char orig[3] = { 0xff, 0xff, 0xff};
    5099                 :          2 :   unsigned char in[3];
    5100                 :          2 :   unsigned char expected[3];
    5101                 :          2 :   memcpy (in, orig, sizeof in);
    5102                 :            : 
    5103                 :            :   /* Check zeroing out all the bits.  */
    5104                 :          2 :   clear_bit_region (in, 0, 3 * BITS_PER_UNIT);
    5105                 :          2 :   expected[0] = expected[1] = expected[2] = 0;
    5106                 :          2 :   verify_array_eq (in, expected, sizeof in);
    5107                 :            : 
    5108                 :          2 :   memcpy (in, orig, sizeof in);
    5109                 :            :   /* Leave the first and last bits intact.  */
    5110                 :          2 :   clear_bit_region (in, 1, 3 * BITS_PER_UNIT - 2);
    5111                 :          2 :   expected[0] = 0x1;
    5112                 :          2 :   expected[1] = 0;
    5113                 :          2 :   expected[2] = 0x80;
    5114                 :          2 :   verify_array_eq (in, expected, sizeof in);
    5115                 :          2 : }
    5116                 :            : 
    5117                 :            : /* Test clear_bit_region_be that it clears exactly the bits asked and
    5118                 :            :    nothing more.  */
    5119                 :            : 
    5120                 :            : static void
    5121                 :          2 : verify_clear_bit_region_be (void)
    5122                 :            : {
    5123                 :            :   /* Start with all bits set and test clearing various patterns in them.  */
    5124                 :          2 :   unsigned char orig[3] = { 0xff, 0xff, 0xff};
    5125                 :          2 :   unsigned char in[3];
    5126                 :          2 :   unsigned char expected[3];
    5127                 :          2 :   memcpy (in, orig, sizeof in);
    5128                 :            : 
    5129                 :            :   /* Check zeroing out all the bits.  */
    5130                 :          2 :   clear_bit_region_be (in, BITS_PER_UNIT - 1, 3 * BITS_PER_UNIT);
    5131                 :          2 :   expected[0] = expected[1] = expected[2] = 0;
    5132                 :          2 :   verify_array_eq (in, expected, sizeof in);
    5133                 :            : 
    5134                 :          2 :   memcpy (in, orig, sizeof in);
    5135                 :            :   /* Leave the first and last bits intact.  */
    5136                 :          2 :   clear_bit_region_be (in, BITS_PER_UNIT - 2, 3 * BITS_PER_UNIT - 2);
    5137                 :          2 :   expected[0] = 0x80;
    5138                 :          2 :   expected[1] = 0;
    5139                 :          2 :   expected[2] = 0x1;
    5140                 :          2 :   verify_array_eq (in, expected, sizeof in);
    5141                 :          2 : }
    5142                 :            : 
    5143                 :            : 
    5144                 :            : /* Run all of the selftests within this file.  */
    5145                 :            : 
    5146                 :            : void
    5147                 :          2 : store_merging_c_tests (void)
    5148                 :            : {
    5149                 :          2 :   verify_shift_bytes_in_array_left ();
    5150                 :          2 :   verify_shift_bytes_in_array_right ();
    5151                 :          2 :   verify_clear_bit_region ();
    5152                 :          2 :   verify_clear_bit_region_be ();
    5153                 :          2 : }
    5154                 :            : 
    5155                 :            : } // namespace selftest
    5156                 :            : #endif /* CHECKING_P.  */

Generated by: LCOV version 1.0

LCOV profile is generated on x86_64 machine using following configure options: configure --disable-bootstrap --enable-coverage=opt --enable-languages=c,c++,fortran,go,jit,lto --enable-host-shared. GCC test suite is run with the built compiler.