LCOV - code coverage report
Current view: top level - gcc - expr.c (source / functions) Hit Total Coverage
Test: gcc.info Lines: 4678 5913 79.1 %
Date: 2020-03-28 11:57:23 Functions: 136 145 93.8 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : /* Convert tree expression to rtl instructions, for GNU compiler.
       2                 :            :    Copyright (C) 1988-2020 Free Software Foundation, Inc.
       3                 :            : 
       4                 :            : This file is part of GCC.
       5                 :            : 
       6                 :            : GCC is free software; you can redistribute it and/or modify it under
       7                 :            : the terms of the GNU General Public License as published by the Free
       8                 :            : Software Foundation; either version 3, or (at your option) any later
       9                 :            : version.
      10                 :            : 
      11                 :            : GCC is distributed in the hope that it will be useful, but WITHOUT ANY
      12                 :            : WARRANTY; without even the implied warranty of MERCHANTABILITY or
      13                 :            : FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
      14                 :            : for more details.
      15                 :            : 
      16                 :            : You should have received a copy of the GNU General Public License
      17                 :            : along with GCC; see the file COPYING3.  If not see
      18                 :            : <http://www.gnu.org/licenses/>.  */
      19                 :            : 
      20                 :            : #include "config.h"
      21                 :            : #include "system.h"
      22                 :            : #include "coretypes.h"
      23                 :            : #include "backend.h"
      24                 :            : #include "target.h"
      25                 :            : #include "rtl.h"
      26                 :            : #include "tree.h"
      27                 :            : #include "gimple.h"
      28                 :            : #include "predict.h"
      29                 :            : #include "memmodel.h"
      30                 :            : #include "tm_p.h"
      31                 :            : #include "ssa.h"
      32                 :            : #include "expmed.h"
      33                 :            : #include "optabs.h"
      34                 :            : #include "regs.h"
      35                 :            : #include "emit-rtl.h"
      36                 :            : #include "recog.h"
      37                 :            : #include "cgraph.h"
      38                 :            : #include "diagnostic.h"
      39                 :            : #include "alias.h"
      40                 :            : #include "fold-const.h"
      41                 :            : #include "stor-layout.h"
      42                 :            : #include "attribs.h"
      43                 :            : #include "varasm.h"
      44                 :            : #include "except.h"
      45                 :            : #include "insn-attr.h"
      46                 :            : #include "dojump.h"
      47                 :            : #include "explow.h"
      48                 :            : #include "calls.h"
      49                 :            : #include "stmt.h"
      50                 :            : /* Include expr.h after insn-config.h so we get HAVE_conditional_move.  */
      51                 :            : #include "expr.h"
      52                 :            : #include "optabs-tree.h"
      53                 :            : #include "libfuncs.h"
      54                 :            : #include "reload.h"
      55                 :            : #include "langhooks.h"
      56                 :            : #include "common/common-target.h"
      57                 :            : #include "tree-dfa.h"
      58                 :            : #include "tree-ssa-live.h"
      59                 :            : #include "tree-outof-ssa.h"
      60                 :            : #include "tree-ssa-address.h"
      61                 :            : #include "builtins.h"
      62                 :            : #include "ccmp.h"
      63                 :            : #include "gimple-fold.h"
      64                 :            : #include "rtx-vector-builder.h"
      65                 :            : 
      66                 :            : 
      67                 :            : /* If this is nonzero, we do not bother generating VOLATILE
      68                 :            :    around volatile memory references, and we are willing to
      69                 :            :    output indirect addresses.  If cse is to follow, we reject
      70                 :            :    indirect addresses so a useful potential cse is generated;
      71                 :            :    if it is used only once, instruction combination will produce
      72                 :            :    the same indirect address eventually.  */
      73                 :            : int cse_not_expected;
      74                 :            : 
      75                 :            : static bool block_move_libcall_safe_for_call_parm (void);
      76                 :            : static bool emit_block_move_via_pattern (rtx, rtx, rtx, unsigned, unsigned, 
      77                 :            :                                          HOST_WIDE_INT, unsigned HOST_WIDE_INT,
      78                 :            :                                          unsigned HOST_WIDE_INT,
      79                 :            :                                          unsigned HOST_WIDE_INT, bool);
      80                 :            : static void emit_block_move_via_loop (rtx, rtx, rtx, unsigned);
      81                 :            : static void clear_by_pieces (rtx, unsigned HOST_WIDE_INT, unsigned int);
      82                 :            : static rtx_insn *compress_float_constant (rtx, rtx);
      83                 :            : static rtx get_subtarget (rtx);
      84                 :            : static void store_constructor (tree, rtx, int, poly_int64, bool);
      85                 :            : static rtx store_field (rtx, poly_int64, poly_int64, poly_uint64, poly_uint64,
      86                 :            :                         machine_mode, tree, alias_set_type, bool, bool);
      87                 :            : 
      88                 :            : static unsigned HOST_WIDE_INT highest_pow2_factor_for_target (const_tree, const_tree);
      89                 :            : 
      90                 :            : static int is_aligning_offset (const_tree, const_tree);
      91                 :            : static rtx reduce_to_bit_field_precision (rtx, rtx, tree);
      92                 :            : static rtx do_store_flag (sepops, rtx, machine_mode);
      93                 :            : #ifdef PUSH_ROUNDING
      94                 :            : static void emit_single_push_insn (machine_mode, rtx, tree);
      95                 :            : #endif
      96                 :            : static void do_tablejump (rtx, machine_mode, rtx, rtx, rtx,
      97                 :            :                           profile_probability);
      98                 :            : static rtx const_vector_from_tree (tree);
      99                 :            : static rtx const_scalar_mask_from_tree (scalar_int_mode, tree);
     100                 :            : static tree tree_expr_size (const_tree);
     101                 :            : static HOST_WIDE_INT int_expr_size (tree);
     102                 :            : static void convert_mode_scalar (rtx, rtx, int);
     103                 :            : 
     104                 :            : 
     105                 :            : /* This is run to set up which modes can be used
     106                 :            :    directly in memory and to initialize the block move optab.  It is run
     107                 :            :    at the beginning of compilation and when the target is reinitialized.  */
     108                 :            : 
     109                 :            : void
     110                 :     151582 : init_expr_target (void)
     111                 :            : {
     112                 :     151582 :   rtx pat;
     113                 :     151582 :   int num_clobbers;
     114                 :     151582 :   rtx mem, mem1;
     115                 :     151582 :   rtx reg;
     116                 :            : 
     117                 :            :   /* Try indexing by frame ptr and try by stack ptr.
     118                 :            :      It is known that on the Convex the stack ptr isn't a valid index.
     119                 :            :      With luck, one or the other is valid on any machine.  */
     120                 :     151582 :   mem = gen_rtx_MEM (word_mode, stack_pointer_rtx);
     121                 :     151582 :   mem1 = gen_rtx_MEM (word_mode, frame_pointer_rtx);
     122                 :            : 
     123                 :            :   /* A scratch register we can modify in-place below to avoid
     124                 :            :      useless RTL allocations.  */
     125                 :     151582 :   reg = gen_rtx_REG (word_mode, LAST_VIRTUAL_REGISTER + 1);
     126                 :            : 
     127                 :     151582 :   rtx_insn *insn = as_a<rtx_insn *> (rtx_alloc (INSN));
     128                 :     151582 :   pat = gen_rtx_SET (NULL_RTX, NULL_RTX);
     129                 :     151582 :   PATTERN (insn) = pat;
     130                 :            : 
     131                 :   16977200 :   for (machine_mode mode = VOIDmode; (int) mode < NUM_MACHINE_MODES;
     132                 :   16825600 :        mode = (machine_mode) ((int) mode + 1))
     133                 :            :     {
     134                 :   16825600 :       int regno;
     135                 :            : 
     136                 :   16825600 :       direct_load[(int) mode] = direct_store[(int) mode] = 0;
     137                 :   16825600 :       PUT_MODE (mem, mode);
     138                 :   16825600 :       PUT_MODE (mem1, mode);
     139                 :            : 
     140                 :            :       /* See if there is some register that can be used in this mode and
     141                 :            :          directly loaded or stored from memory.  */
     142                 :            : 
     143                 :   16825600 :       if (mode != VOIDmode && mode != BLKmode)
     144                 : 1034400000 :         for (regno = 0; regno < FIRST_PSEUDO_REGISTER
     145                 : 1050920000 :              && (direct_load[(int) mode] == 0 || direct_store[(int) mode] == 0);
     146                 :            :              regno++)
     147                 :            :           {
     148                 : 1034400000 :             if (!targetm.hard_regno_mode_ok (regno, mode))
     149                 :  989928000 :               continue;
     150                 :            : 
     151                 :   44467300 :             set_mode_and_regno (reg, mode, regno);
     152                 :            : 
     153                 :   44467300 :             SET_SRC (pat) = mem;
     154                 :   44467300 :             SET_DEST (pat) = reg;
     155                 :   44467300 :             if (recog (pat, insn, &num_clobbers) >= 0)
     156                 :    3256260 :               direct_load[(int) mode] = 1;
     157                 :            : 
     158                 :   44467300 :             SET_SRC (pat) = mem1;
     159                 :   44467300 :             SET_DEST (pat) = reg;
     160                 :   44467300 :             if (recog (pat, insn, &num_clobbers) >= 0)
     161                 :    3256260 :               direct_load[(int) mode] = 1;
     162                 :            : 
     163                 :   44467300 :             SET_SRC (pat) = reg;
     164                 :   44467300 :             SET_DEST (pat) = mem;
     165                 :   44467300 :             if (recog (pat, insn, &num_clobbers) >= 0)
     166                 :    3256260 :               direct_store[(int) mode] = 1;
     167                 :            : 
     168                 :   44467300 :             SET_SRC (pat) = reg;
     169                 :   44467300 :             SET_DEST (pat) = mem1;
     170                 :   44467300 :             if (recog (pat, insn, &num_clobbers) >= 0)
     171                 :    3256260 :               direct_store[(int) mode] = 1;
     172                 :            :           }
     173                 :            :     }
     174                 :            : 
     175                 :     156228 :   mem = gen_rtx_MEM (VOIDmode, gen_raw_REG (Pmode, LAST_VIRTUAL_REGISTER + 1));
     176                 :            : 
     177                 :     151582 :   opt_scalar_float_mode mode_iter;
     178                 :    1364240 :   FOR_EACH_MODE_IN_CLASS (mode_iter, MODE_FLOAT)
     179                 :            :     {
     180                 :     606328 :       scalar_float_mode mode = mode_iter.require ();
     181                 :     606328 :       scalar_float_mode srcmode;
     182                 :    1515820 :       FOR_EACH_MODE_UNTIL (srcmode, mode)
     183                 :            :         {
     184                 :     909492 :           enum insn_code ic;
     185                 :            : 
     186                 :     909492 :           ic = can_extend_p (mode, srcmode, 0);
     187                 :     909492 :           if (ic == CODE_FOR_nothing)
     188                 :     455165 :             continue;
     189                 :            : 
     190                 :     454327 :           PUT_MODE (mem, srcmode);
     191                 :            : 
     192                 :     454327 :           if (insn_operand_matches (ic, 1, mem))
     193                 :     454327 :             float_extend_from_mem[mode][srcmode] = true;
     194                 :            :         }
     195                 :            :     }
     196                 :     151582 : }
     197                 :            : 
     198                 :            : /* This is run at the start of compiling a function.  */
     199                 :            : 
     200                 :            : void
     201                 :    1100160 : init_expr (void)
     202                 :            : {
     203                 :    1100160 :   memset (&crtl->expr, 0, sizeof (crtl->expr));
     204                 :    1100160 : }
     205                 :            : 
     206                 :            : /* Copy data from FROM to TO, where the machine modes are not the same.
     207                 :            :    Both modes may be integer, or both may be floating, or both may be
     208                 :            :    fixed-point.
     209                 :            :    UNSIGNEDP should be nonzero if FROM is an unsigned type.
     210                 :            :    This causes zero-extension instead of sign-extension.  */
     211                 :            : 
     212                 :            : void
     213                 :    1029690 : convert_move (rtx to, rtx from, int unsignedp)
     214                 :            : {
     215                 :    1029690 :   machine_mode to_mode = GET_MODE (to);
     216                 :    1029690 :   machine_mode from_mode = GET_MODE (from);
     217                 :            : 
     218                 :    1029690 :   gcc_assert (to_mode != BLKmode);
     219                 :    1029690 :   gcc_assert (from_mode != BLKmode);
     220                 :            : 
     221                 :            :   /* If the source and destination are already the same, then there's
     222                 :            :      nothing to do.  */
     223                 :    1029690 :   if (to == from)
     224                 :    1029690 :     return;
     225                 :            : 
     226                 :            :   /* If FROM is a SUBREG that indicates that we have already done at least
     227                 :            :      the required extension, strip it.  We don't handle such SUBREGs as
     228                 :            :      TO here.  */
     229                 :            : 
     230                 :    1029690 :   scalar_int_mode to_int_mode;
     231                 :    1029690 :   if (GET_CODE (from) == SUBREG
     232                 :      93701 :       && SUBREG_PROMOTED_VAR_P (from)
     233                 :    1029690 :       && is_a <scalar_int_mode> (to_mode, &to_int_mode)
     234                 :    1029690 :       && (GET_MODE_PRECISION (subreg_promoted_mode (from))
     235                 :          0 :           >= GET_MODE_PRECISION (to_int_mode))
     236                 :    1029690 :       && SUBREG_CHECK_PROMOTED_SIGN (from, unsignedp))
     237                 :            :     {
     238                 :          0 :       from = gen_lowpart (to_int_mode, SUBREG_REG (from));
     239                 :          0 :       from_mode = to_int_mode;
     240                 :            :     }
     241                 :            : 
     242                 :    1029690 :   gcc_assert (GET_CODE (to) != SUBREG || !SUBREG_PROMOTED_VAR_P (to));
     243                 :            : 
     244                 :    1029690 :   if (to_mode == from_mode
     245                 :     984209 :       || (from_mode == VOIDmode && CONSTANT_P (from)))
     246                 :            :     {
     247                 :      45489 :       emit_move_insn (to, from);
     248                 :      45489 :       return;
     249                 :            :     }
     250                 :            : 
     251                 :     984204 :   if (VECTOR_MODE_P (to_mode) || VECTOR_MODE_P (from_mode))
     252                 :            :     {
     253                 :      18836 :       if (GET_MODE_UNIT_PRECISION (to_mode)
     254                 :       9418 :           > GET_MODE_UNIT_PRECISION (from_mode))
     255                 :            :         {
     256                 :       3696 :           optab op = unsignedp ? zext_optab : sext_optab;
     257                 :       3696 :           insn_code icode = convert_optab_handler (op, to_mode, from_mode);
     258                 :       3696 :           if (icode != CODE_FOR_nothing)
     259                 :            :             {
     260                 :          0 :               emit_unop_insn (icode, to, from,
     261                 :            :                               unsignedp ? ZERO_EXTEND : SIGN_EXTEND);
     262                 :          0 :               return;
     263                 :            :             }
     264                 :            :         }
     265                 :            : 
     266                 :      18836 :       if (GET_MODE_UNIT_PRECISION (to_mode)
     267                 :       9418 :           < GET_MODE_UNIT_PRECISION (from_mode))
     268                 :            :         {
     269                 :        673 :           insn_code icode = convert_optab_handler (trunc_optab,
     270                 :            :                                                    to_mode, from_mode);
     271                 :        673 :           if (icode != CODE_FOR_nothing)
     272                 :            :             {
     273                 :          0 :               emit_unop_insn (icode, to, from, TRUNCATE);
     274                 :          0 :               return;
     275                 :            :             }
     276                 :            :         }
     277                 :            : 
     278                 :      28254 :       gcc_assert (known_eq (GET_MODE_BITSIZE (from_mode),
     279                 :            :                             GET_MODE_BITSIZE (to_mode)));
     280                 :            : 
     281                 :       9418 :       if (VECTOR_MODE_P (to_mode))
     282                 :       9418 :         from = simplify_gen_subreg (to_mode, from, GET_MODE (from), 0);
     283                 :            :       else
     284                 :          0 :         to = simplify_gen_subreg (from_mode, to, GET_MODE (to), 0);
     285                 :            : 
     286                 :       9418 :       emit_move_insn (to, from);
     287                 :       9418 :       return;
     288                 :            :     }
     289                 :            : 
     290                 :     974786 :   if (GET_CODE (to) == CONCAT && GET_CODE (from) == CONCAT)
     291                 :            :     {
     292                 :          0 :       convert_move (XEXP (to, 0), XEXP (from, 0), unsignedp);
     293                 :          0 :       convert_move (XEXP (to, 1), XEXP (from, 1), unsignedp);
     294                 :          0 :       return;
     295                 :            :     }
     296                 :            : 
     297                 :     974786 :   convert_mode_scalar (to, from, unsignedp);
     298                 :            : }
     299                 :            : 
     300                 :            : /* Like convert_move, but deals only with scalar modes.  */
     301                 :            : 
     302                 :            : static void
     303                 :     974786 : convert_mode_scalar (rtx to, rtx from, int unsignedp)
     304                 :            : {
     305                 :            :   /* Both modes should be scalar types.  */
     306                 :     974786 :   scalar_mode from_mode = as_a <scalar_mode> (GET_MODE (from));
     307                 :     974786 :   scalar_mode to_mode = as_a <scalar_mode> (GET_MODE (to));
     308                 :     974786 :   bool to_real = SCALAR_FLOAT_MODE_P (to_mode);
     309                 :     974786 :   bool from_real = SCALAR_FLOAT_MODE_P (from_mode);
     310                 :     974786 :   enum insn_code code;
     311                 :     974786 :   rtx libcall;
     312                 :            : 
     313                 :     974786 :   gcc_assert (to_real == from_real);
     314                 :            : 
     315                 :            :   /* rtx code for making an equivalent value.  */
     316                 :     974786 :   enum rtx_code equiv_code = (unsignedp < 0 ? UNKNOWN
     317                 :     974786 :                               : (unsignedp ? ZERO_EXTEND : SIGN_EXTEND));
     318                 :            : 
     319                 :     974786 :   if (to_real)
     320                 :            :     {
     321                 :      33750 :       rtx value;
     322                 :      33750 :       rtx_insn *insns;
     323                 :      33750 :       convert_optab tab;
     324                 :            : 
     325                 :      33750 :       gcc_assert ((GET_MODE_PRECISION (from_mode)
     326                 :            :                    != GET_MODE_PRECISION (to_mode))
     327                 :            :                   || (DECIMAL_FLOAT_MODE_P (from_mode)
     328                 :            :                       != DECIMAL_FLOAT_MODE_P (to_mode)));
     329                 :            : 
     330                 :      33750 :       if (GET_MODE_PRECISION (from_mode) == GET_MODE_PRECISION (to_mode))
     331                 :            :         /* Conversion between decimal float and binary float, same size.  */
     332                 :        701 :         tab = DECIMAL_FLOAT_MODE_P (from_mode) ? trunc_optab : sext_optab;
     333                 :      33049 :       else if (GET_MODE_PRECISION (from_mode) < GET_MODE_PRECISION (to_mode))
     334                 :            :         tab = sext_optab;
     335                 :            :       else
     336                 :      12192 :         tab = trunc_optab;
     337                 :            : 
     338                 :            :       /* Try converting directly if the insn is supported.  */
     339                 :            : 
     340                 :      33750 :       code = convert_optab_handler (tab, to_mode, from_mode);
     341                 :      33750 :       if (code != CODE_FOR_nothing)
     342                 :            :         {
     343                 :      29807 :           emit_unop_insn (code, to, from,
     344                 :            :                           tab == sext_optab ? FLOAT_EXTEND : FLOAT_TRUNCATE);
     345                 :      29807 :           return;
     346                 :            :         }
     347                 :            : 
     348                 :            :       /* Otherwise use a libcall.  */
     349                 :       3943 :       libcall = convert_optab_libfunc (tab, to_mode, from_mode);
     350                 :            : 
     351                 :            :       /* Is this conversion implemented yet?  */
     352                 :       3943 :       gcc_assert (libcall);
     353                 :            : 
     354                 :       3943 :       start_sequence ();
     355                 :       3943 :       value = emit_library_call_value (libcall, NULL_RTX, LCT_CONST, to_mode,
     356                 :            :                                        from, from_mode);
     357                 :       3943 :       insns = get_insns ();
     358                 :       3943 :       end_sequence ();
     359                 :       3943 :       emit_libcall_block (insns, to, value,
     360                 :       2066 :                           tab == trunc_optab ? gen_rtx_FLOAT_TRUNCATE (to_mode,
     361                 :            :                                                                        from)
     362                 :       1877 :                           : gen_rtx_FLOAT_EXTEND (to_mode, from));
     363                 :       3943 :       return;
     364                 :            :     }
     365                 :            : 
     366                 :            :   /* Handle pointer conversion.  */                     /* SPEE 900220.  */
     367                 :            :   /* If the target has a converter from FROM_MODE to TO_MODE, use it.  */
     368                 :     941036 :   {
     369                 :     941036 :     convert_optab ctab;
     370                 :            : 
     371                 :     941036 :     if (GET_MODE_PRECISION (from_mode) > GET_MODE_PRECISION (to_mode))
     372                 :            :       ctab = trunc_optab;
     373                 :     797996 :     else if (unsignedp)
     374                 :            :       ctab = zext_optab;
     375                 :            :     else
     376                 :     422710 :       ctab = sext_optab;
     377                 :            : 
     378                 :     941036 :     if (convert_optab_handler (ctab, to_mode, from_mode)
     379                 :            :         != CODE_FOR_nothing)
     380                 :            :       {
     381                 :     781399 :         emit_unop_insn (convert_optab_handler (ctab, to_mode, from_mode),
     382                 :            :                         to, from, UNKNOWN);
     383                 :     781399 :         return;
     384                 :            :       }
     385                 :            :   }
     386                 :            : 
     387                 :            :   /* Targets are expected to provide conversion insns between PxImode and
     388                 :            :      xImode for all MODE_PARTIAL_INT modes they use, but no others.  */
     389                 :     159637 :   if (GET_MODE_CLASS (to_mode) == MODE_PARTIAL_INT)
     390                 :            :     {
     391                 :          0 :       scalar_int_mode full_mode
     392                 :          0 :         = smallest_int_mode_for_size (GET_MODE_BITSIZE (to_mode));
     393                 :            : 
     394                 :          0 :       gcc_assert (convert_optab_handler (trunc_optab, to_mode, full_mode)
     395                 :            :                   != CODE_FOR_nothing);
     396                 :            : 
     397                 :          0 :       if (full_mode != from_mode)
     398                 :          0 :         from = convert_to_mode (full_mode, from, unsignedp);
     399                 :          0 :       emit_unop_insn (convert_optab_handler (trunc_optab, to_mode, full_mode),
     400                 :            :                       to, from, UNKNOWN);
     401                 :          0 :       return;
     402                 :            :     }
     403                 :     159637 :   if (GET_MODE_CLASS (from_mode) == MODE_PARTIAL_INT)
     404                 :            :     {
     405                 :          0 :       rtx new_from;
     406                 :          0 :       scalar_int_mode full_mode
     407                 :          0 :         = smallest_int_mode_for_size (GET_MODE_BITSIZE (from_mode));
     408                 :          0 :       convert_optab ctab = unsignedp ? zext_optab : sext_optab;
     409                 :          0 :       enum insn_code icode;
     410                 :            : 
     411                 :          0 :       icode = convert_optab_handler (ctab, full_mode, from_mode);
     412                 :          0 :       gcc_assert (icode != CODE_FOR_nothing);
     413                 :            : 
     414                 :          0 :       if (to_mode == full_mode)
     415                 :            :         {
     416                 :          0 :           emit_unop_insn (icode, to, from, UNKNOWN);
     417                 :          0 :           return;
     418                 :            :         }
     419                 :            : 
     420                 :          0 :       new_from = gen_reg_rtx (full_mode);
     421                 :          0 :       emit_unop_insn (icode, new_from, from, UNKNOWN);
     422                 :            : 
     423                 :            :       /* else proceed to integer conversions below.  */
     424                 :          0 :       from_mode = full_mode;
     425                 :          0 :       from = new_from;
     426                 :            :     }
     427                 :            : 
     428                 :            :    /* Make sure both are fixed-point modes or both are not.  */
     429                 :     159637 :    gcc_assert (ALL_SCALAR_FIXED_POINT_MODE_P (from_mode) ==
     430                 :            :                ALL_SCALAR_FIXED_POINT_MODE_P (to_mode));
     431                 :     159637 :    if (ALL_SCALAR_FIXED_POINT_MODE_P (from_mode))
     432                 :            :     {
     433                 :            :       /* If we widen from_mode to to_mode and they are in the same class,
     434                 :            :          we won't saturate the result.
     435                 :            :          Otherwise, always saturate the result to play safe.  */
     436                 :          0 :       if (GET_MODE_CLASS (from_mode) == GET_MODE_CLASS (to_mode)
     437                 :          0 :           && GET_MODE_SIZE (from_mode) < GET_MODE_SIZE (to_mode))
     438                 :          0 :         expand_fixed_convert (to, from, 0, 0);
     439                 :            :       else
     440                 :          0 :         expand_fixed_convert (to, from, 0, 1);
     441                 :          0 :       return;
     442                 :            :     }
     443                 :            : 
     444                 :            :   /* Now both modes are integers.  */
     445                 :            : 
     446                 :            :   /* Handle expanding beyond a word.  */
     447                 :     159637 :   if (GET_MODE_PRECISION (from_mode) < GET_MODE_PRECISION (to_mode)
     448                 :     179197 :       && GET_MODE_PRECISION (to_mode) > BITS_PER_WORD)
     449                 :            :     {
     450                 :      16597 :       rtx_insn *insns;
     451                 :      16597 :       rtx lowpart;
     452                 :      16597 :       rtx fill_value;
     453                 :      16597 :       rtx lowfrom;
     454                 :      16597 :       int i;
     455                 :      16597 :       scalar_mode lowpart_mode;
     456                 :      33194 :       int nwords = CEIL (GET_MODE_SIZE (to_mode), UNITS_PER_WORD);
     457                 :            : 
     458                 :            :       /* Try converting directly if the insn is supported.  */
     459                 :      16597 :       if ((code = can_extend_p (to_mode, from_mode, unsignedp))
     460                 :            :           != CODE_FOR_nothing)
     461                 :            :         {
     462                 :            :           /* If FROM is a SUBREG, put it into a register.  Do this
     463                 :            :              so that we always generate the same set of insns for
     464                 :            :              better cse'ing; if an intermediate assignment occurred,
     465                 :            :              we won't be doing the operation directly on the SUBREG.  */
     466                 :          0 :           if (optimize > 0 && GET_CODE (from) == SUBREG)
     467                 :          0 :             from = force_reg (from_mode, from);
     468                 :          0 :           emit_unop_insn (code, to, from, equiv_code);
     469                 :          0 :           return;
     470                 :            :         }
     471                 :            :       /* Next, try converting via full word.  */
     472                 :      16597 :       else if (GET_MODE_PRECISION (from_mode) < BITS_PER_WORD
     473                 :      16597 :                && ((code = can_extend_p (to_mode, word_mode, unsignedp))
     474                 :            :                    != CODE_FOR_nothing))
     475                 :            :         {
     476                 :       2963 :           rtx word_to = gen_reg_rtx (word_mode);
     477                 :       2963 :           if (REG_P (to))
     478                 :            :             {
     479                 :       2926 :               if (reg_overlap_mentioned_p (to, from))
     480                 :          0 :                 from = force_reg (from_mode, from);
     481                 :       2926 :               emit_clobber (to);
     482                 :            :             }
     483                 :       2963 :           convert_move (word_to, from, unsignedp);
     484                 :       2963 :           emit_unop_insn (code, to, word_to, equiv_code);
     485                 :       2963 :           return;
     486                 :            :         }
     487                 :            : 
     488                 :            :       /* No special multiword conversion insn; do it by hand.  */
     489                 :      13634 :       start_sequence ();
     490                 :            : 
     491                 :            :       /* Since we will turn this into a no conflict block, we must ensure
     492                 :            :          the source does not overlap the target so force it into an isolated
     493                 :            :          register when maybe so.  Likewise for any MEM input, since the
     494                 :            :          conversion sequence might require several references to it and we
     495                 :            :          must ensure we're getting the same value every time.  */
     496                 :            : 
     497                 :      13634 :       if (MEM_P (from) || reg_overlap_mentioned_p (to, from))
     498                 :        673 :         from = force_reg (from_mode, from);
     499                 :            : 
     500                 :            :       /* Get a copy of FROM widened to a word, if necessary.  */
     501                 :      13634 :       if (GET_MODE_PRECISION (from_mode) < BITS_PER_WORD)
     502                 :       1857 :         lowpart_mode = word_mode;
     503                 :            :       else
     504                 :            :         lowpart_mode = from_mode;
     505                 :            : 
     506                 :      13634 :       lowfrom = convert_to_mode (lowpart_mode, from, unsignedp);
     507                 :            : 
     508                 :      13634 :       lowpart = gen_lowpart (lowpart_mode, to);
     509                 :      13634 :       emit_move_insn (lowpart, lowfrom);
     510                 :            : 
     511                 :            :       /* Compute the value to put in each remaining word.  */
     512                 :      13634 :       if (unsignedp)
     513                 :      11423 :         fill_value = const0_rtx;
     514                 :            :       else
     515                 :       2211 :         fill_value = emit_store_flag_force (gen_reg_rtx (word_mode),
     516                 :            :                                             LT, lowfrom, const0_rtx,
     517                 :            :                                             lowpart_mode, 0, -1);
     518                 :            : 
     519                 :            :       /* Fill the remaining words.  */
     520                 :      40902 :       for (i = GET_MODE_SIZE (lowpart_mode) / UNITS_PER_WORD; i < nwords; i++)
     521                 :            :         {
     522                 :      13634 :           int index = (WORDS_BIG_ENDIAN ? nwords - i - 1 : i);
     523                 :      13634 :           rtx subword = operand_subword (to, index, 1, to_mode);
     524                 :            : 
     525                 :      13634 :           gcc_assert (subword);
     526                 :            : 
     527                 :      13634 :           if (fill_value != subword)
     528                 :      13634 :             emit_move_insn (subword, fill_value);
     529                 :            :         }
     530                 :            : 
     531                 :      13634 :       insns = get_insns ();
     532                 :      13634 :       end_sequence ();
     533                 :            : 
     534                 :      13634 :       emit_insn (insns);
     535                 :      13634 :       return;
     536                 :            :     }
     537                 :            : 
     538                 :            :   /* Truncating multi-word to a word or less.  */
     539                 :     143040 :   if (GET_MODE_PRECISION (from_mode) > BITS_PER_WORD
     540                 :     180422 :       && GET_MODE_PRECISION (to_mode) <= BITS_PER_WORD)
     541                 :            :     {
     542                 :      61855 :       if (!((MEM_P (from)
     543                 :        455 :              && ! MEM_VOLATILE_P (from)
     544                 :        455 :              && direct_load[(int) to_mode]
     545                 :        455 :              && ! mode_dependent_address_p (XEXP (from, 0),
     546                 :        455 :                                             MEM_ADDR_SPACE (from)))
     547                 :      33817 :             || REG_P (from)
     548                 :            :             || GET_CODE (from) == SUBREG))
     549                 :          0 :         from = force_reg (from_mode, from);
     550                 :      34272 :       convert_move (to, gen_lowpart (word_mode, from), 0);
     551                 :      34272 :       return;
     552                 :            :     }
     553                 :            : 
     554                 :            :   /* Now follow all the conversions between integers
     555                 :            :      no more than a word long.  */
     556                 :            : 
     557                 :            :   /* For truncation, usually we can just refer to FROM in a narrower mode.  */
     558                 :     217536 :   if (GET_MODE_BITSIZE (to_mode) < GET_MODE_BITSIZE (from_mode)
     559                 :     108768 :       && TRULY_NOOP_TRUNCATION_MODES_P (to_mode, from_mode))
     560                 :            :     {
     561                 :     118409 :       if (!((MEM_P (from)
     562                 :      11964 :              && ! MEM_VOLATILE_P (from)
     563                 :      11905 :              && direct_load[(int) to_mode]
     564                 :      11905 :              && ! mode_dependent_address_p (XEXP (from, 0),
     565                 :      11905 :                                             MEM_ADDR_SPACE (from)))
     566                 :      96863 :             || REG_P (from)
     567                 :            :             || GET_CODE (from) == SUBREG))
     568                 :        928 :         from = force_reg (from_mode, from);
     569                 :      88150 :       if (REG_P (from) && REGNO (from) < FIRST_PSEUDO_REGISTER
     570                 :     108768 :           && !targetm.hard_regno_mode_ok (REGNO (from), to_mode))
     571                 :          0 :         from = copy_to_reg (from);
     572                 :     108768 :       emit_move_insn (to, gen_lowpart (to_mode, from));
     573                 :     108768 :       return;
     574                 :            :     }
     575                 :            : 
     576                 :            :   /* Handle extension.  */
     577                 :          0 :   if (GET_MODE_PRECISION (to_mode) > GET_MODE_PRECISION (from_mode))
     578                 :            :     {
     579                 :            :       /* Convert directly if that works.  */
     580                 :          0 :       if ((code = can_extend_p (to_mode, from_mode, unsignedp))
     581                 :            :           != CODE_FOR_nothing)
     582                 :            :         {
     583                 :          0 :           emit_unop_insn (code, to, from, equiv_code);
     584                 :          0 :           return;
     585                 :            :         }
     586                 :            :       else
     587                 :            :         {
     588                 :          0 :           rtx tmp;
     589                 :          0 :           int shift_amount;
     590                 :            : 
     591                 :            :           /* Search for a mode to convert via.  */
     592                 :          0 :           opt_scalar_mode intermediate_iter;
     593                 :          0 :           FOR_EACH_MODE_FROM (intermediate_iter, from_mode)
     594                 :            :             {
     595                 :          0 :               scalar_mode intermediate = intermediate_iter.require ();
     596                 :          0 :               if (((can_extend_p (to_mode, intermediate, unsignedp)
     597                 :            :                     != CODE_FOR_nothing)
     598                 :          0 :                    || (GET_MODE_SIZE (to_mode) < GET_MODE_SIZE (intermediate)
     599                 :          0 :                        && TRULY_NOOP_TRUNCATION_MODES_P (to_mode,
     600                 :            :                                                          intermediate)))
     601                 :          0 :                   && (can_extend_p (intermediate, from_mode, unsignedp)
     602                 :            :                       != CODE_FOR_nothing))
     603                 :            :                 {
     604                 :          0 :                   convert_move (to, convert_to_mode (intermediate, from,
     605                 :            :                                                      unsignedp), unsignedp);
     606                 :          0 :                   return;
     607                 :            :                 }
     608                 :            :             }
     609                 :            : 
     610                 :            :           /* No suitable intermediate mode.
     611                 :            :              Generate what we need with shifts.  */
     612                 :          0 :           shift_amount = (GET_MODE_PRECISION (to_mode)
     613                 :          0 :                           - GET_MODE_PRECISION (from_mode));
     614                 :          0 :           from = gen_lowpart (to_mode, force_reg (from_mode, from));
     615                 :          0 :           tmp = expand_shift (LSHIFT_EXPR, to_mode, from, shift_amount,
     616                 :            :                               to, unsignedp);
     617                 :          0 :           tmp = expand_shift (RSHIFT_EXPR, to_mode, tmp, shift_amount,
     618                 :            :                               to, unsignedp);
     619                 :          0 :           if (tmp != to)
     620                 :          0 :             emit_move_insn (to, tmp);
     621                 :          0 :           return;
     622                 :            :         }
     623                 :            :     }
     624                 :            : 
     625                 :            :   /* Support special truncate insns for certain modes.  */
     626                 :          0 :   if (convert_optab_handler (trunc_optab, to_mode,
     627                 :            :                              from_mode) != CODE_FOR_nothing)
     628                 :            :     {
     629                 :          0 :       emit_unop_insn (convert_optab_handler (trunc_optab, to_mode, from_mode),
     630                 :            :                       to, from, UNKNOWN);
     631                 :          0 :       return;
     632                 :            :     }
     633                 :            : 
     634                 :            :   /* Handle truncation of volatile memrefs, and so on;
     635                 :            :      the things that couldn't be truncated directly,
     636                 :            :      and for which there was no special instruction.
     637                 :            : 
     638                 :            :      ??? Code above formerly short-circuited this, for most integer
     639                 :            :      mode pairs, with a force_reg in from_mode followed by a recursive
     640                 :            :      call to this routine.  Appears always to have been wrong.  */
     641                 :          0 :   if (GET_MODE_PRECISION (to_mode) < GET_MODE_PRECISION (from_mode))
     642                 :            :     {
     643                 :          0 :       rtx temp = force_reg (to_mode, gen_lowpart (to_mode, from));
     644                 :          0 :       emit_move_insn (to, temp);
     645                 :          0 :       return;
     646                 :            :     }
     647                 :            : 
     648                 :            :   /* Mode combination is not recognized.  */
     649                 :          0 :   gcc_unreachable ();
     650                 :            : }
     651                 :            : 
     652                 :            : /* Return an rtx for a value that would result
     653                 :            :    from converting X to mode MODE.
     654                 :            :    Both X and MODE may be floating, or both integer.
     655                 :            :    UNSIGNEDP is nonzero if X is an unsigned value.
     656                 :            :    This can be done by referring to a part of X in place
     657                 :            :    or by copying to a new temporary with conversion.  */
     658                 :            : 
     659                 :            : rtx
     660                 :    1133400 : convert_to_mode (machine_mode mode, rtx x, int unsignedp)
     661                 :            : {
     662                 :    1133400 :   return convert_modes (mode, VOIDmode, x, unsignedp);
     663                 :            : }
     664                 :            : 
     665                 :            : /* Return an rtx for a value that would result
     666                 :            :    from converting X from mode OLDMODE to mode MODE.
     667                 :            :    Both modes may be floating, or both integer.
     668                 :            :    UNSIGNEDP is nonzero if X is an unsigned value.
     669                 :            : 
     670                 :            :    This can be done by referring to a part of X in place
     671                 :            :    or by copying to a new temporary with conversion.
     672                 :            : 
     673                 :            :    You can give VOIDmode for OLDMODE, if you are sure X has a nonvoid mode.  */
     674                 :            : 
     675                 :            : rtx
     676                 :    2502390 : convert_modes (machine_mode mode, machine_mode oldmode, rtx x, int unsignedp)
     677                 :            : {
     678                 :    2502390 :   rtx temp;
     679                 :    2502390 :   scalar_int_mode int_mode;
     680                 :            : 
     681                 :            :   /* If FROM is a SUBREG that indicates that we have already done at least
     682                 :            :      the required extension, strip it.  */
     683                 :            : 
     684                 :    2502390 :   if (GET_CODE (x) == SUBREG
     685                 :      66488 :       && SUBREG_PROMOTED_VAR_P (x)
     686                 :    2502390 :       && is_a <scalar_int_mode> (mode, &int_mode)
     687                 :    2502390 :       && (GET_MODE_PRECISION (subreg_promoted_mode (x))
     688                 :          3 :           >= GET_MODE_PRECISION (int_mode))
     689                 :    2502390 :       && SUBREG_CHECK_PROMOTED_SIGN (x, unsignedp))
     690                 :          3 :     x = gen_lowpart (int_mode, SUBREG_REG (x));
     691                 :            : 
     692                 :    2502390 :   if (GET_MODE (x) != VOIDmode)
     693                 :    1432160 :     oldmode = GET_MODE (x);
     694                 :            : 
     695                 :    2502390 :   if (mode == oldmode)
     696                 :            :     return x;
     697                 :            : 
     698                 :    1920640 :   if (CONST_SCALAR_INT_P (x)
     699                 :    1920640 :       && is_int_mode (mode, &int_mode))
     700                 :            :     {
     701                 :            :       /* If the caller did not tell us the old mode, then there is not
     702                 :            :          much to do with respect to canonicalization.  We have to
     703                 :            :          assume that all the bits are significant.  */
     704                 :    1012140 :       if (GET_MODE_CLASS (oldmode) != MODE_INT)
     705                 :     963484 :         oldmode = MAX_MODE_INT;
     706                 :    3036430 :       wide_int w = wide_int::from (rtx_mode_t (x, oldmode),
     707                 :    1012140 :                                    GET_MODE_PRECISION (int_mode),
     708                 :    1364430 :                                    unsignedp ? UNSIGNED : SIGNED);
     709                 :    1012140 :       return immed_wide_int_const (w, int_mode);
     710                 :            :     }
     711                 :            : 
     712                 :            :   /* We can do this with a gen_lowpart if both desired and current modes
     713                 :            :      are integer, and this is either a constant integer, a register, or a
     714                 :            :      non-volatile MEM. */
     715                 :     908498 :   scalar_int_mode int_oldmode;
     716                 :     908498 :   if (is_int_mode (mode, &int_mode)
     717                 :     888989 :       && is_int_mode (oldmode, &int_oldmode)
     718                 :     888989 :       && GET_MODE_PRECISION (int_mode) <= GET_MODE_PRECISION (int_oldmode)
     719                 :     361830 :       && ((MEM_P (x) && !MEM_VOLATILE_P (x) && direct_load[(int) int_mode])
     720                 :       7856 :           || CONST_POLY_INT_P (x)
     721                 :     353974 :           || (REG_P (x)
     722                 :     321251 :               && (!HARD_REGISTER_P (x)
     723                 :        350 :                   || targetm.hard_regno_mode_ok (REGNO (x), int_mode))
     724                 :     321251 :               && TRULY_NOOP_TRUNCATION_MODES_P (int_mode, GET_MODE (x)))))
     725                 :     329107 :    return gen_lowpart (int_mode, x);
     726                 :            : 
     727                 :            :   /* Converting from integer constant into mode is always equivalent to an
     728                 :            :      subreg operation.  */
     729                 :     579391 :   if (VECTOR_MODE_P (mode) && GET_MODE (x) == VOIDmode)
     730                 :            :     {
     731                 :          0 :       gcc_assert (known_eq (GET_MODE_BITSIZE (mode),
     732                 :            :                             GET_MODE_BITSIZE (oldmode)));
     733                 :          0 :       return simplify_gen_subreg (mode, x, oldmode, 0);
     734                 :            :     }
     735                 :            : 
     736                 :     579391 :   temp = gen_reg_rtx (mode);
     737                 :     579391 :   convert_move (temp, x, unsignedp);
     738                 :     579391 :   return temp;
     739                 :            : }
     740                 :            : 
     741                 :            : /* Return the largest alignment we can use for doing a move (or store)
     742                 :            :    of MAX_PIECES.  ALIGN is the largest alignment we could use.  */
     743                 :            : 
     744                 :            : static unsigned int
     745                 :    1848910 : alignment_for_piecewise_move (unsigned int max_pieces, unsigned int align)
     746                 :            : {
     747                 :    1848910 :   scalar_int_mode tmode
     748                 :    3697810 :     = int_mode_for_size (max_pieces * BITS_PER_UNIT, 1).require ();
     749                 :            : 
     750                 :    1848910 :   if (align >= GET_MODE_ALIGNMENT (tmode))
     751                 :     696193 :     align = GET_MODE_ALIGNMENT (tmode);
     752                 :            :   else
     753                 :            :     {
     754                 :    1152710 :       scalar_int_mode xmode = NARROWEST_INT_MODE;
     755                 :    1152710 :       opt_scalar_int_mode mode_iter;
     756                 :    6901150 :       FOR_EACH_MODE_IN_CLASS (mode_iter, MODE_INT)
     757                 :            :         {
     758                 :    6901150 :           tmode = mode_iter.require ();
     759                 :    6901150 :           if (GET_MODE_SIZE (tmode) > max_pieces
     760                 :    6901150 :               || targetm.slow_unaligned_access (tmode, align))
     761                 :            :             break;
     762                 :    5748440 :           xmode = tmode;
     763                 :            :         }
     764                 :            : 
     765                 :    1152710 :       align = MAX (align, GET_MODE_ALIGNMENT (xmode));
     766                 :            :     }
     767                 :            : 
     768                 :    1848910 :   return align;
     769                 :            : }
     770                 :            : 
     771                 :            : /* Return the widest integer mode that is narrower than SIZE bytes.  */
     772                 :            : 
     773                 :            : static scalar_int_mode
     774                 :    3437500 : widest_int_mode_for_size (unsigned int size)
     775                 :            : {
     776                 :    3437500 :   scalar_int_mode result = NARROWEST_INT_MODE;
     777                 :            : 
     778                 :    3437500 :   gcc_checking_assert (size > 1);
     779                 :            : 
     780                 :    3437500 :   opt_scalar_int_mode tmode;
     781                 :   27500000 :   FOR_EACH_MODE_IN_CLASS (tmode, MODE_INT)
     782                 :   48124900 :     if (GET_MODE_SIZE (tmode.require ()) < size)
     783                 :   13655300 :       result = tmode.require ();
     784                 :            : 
     785                 :    3437500 :   return result;
     786                 :            : }
     787                 :            : 
     788                 :            : /* Determine whether an operation OP on LEN bytes with alignment ALIGN can
     789                 :            :    and should be performed piecewise.  */
     790                 :            : 
     791                 :            : static bool
     792                 :     739598 : can_do_by_pieces (unsigned HOST_WIDE_INT len, unsigned int align,
     793                 :            :                   enum by_pieces_operation op)
     794                 :            : {
     795                 :     739598 :   return targetm.use_by_pieces_infrastructure_p (len, align, op,
     796                 :          0 :                                                  optimize_insn_for_speed_p ());
     797                 :            : }
     798                 :            : 
     799                 :            : /* Determine whether the LEN bytes can be moved by using several move
     800                 :            :    instructions.  Return nonzero if a call to move_by_pieces should
     801                 :            :    succeed.  */
     802                 :            : 
     803                 :            : bool
     804                 :     730411 : can_move_by_pieces (unsigned HOST_WIDE_INT len, unsigned int align)
     805                 :            : {
     806                 :     730411 :   return can_do_by_pieces (len, align, MOVE_BY_PIECES);
     807                 :            : }
     808                 :            : 
     809                 :            : /* Return number of insns required to perform operation OP by pieces
     810                 :            :    for L bytes.  ALIGN (in bits) is maximum alignment we can assume.  */
     811                 :            : 
     812                 :            : unsigned HOST_WIDE_INT
     813                 :    1326890 : by_pieces_ninsns (unsigned HOST_WIDE_INT l, unsigned int align,
     814                 :            :                   unsigned int max_size, by_pieces_operation op)
     815                 :            : {
     816                 :    1326890 :   unsigned HOST_WIDE_INT n_insns = 0;
     817                 :            : 
     818                 :    1714530 :   align = alignment_for_piecewise_move (MOVE_MAX_PIECES, align);
     819                 :            : 
     820                 :    3542340 :   while (max_size > 1 && l > 0)
     821                 :            :     {
     822                 :    2215450 :       scalar_int_mode mode = widest_int_mode_for_size (max_size);
     823                 :    2215450 :       enum insn_code icode;
     824                 :            : 
     825                 :    2215450 :       unsigned int modesize = GET_MODE_SIZE (mode);
     826                 :            : 
     827                 :    2215450 :       icode = optab_handler (mov_optab, mode);
     828                 :    2215450 :       if (icode != CODE_FOR_nothing && align >= GET_MODE_ALIGNMENT (mode))
     829                 :            :         {
     830                 :    2215450 :           unsigned HOST_WIDE_INT n_pieces = l / modesize;
     831                 :    2215450 :           l %= modesize;
     832                 :    2215450 :           switch (op)
     833                 :            :             {
     834                 :    2186130 :             default:
     835                 :    2186130 :               n_insns += n_pieces;
     836                 :    2186130 :               break;
     837                 :            : 
     838                 :      29325 :             case COMPARE_BY_PIECES:
     839                 :      29325 :               int batch = targetm.compare_by_pieces_branch_ratio (mode);
     840                 :      29325 :               int batch_ops = 4 * batch - 1;
     841                 :      29325 :               unsigned HOST_WIDE_INT full = n_pieces / batch;
     842                 :      29325 :               n_insns += full * batch_ops;
     843                 :      29325 :               if (n_pieces % batch != 0)
     844                 :          0 :                 n_insns++;
     845                 :            :               break;
     846                 :            : 
     847                 :            :             }
     848                 :            :         }
     849                 :            :       max_size = modesize;
     850                 :            :     }
     851                 :            : 
     852                 :    1326890 :   gcc_assert (!l);
     853                 :    1326890 :   return n_insns;
     854                 :            : }
     855                 :            : 
     856                 :            : /* Used when performing piecewise block operations, holds information
     857                 :            :    about one of the memory objects involved.  The member functions
     858                 :            :    can be used to generate code for loading from the object and
     859                 :            :    updating the address when iterating.  */
     860                 :            : 
     861                 :            : class pieces_addr
     862                 :            : {
     863                 :            :   /* The object being referenced, a MEM.  Can be NULL_RTX to indicate
     864                 :            :      stack pushes.  */
     865                 :            :   rtx m_obj;
     866                 :            :   /* The address of the object.  Can differ from that seen in the
     867                 :            :      MEM rtx if we copied the address to a register.  */
     868                 :            :   rtx m_addr;
     869                 :            :   /* Nonzero if the address on the object has an autoincrement already,
     870                 :            :      signifies whether that was an increment or decrement.  */
     871                 :            :   signed char m_addr_inc;
     872                 :            :   /* Nonzero if we intend to use autoinc without the address already
     873                 :            :      having autoinc form.  We will insert add insns around each memory
     874                 :            :      reference, expecting later passes to form autoinc addressing modes.
     875                 :            :      The only supported options are predecrement and postincrement.  */
     876                 :            :   signed char m_explicit_inc;
     877                 :            :   /* True if we have either of the two possible cases of using
     878                 :            :      autoincrement.  */
     879                 :            :   bool m_auto;
     880                 :            :   /* True if this is an address to be used for load operations rather
     881                 :            :      than stores.  */
     882                 :            :   bool m_is_load;
     883                 :            : 
     884                 :            :   /* Optionally, a function to obtain constants for any given offset into
     885                 :            :      the objects, and data associated with it.  */
     886                 :            :   by_pieces_constfn m_constfn;
     887                 :            :   void *m_cfndata;
     888                 :            : public:
     889                 :            :   pieces_addr (rtx, bool, by_pieces_constfn, void *);
     890                 :            :   rtx adjust (scalar_int_mode, HOST_WIDE_INT);
     891                 :            :   void increment_address (HOST_WIDE_INT);
     892                 :            :   void maybe_predec (HOST_WIDE_INT);
     893                 :            :   void maybe_postinc (HOST_WIDE_INT);
     894                 :            :   void decide_autoinc (machine_mode, bool, HOST_WIDE_INT);
     895                 :     496184 :   int get_addr_inc ()
     896                 :            :   {
     897                 :     496184 :     return m_addr_inc;
     898                 :            :   }
     899                 :            : };
     900                 :            : 
     901                 :            : /* Initialize a pieces_addr structure from an object OBJ.  IS_LOAD is
     902                 :            :    true if the operation to be performed on this object is a load
     903                 :            :    rather than a store.  For stores, OBJ can be NULL, in which case we
     904                 :            :    assume the operation is a stack push.  For loads, the optional
     905                 :            :    CONSTFN and its associated CFNDATA can be used in place of the
     906                 :            :    memory load.  */
     907                 :            : 
     908                 :     992368 : pieces_addr::pieces_addr (rtx obj, bool is_load, by_pieces_constfn constfn,
     909                 :     992368 :                           void *cfndata)
     910                 :     992368 :   : m_obj (obj), m_is_load (is_load), m_constfn (constfn), m_cfndata (cfndata)
     911                 :            : {
     912                 :     992368 :   m_addr_inc = 0;
     913                 :     992368 :   m_auto = false;
     914                 :     992368 :   if (obj)
     915                 :            :     {
     916                 :     748051 :       rtx addr = XEXP (obj, 0);
     917                 :     748051 :       rtx_code code = GET_CODE (addr);
     918                 :     748051 :       m_addr = addr;
     919                 :     748051 :       bool dec = code == PRE_DEC || code == POST_DEC;
     920                 :     748051 :       bool inc = code == PRE_INC || code == POST_INC;
     921                 :     748051 :       m_auto = inc || dec;
     922                 :     748051 :       if (m_auto)
     923                 :          0 :         m_addr_inc = dec ? -1 : 1;
     924                 :            : 
     925                 :            :       /* While we have always looked for these codes here, the code
     926                 :            :          implementing the memory operation has never handled them.
     927                 :            :          Support could be added later if necessary or beneficial.  */
     928                 :     748051 :       gcc_assert (code != PRE_INC && code != POST_DEC);
     929                 :            :     }
     930                 :            :   else
     931                 :            :     {
     932                 :     244317 :       m_addr = NULL_RTX;
     933                 :     244317 :       if (!is_load)
     934                 :            :         {
     935                 :     199322 :           m_auto = true;
     936                 :     199322 :           if (STACK_GROWS_DOWNWARD)
     937                 :     199322 :             m_addr_inc = -1;
     938                 :            :           else
     939                 :            :             m_addr_inc = 1;
     940                 :            :         }
     941                 :            :       else
     942                 :      44995 :         gcc_assert (constfn != NULL);
     943                 :            :     }
     944                 :     992368 :   m_explicit_inc = 0;
     945                 :     992368 :   if (constfn)
     946                 :      45612 :     gcc_assert (is_load);
     947                 :     992368 : }
     948                 :            : 
     949                 :            : /* Decide whether to use autoinc for an address involved in a memory op.
     950                 :            :    MODE is the mode of the accesses, REVERSE is true if we've decided to
     951                 :            :    perform the operation starting from the end, and LEN is the length of
     952                 :            :    the operation.  Don't override an earlier decision to set m_auto.  */
     953                 :            : 
     954                 :            : void
     955                 :     528466 : pieces_addr::decide_autoinc (machine_mode ARG_UNUSED (mode), bool reverse,
     956                 :            :                              HOST_WIDE_INT len)
     957                 :            : {
     958                 :     528466 :   if (m_auto || m_obj == NULL_RTX)
     959                 :            :     return;
     960                 :            : 
     961                 :     401227 :   bool use_predec = (m_is_load
     962                 :            :                      ? USE_LOAD_PRE_DECREMENT (mode)
     963                 :            :                      : USE_STORE_PRE_DECREMENT (mode));
     964                 :     401227 :   bool use_postinc = (m_is_load
     965                 :            :                       ? USE_LOAD_POST_INCREMENT (mode)
     966                 :            :                       : USE_STORE_POST_INCREMENT (mode));
     967                 :     401227 :   machine_mode addr_mode = get_address_mode (m_obj);
     968                 :            : 
     969                 :     401227 :   if (use_predec && reverse)
     970                 :            :     {
     971                 :            :       m_addr = copy_to_mode_reg (addr_mode,
     972                 :            :                                  plus_constant (addr_mode,
     973                 :            :                                                 m_addr, len));
     974                 :            :       m_auto = true;
     975                 :            :       m_explicit_inc = -1;
     976                 :            :     }
     977                 :     401227 :   else if (use_postinc && !reverse)
     978                 :            :     {
     979                 :            :       m_addr = copy_to_mode_reg (addr_mode, m_addr);
     980                 :            :       m_auto = true;
     981                 :            :       m_explicit_inc = 1;
     982                 :            :     }
     983                 :     401227 :   else if (CONSTANT_P (m_addr))
     984                 :      58783 :     m_addr = copy_to_mode_reg (addr_mode, m_addr);
     985                 :            : }
     986                 :            : 
     987                 :            : /* Adjust the address to refer to the data at OFFSET in MODE.  If we
     988                 :            :    are using autoincrement for this address, we don't add the offset,
     989                 :            :    but we still modify the MEM's properties.  */
     990                 :            : 
     991                 :            : rtx
     992                 :    3313940 : pieces_addr::adjust (scalar_int_mode mode, HOST_WIDE_INT offset)
     993                 :            : {
     994                 :    3313940 :   if (m_constfn)
     995                 :     119288 :     return m_constfn (m_cfndata, offset, mode);
     996                 :    3194660 :   if (m_obj == NULL_RTX)
     997                 :            :     return NULL_RTX;
     998                 :    2489920 :   if (m_auto)
     999                 :          0 :     return adjust_automodify_address (m_obj, mode, m_addr, offset);
    1000                 :            :   else
    1001                 :    2489920 :     return adjust_address (m_obj, mode, offset);
    1002                 :            : }
    1003                 :            : 
    1004                 :            : /* Emit an add instruction to increment the address by SIZE.  */
    1005                 :            : 
    1006                 :            : void
    1007                 :          0 : pieces_addr::increment_address (HOST_WIDE_INT size)
    1008                 :            : {
    1009                 :          0 :   rtx amount = gen_int_mode (size, GET_MODE (m_addr));
    1010                 :          0 :   emit_insn (gen_add2_insn (m_addr, amount));
    1011                 :          0 : }
    1012                 :            : 
    1013                 :            : /* If we are supposed to decrement the address after each access, emit code
    1014                 :            :    to do so now.  Increment by SIZE (which has should have the correct sign
    1015                 :            :    already).  */
    1016                 :            : 
    1017                 :            : void
    1018                 :    3313530 : pieces_addr::maybe_predec (HOST_WIDE_INT size)
    1019                 :            : {
    1020                 :    3313530 :   if (m_explicit_inc >= 0)
    1021                 :    3313530 :     return;
    1022                 :          0 :   gcc_assert (HAVE_PRE_DECREMENT);
    1023                 :            :   increment_address (size);
    1024                 :            : }
    1025                 :            : 
    1026                 :            : /* If we are supposed to decrement the address after each access, emit code
    1027                 :            :    to do so now.  Increment by SIZE.  */
    1028                 :            : 
    1029                 :            : void
    1030                 :    3313550 : pieces_addr::maybe_postinc (HOST_WIDE_INT size)
    1031                 :            : {
    1032                 :    3313550 :   if (m_explicit_inc <= 0)
    1033                 :    3313550 :     return;
    1034                 :          0 :   gcc_assert (HAVE_POST_INCREMENT);
    1035                 :            :   increment_address (size);
    1036                 :            : }
    1037                 :            : 
    1038                 :            : /* This structure is used by do_op_by_pieces to describe the operation
    1039                 :            :    to be performed.  */
    1040                 :            : 
    1041                 :            : class op_by_pieces_d
    1042                 :            : {
    1043                 :            :  protected:
    1044                 :            :   pieces_addr m_to, m_from;
    1045                 :            :   unsigned HOST_WIDE_INT m_len;
    1046                 :            :   HOST_WIDE_INT m_offset;
    1047                 :            :   unsigned int m_align;
    1048                 :            :   unsigned int m_max_size;
    1049                 :            :   bool m_reverse;
    1050                 :            : 
    1051                 :            :   /* Virtual functions, overriden by derived classes for the specific
    1052                 :            :      operation.  */
    1053                 :            :   virtual void generate (rtx, rtx, machine_mode) = 0;
    1054                 :            :   virtual bool prepare_mode (machine_mode, unsigned int) = 0;
    1055                 :     836301 :   virtual void finish_mode (machine_mode)
    1056                 :            :   {
    1057                 :     836301 :   }
    1058                 :            : 
    1059                 :            :  public:
    1060                 :            :   op_by_pieces_d (rtx, bool, rtx, bool, by_pieces_constfn, void *,
    1061                 :            :                   unsigned HOST_WIDE_INT, unsigned int);
    1062                 :            :   void run ();
    1063                 :            : };
    1064                 :            : 
    1065                 :            : /* The constructor for an op_by_pieces_d structure.  We require two
    1066                 :            :    objects named TO and FROM, which are identified as loads or stores
    1067                 :            :    by TO_LOAD and FROM_LOAD.  If FROM is a load, the optional FROM_CFN
    1068                 :            :    and its associated FROM_CFN_DATA can be used to replace loads with
    1069                 :            :    constant values.  LEN describes the length of the operation.  */
    1070                 :            : 
    1071                 :     496184 : op_by_pieces_d::op_by_pieces_d (rtx to, bool to_load,
    1072                 :            :                                 rtx from, bool from_load,
    1073                 :            :                                 by_pieces_constfn from_cfn,
    1074                 :            :                                 void *from_cfn_data,
    1075                 :            :                                 unsigned HOST_WIDE_INT len,
    1076                 :     496184 :                                 unsigned int align)
    1077                 :            :   : m_to (to, to_load, NULL, NULL),
    1078                 :            :     m_from (from, from_load, from_cfn, from_cfn_data),
    1079                 :     633103 :     m_len (len), m_max_size (MOVE_MAX_PIECES + 1)
    1080                 :            : {
    1081                 :     496184 :   int toi = m_to.get_addr_inc ();
    1082                 :     496184 :   int fromi = m_from.get_addr_inc ();
    1083                 :     496184 :   if (toi >= 0 && fromi >= 0)
    1084                 :     296862 :     m_reverse = false;
    1085                 :     199322 :   else if (toi <= 0 && fromi <= 0)
    1086                 :     199322 :     m_reverse = true;
    1087                 :            :   else
    1088                 :          0 :     gcc_unreachable ();
    1089                 :            : 
    1090                 :     496184 :   m_offset = m_reverse ? len : 0;
    1091                 :    1642880 :   align = MIN (to ? MEM_ALIGN (to) : align,
    1092                 :            :                from ? MEM_ALIGN (from) : align);
    1093                 :            : 
    1094                 :            :   /* If copying requires more than two move insns,
    1095                 :            :      copy addresses to registers (to make displacements shorter)
    1096                 :            :      and use post-increment if available.  */
    1097                 :     496184 :   if (by_pieces_ninsns (len, align, m_max_size, MOVE_BY_PIECES) > 2)
    1098                 :            :     {
    1099                 :            :       /* Find the mode of the largest comparison.  */
    1100                 :     264233 :       scalar_int_mode mode = widest_int_mode_for_size (m_max_size);
    1101                 :            : 
    1102                 :     264233 :       m_from.decide_autoinc (mode, m_reverse, len);
    1103                 :     264233 :       m_to.decide_autoinc (mode, m_reverse, len);
    1104                 :            :     }
    1105                 :            : 
    1106                 :     633103 :   align = alignment_for_piecewise_move (MOVE_MAX_PIECES, align);
    1107                 :     496184 :   m_align = align;
    1108                 :     496184 : }
    1109                 :            : 
    1110                 :            : /* This function contains the main loop used for expanding a block
    1111                 :            :    operation.  First move what we can in the largest integer mode,
    1112                 :            :    then go to successively smaller modes.  For every access, call
    1113                 :            :    GENFUN with the two operands and the EXTRA_DATA.  */
    1114                 :            : 
    1115                 :            : void
    1116                 :     496184 : op_by_pieces_d::run ()
    1117                 :            : {
    1118                 :    1358900 :   while (m_max_size > 1 && m_len > 0)
    1119                 :            :     {
    1120                 :     862711 :       scalar_int_mode mode = widest_int_mode_for_size (m_max_size);
    1121                 :            : 
    1122                 :     862711 :       if (prepare_mode (mode, m_align))
    1123                 :            :         {
    1124                 :     862711 :           unsigned int size = GET_MODE_SIZE (mode);
    1125                 :     862711 :           rtx to1 = NULL_RTX, from1;
    1126                 :            : 
    1127                 :    2519480 :           while (m_len >= size)
    1128                 :            :             {
    1129                 :    1656760 :               if (m_reverse)
    1130                 :     704739 :                 m_offset -= size;
    1131                 :            : 
    1132                 :    1656760 :               to1 = m_to.adjust (mode, m_offset);
    1133                 :    1656760 :               from1 = m_from.adjust (mode, m_offset);
    1134                 :            : 
    1135                 :    1656760 :               m_to.maybe_predec (-(HOST_WIDE_INT)size);
    1136                 :    1656760 :               m_from.maybe_predec (-(HOST_WIDE_INT)size);
    1137                 :            : 
    1138                 :    1656760 :               generate (to1, from1, mode);
    1139                 :            : 
    1140                 :    1656760 :               m_to.maybe_postinc (size);
    1141                 :    1656760 :               m_from.maybe_postinc (size);
    1142                 :            : 
    1143                 :    1656760 :               if (!m_reverse)
    1144                 :     952026 :                 m_offset += size;
    1145                 :            : 
    1146                 :    1656760 :               m_len -= size;
    1147                 :            :             }
    1148                 :            : 
    1149                 :     862711 :           finish_mode (mode);
    1150                 :            :         }
    1151                 :            : 
    1152                 :    1725420 :       m_max_size = GET_MODE_SIZE (mode);
    1153                 :            :     }
    1154                 :            : 
    1155                 :            :   /* The code above should have handled everything.  */
    1156                 :     496184 :   gcc_assert (!m_len);
    1157                 :     496184 : }
    1158                 :            : 
    1159                 :            : /* Derived class from op_by_pieces_d, providing support for block move
    1160                 :            :    operations.  */
    1161                 :            : 
    1162                 :            : class move_by_pieces_d : public op_by_pieces_d
    1163                 :            : {
    1164                 :            :   insn_gen_fn m_gen_fun;
    1165                 :            :   void generate (rtx, rtx, machine_mode);
    1166                 :            :   bool prepare_mode (machine_mode, unsigned int);
    1167                 :            : 
    1168                 :            :  public:
    1169                 :     443167 :   move_by_pieces_d (rtx to, rtx from, unsigned HOST_WIDE_INT len,
    1170                 :            :                     unsigned int align)
    1171                 :     886334 :     : op_by_pieces_d (to, false, from, true, NULL, NULL, len, align)
    1172                 :            :   {
    1173                 :            :   }
    1174                 :            :   rtx finish_retmode (memop_ret);
    1175                 :            : };
    1176                 :            : 
    1177                 :            : /* Return true if MODE can be used for a set of copies, given an
    1178                 :            :    alignment ALIGN.  Prepare whatever data is necessary for later
    1179                 :            :    calls to generate.  */
    1180                 :            : 
    1181                 :            : bool
    1182                 :     705801 : move_by_pieces_d::prepare_mode (machine_mode mode, unsigned int align)
    1183                 :            : {
    1184                 :     705801 :   insn_code icode = optab_handler (mov_optab, mode);
    1185                 :     705801 :   m_gen_fun = GEN_FCN (icode);
    1186                 :     705801 :   return icode != CODE_FOR_nothing && align >= GET_MODE_ALIGNMENT (mode);
    1187                 :            : }
    1188                 :            : 
    1189                 :            : /* A callback used when iterating for a compare_by_pieces_operation.
    1190                 :            :    OP0 and OP1 are the values that have been loaded and should be
    1191                 :            :    compared in MODE.  If OP0 is NULL, this means we should generate a
    1192                 :            :    push; otherwise EXTRA_DATA holds a pointer to a pointer to the insn
    1193                 :            :    gen function that should be used to generate the mode.  */
    1194                 :            : 
    1195                 :            : void
    1196                 :    1521460 : move_by_pieces_d::generate (rtx op0, rtx op1,
    1197                 :            :                             machine_mode mode ATTRIBUTE_UNUSED)
    1198                 :            : {
    1199                 :            : #ifdef PUSH_ROUNDING
    1200                 :    1521460 :   if (op0 == NULL_RTX)
    1201                 :            :     {
    1202                 :     704739 :       emit_single_push_insn (mode, op1, NULL);
    1203                 :     704739 :       return;
    1204                 :            :     }
    1205                 :            : #endif
    1206                 :     816724 :   emit_insn (m_gen_fun (op0, op1));
    1207                 :            : }
    1208                 :            : 
    1209                 :            : /* Perform the final adjustment at the end of a string to obtain the
    1210                 :            :    correct return value for the block operation.
    1211                 :            :    Return value is based on RETMODE argument.  */
    1212                 :            : 
    1213                 :            : rtx
    1214                 :          0 : move_by_pieces_d::finish_retmode (memop_ret retmode)
    1215                 :            : {
    1216                 :          0 :   gcc_assert (!m_reverse);
    1217                 :          0 :   if (retmode == RETURN_END_MINUS_ONE)
    1218                 :            :     {
    1219                 :          0 :       m_to.maybe_postinc (-1);
    1220                 :          0 :       --m_offset;
    1221                 :            :     }
    1222                 :          0 :   return m_to.adjust (QImode, m_offset);
    1223                 :            : }
    1224                 :            : 
    1225                 :            : /* Generate several move instructions to copy LEN bytes from block FROM to
    1226                 :            :    block TO.  (These are MEM rtx's with BLKmode).
    1227                 :            : 
    1228                 :            :    If PUSH_ROUNDING is defined and TO is NULL, emit_single_push_insn is
    1229                 :            :    used to push FROM to the stack.
    1230                 :            : 
    1231                 :            :    ALIGN is maximum stack alignment we can assume.
    1232                 :            : 
    1233                 :            :    Return value is based on RETMODE argument.  */
    1234                 :            : 
    1235                 :            : rtx
    1236                 :     443167 : move_by_pieces (rtx to, rtx from, unsigned HOST_WIDE_INT len,
    1237                 :            :                 unsigned int align, memop_ret retmode)
    1238                 :            : {
    1239                 :            : #ifndef PUSH_ROUNDING
    1240                 :            :   if (to == NULL)
    1241                 :            :     gcc_unreachable ();
    1242                 :            : #endif
    1243                 :            : 
    1244                 :     443167 :   move_by_pieces_d data (to, from, len, align);
    1245                 :            : 
    1246                 :     443167 :   data.run ();
    1247                 :            : 
    1248                 :     443167 :   if (retmode != RETURN_BEGIN)
    1249                 :          0 :     return data.finish_retmode (retmode);
    1250                 :            :   else
    1251                 :            :     return to;
    1252                 :            : }
    1253                 :            : 
    1254                 :            : /* Derived class from op_by_pieces_d, providing support for block move
    1255                 :            :    operations.  */
    1256                 :            : 
    1257                 :            : class store_by_pieces_d : public op_by_pieces_d
    1258                 :            : {
    1259                 :            :   insn_gen_fn m_gen_fun;
    1260                 :            :   void generate (rtx, rtx, machine_mode);
    1261                 :            :   bool prepare_mode (machine_mode, unsigned int);
    1262                 :            : 
    1263                 :            :  public:
    1264                 :      44995 :   store_by_pieces_d (rtx to, by_pieces_constfn cfn, void *cfn_data,
    1265                 :            :                      unsigned HOST_WIDE_INT len, unsigned int align)
    1266                 :      89990 :     : op_by_pieces_d (to, false, NULL_RTX, true, cfn, cfn_data, len, align)
    1267                 :            :   {
    1268                 :            :   }
    1269                 :            :   rtx finish_retmode (memop_ret);
    1270                 :            : };
    1271                 :            : 
    1272                 :            : /* Return true if MODE can be used for a set of stores, given an
    1273                 :            :    alignment ALIGN.  Prepare whatever data is necessary for later
    1274                 :            :    calls to generate.  */
    1275                 :            : 
    1276                 :            : bool
    1277                 :     130500 : store_by_pieces_d::prepare_mode (machine_mode mode, unsigned int align)
    1278                 :            : {
    1279                 :     130500 :   insn_code icode = optab_handler (mov_optab, mode);
    1280                 :     130500 :   m_gen_fun = GEN_FCN (icode);
    1281                 :     130500 :   return icode != CODE_FOR_nothing && align >= GET_MODE_ALIGNMENT (mode);
    1282                 :            : }
    1283                 :            : 
    1284                 :            : /* A callback used when iterating for a store_by_pieces_operation.
    1285                 :            :    OP0 and OP1 are the values that have been loaded and should be
    1286                 :            :    compared in MODE.  If OP0 is NULL, this means we should generate a
    1287                 :            :    push; otherwise EXTRA_DATA holds a pointer to a pointer to the insn
    1288                 :            :    gen function that should be used to generate the mode.  */
    1289                 :            : 
    1290                 :            : void
    1291                 :     117955 : store_by_pieces_d::generate (rtx op0, rtx op1, machine_mode)
    1292                 :            : {
    1293                 :     117955 :   emit_insn (m_gen_fun (op0, op1));
    1294                 :     117955 : }
    1295                 :            : 
    1296                 :            : /* Perform the final adjustment at the end of a string to obtain the
    1297                 :            :    correct return value for the block operation.
    1298                 :            :    Return value is based on RETMODE argument.  */
    1299                 :            : 
    1300                 :            : rtx
    1301                 :        413 : store_by_pieces_d::finish_retmode (memop_ret retmode)
    1302                 :            : {
    1303                 :        413 :   gcc_assert (!m_reverse);
    1304                 :        413 :   if (retmode == RETURN_END_MINUS_ONE)
    1305                 :            :     {
    1306                 :         23 :       m_to.maybe_postinc (-1);
    1307                 :         23 :       --m_offset;
    1308                 :            :     }
    1309                 :        413 :   return m_to.adjust (QImode, m_offset);
    1310                 :            : }
    1311                 :            : 
    1312                 :            : /* Determine whether the LEN bytes generated by CONSTFUN can be
    1313                 :            :    stored to memory using several move instructions.  CONSTFUNDATA is
    1314                 :            :    a pointer which will be passed as argument in every CONSTFUN call.
    1315                 :            :    ALIGN is maximum alignment we can assume.  MEMSETP is true if this is
    1316                 :            :    a memset operation and false if it's a copy of a constant string.
    1317                 :            :    Return nonzero if a call to store_by_pieces should succeed.  */
    1318                 :            : 
    1319                 :            : int
    1320                 :      28023 : can_store_by_pieces (unsigned HOST_WIDE_INT len,
    1321                 :            :                      rtx (*constfun) (void *, HOST_WIDE_INT, scalar_int_mode),
    1322                 :            :                      void *constfundata, unsigned int align, bool memsetp)
    1323                 :            : {
    1324                 :      28023 :   unsigned HOST_WIDE_INT l;
    1325                 :      28023 :   unsigned int max_size;
    1326                 :      28023 :   HOST_WIDE_INT offset = 0;
    1327                 :      28023 :   enum insn_code icode;
    1328                 :      28023 :   int reverse;
    1329                 :            :   /* cst is set but not used if LEGITIMATE_CONSTANT doesn't use it.  */
    1330                 :      28023 :   rtx cst ATTRIBUTE_UNUSED;
    1331                 :            : 
    1332                 :      28023 :   if (len == 0)
    1333                 :            :     return 1;
    1334                 :            : 
    1335                 :      49504 :   if (!targetm.use_by_pieces_infrastructure_p (len, align,
    1336                 :            :                                                memsetp
    1337                 :            :                                                  ? SET_BY_PIECES
    1338                 :            :                                                  : STORE_BY_PIECES,
    1339                 :      28023 :                                                optimize_insn_for_speed_p ()))
    1340                 :            :     return 0;
    1341                 :            : 
    1342                 :      25836 :   align = alignment_for_piecewise_move (STORE_MAX_PIECES, align);
    1343                 :            : 
    1344                 :            :   /* We would first store what we can in the largest integer mode, then go to
    1345                 :            :      successively smaller modes.  */
    1346                 :            : 
    1347                 :      25836 :   for (reverse = 0;
    1348                 :      51672 :        reverse <= (HAVE_PRE_DECREMENT || HAVE_POST_DECREMENT);
    1349                 :            :        reverse++)
    1350                 :            :     {
    1351                 :      25836 :       l = len;
    1352                 :      25836 :       max_size = STORE_MAX_PIECES + 1;
    1353                 :     120933 :       while (max_size > 1 && l > 0)
    1354                 :            :         {
    1355                 :      95097 :           scalar_int_mode mode = widest_int_mode_for_size (max_size);
    1356                 :            : 
    1357                 :      95097 :           icode = optab_handler (mov_optab, mode);
    1358                 :      95097 :           if (icode != CODE_FOR_nothing
    1359                 :      95097 :               && align >= GET_MODE_ALIGNMENT (mode))
    1360                 :            :             {
    1361                 :     190194 :               unsigned int size = GET_MODE_SIZE (mode);
    1362                 :            : 
    1363                 :     162851 :               while (l >= size)
    1364                 :            :                 {
    1365                 :      67754 :                   if (reverse)
    1366                 :            :                     offset -= size;
    1367                 :            : 
    1368                 :      67754 :                   cst = (*constfun) (constfundata, offset, mode);
    1369                 :      67754 :                   if (!targetm.legitimate_constant_p (mode, cst))
    1370                 :      28023 :                     return 0;
    1371                 :            : 
    1372                 :      67754 :                   if (!reverse)
    1373                 :      67754 :                     offset += size;
    1374                 :            : 
    1375                 :      67754 :                   l -= size;
    1376                 :            :                 }
    1377                 :            :             }
    1378                 :            : 
    1379                 :     190194 :           max_size = GET_MODE_SIZE (mode);
    1380                 :            :         }
    1381                 :            : 
    1382                 :            :       /* The code above should have handled everything.  */
    1383                 :      25836 :       gcc_assert (!l);
    1384                 :            :     }
    1385                 :            : 
    1386                 :            :   return 1;
    1387                 :            : }
    1388                 :            : 
    1389                 :            : /* Generate several move instructions to store LEN bytes generated by
    1390                 :            :    CONSTFUN to block TO.  (A MEM rtx with BLKmode).  CONSTFUNDATA is a
    1391                 :            :    pointer which will be passed as argument in every CONSTFUN call.
    1392                 :            :    ALIGN is maximum alignment we can assume.  MEMSETP is true if this is
    1393                 :            :    a memset operation and false if it's a copy of a constant string.
    1394                 :            :    Return value is based on RETMODE argument.  */
    1395                 :            : 
    1396                 :            : rtx
    1397                 :      23601 : store_by_pieces (rtx to, unsigned HOST_WIDE_INT len,
    1398                 :            :                  rtx (*constfun) (void *, HOST_WIDE_INT, scalar_int_mode),
    1399                 :            :                  void *constfundata, unsigned int align, bool memsetp,
    1400                 :            :                  memop_ret retmode)
    1401                 :            : {
    1402                 :      23601 :   if (len == 0)
    1403                 :            :     {
    1404                 :          0 :       gcc_assert (retmode != RETURN_END_MINUS_ONE);
    1405                 :            :       return to;
    1406                 :            :     }
    1407                 :            : 
    1408                 :      41505 :   gcc_assert (targetm.use_by_pieces_infrastructure_p
    1409                 :            :                 (len, align,
    1410                 :            :                  memsetp ? SET_BY_PIECES : STORE_BY_PIECES,
    1411                 :            :                  optimize_insn_for_speed_p ()));
    1412                 :            : 
    1413                 :      23601 :   store_by_pieces_d data (to, constfun, constfundata, len, align);
    1414                 :      23601 :   data.run ();
    1415                 :            : 
    1416                 :      23601 :   if (retmode != RETURN_BEGIN)
    1417                 :        413 :     return data.finish_retmode (retmode);
    1418                 :            :   else
    1419                 :            :     return to;
    1420                 :            : }
    1421                 :            : 
    1422                 :            : /* Callback routine for clear_by_pieces.
    1423                 :            :    Return const0_rtx unconditionally.  */
    1424                 :            : 
    1425                 :            : static rtx
    1426                 :      57916 : clear_by_pieces_1 (void *, HOST_WIDE_INT, scalar_int_mode)
    1427                 :            : {
    1428                 :      57916 :   return const0_rtx;
    1429                 :            : }
    1430                 :            : 
    1431                 :            : /* Generate several move instructions to clear LEN bytes of block TO.  (A MEM
    1432                 :            :    rtx with BLKmode).  ALIGN is maximum alignment we can assume.  */
    1433                 :            : 
    1434                 :            : static void
    1435                 :      21394 : clear_by_pieces (rtx to, unsigned HOST_WIDE_INT len, unsigned int align)
    1436                 :            : {
    1437                 :      21394 :   if (len == 0)
    1438                 :          0 :     return;
    1439                 :            : 
    1440                 :      21394 :   store_by_pieces_d data (to, clear_by_pieces_1, NULL, len, align);
    1441                 :      21394 :   data.run ();
    1442                 :            : }
    1443                 :            : 
    1444                 :            : /* Context used by compare_by_pieces_genfn.  It stores the fail label
    1445                 :            :    to jump to in case of miscomparison, and for branch ratios greater than 1,
    1446                 :            :    it stores an accumulator and the current and maximum counts before
    1447                 :            :    emitting another branch.  */
    1448                 :            : 
    1449                 :            : class compare_by_pieces_d : public op_by_pieces_d
    1450                 :            : {
    1451                 :            :   rtx_code_label *m_fail_label;
    1452                 :            :   rtx m_accumulator;
    1453                 :            :   int m_count, m_batch;
    1454                 :            : 
    1455                 :            :   void generate (rtx, rtx, machine_mode);
    1456                 :            :   bool prepare_mode (machine_mode, unsigned int);
    1457                 :            :   void finish_mode (machine_mode);
    1458                 :            :  public:
    1459                 :       8022 :   compare_by_pieces_d (rtx op0, rtx op1, by_pieces_constfn op1_cfn,
    1460                 :            :                        void *op1_cfn_data, HOST_WIDE_INT len, int align,
    1461                 :            :                        rtx_code_label *fail_label)
    1462                 :      16044 :     : op_by_pieces_d (op0, true, op1, true, op1_cfn, op1_cfn_data, len, align)
    1463                 :            :   {
    1464                 :       8022 :     m_fail_label = fail_label;
    1465                 :            :   }
    1466                 :            : };
    1467                 :            : 
    1468                 :            : /* A callback used when iterating for a compare_by_pieces_operation.
    1469                 :            :    OP0 and OP1 are the values that have been loaded and should be
    1470                 :            :    compared in MODE.  DATA holds a pointer to the compare_by_pieces_data
    1471                 :            :    context structure.  */
    1472                 :            : 
    1473                 :            : void
    1474                 :      17347 : compare_by_pieces_d::generate (rtx op0, rtx op1, machine_mode mode)
    1475                 :            : {
    1476                 :      17347 :   if (m_batch > 1)
    1477                 :            :     {
    1478                 :          0 :       rtx temp = expand_binop (mode, sub_optab, op0, op1, NULL_RTX,
    1479                 :            :                                true, OPTAB_LIB_WIDEN);
    1480                 :          0 :       if (m_count != 0)
    1481                 :          0 :         temp = expand_binop (mode, ior_optab, m_accumulator, temp, temp,
    1482                 :            :                              true, OPTAB_LIB_WIDEN);
    1483                 :          0 :       m_accumulator = temp;
    1484                 :            : 
    1485                 :          0 :       if (++m_count < m_batch)
    1486                 :            :         return;
    1487                 :            : 
    1488                 :          0 :       m_count = 0;
    1489                 :          0 :       op0 = m_accumulator;
    1490                 :          0 :       op1 = const0_rtx;
    1491                 :          0 :       m_accumulator = NULL_RTX;
    1492                 :            :     }
    1493                 :      17347 :   do_compare_rtx_and_jump (op0, op1, NE, true, mode, NULL_RTX, NULL,
    1494                 :            :                            m_fail_label, profile_probability::uninitialized ());
    1495                 :            : }
    1496                 :            : 
    1497                 :            : /* Return true if MODE can be used for a set of moves and comparisons,
    1498                 :            :    given an alignment ALIGN.  Prepare whatever data is necessary for
    1499                 :            :    later calls to generate.  */
    1500                 :            : 
    1501                 :            : bool
    1502                 :      26410 : compare_by_pieces_d::prepare_mode (machine_mode mode, unsigned int align)
    1503                 :            : {
    1504                 :      26410 :   insn_code icode = optab_handler (mov_optab, mode);
    1505                 :      26410 :   if (icode == CODE_FOR_nothing
    1506                 :      26410 :       || align < GET_MODE_ALIGNMENT (mode)
    1507                 :      52820 :       || !can_compare_p (EQ, mode, ccp_jump))
    1508                 :          0 :     return false;
    1509                 :      26410 :   m_batch = targetm.compare_by_pieces_branch_ratio (mode);
    1510                 :      26410 :   if (m_batch < 0)
    1511                 :            :     return false;
    1512                 :      26410 :   m_accumulator = NULL_RTX;
    1513                 :      26410 :   m_count = 0;
    1514                 :      26410 :   return true;
    1515                 :            : }
    1516                 :            : 
    1517                 :            : /* Called after expanding a series of comparisons in MODE.  If we have
    1518                 :            :    accumulated results for which we haven't emitted a branch yet, do
    1519                 :            :    so now.  */
    1520                 :            : 
    1521                 :            : void
    1522                 :      26410 : compare_by_pieces_d::finish_mode (machine_mode mode)
    1523                 :            : {
    1524                 :      26410 :   if (m_accumulator != NULL_RTX)
    1525                 :          0 :     do_compare_rtx_and_jump (m_accumulator, const0_rtx, NE, true, mode,
    1526                 :            :                              NULL_RTX, NULL, m_fail_label,
    1527                 :            :                              profile_probability::uninitialized ());
    1528                 :      26410 : }
    1529                 :            : 
    1530                 :            : /* Generate several move instructions to compare LEN bytes from blocks
    1531                 :            :    ARG0 and ARG1.  (These are MEM rtx's with BLKmode).
    1532                 :            : 
    1533                 :            :    If PUSH_ROUNDING is defined and TO is NULL, emit_single_push_insn is
    1534                 :            :    used to push FROM to the stack.
    1535                 :            : 
    1536                 :            :    ALIGN is maximum stack alignment we can assume.
    1537                 :            : 
    1538                 :            :    Optionally, the caller can pass a constfn and associated data in A1_CFN
    1539                 :            :    and A1_CFN_DATA. describing that the second operand being compared is a
    1540                 :            :    known constant and how to obtain its data.  */
    1541                 :            : 
    1542                 :            : static rtx
    1543                 :       8022 : compare_by_pieces (rtx arg0, rtx arg1, unsigned HOST_WIDE_INT len,
    1544                 :            :                    rtx target, unsigned int align,
    1545                 :            :                    by_pieces_constfn a1_cfn, void *a1_cfn_data)
    1546                 :            : {
    1547                 :       8022 :   rtx_code_label *fail_label = gen_label_rtx ();
    1548                 :       8022 :   rtx_code_label *end_label = gen_label_rtx ();
    1549                 :            : 
    1550                 :       8022 :   if (target == NULL_RTX
    1551                 :       8022 :       || !REG_P (target) || REGNO (target) < FIRST_PSEUDO_REGISTER)
    1552                 :          0 :     target = gen_reg_rtx (TYPE_MODE (integer_type_node));
    1553                 :            : 
    1554                 :       8022 :   compare_by_pieces_d data (arg0, arg1, a1_cfn, a1_cfn_data, len, align,
    1555                 :       8022 :                             fail_label);
    1556                 :            : 
    1557                 :       8022 :   data.run ();
    1558                 :            : 
    1559                 :       8022 :   emit_move_insn (target, const0_rtx);
    1560                 :       8022 :   emit_jump (end_label);
    1561                 :       8022 :   emit_barrier ();
    1562                 :       8022 :   emit_label (fail_label);
    1563                 :       8022 :   emit_move_insn (target, const1_rtx);
    1564                 :       8022 :   emit_label (end_label);
    1565                 :            : 
    1566                 :       8022 :   return target;
    1567                 :            : }
    1568                 :            : 
    1569                 :            : /* Emit code to move a block Y to a block X.  This may be done with
    1570                 :            :    string-move instructions, with multiple scalar move instructions,
    1571                 :            :    or with a library call.
    1572                 :            : 
    1573                 :            :    Both X and Y must be MEM rtx's (perhaps inside VOLATILE) with mode BLKmode.
    1574                 :            :    SIZE is an rtx that says how long they are.
    1575                 :            :    ALIGN is the maximum alignment we can assume they have.
    1576                 :            :    METHOD describes what kind of copy this is, and what mechanisms may be used.
    1577                 :            :    MIN_SIZE is the minimal size of block to move
    1578                 :            :    MAX_SIZE is the maximal size of block to move, if it cannot be represented
    1579                 :            :    in unsigned HOST_WIDE_INT, than it is mask of all ones.
    1580                 :            : 
    1581                 :            :    Return the address of the new block, if memcpy is called and returns it,
    1582                 :            :    0 otherwise.  */
    1583                 :            : 
    1584                 :            : rtx
    1585                 :     299803 : emit_block_move_hints (rtx x, rtx y, rtx size, enum block_op_methods method,
    1586                 :            :                        unsigned int expected_align, HOST_WIDE_INT expected_size,
    1587                 :            :                        unsigned HOST_WIDE_INT min_size,
    1588                 :            :                        unsigned HOST_WIDE_INT max_size,
    1589                 :            :                        unsigned HOST_WIDE_INT probable_max_size,
    1590                 :            :                        bool bail_out_libcall, bool *is_move_done,
    1591                 :            :                        bool might_overlap)
    1592                 :            : {
    1593                 :     299803 :   int may_use_call;
    1594                 :     299803 :   rtx retval = 0;
    1595                 :     299803 :   unsigned int align;
    1596                 :            : 
    1597                 :     299803 :   if (is_move_done)
    1598                 :      45577 :     *is_move_done = true;
    1599                 :            : 
    1600                 :     299803 :   gcc_assert (size);
    1601                 :     299803 :   if (CONST_INT_P (size) && INTVAL (size) == 0)
    1602                 :            :     return 0;
    1603                 :            : 
    1604                 :     299802 :   switch (method)
    1605                 :            :     {
    1606                 :            :     case BLOCK_OP_NORMAL:
    1607                 :            :     case BLOCK_OP_TAILCALL:
    1608                 :            :       may_use_call = 1;
    1609                 :            :       break;
    1610                 :            : 
    1611                 :      19591 :     case BLOCK_OP_CALL_PARM:
    1612                 :      19591 :       may_use_call = block_move_libcall_safe_for_call_parm ();
    1613                 :            : 
    1614                 :            :       /* Make inhibit_defer_pop nonzero around the library call
    1615                 :            :          to force it to pop the arguments right away.  */
    1616                 :      19591 :       NO_DEFER_POP;
    1617                 :      19591 :       break;
    1618                 :            : 
    1619                 :        571 :     case BLOCK_OP_NO_LIBCALL:
    1620                 :        571 :       may_use_call = 0;
    1621                 :        571 :       break;
    1622                 :            : 
    1623                 :       1020 :     case BLOCK_OP_NO_LIBCALL_RET:
    1624                 :       1020 :       may_use_call = -1;
    1625                 :       1020 :       break;
    1626                 :            : 
    1627                 :          0 :     default:
    1628                 :          0 :       gcc_unreachable ();
    1629                 :            :     }
    1630                 :            : 
    1631                 :     299802 :   gcc_assert (MEM_P (x) && MEM_P (y));
    1632                 :     299864 :   align = MIN (MEM_ALIGN (x), MEM_ALIGN (y));
    1633                 :     299802 :   gcc_assert (align >= BITS_PER_UNIT);
    1634                 :            : 
    1635                 :            :   /* Make sure we've got BLKmode addresses; store_one_arg can decide that
    1636                 :            :      block copy is more efficient for other large modes, e.g. DCmode.  */
    1637                 :     299802 :   x = adjust_address (x, BLKmode, 0);
    1638                 :     299802 :   y = adjust_address (y, BLKmode, 0);
    1639                 :            : 
    1640                 :            :   /* Set MEM_SIZE as appropriate for this block copy.  The main place this
    1641                 :            :      can be incorrect is coming from __builtin_memcpy.  */
    1642                 :     299802 :   poly_int64 const_size;
    1643                 :     299802 :   if (poly_int_rtx_p (size, &const_size))
    1644                 :            :     {
    1645                 :     270206 :       x = shallow_copy_rtx (x);
    1646                 :     270206 :       y = shallow_copy_rtx (y);
    1647                 :     270206 :       set_mem_size (x, const_size);
    1648                 :     270206 :       set_mem_size (y, const_size);
    1649                 :            :     }
    1650                 :            : 
    1651                 :     299802 :   bool pieces_ok = CONST_INT_P (size)
    1652                 :     299802 :     && can_move_by_pieces (INTVAL (size), align);
    1653                 :     299802 :   bool pattern_ok = false;
    1654                 :            : 
    1655                 :     299802 :   if (!pieces_ok || might_overlap)
    1656                 :            :     {
    1657                 :      55957 :       pattern_ok
    1658                 :      55957 :         = emit_block_move_via_pattern (x, y, size, align,
    1659                 :            :                                        expected_align, expected_size,
    1660                 :            :                                        min_size, max_size, probable_max_size,
    1661                 :            :                                        might_overlap);
    1662                 :      55957 :       if (!pattern_ok && might_overlap)
    1663                 :            :         {
    1664                 :            :           /* Do not try any of the other methods below as they are not safe
    1665                 :            :              for overlapping moves.  */
    1666                 :      11119 :           *is_move_done = false;
    1667                 :      11119 :           return retval;
    1668                 :            :         }
    1669                 :            :     }
    1670                 :            : 
    1671                 :      44838 :   if (pattern_ok)
    1672                 :            :     ;
    1673                 :     260877 :   else if (pieces_ok)
    1674                 :     243845 :     move_by_pieces (x, y, INTVAL (size), align, RETURN_BEGIN);
    1675                 :      17032 :   else if (may_use_call && !might_overlap
    1676                 :      17032 :            && ADDR_SPACE_GENERIC_P (MEM_ADDR_SPACE (x))
    1677                 :      34064 :            && ADDR_SPACE_GENERIC_P (MEM_ADDR_SPACE (y)))
    1678                 :            :     {
    1679                 :      17032 :       if (bail_out_libcall)
    1680                 :            :         {
    1681                 :        243 :           if (is_move_done)
    1682                 :        243 :             *is_move_done = false;
    1683                 :        243 :           return retval;
    1684                 :            :         }
    1685                 :            : 
    1686                 :      16789 :       if (may_use_call < 0)
    1687                 :          0 :         return pc_rtx;
    1688                 :            : 
    1689                 :      16789 :       retval = emit_block_copy_via_libcall (x, y, size,
    1690                 :            :                                             method == BLOCK_OP_TAILCALL);
    1691                 :            :     }
    1692                 :          0 :   else if (might_overlap)
    1693                 :          0 :     *is_move_done = false;
    1694                 :            :   else
    1695                 :          0 :     emit_block_move_via_loop (x, y, size, align);
    1696                 :            : 
    1697                 :     288440 :   if (method == BLOCK_OP_CALL_PARM)
    1698                 :      19591 :     OK_DEFER_POP;
    1699                 :            : 
    1700                 :            :   return retval;
    1701                 :            : }
    1702                 :            : 
    1703                 :            : rtx
    1704                 :     254226 : emit_block_move (rtx x, rtx y, rtx size, enum block_op_methods method)
    1705                 :            : {
    1706                 :     254226 :   unsigned HOST_WIDE_INT max, min = 0;
    1707                 :     254226 :   if (GET_CODE (size) == CONST_INT)
    1708                 :     253992 :     min = max = UINTVAL (size);
    1709                 :            :   else
    1710                 :        234 :     max = GET_MODE_MASK (GET_MODE (size));
    1711                 :     254226 :   return emit_block_move_hints (x, y, size, method, 0, -1,
    1712                 :     254226 :                                 min, max, max);
    1713                 :            : }
    1714                 :            : 
    1715                 :            : /* A subroutine of emit_block_move.  Returns true if calling the
    1716                 :            :    block move libcall will not clobber any parameters which may have
    1717                 :            :    already been placed on the stack.  */
    1718                 :            : 
    1719                 :            : static bool
    1720                 :      19591 : block_move_libcall_safe_for_call_parm (void)
    1721                 :            : {
    1722                 :      19591 :   tree fn;
    1723                 :            : 
    1724                 :            :   /* If arguments are pushed on the stack, then they're safe.  */
    1725                 :      19591 :   if (PUSH_ARGS)
    1726                 :      19586 :     return true;
    1727                 :            : 
    1728                 :            :   /* If registers go on the stack anyway, any argument is sure to clobber
    1729                 :            :      an outgoing argument.  */
    1730                 :            : #if defined (REG_PARM_STACK_SPACE)
    1731                 :          5 :   fn = builtin_decl_implicit (BUILT_IN_MEMCPY);
    1732                 :            :   /* Avoid set but not used warning if *REG_PARM_STACK_SPACE doesn't
    1733                 :            :      depend on its argument.  */
    1734                 :          5 :   (void) fn;
    1735                 :         10 :   if (OUTGOING_REG_PARM_STACK_SPACE ((!fn ? NULL_TREE : TREE_TYPE (fn)))
    1736                 :          5 :       && REG_PARM_STACK_SPACE (fn) != 0)
    1737                 :            :     return false;
    1738                 :            : #endif
    1739                 :            : 
    1740                 :            :   /* If any argument goes in memory, then it might clobber an outgoing
    1741                 :            :      argument.  */
    1742                 :          5 :   {
    1743                 :          5 :     CUMULATIVE_ARGS args_so_far_v;
    1744                 :          5 :     cumulative_args_t args_so_far;
    1745                 :          5 :     tree arg;
    1746                 :            : 
    1747                 :          5 :     fn = builtin_decl_implicit (BUILT_IN_MEMCPY);
    1748                 :          5 :     INIT_CUMULATIVE_ARGS (args_so_far_v, TREE_TYPE (fn), NULL_RTX, 0, 3);
    1749                 :          5 :     args_so_far = pack_cumulative_args (&args_so_far_v);
    1750                 :            : 
    1751                 :          5 :     arg = TYPE_ARG_TYPES (TREE_TYPE (fn));
    1752                 :         20 :     for ( ; arg != void_list_node ; arg = TREE_CHAIN (arg))
    1753                 :            :       {
    1754                 :         15 :         machine_mode mode = TYPE_MODE (TREE_VALUE (arg));
    1755                 :         15 :         function_arg_info arg_info (mode, /*named=*/true);
    1756                 :         15 :         rtx tmp = targetm.calls.function_arg (args_so_far, arg_info);
    1757                 :         15 :         if (!tmp || !REG_P (tmp))
    1758                 :          0 :           return false;
    1759                 :         15 :         if (targetm.calls.arg_partial_bytes (args_so_far, arg_info))
    1760                 :            :           return false;
    1761                 :         15 :         targetm.calls.function_arg_advance (args_so_far, arg_info);
    1762                 :            :       }
    1763                 :            :   }
    1764                 :          5 :   return true;
    1765                 :            : }
    1766                 :            : 
    1767                 :            : /* A subroutine of emit_block_move.  Expand a cpymem or movmem pattern;
    1768                 :            :    return true if successful.
    1769                 :            :   
    1770                 :            :    X is the destination of the copy or move.
    1771                 :            :    Y is the source of the copy or move.
    1772                 :            :    SIZE is the size of the block to be moved.
    1773                 :            : 
    1774                 :            :    MIGHT_OVERLAP indicates this originated with expansion of a
    1775                 :            :    builtin_memmove() and the source and destination blocks may
    1776                 :            :    overlap.
    1777                 :            :   */
    1778                 :            : 
    1779                 :            : static bool
    1780                 :      55957 : emit_block_move_via_pattern (rtx x, rtx y, rtx size, unsigned int align,
    1781                 :            :                              unsigned int expected_align,
    1782                 :            :                              HOST_WIDE_INT expected_size,
    1783                 :            :                              unsigned HOST_WIDE_INT min_size,
    1784                 :            :                              unsigned HOST_WIDE_INT max_size,
    1785                 :            :                              unsigned HOST_WIDE_INT probable_max_size,
    1786                 :            :                              bool might_overlap)
    1787                 :            : {
    1788                 :      55957 :   if (expected_align < align)
    1789                 :            :     expected_align = align;
    1790                 :      55957 :   if (expected_size != -1)
    1791                 :            :     {
    1792                 :         12 :       if ((unsigned HOST_WIDE_INT)expected_size > probable_max_size)
    1793                 :          0 :         expected_size = probable_max_size;
    1794                 :         12 :       if ((unsigned HOST_WIDE_INT)expected_size < min_size)
    1795                 :          0 :         expected_size = min_size;
    1796                 :            :     }
    1797                 :            : 
    1798                 :            :   /* Since this is a move insn, we don't care about volatility.  */
    1799                 :      55957 :   temporary_volatile_ok v (true);
    1800                 :            : 
    1801                 :            :   /* Try the most limited insn first, because there's no point
    1802                 :            :      including more than one in the machine description unless
    1803                 :            :      the more limited one has some advantage.  */
    1804                 :            : 
    1805                 :      55957 :   opt_scalar_int_mode mode_iter;
    1806                 :     563529 :   FOR_EACH_MODE_IN_CLASS (mode_iter, MODE_INT)
    1807                 :            :     {
    1808                 :     281592 :       scalar_int_mode mode = mode_iter.require ();
    1809                 :     281592 :       enum insn_code code;
    1810                 :     281592 :       if (might_overlap)
    1811                 :      77833 :         code = direct_optab_handler (movmem_optab, mode);
    1812                 :            :       else
    1813                 :     203759 :         code = direct_optab_handler (cpymem_optab, mode);
    1814                 :            : 
    1815                 :     281592 :       if (code != CODE_FOR_nothing
    1816                 :            :           /* We don't need MODE to be narrower than BITS_PER_HOST_WIDE_INT
    1817                 :            :              here because if SIZE is less than the mode mask, as it is
    1818                 :            :              returned by the macro, it will definitely be less than the
    1819                 :            :              actual mode mask.  Since SIZE is within the Pmode address
    1820                 :            :              space, we limit MODE to Pmode.  */
    1821                 :     281592 :           && ((CONST_INT_P (size)
    1822                 :      25540 :                && ((unsigned HOST_WIDE_INT) INTVAL (size)
    1823                 :      25540 :                    <= (GET_MODE_MASK (mode) >> 1)))
    1824                 :      36534 :               || max_size <= (GET_MODE_MASK (mode) >> 1)
    1825                 :      62018 :               || GET_MODE_BITSIZE (mode) >= GET_MODE_BITSIZE (Pmode)))
    1826                 :            :         {
    1827                 :      46273 :           class expand_operand ops[9];
    1828                 :      46273 :           unsigned int nops;
    1829                 :            : 
    1830                 :            :           /* ??? When called via emit_block_move_for_call, it'd be
    1831                 :            :              nice if there were some way to inform the backend, so
    1832                 :            :              that it doesn't fail the expansion because it thinks
    1833                 :            :              emitting the libcall would be more efficient.  */
    1834                 :      46273 :           nops = insn_data[(int) code].n_generator_args;
    1835                 :      46273 :           gcc_assert (nops == 4 || nops == 6 || nops == 8 || nops == 9);
    1836                 :            : 
    1837                 :      46273 :           create_fixed_operand (&ops[0], x);
    1838                 :      46273 :           create_fixed_operand (&ops[1], y);
    1839                 :            :           /* The check above guarantees that this size conversion is valid.  */
    1840                 :      46273 :           create_convert_operand_to (&ops[2], size, mode, true);
    1841                 :      46273 :           create_integer_operand (&ops[3], align / BITS_PER_UNIT);
    1842                 :      46273 :           if (nops >= 6)
    1843                 :            :             {
    1844                 :      46273 :               create_integer_operand (&ops[4], expected_align / BITS_PER_UNIT);
    1845                 :      46273 :               create_integer_operand (&ops[5], expected_size);
    1846                 :            :             }
    1847                 :      46273 :           if (nops >= 8)
    1848                 :            :             {
    1849                 :      46273 :               create_integer_operand (&ops[6], min_size);
    1850                 :            :               /* If we cannot represent the maximal size,
    1851                 :            :                  make parameter NULL.  */
    1852                 :      46273 :               if ((HOST_WIDE_INT) max_size != -1)
    1853                 :      32531 :                 create_integer_operand (&ops[7], max_size);
    1854                 :            :               else
    1855                 :      13742 :                 create_fixed_operand (&ops[7], NULL);
    1856                 :            :             }
    1857                 :      46273 :           if (nops == 9)
    1858                 :            :             {
    1859                 :            :               /* If we cannot represent the maximal size,
    1860                 :            :                  make parameter NULL.  */
    1861                 :      46273 :               if ((HOST_WIDE_INT) probable_max_size != -1)
    1862                 :      33688 :                 create_integer_operand (&ops[8], probable_max_size);
    1863                 :            :               else
    1864                 :      12585 :                 create_fixed_operand (&ops[8], NULL);
    1865                 :            :             }
    1866                 :      46273 :           if (maybe_expand_insn (code, nops, ops))
    1867                 :      27806 :             return true;
    1868                 :            :         }
    1869                 :            :     }
    1870                 :            : 
    1871                 :            :   return false;
    1872                 :            : }
    1873                 :            : 
    1874                 :            : /* A subroutine of emit_block_move.  Copy the data via an explicit
    1875                 :            :    loop.  This is used only when libcalls are forbidden.  */
    1876                 :            : /* ??? It'd be nice to copy in hunks larger than QImode.  */
    1877                 :            : 
    1878                 :            : static void
    1879                 :          0 : emit_block_move_via_loop (rtx x, rtx y, rtx size,
    1880                 :            :                           unsigned int align ATTRIBUTE_UNUSED)
    1881                 :            : {
    1882                 :          0 :   rtx_code_label *cmp_label, *top_label;
    1883                 :          0 :   rtx iter, x_addr, y_addr, tmp;
    1884                 :          0 :   machine_mode x_addr_mode = get_address_mode (x);
    1885                 :          0 :   machine_mode y_addr_mode = get_address_mode (y);
    1886                 :          0 :   machine_mode iter_mode;
    1887                 :            : 
    1888                 :          0 :   iter_mode = GET_MODE (size);
    1889                 :          0 :   if (iter_mode == VOIDmode)
    1890                 :          0 :     iter_mode = word_mode;
    1891                 :            : 
    1892                 :          0 :   top_label = gen_label_rtx ();
    1893                 :          0 :   cmp_label = gen_label_rtx ();
    1894                 :          0 :   iter = gen_reg_rtx (iter_mode);
    1895                 :            : 
    1896                 :          0 :   emit_move_insn (iter, const0_rtx);
    1897                 :            : 
    1898                 :          0 :   x_addr = force_operand (XEXP (x, 0), NULL_RTX);
    1899                 :          0 :   y_addr = force_operand (XEXP (y, 0), NULL_RTX);
    1900                 :          0 :   do_pending_stack_adjust ();
    1901                 :            : 
    1902                 :          0 :   emit_jump (cmp_label);
    1903                 :          0 :   emit_label (top_label);
    1904                 :            : 
    1905                 :          0 :   tmp = convert_modes (x_addr_mode, iter_mode, iter, true);
    1906                 :          0 :   x_addr = simplify_gen_binary (PLUS, x_addr_mode, x_addr, tmp);
    1907                 :            : 
    1908                 :          0 :   if (x_addr_mode != y_addr_mode)
    1909                 :          0 :     tmp = convert_modes (y_addr_mode, iter_mode, iter, true);
    1910                 :          0 :   y_addr = simplify_gen_binary (PLUS, y_addr_mode, y_addr, tmp);
    1911                 :            : 
    1912                 :          0 :   x = change_address (x, QImode, x_addr);
    1913                 :          0 :   y = change_address (y, QImode, y_addr);
    1914                 :            : 
    1915                 :          0 :   emit_move_insn (x, y);
    1916                 :            : 
    1917                 :          0 :   tmp = expand_simple_binop (iter_mode, PLUS, iter, const1_rtx, iter,
    1918                 :            :                              true, OPTAB_LIB_WIDEN);
    1919                 :          0 :   if (tmp != iter)
    1920                 :          0 :     emit_move_insn (iter, tmp);
    1921                 :            : 
    1922                 :          0 :   emit_label (cmp_label);
    1923                 :            : 
    1924                 :          0 :   emit_cmp_and_jump_insns (iter, size, LT, NULL_RTX, iter_mode,
    1925                 :            :                            true, top_label,
    1926                 :          0 :                            profile_probability::guessed_always ()
    1927                 :            :                                 .apply_scale (9, 10));
    1928                 :          0 : }
    1929                 :            : 
    1930                 :            : /* Expand a call to memcpy or memmove or memcmp, and return the result.
    1931                 :            :    TAILCALL is true if this is a tail call.  */
    1932                 :            : 
    1933                 :            : rtx
    1934                 :      16792 : emit_block_op_via_libcall (enum built_in_function fncode, rtx dst, rtx src,
    1935                 :            :                            rtx size, bool tailcall)
    1936                 :            : {
    1937                 :      16792 :   rtx dst_addr, src_addr;
    1938                 :      16792 :   tree call_expr, dst_tree, src_tree, size_tree;
    1939                 :      16792 :   machine_mode size_mode;
    1940                 :            : 
    1941                 :            :   /* Since dst and src are passed to a libcall, mark the corresponding
    1942                 :            :      tree EXPR as addressable.  */
    1943                 :      16792 :   tree dst_expr = MEM_EXPR (dst);
    1944                 :      16792 :   tree src_expr = MEM_EXPR (src);
    1945                 :      16792 :   if (dst_expr)
    1946                 :      16494 :     mark_addressable (dst_expr);
    1947                 :      16792 :   if (src_expr)
    1948                 :      16782 :     mark_addressable (src_expr);
    1949                 :            : 
    1950                 :      16792 :   dst_addr = copy_addr_to_reg (XEXP (dst, 0));
    1951                 :      16792 :   dst_addr = convert_memory_address (ptr_mode, dst_addr);
    1952                 :      16792 :   dst_tree = make_tree (ptr_type_node, dst_addr);
    1953                 :            : 
    1954                 :      16792 :   src_addr = copy_addr_to_reg (XEXP (src, 0));
    1955                 :      16792 :   src_addr = convert_memory_address (ptr_mode, src_addr);
    1956                 :      16792 :   src_tree = make_tree (ptr_type_node, src_addr);
    1957                 :            : 
    1958                 :      16792 :   size_mode = TYPE_MODE (sizetype);
    1959                 :      16792 :   size = convert_to_mode (size_mode, size, 1);
    1960                 :      16792 :   size = copy_to_mode_reg (size_mode, size);
    1961                 :      16792 :   size_tree = make_tree (sizetype, size);
    1962                 :            : 
    1963                 :            :   /* It is incorrect to use the libcall calling conventions for calls to
    1964                 :            :      memcpy/memmove/memcmp because they can be provided by the user.  */
    1965                 :      16792 :   tree fn = builtin_decl_implicit (fncode);
    1966                 :      16792 :   call_expr = build_call_expr (fn, 3, dst_tree, src_tree, size_tree);
    1967                 :      16792 :   CALL_EXPR_TAILCALL (call_expr) = tailcall;
    1968                 :            : 
    1969                 :      16792 :   return expand_call (call_expr, NULL_RTX, false);
    1970                 :            : }
    1971                 :            : 
    1972                 :            : /* Try to expand cmpstrn or cmpmem operation ICODE with the given operands.
    1973                 :            :    ARG3_TYPE is the type of ARG3_RTX.  Return the result rtx on success,
    1974                 :            :    otherwise return null.  */
    1975                 :            : 
    1976                 :            : rtx
    1977                 :       2778 : expand_cmpstrn_or_cmpmem (insn_code icode, rtx target, rtx arg1_rtx,
    1978                 :            :                           rtx arg2_rtx, tree arg3_type, rtx arg3_rtx,
    1979                 :            :                           HOST_WIDE_INT align)
    1980                 :            : {
    1981                 :       2778 :   machine_mode insn_mode = insn_data[icode].operand[0].mode;
    1982                 :            : 
    1983                 :       2778 :   if (target && (!REG_P (target) || HARD_REGISTER_P (target)))
    1984                 :            :     target = NULL_RTX;
    1985                 :            : 
    1986                 :       2778 :   class expand_operand ops[5];
    1987                 :       2778 :   create_output_operand (&ops[0], target, insn_mode);
    1988                 :       2778 :   create_fixed_operand (&ops[1], arg1_rtx);
    1989                 :       2778 :   create_fixed_operand (&ops[2], arg2_rtx);
    1990                 :       5556 :   create_convert_operand_from (&ops[3], arg3_rtx, TYPE_MODE (arg3_type),
    1991                 :       2778 :                                TYPE_UNSIGNED (arg3_type));
    1992                 :       2778 :   create_integer_operand (&ops[4], align);
    1993                 :       2778 :   if (maybe_expand_insn (icode, 5, ops))
    1994                 :       1372 :     return ops[0].value;
    1995                 :            :   return NULL_RTX;
    1996                 :            : }
    1997                 :            : 
    1998                 :            : /* Expand a block compare between X and Y with length LEN using the
    1999                 :            :    cmpmem optab, placing the result in TARGET.  LEN_TYPE is the type
    2000                 :            :    of the expression that was used to calculate the length.  ALIGN
    2001                 :            :    gives the known minimum common alignment.  */
    2002                 :            : 
    2003                 :            : static rtx
    2004                 :      63511 : emit_block_cmp_via_cmpmem (rtx x, rtx y, rtx len, tree len_type, rtx target,
    2005                 :            :                            unsigned align)
    2006                 :            : {
    2007                 :            :   /* Note: The cmpstrnsi pattern, if it exists, is not suitable for
    2008                 :            :      implementing memcmp because it will stop if it encounters two
    2009                 :            :      zero bytes.  */
    2010                 :      63511 :   insn_code icode = direct_optab_handler (cmpmem_optab, SImode);
    2011                 :            : 
    2012                 :      63511 :   if (icode == CODE_FOR_nothing)
    2013                 :            :     return NULL_RTX;
    2014                 :            : 
    2015                 :          0 :   return expand_cmpstrn_or_cmpmem (icode, target, x, y, len_type, len, align);
    2016                 :            : }
    2017                 :            : 
    2018                 :            : /* Emit code to compare a block Y to a block X.  This may be done with
    2019                 :            :    string-compare instructions, with multiple scalar instructions,
    2020                 :            :    or with a library call.
    2021                 :            : 
    2022                 :            :    Both X and Y must be MEM rtx's.  LEN is an rtx that says how long
    2023                 :            :    they are.  LEN_TYPE is the type of the expression that was used to
    2024                 :            :    calculate it.
    2025                 :            : 
    2026                 :            :    If EQUALITY_ONLY is true, it means we don't have to return the tri-state
    2027                 :            :    value of a normal memcmp call, instead we can just compare for equality.
    2028                 :            :    If FORCE_LIBCALL is true, we should emit a call to memcmp rather than
    2029                 :            :    returning NULL_RTX.
    2030                 :            : 
    2031                 :            :    Optionally, the caller can pass a constfn and associated data in Y_CFN
    2032                 :            :    and Y_CFN_DATA. describing that the second operand being compared is a
    2033                 :            :    known constant and how to obtain its data.
    2034                 :            :    Return the result of the comparison, or NULL_RTX if we failed to
    2035                 :            :    perform the operation.  */
    2036                 :            : 
    2037                 :            : rtx
    2038                 :      71538 : emit_block_cmp_hints (rtx x, rtx y, rtx len, tree len_type, rtx target,
    2039                 :            :                       bool equality_only, by_pieces_constfn y_cfn,
    2040                 :            :                       void *y_cfndata)
    2041                 :            : {
    2042                 :      71538 :   rtx result = 0;
    2043                 :            : 
    2044                 :      71538 :   if (CONST_INT_P (len) && INTVAL (len) == 0)
    2045                 :          5 :     return const0_rtx;
    2046                 :            : 
    2047                 :      71533 :   gcc_assert (MEM_P (x) && MEM_P (y));
    2048                 :      71533 :   unsigned int align = MIN (MEM_ALIGN (x), MEM_ALIGN (y));
    2049                 :      71533 :   gcc_assert (align >= BITS_PER_UNIT);
    2050                 :            : 
    2051                 :      71533 :   x = adjust_address (x, BLKmode, 0);
    2052                 :      71533 :   y = adjust_address (y, BLKmode, 0);
    2053                 :            : 
    2054                 :      71533 :   if (equality_only
    2055                 :      11691 :       && CONST_INT_P (len)
    2056                 :      89907 :       && can_do_by_pieces (INTVAL (len), align, COMPARE_BY_PIECES))
    2057                 :       8022 :     result = compare_by_pieces (x, y, INTVAL (len), target, align,
    2058                 :            :                                 y_cfn, y_cfndata);
    2059                 :            :   else
    2060                 :      63511 :     result = emit_block_cmp_via_cmpmem (x, y, len, len_type, target, align);
    2061                 :            : 
    2062                 :            :   return result;
    2063                 :            : }
    2064                 :            : 
    2065                 :            : /* Copy all or part of a value X into registers starting at REGNO.
    2066                 :            :    The number of registers to be filled is NREGS.  */
    2067                 :            : 
    2068                 :            : void
    2069                 :        209 : move_block_to_reg (int regno, rtx x, int nregs, machine_mode mode)
    2070                 :            : {
    2071                 :        209 :   if (nregs == 0)
    2072                 :            :     return;
    2073                 :            : 
    2074                 :        209 :   if (CONSTANT_P (x) && !targetm.legitimate_constant_p (mode, x))
    2075                 :          0 :     x = validize_mem (force_const_mem (mode, x));
    2076                 :            : 
    2077                 :            :   /* See if the machine can do this with a load multiple insn.  */
    2078                 :        209 :   if (targetm.have_load_multiple ())
    2079                 :            :     {
    2080                 :          0 :       rtx_insn *last = get_last_insn ();
    2081                 :          0 :       rtx first = gen_rtx_REG (word_mode, regno);
    2082                 :          0 :       if (rtx_insn *pat = targetm.gen_load_multiple (first, x,
    2083                 :            :                                                      GEN_INT (nregs)))
    2084                 :            :         {
    2085                 :          0 :           emit_insn (pat);
    2086                 :          0 :           return;
    2087                 :            :         }
    2088                 :            :       else
    2089                 :          0 :         delete_insns_since (last);
    2090                 :            :     }
    2091                 :            : 
    2092                 :        418 :   for (int i = 0; i < nregs; i++)
    2093                 :        209 :     emit_move_insn (gen_rtx_REG (word_mode, regno + i),
    2094                 :            :                     operand_subword_force (x, i, mode));
    2095                 :            : }
    2096                 :            : 
    2097                 :            : /* Copy all or part of a BLKmode value X out of registers starting at REGNO.
    2098                 :            :    The number of registers to be filled is NREGS.  */
    2099                 :            : 
    2100                 :            : void
    2101                 :        415 : move_block_from_reg (int regno, rtx x, int nregs)
    2102                 :            : {
    2103                 :        415 :   if (nregs == 0)
    2104                 :            :     return;
    2105                 :            : 
    2106                 :            :   /* See if the machine can do this with a store multiple insn.  */
    2107                 :        415 :   if (targetm.have_store_multiple ())
    2108                 :            :     {
    2109                 :          0 :       rtx_insn *last = get_last_insn ();
    2110                 :          0 :       rtx first = gen_rtx_REG (word_mode, regno);
    2111                 :          0 :       if (rtx_insn *pat = targetm.gen_store_multiple (x, first,
    2112                 :            :                                                       GEN_INT (nregs)))
    2113                 :            :         {
    2114                 :          0 :           emit_insn (pat);
    2115                 :          0 :           return;
    2116                 :            :         }
    2117                 :            :       else
    2118                 :          0 :         delete_insns_since (last);
    2119                 :            :     }
    2120                 :            : 
    2121                 :        830 :   for (int i = 0; i < nregs; i++)
    2122                 :            :     {
    2123                 :        415 :       rtx tem = operand_subword (x, i, 1, BLKmode);
    2124                 :            : 
    2125                 :        415 :       gcc_assert (tem);
    2126                 :            : 
    2127                 :        415 :       emit_move_insn (tem, gen_rtx_REG (word_mode, regno + i));
    2128                 :            :     }
    2129                 :            : }
    2130                 :            : 
    2131                 :            : /* Generate a PARALLEL rtx for a new non-consecutive group of registers from
    2132                 :            :    ORIG, where ORIG is a non-consecutive group of registers represented by
    2133                 :            :    a PARALLEL.  The clone is identical to the original except in that the
    2134                 :            :    original set of registers is replaced by a new set of pseudo registers.
    2135                 :            :    The new set has the same modes as the original set.  */
    2136                 :            : 
    2137                 :            : rtx
    2138                 :       1716 : gen_group_rtx (rtx orig)
    2139                 :            : {
    2140                 :       1716 :   int i, length;
    2141                 :       1716 :   rtx *tmps;
    2142                 :            : 
    2143                 :       1716 :   gcc_assert (GET_CODE (orig) == PARALLEL);
    2144                 :            : 
    2145                 :       1716 :   length = XVECLEN (orig, 0);
    2146                 :       1716 :   tmps = XALLOCAVEC (rtx, length);
    2147                 :            : 
    2148                 :            :   /* Skip a NULL entry in first slot.  */
    2149                 :       1716 :   i = XEXP (XVECEXP (orig, 0, 0), 0) ? 0 : 1;
    2150                 :            : 
    2151                 :       1716 :   if (i)
    2152                 :          0 :     tmps[0] = 0;
    2153                 :            : 
    2154                 :       4271 :   for (; i < length; i++)
    2155                 :            :     {
    2156                 :       2555 :       machine_mode mode = GET_MODE (XEXP (XVECEXP (orig, 0, i), 0));
    2157                 :       2555 :       rtx offset = XEXP (XVECEXP (orig, 0, i), 1);
    2158                 :            : 
    2159                 :       2555 :       tmps[i] = gen_rtx_EXPR_LIST (VOIDmode, gen_reg_rtx (mode), offset);
    2160                 :            :     }
    2161                 :            : 
    2162                 :       1716 :   return gen_rtx_PARALLEL (GET_MODE (orig), gen_rtvec_v (length, tmps));
    2163                 :            : }
    2164                 :            : 
    2165                 :            : /* A subroutine of emit_group_load.  Arguments as for emit_group_load,
    2166                 :            :    except that values are placed in TMPS[i], and must later be moved
    2167                 :            :    into corresponding XEXP (XVECEXP (DST, 0, i), 0) element.  */
    2168                 :            : 
    2169                 :            : static void
    2170                 :     181416 : emit_group_load_1 (rtx *tmps, rtx dst, rtx orig_src, tree type,
    2171                 :            :                    poly_int64 ssize)
    2172                 :            : {
    2173                 :     181416 :   rtx src;
    2174                 :     181416 :   int start, i;
    2175                 :     181416 :   machine_mode m = GET_MODE (orig_src);
    2176                 :            : 
    2177                 :     181416 :   gcc_assert (GET_CODE (dst) == PARALLEL);
    2178                 :            : 
    2179                 :     181416 :   if (m != VOIDmode
    2180                 :     171201 :       && !SCALAR_INT_MODE_P (m)
    2181                 :      13196 :       && !MEM_P (orig_src)
    2182                 :       3256 :       && GET_CODE (orig_src) != CONCAT)
    2183                 :            :     {
    2184                 :          0 :       scalar_int_mode imode;
    2185                 :          0 :       if (int_mode_for_mode (GET_MODE (orig_src)).exists (&imode))
    2186                 :            :         {
    2187                 :          0 :           src = gen_reg_rtx (imode);
    2188                 :          0 :           emit_move_insn (gen_lowpart (GET_MODE (orig_src), src), orig_src);
    2189                 :            :         }
    2190                 :            :       else
    2191                 :            :         {
    2192                 :          0 :           src = assign_stack_temp (GET_MODE (orig_src), ssize);
    2193                 :          0 :           emit_move_insn (src, orig_src);
    2194                 :            :         }
    2195                 :          0 :       emit_group_load_1 (tmps, dst, src, type, ssize);
    2196                 :          0 :       return;
    2197                 :            :     }
    2198                 :            : 
    2199                 :            :   /* Check for a NULL entry, used to indicate that the parameter goes
    2200                 :            :      both on the stack and in registers.  */
    2201                 :     181416 :   if (XEXP (XVECEXP (dst, 0, 0), 0))
    2202                 :            :     start = 0;
    2203                 :            :   else
    2204                 :          0 :     start = 1;
    2205                 :            : 
    2206                 :            :   /* Process the pieces.  */
    2207                 :     537369 :   for (i = start; i < XVECLEN (dst, 0); i++)
    2208                 :            :     {
    2209                 :     355953 :       machine_mode mode = GET_MODE (XEXP (XVECEXP (dst, 0, i), 0));
    2210                 :     355953 :       poly_int64 bytepos = rtx_to_poly_int64 (XEXP (XVECEXP (dst, 0, i), 1));
    2211                 :     711906 :       poly_int64 bytelen = GET_MODE_SIZE (mode);
    2212                 :     355953 :       poly_int64 shift = 0;
    2213                 :            : 
    2214                 :            :       /* Handle trailing fragments that run over the size of the struct.
    2215                 :            :          It's the target's responsibility to make sure that the fragment
    2216                 :            :          cannot be strictly smaller in some cases and strictly larger
    2217                 :            :          in others.  */
    2218                 :     355953 :       gcc_checking_assert (ordered_p (bytepos + bytelen, ssize));
    2219                 :     355953 :       if (known_size_p (ssize) && maybe_gt (bytepos + bytelen, ssize))
    2220                 :            :         {
    2221                 :            :           /* Arrange to shift the fragment to where it belongs.
    2222                 :            :              extract_bit_field loads to the lsb of the reg.  */
    2223                 :        980 :           if (
    2224                 :            : #ifdef BLOCK_REG_PADDING
    2225                 :            :               BLOCK_REG_PADDING (GET_MODE (orig_src), type, i == start)
    2226                 :            :               == (BYTES_BIG_ENDIAN ? PAD_UPWARD : PAD_DOWNWARD)
    2227                 :            : #else
    2228                 :            :               BYTES_BIG_ENDIAN
    2229                 :            : #endif
    2230                 :            :               )
    2231                 :            :             shift = (bytelen - (ssize - bytepos)) * BITS_PER_UNIT;
    2232                 :        980 :           bytelen = ssize - bytepos;
    2233                 :        980 :           gcc_assert (maybe_gt (bytelen, 0));
    2234                 :            :         }
    2235                 :            : 
    2236                 :            :       /* If we won't be loading directly from memory, protect the real source
    2237                 :            :          from strange tricks we might play; but make sure that the source can
    2238                 :            :          be loaded directly into the destination.  */
    2239                 :     355953 :       src = orig_src;
    2240                 :     355953 :       if (!MEM_P (orig_src)
    2241                 :     297460 :           && (!CONSTANT_P (orig_src)
    2242                 :      20430 :               || (GET_MODE (orig_src) != mode
    2243                 :      20430 :                   && GET_MODE (orig_src) != VOIDmode)))
    2244                 :            :         {
    2245                 :     277030 :           if (GET_MODE (orig_src) == VOIDmode)
    2246                 :          0 :             src = gen_reg_rtx (mode);
    2247                 :            :           else
    2248                 :     277030 :             src = gen_reg_rtx (GET_MODE (orig_src));
    2249                 :            : 
    2250                 :     277030 :           emit_move_insn (src, orig_src);
    2251                 :            :         }
    2252                 :            : 
    2253                 :            :       /* Optimize the access just a bit.  */
    2254                 :     355953 :       if (MEM_P (src)
    2255                 :      58493 :           && (! targetm.slow_unaligned_access (mode, MEM_ALIGN (src))
    2256                 :          0 :               || MEM_ALIGN (src) >= GET_MODE_ALIGNMENT (mode))
    2257                 :      58493 :           && multiple_p (bytepos * BITS_PER_UNIT, GET_MODE_ALIGNMENT (mode))
    2258                 :     414446 :           && known_eq (bytelen, GET_MODE_SIZE (mode)))
    2259                 :            :         {
    2260                 :      57513 :           tmps[i] = gen_reg_rtx (mode);
    2261                 :      57513 :           emit_move_insn (tmps[i], adjust_address (src, mode, bytepos));
    2262                 :            :         }
    2263                 :     298440 :       else if (COMPLEX_MODE_P (mode)
    2264                 :          0 :                && GET_MODE (src) == mode
    2265                 :     298440 :                && known_eq (bytelen, GET_MODE_SIZE (mode)))
    2266                 :            :         /* Let emit_move_complex do the bulk of the work.  */
    2267                 :          0 :         tmps[i] = src;
    2268                 :     298440 :       else if (GET_CODE (src) == CONCAT)
    2269                 :            :         {
    2270                 :       9970 :           poly_int64 slen = GET_MODE_SIZE (GET_MODE (src));
    2271                 :       9970 :           poly_int64 slen0 = GET_MODE_SIZE (GET_MODE (XEXP (src, 0)));
    2272                 :       4985 :           unsigned int elt;
    2273                 :       4985 :           poly_int64 subpos;
    2274                 :            : 
    2275                 :       4985 :           if (can_div_trunc_p (bytepos, slen0, &elt, &subpos)
    2276                 :       4985 :               && known_le (subpos + bytelen, slen0))
    2277                 :            :             {
    2278                 :            :               /* The following assumes that the concatenated objects all
    2279                 :            :                  have the same size.  In this case, a simple calculation
    2280                 :            :                  can be used to determine the object and the bit field
    2281                 :            :                  to be extracted.  */
    2282                 :       3458 :               tmps[i] = XEXP (src, elt);
    2283                 :       3458 :               if (maybe_ne (subpos, 0)
    2284                 :       6916 :                   || maybe_ne (subpos + bytelen, slen0)
    2285                 :       6916 :                   || (!CONSTANT_P (tmps[i])
    2286                 :       3458 :                       && (!REG_P (tmps[i]) || GET_MODE (tmps[i]) != mode)))
    2287                 :          0 :                 tmps[i] = extract_bit_field (tmps[i], bytelen * BITS_PER_UNIT,
    2288                 :          0 :                                              subpos * BITS_PER_UNIT,
    2289                 :            :                                              1, NULL_RTX, mode, mode, false,
    2290                 :            :                                              NULL);
    2291                 :            :             }
    2292                 :            :           else
    2293                 :            :             {
    2294                 :       1527 :               rtx mem;
    2295                 :            : 
    2296                 :       1527 :               gcc_assert (known_eq (bytepos, 0));
    2297                 :       1527 :               mem = assign_stack_temp (GET_MODE (src), slen);
    2298                 :       1527 :               emit_move_insn (mem, src);
    2299                 :       1527 :               tmps[i] = extract_bit_field (mem, bytelen * BITS_PER_UNIT,
    2300                 :       1527 :                                            0, 1, NULL_RTX, mode, mode, false,
    2301                 :            :                                            NULL);
    2302                 :            :             }
    2303                 :            :         }
    2304                 :            :       /* FIXME: A SIMD parallel will eventually lead to a subreg of a
    2305                 :            :          SIMD register, which is currently broken.  While we get GCC
    2306                 :            :          to emit proper RTL for these cases, let's dump to memory.  */
    2307                 :     293455 :       else if (VECTOR_MODE_P (GET_MODE (dst))
    2308                 :          0 :                && REG_P (src))
    2309                 :            :         {
    2310                 :          0 :           poly_uint64 slen = GET_MODE_SIZE (GET_MODE (src));
    2311                 :          0 :           rtx mem;
    2312                 :            : 
    2313                 :          0 :           mem = assign_stack_temp (GET_MODE (src), slen);
    2314                 :          0 :           emit_move_insn (mem, src);
    2315                 :          0 :           tmps[i] = adjust_address (mem, mode, bytepos);
    2316                 :            :         }
    2317                 :     293455 :       else if (CONSTANT_P (src) && GET_MODE (dst) != BLKmode
    2318                 :      20430 :                && XVECLEN (dst, 0) > 1)
    2319                 :      20430 :         tmps[i] = simplify_gen_subreg (mode, src, GET_MODE (dst), bytepos);
    2320                 :     273025 :       else if (CONSTANT_P (src))
    2321                 :            :         {
    2322                 :          0 :           if (known_eq (bytelen, ssize))
    2323                 :          0 :             tmps[i] = src;
    2324                 :            :           else
    2325                 :            :             {
    2326                 :          0 :               rtx first, second;
    2327                 :            : 
    2328                 :            :               /* TODO: const_wide_int can have sizes other than this...  */
    2329                 :          0 :               gcc_assert (known_eq (2 * bytelen, ssize));
    2330                 :          0 :               split_double (src, &first, &second);
    2331                 :          0 :               if (i)
    2332                 :          0 :                 tmps[i] = second;
    2333                 :            :               else
    2334                 :          0 :                 tmps[i] = first;
    2335                 :            :             }
    2336                 :            :         }
    2337                 :     273025 :       else if (REG_P (src) && GET_MODE (src) == mode)
    2338                 :          0 :         tmps[i] = src;
    2339                 :            :       else
    2340                 :     273025 :         tmps[i] = extract_bit_field (src, bytelen * BITS_PER_UNIT,
    2341                 :     546050 :                                      bytepos * BITS_PER_UNIT, 1, NULL_RTX,
    2342                 :            :                                      mode, mode, false, NULL);
    2343                 :            : 
    2344                 :     355953 :       if (maybe_ne (shift, 0))
    2345                 :            :         tmps[i] = expand_shift (LSHIFT_EXPR, mode, tmps[i],
    2346                 :            :                                 shift, tmps[i], 0);
    2347                 :            :     }
    2348                 :            : }
    2349                 :            : 
    2350                 :            : /* Emit code to move a block SRC of type TYPE to a block DST,
    2351                 :            :    where DST is non-consecutive registers represented by a PARALLEL.
    2352                 :            :    SSIZE represents the total size of block ORIG_SRC in bytes, or -1
    2353                 :            :    if not known.  */
    2354                 :            : 
    2355                 :            : void
    2356                 :       5701 : emit_group_load (rtx dst, rtx src, tree type, poly_int64 ssize)
    2357                 :            : {
    2358                 :       5701 :   rtx *tmps;
    2359                 :       5701 :   int i;
    2360                 :            : 
    2361                 :       5701 :   tmps = XALLOCAVEC (rtx, XVECLEN (dst, 0));
    2362                 :       5701 :   emit_group_load_1 (tmps, dst, src, type, ssize);
    2363                 :            : 
    2364                 :            :   /* Copy the extracted pieces into the proper (probable) hard regs.  */
    2365                 :      15995 :   for (i = 0; i < XVECLEN (dst, 0); i++)
    2366                 :            :     {
    2367                 :      10294 :       rtx d = XEXP (XVECEXP (dst, 0, i), 0);
    2368                 :      10294 :       if (d == NULL)
    2369                 :          0 :         continue;
    2370                 :      10294 :       emit_move_insn (d, tmps[i]);
    2371                 :            :     }
    2372                 :       5701 : }
    2373                 :            : 
    2374                 :            : /* Similar, but load SRC into new pseudos in a format that looks like
    2375                 :            :    PARALLEL.  This can later be fed to emit_group_move to get things
    2376                 :            :    in the right place.  */
    2377                 :            : 
    2378                 :            : rtx
    2379                 :     175715 : emit_group_load_into_temps (rtx parallel, rtx src, tree type, poly_int64 ssize)
    2380                 :            : {
    2381                 :     175715 :   rtvec vec;
    2382                 :     175715 :   int i;
    2383                 :            : 
    2384                 :     175715 :   vec = rtvec_alloc (XVECLEN (parallel, 0));
    2385                 :     175715 :   emit_group_load_1 (&RTVEC_ELT (vec, 0), parallel, src, type, ssize);
    2386                 :            : 
    2387                 :            :   /* Convert the vector to look just like the original PARALLEL, except
    2388                 :            :      with the computed values.  */
    2389                 :     521374 :   for (i = 0; i < XVECLEN (parallel, 0); i++)
    2390                 :            :     {
    2391                 :     345659 :       rtx e = XVECEXP (parallel, 0, i);
    2392                 :     345659 :       rtx d = XEXP (e, 0);
    2393                 :            : 
    2394                 :     345659 :       if (d)
    2395                 :            :         {
    2396                 :     345659 :           d = force_reg (GET_MODE (d), RTVEC_ELT (vec, i));
    2397                 :     345659 :           e = alloc_EXPR_LIST (REG_NOTE_KIND (e), d, XEXP (e, 1));
    2398                 :            :         }
    2399                 :     345659 :       RTVEC_ELT (vec, i) = e;
    2400                 :            :     }
    2401                 :            : 
    2402                 :     175715 :   return gen_rtx_PARALLEL (GET_MODE (parallel), vec);
    2403                 :            : }
    2404                 :            : 
    2405                 :            : /* Emit code to move a block SRC to block DST, where SRC and DST are
    2406                 :            :    non-consecutive groups of registers, each represented by a PARALLEL.  */
    2407                 :            : 
    2408                 :            : void
    2409                 :     177431 : emit_group_move (rtx dst, rtx src)
    2410                 :            : {
    2411                 :     177431 :   int i;
    2412                 :            : 
    2413                 :     177431 :   gcc_assert (GET_CODE (src) == PARALLEL
    2414                 :            :               && GET_CODE (dst) == PARALLEL
    2415                 :            :               && XVECLEN (src, 0) == XVECLEN (dst, 0));
    2416                 :            : 
    2417                 :            :   /* Skip first entry if NULL.  */
    2418                 :     525645 :   for (i = XEXP (XVECEXP (src, 0, 0), 0) ? 0 : 1; i < XVECLEN (src, 0); i++)
    2419                 :     348214 :     emit_move_insn (XEXP (XVECEXP (dst, 0, i), 0),
    2420                 :     348214 :                     XEXP (XVECEXP (src, 0, i), 0));
    2421                 :     177431 : }
    2422                 :            : 
    2423                 :            : /* Move a group of registers represented by a PARALLEL into pseudos.  */
    2424                 :            : 
    2425                 :            : rtx
    2426                 :       3170 : emit_group_move_into_temps (rtx src)
    2427                 :            : {
    2428                 :       3170 :   rtvec vec = rtvec_alloc (XVECLEN (src, 0));
    2429                 :       3170 :   int i;
    2430                 :            : 
    2431                 :       7786 :   for (i = 0; i < XVECLEN (src, 0); i++)
    2432                 :            :     {
    2433                 :       4616 :       rtx e = XVECEXP (src, 0, i);
    2434                 :       4616 :       rtx d = XEXP (e, 0);
    2435                 :            : 
    2436                 :       4616 :       if (d)
    2437                 :       4616 :         e = alloc_EXPR_LIST (REG_NOTE_KIND (e), copy_to_reg (d), XEXP (e, 1));
    2438                 :       4616 :       RTVEC_ELT (vec, i) = e;
    2439                 :            :     }
    2440                 :            : 
    2441                 :       3170 :   return gen_rtx_PARALLEL (GET_MODE (src), vec);
    2442                 :            : }
    2443                 :            : 
    2444                 :            : /* Emit code to move a block SRC to a block ORIG_DST of type TYPE,
    2445                 :            :    where SRC is non-consecutive registers represented by a PARALLEL.
    2446                 :            :    SSIZE represents the total size of block ORIG_DST, or -1 if not
    2447                 :            :    known.  */
    2448                 :            : 
    2449                 :            : void
    2450                 :      43358 : emit_group_store (rtx orig_dst, rtx src, tree type ATTRIBUTE_UNUSED,
    2451                 :            :                   poly_int64 ssize)
    2452                 :            : {
    2453                 :      43358 :   rtx *tmps, dst;
    2454                 :      43358 :   int start, finish, i;
    2455                 :      43358 :   machine_mode m = GET_MODE (orig_dst);
    2456                 :            : 
    2457                 :      43358 :   gcc_assert (GET_CODE (src) == PARALLEL);
    2458                 :            : 
    2459                 :      43358 :   if (!SCALAR_INT_MODE_P (m)
    2460                 :      10014 :       && !MEM_P (orig_dst) && GET_CODE (orig_dst) != CONCAT)
    2461                 :            :     {
    2462                 :          0 :       scalar_int_mode imode;
    2463                 :          0 :       if (int_mode_for_mode (GET_MODE (orig_dst)).exists (&imode))
    2464                 :            :         {
    2465                 :          0 :           dst = gen_reg_rtx (imode);
    2466                 :          0 :           emit_group_store (dst, src, type, ssize);
    2467                 :          0 :           dst = gen_lowpart (GET_MODE (orig_dst), dst);
    2468                 :            :         }
    2469                 :            :       else
    2470                 :            :         {
    2471                 :          0 :           dst = assign_stack_temp (GET_MODE (orig_dst), ssize);
    2472                 :          0 :           emit_group_store (dst, src, type, ssize);
    2473                 :            :         }
    2474                 :          0 :       emit_move_insn (orig_dst, dst);
    2475                 :          0 :       return;
    2476                 :            :     }
    2477                 :            : 
    2478                 :            :   /* Check for a NULL entry, used to indicate that the parameter goes
    2479                 :            :      both on the stack and in registers.  */
    2480                 :      43358 :   if (XEXP (XVECEXP (src, 0, 0), 0))
    2481                 :            :     start = 0;
    2482                 :            :   else
    2483                 :          0 :     start = 1;
    2484                 :      43358 :   finish = XVECLEN (src, 0);
    2485                 :            : 
    2486                 :      43358 :   tmps = XALLOCAVEC (rtx, finish);
    2487                 :            : 
    2488                 :            :   /* Copy the (probable) hard regs into pseudos.  */
    2489                 :     125261 :   for (i = start; i < finish; i++)
    2490                 :            :     {
    2491                 :      81903 :       rtx reg = XEXP (XVECEXP (src, 0, i), 0);
    2492                 :      81903 :       if (!REG_P (reg) || REGNO (reg) < FIRST_PSEUDO_REGISTER)
    2493                 :            :         {
    2494                 :      77287 :           tmps[i] = gen_reg_rtx (GET_MODE (reg));
    2495                 :      77287 :           emit_move_insn (tmps[i], reg);
    2496                 :            :         }
    2497                 :            :       else
    2498                 :       4616 :         tmps[i] = reg;
    2499                 :            :     }
    2500                 :            : 
    2501                 :            :   /* If we won't be storing directly into memory, protect the real destination
    2502                 :            :      from strange tricks we might play.  */
    2503                 :      43358 :   dst = orig_dst;
    2504                 :      43358 :   if (GET_CODE (dst) == PARALLEL)
    2505                 :            :     {
    2506                 :          0 :       rtx temp;
    2507                 :            : 
    2508                 :            :       /* We can get a PARALLEL dst if there is a conditional expression in
    2509                 :            :          a return statement.  In that case, the dst and src are the same,
    2510                 :            :          so no action is necessary.  */
    2511                 :          0 :       if (rtx_equal_p (dst, src))
    2512                 :            :         return;
    2513                 :            : 
    2514                 :            :       /* It is unclear if we can ever reach here, but we may as well handle
    2515                 :            :          it.  Allocate a temporary, and split this into a store/load to/from
    2516                 :            :          the temporary.  */
    2517                 :          0 :       temp = assign_stack_temp (GET_MODE (dst), ssize);
    2518                 :          0 :       emit_group_store (temp, src, type, ssize);
    2519                 :          0 :       emit_group_load (dst, temp, type, ssize);
    2520                 :          0 :       return;
    2521                 :            :     }
    2522                 :      43358 :   else if (!MEM_P (dst) && GET_CODE (dst) != CONCAT)
    2523                 :            :     {
    2524                 :      32946 :       machine_mode outer = GET_MODE (dst);
    2525                 :      32946 :       machine_mode inner;
    2526                 :      32946 :       poly_int64 bytepos;
    2527                 :      32946 :       bool done = false;
    2528                 :      32946 :       rtx temp;
    2529                 :            : 
    2530                 :      32946 :       if (!REG_P (dst) || REGNO (dst) < FIRST_PSEUDO_REGISTER)
    2531                 :          0 :         dst = gen_reg_rtx (outer);
    2532                 :            : 
    2533                 :            :       /* Make life a bit easier for combine.  */
    2534                 :            :       /* If the first element of the vector is the low part
    2535                 :            :          of the destination mode, use a paradoxical subreg to
    2536                 :            :          initialize the destination.  */
    2537                 :      32946 :       if (start < finish)
    2538                 :            :         {
    2539                 :      32946 :           inner = GET_MODE (tmps[start]);
    2540                 :      32946 :           bytepos = subreg_lowpart_offset (inner, outer);
    2541                 :      32946 :           if (known_eq (rtx_to_poly_int64 (XEXP (XVECEXP (src, 0, start), 1)),
    2542                 :            :                         bytepos))
    2543                 :            :             {
    2544                 :      65880 :               temp = simplify_gen_subreg (outer, tmps[start],
    2545                 :      32940 :                                           inner, 0);
    2546                 :      32940 :               if (temp)
    2547                 :            :                 {
    2548                 :      32392 :                   emit_move_insn (dst, temp);
    2549                 :      32392 :                   done = true;
    2550                 :      32392 :                   start++;
    2551                 :            :                 }
    2552                 :            :             }
    2553                 :            :         }
    2554                 :            : 
    2555                 :            :       /* If the first element wasn't the low part, try the last.  */
    2556                 :      32946 :       if (!done
    2557                 :        554 :           && start < finish - 1)
    2558                 :            :         {
    2559                 :        532 :           inner = GET_MODE (tmps[finish - 1]);
    2560                 :        532 :           bytepos = subreg_lowpart_offset (inner, outer);
    2561                 :        532 :           if (known_eq (rtx_to_poly_int64 (XEXP (XVECEXP (src, 0,
    2562                 :            :                                                           finish - 1), 1)),
    2563                 :            :                         bytepos))
    2564                 :            :             {
    2565                 :          0 :               temp = simplify_gen_subreg (outer, tmps[finish - 1],
    2566                 :          0 :                                           inner, 0);
    2567                 :          0 :               if (temp)
    2568                 :            :                 {
    2569                 :          0 :                   emit_move_insn (dst, temp);
    2570                 :          0 :                   done = true;
    2571                 :          0 :                   finish--;
    2572                 :            :                 }
    2573                 :            :             }
    2574                 :            :         }
    2575                 :            : 
    2576                 :            :       /* Otherwise, simply initialize the result to zero.  */
    2577                 :      32946 :       if (!done)
    2578                 :        554 :         emit_move_insn (dst, CONST0_RTX (outer));
    2579                 :            :     }
    2580                 :            : 
    2581                 :            :   /* Process the pieces.  */
    2582                 :      90514 :   for (i = start; i < finish; i++)
    2583                 :            :     {
    2584                 :      49511 :       poly_int64 bytepos = rtx_to_poly_int64 (XEXP (XVECEXP (src, 0, i), 1));
    2585                 :      49511 :       machine_mode mode = GET_MODE (tmps[i]);
    2586                 :      99022 :       poly_int64 bytelen = GET_MODE_SIZE (mode);
    2587                 :      49511 :       poly_uint64 adj_bytelen;
    2588                 :      49511 :       rtx dest = dst;
    2589                 :            : 
    2590                 :            :       /* Handle trailing fragments that run over the size of the struct.
    2591                 :            :          It's the target's responsibility to make sure that the fragment
    2592                 :            :          cannot be strictly smaller in some cases and strictly larger
    2593                 :            :          in others.  */
    2594                 :      49511 :       gcc_checking_assert (ordered_p (bytepos + bytelen, ssize));
    2595                 :      49511 :       if (known_size_p (ssize) && maybe_gt (bytepos + bytelen, ssize))
    2596                 :        688 :         adj_bytelen = ssize - bytepos;
    2597                 :            :       else
    2598                 :      48823 :         adj_bytelen = bytelen;
    2599                 :            : 
    2600                 :      49511 :       if (GET_CODE (dst) == CONCAT)
    2601                 :            :         {
    2602                 :      22950 :           if (known_le (bytepos + adj_bytelen,
    2603                 :            :                         GET_MODE_SIZE (GET_MODE (XEXP (dst, 0)))))
    2604                 :       4560 :             dest = XEXP (dst, 0);
    2605                 :      13830 :           else if (known_ge (bytepos, GET_MODE_SIZE (GET_MODE (XEXP (dst, 0)))))
    2606                 :            :             {
    2607                 :       9120 :               bytepos -= GET_MODE_SIZE (GET_MODE (XEXP (dst, 0)));
    2608                 :       4560 :               dest = XEXP (dst, 1);
    2609                 :            :             }
    2610                 :            :           else
    2611                 :            :             {
    2612                 :       2355 :               machine_mode dest_mode = GET_MODE (dest);
    2613                 :       2355 :               machine_mode tmp_mode = GET_MODE (tmps[i]);
    2614                 :            : 
    2615                 :       2355 :               gcc_assert (known_eq (bytepos, 0) && XVECLEN (src, 0));
    2616                 :            : 
    2617                 :       4710 :               if (GET_MODE_ALIGNMENT (dest_mode)
    2618                 :       2355 :                   >= GET_MODE_ALIGNMENT (tmp_mode))
    2619                 :            :                 {
    2620                 :          0 :                   dest = assign_stack_temp (dest_mode,
    2621                 :          0 :                                             GET_MODE_SIZE (dest_mode));
    2622                 :          0 :                   emit_move_insn (adjust_address (dest,
    2623                 :            :                                                   tmp_mode,
    2624                 :            :                                                   bytepos),
    2625                 :            :                                   tmps[i]);
    2626                 :          0 :                   dst = dest;
    2627                 :            :                 }
    2628                 :            :               else
    2629                 :            :                 {
    2630                 :       4710 :                   dest = assign_stack_temp (tmp_mode,
    2631                 :       2355 :                                             GET_MODE_SIZE (tmp_mode));
    2632                 :       2355 :                   emit_move_insn (dest, tmps[i]);
    2633                 :       2355 :                   dst = adjust_address (dest, dest_mode, bytepos);
    2634                 :            :                 }
    2635                 :       2355 :               break;
    2636                 :            :             }
    2637                 :            :         }
    2638                 :            : 
    2639                 :            :       /* Handle trailing fragments that run over the size of the struct.  */
    2640                 :      47156 :       if (known_size_p (ssize) && maybe_gt (bytepos + bytelen, ssize))
    2641                 :            :         {
    2642                 :            :           /* store_bit_field always takes its value from the lsb.
    2643                 :            :              Move the fragment to the lsb if it's not already there.  */
    2644                 :        688 :           if (
    2645                 :            : #ifdef BLOCK_REG_PADDING
    2646                 :            :               BLOCK_REG_PADDING (GET_MODE (orig_dst), type, i == start)
    2647                 :            :               == (BYTES_BIG_ENDIAN ? PAD_UPWARD : PAD_DOWNWARD)
    2648                 :            : #else
    2649                 :            :               BYTES_BIG_ENDIAN
    2650                 :            : #endif
    2651                 :            :               )
    2652                 :            :             {
    2653                 :            :               poly_int64 shift = (bytelen - (ssize - bytepos)) * BITS_PER_UNIT;
    2654                 :            :               tmps[i] = expand_shift (RSHIFT_EXPR, mode, tmps[i],
    2655                 :            :                                       shift, tmps[i], 0);
    2656                 :            :             }
    2657                 :            : 
    2658                 :            :           /* Make sure not to write past the end of the struct.  */
    2659                 :       2752 :           store_bit_field (dest,
    2660                 :       1376 :                            adj_bytelen * BITS_PER_UNIT, bytepos * BITS_PER_UNIT,
    2661                 :       1376 :                            bytepos * BITS_PER_UNIT, ssize * BITS_PER_UNIT - 1,
    2662                 :            :                            VOIDmode, tmps[i], false);
    2663                 :            :         }
    2664                 :            : 
    2665                 :            :       /* Optimize the access just a bit.  */
    2666                 :      46468 :       else if (MEM_P (dest)
    2667                 :       4502 :                && (!targetm.slow_unaligned_access (mode, MEM_ALIGN (dest))
    2668                 :          0 :                    || MEM_ALIGN (dest) >= GET_MODE_ALIGNMENT (mode))
    2669                 :       4502 :                && multiple_p (bytepos * BITS_PER_UNIT,
    2670                 :            :                               GET_MODE_ALIGNMENT (mode))
    2671                 :      50970 :                && known_eq (bytelen, GET_MODE_SIZE (mode)))
    2672                 :       4502 :         emit_move_insn (adjust_address (dest, mode, bytepos), tmps[i]);
    2673                 :            : 
    2674                 :            :       else
    2675                 :      41966 :         store_bit_field (dest, bytelen * BITS_PER_UNIT, bytepos * BITS_PER_UNIT,
    2676                 :      41966 :                          0, 0, mode, tmps[i], false);
    2677                 :            :     }
    2678                 :            : 
    2679                 :            :   /* Copy from the pseudo into the (probable) hard reg.  */
    2680                 :      43358 :   if (orig_dst != dst)
    2681                 :       2355 :     emit_move_insn (orig_dst, dst);
    2682                 :            : }
    2683                 :            : 
    2684                 :            : /* Return a form of X that does not use a PARALLEL.  TYPE is the type
    2685                 :            :    of the value stored in X.  */
    2686                 :            : 
    2687                 :            : rtx
    2688                 :        245 : maybe_emit_group_store (rtx x, tree type)
    2689                 :            : {
    2690                 :        245 :   machine_mode mode = TYPE_MODE (type);
    2691                 :        245 :   gcc_checking_assert (GET_MODE (x) == VOIDmode || GET_MODE (x) == mode);
    2692                 :        245 :   if (GET_CODE (x) == PARALLEL)
    2693                 :            :     {
    2694                 :          0 :       rtx result = gen_reg_rtx (mode);
    2695                 :          0 :       emit_group_store (result, x, type, int_size_in_bytes (type));
    2696                 :          0 :       return result;
    2697                 :            :     }
    2698                 :            :   return x;
    2699                 :            : }
    2700                 :            : 
    2701                 :            : /* Copy a BLKmode object of TYPE out of a register SRCREG into TARGET.
    2702                 :            : 
    2703                 :            :    This is used on targets that return BLKmode values in registers.  */
    2704                 :            : 
    2705                 :            : static void
    2706                 :        214 : copy_blkmode_from_reg (rtx target, rtx srcreg, tree type)
    2707                 :            : {
    2708                 :        214 :   unsigned HOST_WIDE_INT bytes = int_size_in_bytes (type);
    2709                 :        214 :   rtx src = NULL, dst = NULL;
    2710                 :        214 :   unsigned HOST_WIDE_INT bitsize = MIN (TYPE_ALIGN (type), BITS_PER_WORD);
    2711                 :        214 :   unsigned HOST_WIDE_INT bitpos, xbitpos, padding_correction = 0;
    2712                 :            :   /* No current ABI uses variable-sized modes to pass a BLKmnode type.  */
    2713                 :        214 :   fixed_size_mode mode = as_a <fixed_size_mode> (GET_MODE (srcreg));
    2714                 :        214 :   fixed_size_mode tmode = as_a <fixed_size_mode> (GET_MODE (target));
    2715                 :        214 :   fixed_size_mode copy_mode;
    2716                 :            : 
    2717                 :            :   /* BLKmode registers created in the back-end shouldn't have survived.  */
    2718                 :        214 :   gcc_assert (mode != BLKmode);
    2719                 :            : 
    2720                 :            :   /* If the structure doesn't take up a whole number of words, see whether
    2721                 :            :      SRCREG is padded on the left or on the right.  If it's on the left,
    2722                 :            :      set PADDING_CORRECTION to the number of bits to skip.
    2723                 :            : 
    2724                 :            :      In most ABIs, the structure will be returned at the least end of
    2725                 :            :      the register, which translates to right padding on little-endian
    2726                 :            :      targets and left padding on big-endian targets.  The opposite
    2727                 :            :      holds if the structure is returned at the most significant
    2728                 :            :      end of the register.  */
    2729                 :        214 :   if (bytes % UNITS_PER_WORD != 0
    2730                 :        214 :       && (targetm.calls.return_in_msb (type)
    2731                 :        193 :           ? !BYTES_BIG_ENDIAN
    2732                 :            :           : BYTES_BIG_ENDIAN))
    2733                 :          0 :     padding_correction
    2734                 :          0 :       = (BITS_PER_WORD - ((bytes % UNITS_PER_WORD) * BITS_PER_UNIT));
    2735                 :            : 
    2736                 :            :   /* We can use a single move if we have an exact mode for the size.  */
    2737                 :        214 :   else if (MEM_P (target)
    2738                 :        214 :            && (!targetm.slow_unaligned_access (mode, MEM_ALIGN (target))
    2739                 :          0 :                || MEM_ALIGN (target) >= GET_MODE_ALIGNMENT (mode))
    2740                 :        428 :            && bytes == GET_MODE_SIZE (mode))
    2741                 :            :   {
    2742                 :         25 :     emit_move_insn (adjust_address (target, mode, 0), srcreg);
    2743                 :         25 :     return;
    2744                 :            :   }
    2745                 :            : 
    2746                 :            :   /* And if we additionally have the same mode for a register.  */
    2747                 :        189 :   else if (REG_P (target)
    2748                 :          0 :            && GET_MODE (target) == mode
    2749                 :        189 :            && bytes == GET_MODE_SIZE (mode))
    2750                 :            :   {
    2751                 :          0 :     emit_move_insn (target, srcreg);
    2752                 :          0 :     return;
    2753                 :            :   }
    2754                 :            : 
    2755                 :            :   /* This code assumes srcreg is at least a full word.  If it isn't, copy it
    2756                 :            :      into a new pseudo which is a full word.  */
    2757                 :        378 :   if (GET_MODE_SIZE (mode) < UNITS_PER_WORD)
    2758                 :            :     {
    2759                 :         62 :       srcreg = convert_to_mode (word_mode, srcreg, TYPE_UNSIGNED (type));
    2760                 :         62 :       mode = word_mode;
    2761                 :            :     }
    2762                 :            : 
    2763                 :            :   /* Copy the structure BITSIZE bits at a time.  If the target lives in
    2764                 :            :      memory, take care of not reading/writing past its end by selecting
    2765                 :            :      a copy mode suited to BITSIZE.  This should always be possible given
    2766                 :            :      how it is computed.
    2767                 :            : 
    2768                 :            :      If the target lives in register, make sure not to select a copy mode
    2769                 :            :      larger than the mode of the register.
    2770                 :            : 
    2771                 :            :      We could probably emit more efficient code for machines which do not use
    2772                 :            :      strict alignment, but it doesn't seem worth the effort at the current
    2773                 :            :      time.  */
    2774                 :            : 
    2775                 :        189 :   copy_mode = word_mode;
    2776                 :        189 :   if (MEM_P (target))
    2777                 :            :     {
    2778                 :        189 :       opt_scalar_int_mode mem_mode = int_mode_for_size (bitsize, 1);
    2779                 :        189 :       if (mem_mode.exists ())
    2780                 :        189 :         copy_mode = mem_mode.require ();
    2781                 :            :     }
    2782                 :          0 :   else if (REG_P (target) && GET_MODE_BITSIZE (tmode) < BITS_PER_WORD)
    2783                 :            :     copy_mode = tmode;
    2784                 :            : 
    2785                 :        189 :   for (bitpos = 0, xbitpos = padding_correction;
    2786                 :        940 :        bitpos < bytes * BITS_PER_UNIT;
    2787                 :        751 :        bitpos += bitsize, xbitpos += bitsize)
    2788                 :            :     {
    2789                 :            :       /* We need a new source operand each time xbitpos is on a
    2790                 :            :          word boundary and when xbitpos == padding_correction
    2791                 :            :          (the first time through).  */
    2792                 :        751 :       if (xbitpos % BITS_PER_WORD == 0 || xbitpos == padding_correction)
    2793                 :        189 :         src = operand_subword_force (srcreg, xbitpos / BITS_PER_WORD, mode);
    2794                 :            : 
    2795                 :            :       /* We need a new destination operand each time bitpos is on
    2796                 :            :          a word boundary.  */
    2797                 :        751 :       if (REG_P (target) && GET_MODE_BITSIZE (tmode) < BITS_PER_WORD)
    2798                 :            :         dst = target;
    2799                 :        751 :       else if (bitpos % BITS_PER_WORD == 0)
    2800                 :        189 :         dst = operand_subword (target, bitpos / BITS_PER_WORD, 1, tmode);
    2801                 :            : 
    2802                 :            :       /* Use xbitpos for the source extraction (right justified) and
    2803                 :            :          bitpos for the destination store (left justified).  */
    2804                 :        751 :       store_bit_field (dst, bitsize, bitpos % BITS_PER_WORD, 0, 0, copy_mode,
    2805                 :            :                        extract_bit_field (src, bitsize,
    2806                 :        751 :                                           xbitpos % BITS_PER_WORD, 1,
    2807                 :            :                                           NULL_RTX, copy_mode, copy_mode,
    2808                 :            :                                           false, NULL),
    2809                 :            :                        false);
    2810                 :            :     }
    2811                 :            : }
    2812                 :            : 
    2813                 :            : /* Copy BLKmode value SRC into a register of mode MODE_IN.  Return the
    2814                 :            :    register if it contains any data, otherwise return null.
    2815                 :            : 
    2816                 :            :    This is used on targets that return BLKmode values in registers.  */
    2817                 :            : 
    2818                 :            : rtx
    2819                 :        318 : copy_blkmode_to_reg (machine_mode mode_in, tree src)
    2820                 :            : {
    2821                 :        318 :   int i, n_regs;
    2822                 :        318 :   unsigned HOST_WIDE_INT bitpos, xbitpos, padding_correction = 0, bytes;
    2823                 :        318 :   unsigned int bitsize;
    2824                 :        318 :   rtx *dst_words, dst, x, src_word = NULL_RTX, dst_word = NULL_RTX;
    2825                 :            :   /* No current ABI uses variable-sized modes to pass a BLKmnode type.  */
    2826                 :        318 :   fixed_size_mode mode = as_a <fixed_size_mode> (mode_in);
    2827                 :        318 :   fixed_size_mode dst_mode;
    2828                 :        318 :   scalar_int_mode min_mode;
    2829                 :            : 
    2830                 :        318 :   gcc_assert (TYPE_MODE (TREE_TYPE (src)) == BLKmode);
    2831                 :            : 
    2832                 :        318 :   x = expand_normal (src);
    2833                 :            : 
    2834                 :        318 :   bytes = arg_int_size_in_bytes (TREE_TYPE (src));
    2835                 :        318 :   if (bytes == 0)
    2836                 :            :     return NULL_RTX;
    2837                 :            : 
    2838                 :            :   /* If the structure doesn't take up a whole number of words, see
    2839                 :            :      whether the register value should be padded on the left or on
    2840                 :            :      the right.  Set PADDING_CORRECTION to the number of padding
    2841                 :            :      bits needed on the left side.
    2842                 :            : 
    2843                 :            :      In most ABIs, the structure will be returned at the least end of
    2844                 :            :      the register, which translates to right padding on little-endian
    2845                 :            :      targets and left padding on big-endian targets.  The opposite
    2846                 :            :      holds if the structure is returned at the most significant
    2847                 :            :      end of the register.  */
    2848                 :        220 :   if (bytes % UNITS_PER_WORD != 0
    2849                 :        220 :       && (targetm.calls.return_in_msb (TREE_TYPE (src))
    2850                 :        202 :           ? !BYTES_BIG_ENDIAN
    2851                 :            :           : BYTES_BIG_ENDIAN))
    2852                 :          0 :     padding_correction = (BITS_PER_WORD - ((bytes % UNITS_PER_WORD)
    2853                 :          0 :                                            * BITS_PER_UNIT));
    2854                 :            : 
    2855                 :        220 :   n_regs = (bytes + UNITS_PER_WORD - 1) / UNITS_PER_WORD;
    2856                 :        220 :   dst_words = XALLOCAVEC (rtx, n_regs);
    2857                 :        220 :   bitsize = MIN (TYPE_ALIGN (TREE_TYPE (src)), BITS_PER_WORD);
    2858                 :        220 :   min_mode = smallest_int_mode_for_size (bitsize);
    2859                 :            : 
    2860                 :            :   /* Copy the structure BITSIZE bits at a time.  */
    2861                 :        220 :   for (bitpos = 0, xbitpos = padding_correction;
    2862                 :        659 :        bitpos < bytes * BITS_PER_UNIT;
    2863                 :        439 :        bitpos += bitsize, xbitpos += bitsize)
    2864                 :            :     {
    2865                 :            :       /* We need a new destination pseudo each time xbitpos is
    2866                 :            :          on a word boundary and when xbitpos == padding_correction
    2867                 :            :          (the first time through).  */
    2868                 :        439 :       if (xbitpos % BITS_PER_WORD == 0
    2869                 :        216 :           || xbitpos == padding_correction)
    2870                 :            :         {
    2871                 :            :           /* Generate an appropriate register.  */
    2872                 :        223 :           dst_word = gen_reg_rtx (word_mode);
    2873                 :        223 :           dst_words[xbitpos / BITS_PER_WORD] = dst_word;
    2874                 :            : 
    2875                 :            :           /* Clear the destination before we move anything into it.  */
    2876                 :        223 :           emit_move_insn (dst_word, CONST0_RTX (word_mode));
    2877                 :            :         }
    2878                 :            : 
    2879                 :            :       /* Find the largest integer mode that can be used to copy all or as
    2880                 :            :          many bits as possible of the structure if the target supports larger
    2881                 :            :          copies.  There are too many corner cases here w.r.t to alignments on
    2882                 :            :          the read/writes.  So if there is any padding just use single byte
    2883                 :            :          operations.  */
    2884                 :        439 :       opt_scalar_int_mode mode_iter;
    2885                 :        439 :       if (padding_correction == 0 && !STRICT_ALIGNMENT)
    2886                 :            :         {
    2887                 :       1216 :           FOR_EACH_MODE_FROM (mode_iter, min_mode)
    2888                 :            :             {
    2889                 :       1216 :               unsigned int msize = GET_MODE_BITSIZE (mode_iter.require ());
    2890                 :       1216 :               if (msize <= ((bytes * BITS_PER_UNIT) - bitpos)
    2891                 :        780 :                   && msize <= BITS_PER_WORD)
    2892                 :        777 :                 bitsize = msize;
    2893                 :            :               else
    2894                 :            :                 break;
    2895                 :            :             }
    2896                 :            :         }
    2897                 :            : 
    2898                 :            :       /* We need a new source operand each time bitpos is on a word
    2899                 :            :          boundary.  */
    2900                 :        439 :       if (bitpos % BITS_PER_WORD == 0)
    2901                 :        223 :         src_word = operand_subword_force (x, bitpos / BITS_PER_WORD, BLKmode);
    2902                 :            : 
    2903                 :            :       /* Use bitpos for the source extraction (left justified) and
    2904                 :            :          xbitpos for the destination store (right justified).  */
    2905                 :        439 :       store_bit_field (dst_word, bitsize, xbitpos % BITS_PER_WORD,
    2906                 :        439 :                        0, 0, word_mode,
    2907                 :            :                        extract_bit_field (src_word, bitsize,
    2908                 :        439 :                                           bitpos % BITS_PER_WORD, 1,
    2909                 :            :                                           NULL_RTX, word_mode, word_mode,
    2910                 :            :                                           false, NULL),
    2911                 :            :                        false);
    2912                 :            :     }
    2913                 :            : 
    2914                 :        220 :   if (mode == BLKmode)
    2915                 :            :     {
    2916                 :            :       /* Find the smallest integer mode large enough to hold the
    2917                 :            :          entire structure.  */
    2918                 :          0 :       opt_scalar_int_mode mode_iter;
    2919                 :          0 :       FOR_EACH_MODE_IN_CLASS (mode_iter, MODE_INT)
    2920                 :          0 :         if (GET_MODE_SIZE (mode_iter.require ()) >= bytes)
    2921                 :            :           break;
    2922                 :            : 
    2923                 :            :       /* A suitable mode should have been found.  */
    2924                 :          0 :       mode = mode_iter.require ();
    2925                 :            :     }
    2926                 :            : 
    2927                 :        660 :   if (GET_MODE_SIZE (mode) < GET_MODE_SIZE (word_mode))
    2928                 :         72 :     dst_mode = word_mode;
    2929                 :            :   else
    2930                 :            :     dst_mode = mode;
    2931                 :        220 :   dst = gen_reg_rtx (dst_mode);
    2932                 :            : 
    2933                 :        443 :   for (i = 0; i < n_regs; i++)
    2934                 :        223 :     emit_move_insn (operand_subword (dst, i, 0, dst_mode), dst_words[i]);
    2935                 :            : 
    2936                 :        220 :   if (mode != dst_mode)
    2937                 :         72 :     dst = gen_lowpart (mode, dst);
    2938                 :            : 
    2939                 :            :   return dst;
    2940                 :            : }
    2941                 :            : 
    2942                 :            : /* Add a USE expression for REG to the (possibly empty) list pointed
    2943                 :            :    to by CALL_FUSAGE.  REG must denote a hard register.  */
    2944                 :            : 
    2945                 :            : void
    2946                 :    6677610 : use_reg_mode (rtx *call_fusage, rtx reg, machine_mode mode)
    2947                 :            : {
    2948                 :    6677610 :   gcc_assert (REG_P (reg));
    2949                 :            : 
    2950                 :    6677610 :   if (!HARD_REGISTER_P (reg))
    2951                 :            :     return;
    2952                 :            : 
    2953                 :    6677610 :   *call_fusage
    2954                 :    6677610 :     = gen_rtx_EXPR_LIST (mode, gen_rtx_USE (VOIDmode, reg), *call_fusage);
    2955                 :            : }
    2956                 :            : 
    2957                 :            : /* Add a CLOBBER expression for REG to the (possibly empty) list pointed
    2958                 :            :    to by CALL_FUSAGE.  REG must denote a hard register.  */
    2959                 :            : 
    2960                 :            : void
    2961                 :     170637 : clobber_reg_mode (rtx *call_fusage, rtx reg, machine_mode mode)
    2962                 :            : {
    2963                 :     170637 :   gcc_assert (REG_P (reg) && REGNO (reg) < FIRST_PSEUDO_REGISTER);
    2964                 :            : 
    2965                 :     170637 :   *call_fusage
    2966                 :     170637 :     = gen_rtx_EXPR_LIST (mode, gen_rtx_CLOBBER (VOIDmode, reg), *call_fusage);
    2967                 :     170637 : }
    2968                 :            : 
    2969                 :            : /* Add USE expressions to *CALL_FUSAGE for each of NREGS consecutive regs,
    2970                 :            :    starting at REGNO.  All of these registers must be hard registers.  */
    2971                 :            : 
    2972                 :            : void
    2973                 :       1201 : use_regs (rtx *call_fusage, int regno, int nregs)
    2974                 :            : {
    2975                 :       1201 :   int i;
    2976                 :            : 
    2977                 :       1201 :   gcc_assert (regno + nregs <= FIRST_PSEUDO_REGISTER);
    2978                 :            : 
    2979                 :       2402 :   for (i = 0; i < nregs; i++)
    2980                 :       1201 :     use_reg (call_fusage, regno_reg_rtx[regno + i]);
    2981                 :       1201 : }
    2982                 :            : 
    2983                 :            : /* Add USE expressions to *CALL_FUSAGE for each REG contained in the
    2984                 :            :    PARALLEL REGS.  This is for calls that pass values in multiple
    2985                 :            :    non-contiguous locations.  The Irix 6 ABI has examples of this.  */
    2986                 :            : 
    2987                 :            : void
    2988                 :     179202 : use_group_regs (rtx *call_fusage, rtx regs)
    2989                 :            : {
    2990                 :     179202 :   int i;
    2991                 :            : 
    2992                 :     531835 :   for (i = 0; i < XVECLEN (regs, 0); i++)
    2993                 :            :     {
    2994                 :     352633 :       rtx reg = XEXP (XVECEXP (regs, 0, i), 0);
    2995                 :            : 
    2996                 :            :       /* A NULL entry means the parameter goes both on the stack and in
    2997                 :            :          registers.  This can also be a MEM for targets that pass values
    2998                 :            :          partially on the stack and partially in registers.  */
    2999                 :     352633 :       if (reg != 0 && REG_P (reg))
    3000                 :     705266 :         use_reg (call_fusage, reg);
    3001                 :            :     }
    3002                 :     179202 : }
    3003                 :            : 
    3004                 :            : /* Return the defining gimple statement for SSA_NAME NAME if it is an
    3005                 :            :    assigment and the code of the expresion on the RHS is CODE.  Return
    3006                 :            :    NULL otherwise.  */
    3007                 :            : 
    3008                 :            : static gimple *
    3009                 :    6304120 : get_def_for_expr (tree name, enum tree_code code)
    3010                 :            : {
    3011                 :    6304120 :   gimple *def_stmt;
    3012                 :            : 
    3013                 :    6304120 :   if (TREE_CODE (name) != SSA_NAME)
    3014                 :            :     return NULL;
    3015                 :            : 
    3016                 :    5108170 :   def_stmt = get_gimple_for_ssa_name (name);
    3017                 :    5108170 :   if (!def_stmt
    3018                 :    5108170 :       || gimple_assign_rhs_code (def_stmt) != code)
    3019                 :    5092030 :     return NULL;
    3020                 :            : 
    3021                 :            :   return def_stmt;
    3022                 :            : }
    3023                 :            : 
    3024                 :            : /* Return the defining gimple statement for SSA_NAME NAME if it is an
    3025                 :            :    assigment and the class of the expresion on the RHS is CLASS.  Return
    3026                 :            :    NULL otherwise.  */
    3027                 :            : 
    3028                 :            : static gimple *
    3029                 :        342 : get_def_for_expr_class (tree name, enum tree_code_class tclass)
    3030                 :            : {
    3031                 :        342 :   gimple *def_stmt;
    3032                 :            : 
    3033                 :        342 :   if (TREE_CODE (name) != SSA_NAME)
    3034                 :            :     return NULL;
    3035                 :            : 
    3036                 :        342 :   def_stmt = get_gimple_for_ssa_name (name);
    3037                 :        342 :   if (!def_stmt
    3038                 :        342 :       || TREE_CODE_CLASS (gimple_assign_rhs_code (def_stmt)) != tclass)
    3039                 :        334 :     return NULL;
    3040                 :            : 
    3041                 :            :   return def_stmt;
    3042                 :            : }
    3043                 :            : 
    3044                 :            : /* Write zeros through the storage of OBJECT.  If OBJECT has BLKmode, SIZE is
    3045                 :            :    its length in bytes.  */
    3046                 :            : 
    3047                 :            : rtx
    3048                 :      71939 : clear_storage_hints (rtx object, rtx size, enum block_op_methods method,
    3049                 :            :                      unsigned int expected_align, HOST_WIDE_INT expected_size,
    3050                 :            :                      unsigned HOST_WIDE_INT min_size,
    3051                 :            :                      unsigned HOST_WIDE_INT max_size,
    3052                 :            :                      unsigned HOST_WIDE_INT probable_max_size)
    3053                 :            : {
    3054                 :      71939 :   machine_mode mode = GET_MODE (object);
    3055                 :      71939 :   unsigned int align;
    3056                 :            : 
    3057                 :      71939 :   gcc_assert (method == BLOCK_OP_NORMAL || method == BLOCK_OP_TAILCALL);
    3058                 :            : 
    3059                 :            :   /* If OBJECT is not BLKmode and SIZE is the same size as its mode,
    3060                 :            :      just move a zero.  Otherwise, do this a piece at a time.  */
    3061                 :      71939 :   poly_int64 size_val;
    3062                 :      71939 :   if (mode != BLKmode
    3063                 :      27075 :       && poly_int_rtx_p (size, &size_val)
    3064                 :      99014 :       && known_eq (size_val, GET_MODE_SIZE (mode)))
    3065                 :            :     {
    3066                 :      27075 :       rtx zero = CONST0_RTX (mode);
    3067                 :      27075 :       if (zero != NULL)
    3068                 :            :         {
    3069                 :      27075 :           emit_move_insn (object, zero);
    3070                 :      27075 :           return NULL;
    3071                 :            :         }
    3072                 :            : 
    3073                 :          0 :       if (COMPLEX_MODE_P (mode))
    3074                 :            :         {
    3075                 :          0 :           zero = CONST0_RTX (GET_MODE_INNER (mode));
    3076                 :          0 :           if (zero != NULL)
    3077                 :            :             {
    3078                 :          0 :               write_complex_part (object, zero, 0);
    3079                 :          0 :               write_complex_part (object, zero, 1);
    3080                 :          0 :               return NULL;
    3081                 :            :             }
    3082                 :            :         }
    3083                 :            :     }
    3084                 :            : 
    3085                 :      44864 :   if (size == const0_rtx)
    3086                 :            :     return NULL;
    3087                 :            : 
    3088                 :      44853 :   align = MEM_ALIGN (object);
    3089                 :            : 
    3090                 :      44853 :   if (CONST_INT_P (size)
    3091                 :      84333 :       && targetm.use_by_pieces_infrastructure_p (INTVAL (size), align,
    3092                 :            :                                                  CLEAR_BY_PIECES,
    3093                 :      39480 :                                                  optimize_insn_for_speed_p ()))
    3094                 :      21394 :     clear_by_pieces (object, INTVAL (size), align);
    3095                 :      23459 :   else if (set_storage_via_setmem (object, size, const0_rtx, align,
    3096                 :            :                                    expected_align, expected_size,
    3097                 :            :                                    min_size, max_size, probable_max_size))
    3098                 :            :     ;
    3099                 :       4659 :   else if (ADDR_SPACE_GENERIC_P (MEM_ADDR_SPACE (object)))
    3100                 :       4659 :     return set_storage_via_libcall (object, size, const0_rtx,
    3101                 :       4659 :                                     method == BLOCK_OP_TAILCALL);
    3102                 :            :   else
    3103                 :          0 :     gcc_unreachable ();
    3104                 :            : 
    3105                 :            :   return NULL;
    3106                 :            : }
    3107                 :            : 
    3108                 :            : rtx
    3109                 :      58079 : clear_storage (rtx object, rtx size, enum block_op_methods method)
    3110                 :            : {
    3111                 :      58079 :   unsigned HOST_WIDE_INT max, min = 0;
    3112                 :      58079 :   if (GET_CODE (size) == CONST_INT)
    3113                 :      58079 :     min = max = UINTVAL (size);
    3114                 :            :   else
    3115                 :          0 :     max = GET_MODE_MASK (GET_MODE (size));
    3116                 :      58079 :   return clear_storage_hints (object, size, method, 0, -1, min, max, max);
    3117                 :            : }
    3118                 :            : 
    3119                 :            : 
    3120                 :            : /* A subroutine of clear_storage.  Expand a call to memset.
    3121                 :            :    Return the return value of memset, 0 otherwise.  */
    3122                 :            : 
    3123                 :            : rtx
    3124                 :       4664 : set_storage_via_libcall (rtx object, rtx size, rtx val, bool tailcall)
    3125                 :            : {
    3126                 :       4664 :   tree call_expr, fn, object_tree, size_tree, val_tree;
    3127                 :       4664 :   machine_mode size_mode;
    3128                 :            : 
    3129                 :       4664 :   object = copy_addr_to_reg (XEXP (object, 0));
    3130                 :       4664 :   object_tree = make_tree (ptr_type_node, object);
    3131                 :            : 
    3132                 :       4664 :   if (!CONST_INT_P (val))
    3133                 :          4 :     val = convert_to_mode (TYPE_MODE (integer_type_node), val, 1);
    3134                 :       4664 :   val_tree = make_tree (integer_type_node, val);
    3135                 :            : 
    3136                 :       4664 :   size_mode = TYPE_MODE (sizetype);
    3137                 :       4664 :   size = convert_to_mode (size_mode, size, 1);
    3138                 :       4664 :   size = copy_to_mode_reg (size_mode, size);
    3139                 :       4664 :   size_tree = make_tree (sizetype, size);
    3140                 :            : 
    3141                 :            :   /* It is incorrect to use the libcall calling conventions for calls to
    3142                 :            :      memset because it can be provided by the user.  */
    3143                 :       4664 :   fn = builtin_decl_implicit (BUILT_IN_MEMSET);
    3144                 :       4664 :   call_expr = build_call_expr (fn, 3, object_tree, val_tree, size_tree);
    3145                 :       4664 :   CALL_EXPR_TAILCALL (call_expr) = tailcall;
    3146                 :            : 
    3147                 :       4664 :   return expand_call (call_expr, NULL_RTX, false);
    3148                 :            : }
    3149                 :            : 
    3150                 :            : /* Expand a setmem pattern; return true if successful.  */
    3151                 :            : 
    3152                 :            : bool
    3153                 :      28433 : set_storage_via_setmem (rtx object, rtx size, rtx val, unsigned int align,
    3154                 :            :                         unsigned int expected_align, HOST_WIDE_INT expected_size,
    3155                 :            :                         unsigned HOST_WIDE_INT min_size,
    3156                 :            :                         unsigned HOST_WIDE_INT max_size,
    3157                 :            :                         unsigned HOST_WIDE_INT probable_max_size)
    3158                 :            : {
    3159                 :            :   /* Try the most limited insn first, because there's no point
    3160                 :            :      including more than one in the machine description unless
    3161                 :            :      the more limited one has some advantage.  */
    3162                 :            : 
    3163                 :      28433 :   if (expected_align < align)
    3164                 :            :     expected_align = align;
    3165                 :      28433 :   if (expected_size != -1)
    3166                 :            :     {
    3167                 :          5 :       if ((unsigned HOST_WIDE_INT)expected_size > max_size)
    3168                 :          0 :         expected_size = max_size;
    3169                 :          5 :       if ((unsigned HOST_WIDE_INT)expected_size < min_size)
    3170                 :          0 :         expected_size = min_size;
    3171                 :            :     }
    3172                 :            : 
    3173                 :      28433 :   opt_scalar_int_mode mode_iter;
    3174                 :     223483 :   FOR_EACH_MODE_IN_CLASS (mode_iter, MODE_INT)
    3175                 :            :     {
    3176                 :     117949 :       scalar_int_mode mode = mode_iter.require ();
    3177                 :     117949 :       enum insn_code code = direct_optab_handler (setmem_optab, mode);
    3178                 :            : 
    3179                 :     117949 :       if (code != CODE_FOR_nothing
    3180                 :            :           /* We don't need MODE to be narrower than BITS_PER_HOST_WIDE_INT
    3181                 :            :              here because if SIZE is less than the mode mask, as it is
    3182                 :            :              returned by the macro, it will definitely be less than the
    3183                 :            :              actual mode mask.  Since SIZE is within the Pmode address
    3184                 :            :              space, we limit MODE to Pmode.  */
    3185                 :     117949 :           && ((CONST_INT_P (size)
    3186                 :      19243 :                && ((unsigned HOST_WIDE_INT) INTVAL (size)
    3187                 :      19243 :                    <= (GET_MODE_MASK (mode) >> 1)))
    3188                 :      17061 :               || max_size <= (GET_MODE_MASK (mode) >> 1)
    3189                 :      26482 :               || GET_MODE_BITSIZE (mode) >= GET_MODE_BITSIZE (Pmode)))
    3190                 :            :         {
    3191                 :      28849 :           class expand_operand ops[9];
    3192                 :      28849 :           unsigned int nops;
    3193                 :            : 
    3194                 :      28849 :           nops = insn_data[(int) code].n_generator_args;
    3195                 :      28849 :           gcc_assert (nops == 4 || nops == 6 || nops == 8 || nops == 9);
    3196                 :            : 
    3197                 :      28849 :           create_fixed_operand (&ops[0], object);
    3198                 :            :           /* The check above guarantees that this size conversion is valid.  */
    3199                 :      28849 :           create_convert_operand_to (&ops[1], size, mode, true);
    3200                 :      28849 :           create_convert_operand_from (&ops[2], val, byte_mode, true);
    3201                 :      28849 :           create_integer_operand (&ops[3], align / BITS_PER_UNIT);
    3202                 :      28849 :           if (nops >= 6)
    3203                 :            :             {
    3204                 :      28849 :               create_integer_operand (&ops[4], expected_align / BITS_PER_UNIT);
    3205                 :      28849 :               create_integer_operand (&ops[5], expected_size);
    3206                 :            :             }
    3207                 :      28849 :           if (nops >= 8)
    3208                 :            :             {
    3209                 :      28849 :               create_integer_operand (&ops[6], min_size);
    3210                 :            :               /* If we cannot represent the maximal size,
    3211                 :            :                  make parameter NULL.  */
    3212                 :      28849 :               if ((HOST_WIDE_INT) max_size != -1)
    3213                 :      24606 :                 create_integer_operand (&ops[7], max_size);
    3214                 :            :               else
    3215                 :       4243 :                 create_fixed_operand (&ops[7], NULL);
    3216                 :            :             }
    3217                 :      28849 :           if (nops == 9)
    3218                 :            :             {
    3219                 :            :               /* If we cannot represent the maximal size,
    3220                 :            :                  make parameter NULL.  */
    3221                 :      28849 :               if ((HOST_WIDE_INT) probable_max_size != -1)
    3222                 :      25670 :                 create_integer_operand (&ops[8], probable_max_size);
    3223                 :            :               else
    3224                 :       3179 :                 create_fixed_operand (&ops[8], NULL);
    3225                 :            :             }
    3226                 :      28849 :           if (maybe_expand_insn (code, nops, ops))
    3227                 :      20424 :             return true;
    3228                 :            :         }
    3229                 :            :     }
    3230                 :            : 
    3231                 :            :   return false;
    3232                 :            : }
    3233                 :            : 
    3234                 :            : 
    3235                 :            : /* Write to one of the components of the complex value CPLX.  Write VAL to
    3236                 :            :    the real part if IMAG_P is false, and the imaginary part if its true.  */
    3237                 :            : 
    3238                 :            : void
    3239                 :     494474 : write_complex_part (rtx cplx, rtx val, bool imag_p)
    3240                 :            : {
    3241                 :     494474 :   machine_mode cmode;
    3242                 :     494474 :   scalar_mode imode;
    3243                 :     494474 :   unsigned ibitsize;
    3244                 :            : 
    3245                 :     494474 :   if (GET_CODE (cplx) == CONCAT)
    3246                 :            :     {
    3247                 :     414128 :       emit_move_insn (XEXP (cplx, imag_p), val);
    3248                 :     414128 :       return;
    3249                 :            :     }
    3250                 :            : 
    3251                 :      80346 :   cmode = GET_MODE (cplx);
    3252                 :      80346 :   imode = GET_MODE_INNER (cmode);
    3253                 :      80346 :   ibitsize = GET_MODE_BITSIZE (imode);
    3254                 :            : 
    3255                 :            :   /* For MEMs simplify_gen_subreg may generate an invalid new address
    3256                 :            :      because, e.g., the original address is considered mode-dependent
    3257                 :            :      by the target, which restricts simplify_subreg from invoking
    3258                 :            :      adjust_address_nv.  Instead of preparing fallback support for an
    3259                 :            :      invalid address, we call adjust_address_nv directly.  */
    3260                 :      80346 :   if (MEM_P (cplx))
    3261                 :            :     {
    3262                 :     113262 :       emit_move_insn (adjust_address_nv (cplx, imode,
    3263                 :            :                                          imag_p ? GET_MODE_SIZE (imode) : 0),
    3264                 :            :                       val);
    3265                 :      75508 :       return;
    3266                 :            :     }
    3267                 :            : 
    3268                 :            :   /* If the sub-object is at least word sized, then we know that subregging
    3269                 :            :      will work.  This special case is important, since store_bit_field
    3270                 :            :      wants to operate on integer modes, and there's rarely an OImode to
    3271                 :            :      correspond to TCmode.  */
    3272                 :       4838 :   if (ibitsize >= BITS_PER_WORD
    3273                 :            :       /* For hard regs we have exact predicates.  Assume we can split
    3274                 :            :          the original object if it spans an even number of hard regs.
    3275                 :            :          This special case is important for SCmode on 64-bit platforms
    3276                 :            :          where the natural size of floating-point regs is 32-bit.  */
    3277                 :       4838 :       || (REG_P (cplx)
    3278                 :       1414 :           && REGNO (cplx) < FIRST_PSEUDO_REGISTER
    3279                 :       1248 :           && REG_NREGS (cplx) % 2 == 0))
    3280                 :            :     {
    3281                 :       3390 :       rtx part = simplify_gen_subreg (imode, cplx, cmode,
    3282                 :       5085 :                                       imag_p ? GET_MODE_SIZE (imode) : 0);
    3283                 :       3390 :       if (part)
    3284                 :            :         {
    3285                 :       3390 :           emit_move_insn (part, val);
    3286                 :       3390 :           return;
    3287                 :            :         }
    3288                 :            :       else
    3289                 :            :         /* simplify_gen_subreg may fail for sub-word MEMs.  */
    3290                 :          0 :         gcc_assert (MEM_P (cplx) && ibitsize < BITS_PER_WORD);
    3291                 :            :     }
    3292                 :            : 
    3293                 :       2172 :   store_bit_field (cplx, ibitsize, imag_p ? ibitsize : 0, 0, 0, imode, val,
    3294                 :            :                    false);
    3295                 :            : }
    3296                 :            : 
    3297                 :            : /* Extract one of the components of the complex value CPLX.  Extract the
    3298                 :            :    real part if IMAG_P is false, and the imaginary part if it's true.  */
    3299                 :            : 
    3300                 :            : rtx
    3301                 :     464942 : read_complex_part (rtx cplx, bool imag_p)
    3302                 :            : {
    3303                 :     464942 :   machine_mode cmode;
    3304                 :     464942 :   scalar_mode imode;
    3305                 :     464942 :   unsigned ibitsize;
    3306                 :            : 
    3307                 :     464942 :   if (GET_CODE (cplx) == CONCAT)
    3308                 :     288212 :     return XEXP (cplx, imag_p);
    3309                 :            : 
    3310                 :     176730 :   cmode = GET_MODE (cplx);
    3311                 :     176730 :   imode = GET_MODE_INNER (cmode);
    3312                 :     176730 :   ibitsize = GET_MODE_BITSIZE (imode);
    3313                 :            : 
    3314                 :            :   /* Special case reads from complex constants that got spilled to memory.  */
    3315                 :     176730 :   if (MEM_P (cplx) && GET_CODE (XEXP (cplx, 0)) == SYMBOL_REF)
    3316                 :            :     {
    3317                 :      38993 :       tree decl = SYMBOL_REF_DECL (XEXP (cplx, 0));
    3318                 :      38993 :       if (decl && TREE_CODE (decl) == COMPLEX_CST)
    3319                 :            :         {
    3320                 :          0 :           tree part = imag_p ? TREE_IMAGPART (decl) : TREE_REALPART (decl);
    3321                 :          0 :           if (CONSTANT_CLASS_P (part))
    3322                 :          0 :             return expand_expr (part, NULL_RTX, imode, EXPAND_NORMAL);
    3323                 :            :         }
    3324                 :            :     }
    3325                 :            : 
    3326                 :            :   /* For MEMs simplify_gen_subreg may generate an invalid new address
    3327                 :            :      because, e.g., the original address is considered mode-dependent
    3328                 :            :      by the target, which restricts simplify_subreg from invoking
    3329                 :            :      adjust_address_nv.  Instead of preparing fallback support for an
    3330                 :            :      invalid address, we call adjust_address_nv directly.  */
    3331                 :     176730 :   if (MEM_P (cplx))
    3332                 :     248856 :     return adjust_address_nv (cplx, imode,
    3333                 :            :                               imag_p ? GET_MODE_SIZE (imode) : 0);
    3334                 :            : 
    3335                 :            :   /* If the sub-object is at least word sized, then we know that subregging
    3336                 :            :      will work.  This special case is important, since extract_bit_field
    3337                 :            :      wants to operate on integer modes, and there's rarely an OImode to
    3338                 :            :      correspond to TCmode.  */
    3339                 :      10713 :   if (ibitsize >= BITS_PER_WORD
    3340                 :            :       /* For hard regs we have exact predicates.  Assume we can split
    3341                 :            :          the original object if it spans an even number of hard regs.
    3342                 :            :          This special case is important for SCmode on 64-bit platforms
    3343                 :            :          where the natural size of floating-point regs is 32-bit.  */
    3344                 :      10713 :       || (REG_P (cplx)
    3345                 :        178 :           && REGNO (cplx) < FIRST_PSEUDO_REGISTER
    3346                 :        136 :           && REG_NREGS (cplx) % 2 == 0))
    3347                 :            :     {
    3348                 :       7746 :       rtx ret = simplify_gen_subreg (imode, cplx, cmode,
    3349                 :      11619 :                                      imag_p ? GET_MODE_SIZE (imode) : 0);
    3350                 :       7746 :       if (ret)
    3351                 :            :         return ret;
    3352                 :            :       else
    3353                 :            :         /* simplify_gen_subreg may fail for sub-word MEMs.  */
    3354                 :          0 :         gcc_assert (MEM_P (cplx) && ibitsize < BITS_PER_WORD);
    3355                 :            :     }
    3356                 :            : 
    3357                 :       4453 :   return extract_bit_field (cplx, ibitsize, imag_p ? ibitsize : 0,
    3358                 :            :                             true, NULL_RTX, imode, imode, false, NULL);
    3359                 :            : }
    3360                 :            : 
    3361                 :            : /* A subroutine of emit_move_insn_1.  Yet another lowpart generator.
    3362                 :            :    NEW_MODE and OLD_MODE are the same size.  Return NULL if X cannot be
    3363                 :            :    represented in NEW_MODE.  If FORCE is true, this will never happen, as
    3364                 :            :    we'll force-create a SUBREG if needed.  */
    3365                 :            : 
    3366                 :            : static rtx
    3367                 :     267902 : emit_move_change_mode (machine_mode new_mode,
    3368                 :            :                        machine_mode old_mode, rtx x, bool force)
    3369                 :            : {
    3370                 :     267902 :   rtx ret;
    3371                 :            : 
    3372                 :     267902 :   if (push_operand (x, GET_MODE (x)))
    3373                 :            :     {
    3374                 :       1304 :       ret = gen_rtx_MEM (new_mode, XEXP (x, 0));
    3375                 :       1304 :       MEM_COPY_ATTRIBUTES (ret, x);
    3376                 :            :     }
    3377                 :     266598 :   else if (MEM_P (x))
    3378                 :            :     {
    3379                 :            :       /* We don't have to worry about changing the address since the
    3380                 :            :          size in bytes is supposed to be the same.  */
    3381                 :      59834 :       if (reload_in_progress)
    3382                 :            :         {
    3383                 :            :           /* Copy the MEM to change the mode and move any
    3384                 :            :              substitutions from the old MEM to the new one.  */
    3385                 :          0 :           ret = adjust_address_nv (x, new_mode, 0);
    3386                 :          0 :           copy_replacements (x, ret);
    3387                 :            :         }
    3388                 :            :       else
    3389                 :      59834 :         ret = adjust_address (x, new_mode, 0);
    3390                 :            :     }
    3391                 :            :   else
    3392                 :            :     {
    3393                 :            :       /* Note that we do want simplify_subreg's behavior of validating
    3394                 :            :          that the new mode is ok for a hard register.  If we were to use
    3395                 :            :          simplify_gen_subreg, we would create the subreg, but would
    3396                 :            :          probably run into the target not being able to implement it.  */
    3397                 :            :       /* Except, of course, when FORCE is true, when this is exactly what
    3398                 :            :          we want.  Which is needed for CCmodes on some targets.  */
    3399                 :     206764 :       if (force)
    3400                 :     206764 :         ret = simplify_gen_subreg (new_mode, x, old_mode, 0);
    3401                 :            :       else
    3402                 :          0 :         ret = simplify_subreg (new_mode, x, old_mode, 0);
    3403                 :            :     }
    3404                 :            : 
    3405                 :     267902 :   return ret;
    3406                 :            : }
    3407                 :            : 
    3408                 :            : /* A subroutine of emit_move_insn_1.  Generate a move from Y into X using
    3409                 :            :    an integer mode of the same size as MODE.  Returns the instruction
    3410                 :            :    emitted, or NULL if such a move could not be generated.  */
    3411                 :            : 
    3412                 :            : static rtx_insn *
    3413                 :     133951 : emit_move_via_integer (machine_mode mode, rtx x, rtx y, bool force)
    3414                 :            : {
    3415                 :     133951 :   scalar_int_mode imode;
    3416                 :     133951 :   enum insn_code code;
    3417                 :            : 
    3418                 :            :   /* There must exist a mode of the exact size we require.  */
    3419                 :     133951 :   if (!int_mode_for_mode (mode).exists (&imode))
    3420                 :          0 :     return NULL;
    3421                 :            : 
    3422                 :            :   /* The target must support moves in this mode.  */
    3423                 :     133951 :   code = optab_handler (mov_optab, imode);
    3424                 :     133951 :   if (code == CODE_FOR_nothing)
    3425                 :            :     return NULL;
    3426                 :            : 
    3427                 :     133951 :   x = emit_move_change_mode (imode, mode, x, force);
    3428                 :     133951 :   if (x == NULL_RTX)
    3429                 :            :     return NULL;
    3430                 :     133951 :   y = emit_move_change_mode (imode, mode, y, force);
    3431                 :     133951 :   if (y == NULL_RTX)
    3432                 :            :     return NULL;
    3433                 :     133951 :   return emit_insn (GEN_FCN (code) (x, y));
    3434                 :            : }
    3435                 :            : 
    3436                 :            : /* A subroutine of emit_move_insn_1.  X is a push_operand in MODE.
    3437                 :            :    Return an equivalent MEM that does not use an auto-increment.  */
    3438                 :            : 
    3439                 :            : rtx
    3440                 :       1583 : emit_move_resolve_push (machine_mode mode, rtx x)
    3441                 :            : {
    3442                 :       1583 :   enum rtx_code code = GET_CODE (XEXP (x, 0));
    3443                 :       1583 :   rtx temp;
    3444                 :            : 
    3445                 :       3166 :   poly_int64 adjust = GET_MODE_SIZE (mode);
    3446                 :            : #ifdef PUSH_ROUNDING
    3447                 :       1583 :   adjust = PUSH_ROUNDING (adjust);
    3448                 :            : #endif
    3449                 :       1583 :   if (code == PRE_DEC || code == POST_DEC)
    3450                 :       1201 :     adjust = -adjust;
    3451                 :        382 :   else if (code == PRE_MODIFY || code == POST_MODIFY)
    3452                 :            :     {
    3453                 :        382 :       rtx expr = XEXP (XEXP (x, 0), 1);
    3454                 :            : 
    3455                 :        382 :       gcc_assert (GET_CODE (expr) == PLUS || GET_CODE (expr) == MINUS);
    3456                 :        382 :       poly_int64 val = rtx_to_poly_int64 (XEXP (expr, 1));
    3457                 :        382 :       if (GET_CODE (expr) == MINUS)
    3458                 :          0 :         val = -val;
    3459                 :        382 :       gcc_assert (known_eq (adjust, val) || known_eq (adjust, -val));
    3460                 :            :       adjust = val;
    3461                 :            :     }
    3462                 :            : 
    3463                 :            :   /* Do not use anti_adjust_stack, since we don't want to update
    3464                 :            :      stack_pointer_delta.  */
    3465                 :       1583 :   temp = expand_simple_binop (Pmode, PLUS, stack_pointer_rtx,
    3466                 :       1583 :                               gen_int_mode (adjust, Pmode), stack_pointer_rtx,
    3467                 :            :                               0, OPTAB_LIB_WIDEN);
    3468                 :       1583 :   if (temp != stack_pointer_rtx)
    3469                 :          0 :     emit_move_insn (stack_pointer_rtx, temp);
    3470                 :            : 
    3471                 :       1583 :   switch (code)
    3472                 :            :     {
    3473                 :       1583 :     case PRE_INC:
    3474                 :       1583 :     case PRE_DEC:
    3475                 :       1583 :     case PRE_MODIFY:
    3476                 :       1583 :       temp = stack_pointer_rtx;
    3477                 :       1583 :       break;
    3478                 :            :     case POST_INC:
    3479                 :            :     case POST_DEC:
    3480                 :            :     case POST_MODIFY:
    3481                 :          0 :       temp = plus_constant (Pmode, stack_pointer_rtx, -adjust);
    3482                 :          0 :       break;
    3483                 :          0 :     default:
    3484                 :          0 :       gcc_unreachable ();
    3485                 :            :     }
    3486                 :            : 
    3487                 :       1583 :   return replace_equiv_address (x, temp);
    3488                 :            : }
    3489                 :            : 
    3490                 :            : /* A subroutine of emit_move_complex.  Generate a move from Y into X.
    3491                 :            :    X is known to satisfy push_operand, and MODE is known to be complex.
    3492                 :            :    Returns the last instruction emitted.  */
    3493                 :            : 
    3494                 :            : rtx_insn *
    3495                 :       4635 : emit_move_complex_push (machine_mode mode, rtx x, rtx y)
    3496                 :            : {
    3497                 :       4635 :   scalar_mode submode = GET_MODE_INNER (mode);
    3498                 :       4635 :   bool imag_first;
    3499                 :            : 
    3500                 :            : #ifdef PUSH_ROUNDING
    3501                 :       9270 :   poly_int64 submodesize = GET_MODE_SIZE (submode);
    3502                 :            : 
    3503                 :            :   /* In case we output to the stack, but the size is smaller than the
    3504                 :            :      machine can push exactly, we need to use move instructions.  */
    3505                 :       4635 :   if (maybe_ne (PUSH_ROUNDING (submodesize), submodesize))
    3506                 :            :     {
    3507                 :        719 :       x = emit_move_resolve_push (mode, x);
    3508                 :        719 :       return emit_move_insn (x, y);
    3509                 :            :     }
    3510                 :            : #endif
    3511                 :            : 
    3512                 :            :   /* Note that the real part always precedes the imag part in memory
    3513                 :            :      regardless of machine's endianness.  */
    3514                 :       3916 :   switch (GET_CODE (XEXP (x, 0)))
    3515                 :            :     {
    3516                 :            :     case PRE_DEC:
    3517                 :            :     case POST_DEC:
    3518                 :            :       imag_first = true;
    3519                 :            :       break;
    3520                 :          0 :     case PRE_INC:
    3521                 :          0 :     case POST_INC:
    3522                 :          0 :       imag_first = false;
    3523                 :          0 :       break;
    3524                 :          0 :     default:
    3525                 :          0 :       gcc_unreachable ();
    3526                 :            :     }
    3527                 :            : 
    3528                 :       3916 :   emit_move_insn (gen_rtx_MEM (submode, XEXP (x, 0)),
    3529                 :            :                   read_complex_part (y, imag_first));
    3530                 :       3916 :   return emit_move_insn (gen_rtx_MEM (submode, XEXP (x, 0)),
    3531                 :       7832 :                          read_complex_part (y, !imag_first));
    3532                 :            : }
    3533                 :            : 
    3534                 :            : /* A subroutine of emit_move_complex.  Perform the move from Y to X
    3535                 :            :    via two moves of the parts.  Returns the last instruction emitted.  */
    3536                 :            : 
    3537                 :            : rtx_insn *
    3538                 :      93345 : emit_move_complex_parts (rtx x, rtx y)
    3539                 :            : {
    3540                 :            :   /* Show the output dies here.  This is necessary for SUBREGs
    3541                 :            :      of pseudos since we cannot track their lifetimes correctly;
    3542                 :            :      hard regs shouldn't appear here except as return values.  */
    3543                 :      93345 :   if (!reload_completed && !reload_in_progress
    3544                 :     186690 :       && REG_P (x) && !reg_overlap_mentioned_p (x, y))
    3545                 :       2360 :     emit_clobber (x);
    3546                 :            : 
    3547                 :      93345 :   write_complex_part (x, read_complex_part (y, false), false);
    3548                 :      93345 :   write_complex_part (x, read_complex_part (y, true), true);
    3549                 :            : 
    3550                 :      93345 :   return get_last_insn ();
    3551                 :            : }
    3552                 :            : 
    3553                 :            : /* A subroutine of emit_move_insn_1.  Generate a move from Y into X.
    3554                 :            :    MODE is known to be complex.  Returns the last instruction emitted.  */
    3555                 :            : 
    3556                 :            : static rtx_insn *
    3557                 :      99452 : emit_move_complex (machine_mode mode, rtx x, rtx y)
    3558                 :            : {
    3559                 :      99452 :   bool try_int;
    3560                 :            : 
    3561                 :            :   /* Need to take special care for pushes, to maintain proper ordering
    3562                 :            :      of the data, and possibly extra padding.  */
    3563                 :      99452 :   if (push_operand (x, mode))
    3564                 :       4027 :     return emit_move_complex_push (mode, x, y);
    3565                 :            : 
    3566                 :            :   /* See if we can coerce the target into moving both values at once, except
    3567                 :            :      for floating point where we favor moving as parts if this is easy.  */
    3568                 :      95425 :   if (GET_MODE_CLASS (mode) == MODE_COMPLEX_FLOAT
    3569                 :      89361 :       && optab_handler (mov_optab, GET_MODE_INNER (mode)) != CODE_FOR_nothing
    3570                 :      89361 :       && !(REG_P (x)
    3571                 :       1389 :            && HARD_REGISTER_P (x)
    3572                 :        183 :            && REG_NREGS (x) == 1)
    3573                 :     184786 :       && !(REG_P (y)
    3574                 :       2407 :            && HARD_REGISTER_P (y)
    3575                 :       1200 :            && REG_NREGS (y) == 1))
    3576                 :            :     try_int = false;
    3577                 :            :   /* Not possible if the values are inherently not adjacent.  */
    3578                 :       6064 :   else if (GET_CODE (x) == CONCAT || GET_CODE (y) == CONCAT)
    3579                 :            :     try_int = false;
    3580                 :            :   /* Is possible if both are registers (or subregs of registers).  */
    3581                 :       3862 :   else if (register_operand (x, mode) && register_operand (y, mode))
    3582                 :            :     try_int = true;
    3583                 :            :   /* If one of the operands is a memory, and alignment constraints
    3584                 :            :      are friendly enough, we may be able to do combined memory operations.
    3585                 :            :      We do not attempt this if Y is a constant because that combination is
    3586                 :            :      usually better with the by-parts thing below.  */
    3587                 :       3756 :   else if ((MEM_P (x) ? !CONSTANT_P (y) : MEM_P (y))
    3588                 :            :            && (!STRICT_ALIGNMENT
    3589                 :            :                || get_mode_alignment (mode) == BIGGEST_ALIGNMENT))
    3590                 :            :     try_int = true;
    3591                 :            :   else
    3592                 :            :     try_int = false;
    3593                 :            : 
    3594                 :            :   if (try_int)
    3595                 :            :     {
    3596                 :       3862 :       rtx_insn *ret;
    3597                 :            : 
    3598                 :            :       /* For memory to memory moves, optimal behavior can be had with the
    3599                 :            :          existing block move logic.  But use normal expansion if optimizing
    3600                 :            :          for size.  */
    3601                 :       3862 :       if (MEM_P (x) && MEM_P (y))
    3602                 :            :         {
    3603                 :       1187 :           emit_block_move (x, y, gen_int_mode (GET_MODE_SIZE (mode), Pmode),
    3604                 :        586 :                            (optimize_insn_for_speed_p()
    3605                 :            :                             ? BLOCK_OP_NO_LIBCALL : BLOCK_OP_NORMAL));
    3606                 :        586 :           return get_last_insn ();
    3607                 :            :         }
    3608                 :            : 
    3609                 :       3276 :       ret = emit_move_via_integer (mode, x, y, true);
    3610                 :       3276 :       if (ret)
    3611                 :            :         return ret;
    3612                 :            :     }
    3613                 :            : 
    3614                 :      91563 :   return emit_move_complex_parts (x, y);
    3615                 :            : }
    3616                 :            : 
    3617                 :            : /* A subroutine of emit_move_insn_1.  Generate a move from Y into X.
    3618                 :            :    MODE is known to be MODE_CC.  Returns the last instruction emitted.  */
    3619                 :            : 
    3620                 :            : static rtx_insn *
    3621                 :          0 : emit_move_ccmode (machine_mode mode, rtx x, rtx y)
    3622                 :            : {
    3623                 :          0 :   rtx_insn *ret;
    3624                 :            : 
    3625                 :            :   /* Assume all MODE_CC modes are equivalent; if we have movcc, use it.  */
    3626                 :          0 :   if (mode != CCmode)
    3627                 :            :     {
    3628                 :          0 :       enum insn_code code = optab_handler (mov_optab, CCmode);
    3629                 :          0 :       if (code != CODE_FOR_nothing)
    3630                 :            :         {
    3631                 :          0 :           x = emit_move_change_mode (CCmode, mode, x, true);
    3632                 :          0 :           y = emit_move_change_mode (CCmode, mode, y, true);
    3633                 :          0 :           return emit_insn (GEN_FCN (code) (x, y));
    3634                 :            :         }
    3635                 :            :     }
    3636                 :            : 
    3637                 :            :   /* Otherwise, find the MODE_INT mode of the same width.  */
    3638                 :          0 :   ret = emit_move_via_integer (mode, x, y, false);
    3639                 :          0 :   gcc_assert (ret != NULL);
    3640                 :            :   return ret;
    3641                 :            : }
    3642                 :            : 
    3643                 :            : /* Return true if word I of OP lies entirely in the
    3644                 :            :    undefined bits of a paradoxical subreg.  */
    3645                 :            : 
    3646                 :            : static bool
    3647                 :          0 : undefined_operand_subword_p (const_rtx op, int i)
    3648                 :            : {
    3649                 :          0 :   if (GET_CODE (op) != SUBREG)
    3650                 :            :     return false;
    3651                 :          0 :   machine_mode innermostmode = GET_MODE (SUBREG_REG (op));
    3652                 :          0 :   poly_int64 offset = i * UNITS_PER_WORD + subreg_memory_offset (op);
    3653                 :          0 :   return (known_ge (offset, GET_MODE_SIZE (innermostmode))
    3654                 :          0 :           || known_le (offset, -UNITS_PER_WORD));
    3655                 :            : }
    3656                 :            : 
    3657                 :            : /* A subroutine of emit_move_insn_1.  Generate a move from Y into X.
    3658                 :            :    MODE is any multi-word or full-word mode that lacks a move_insn
    3659                 :            :    pattern.  Note that you will get better code if you define such
    3660                 :            :    patterns, even if they must turn into multiple assembler instructions.  */
    3661                 :            : 
    3662                 :            : static rtx_insn *
    3663                 :          0 : emit_move_multi_word (machine_mode mode, rtx x, rtx y)
    3664                 :            : {
    3665                 :          0 :   rtx_insn *last_insn = 0;
    3666                 :          0 :   rtx_insn *seq;
    3667                 :          0 :   rtx inner;
    3668                 :          0 :   bool need_clobber;
    3669                 :          0 :   int i, mode_size;
    3670                 :            : 
    3671                 :            :   /* This function can only handle cases where the number of words is
    3672                 :            :      known at compile time.  */
    3673                 :          0 :   mode_size = GET_MODE_SIZE (mode).to_constant ();
    3674                 :          0 :   gcc_assert (mode_size >= UNITS_PER_WORD);
    3675                 :            : 
    3676                 :            :   /* If X is a push on the stack, do the push now and replace
    3677                 :            :      X with a reference to the stack pointer.  */
    3678                 :          0 :   if (push_operand (x, mode))
    3679                 :          0 :     x = emit_move_resolve_push (mode, x);
    3680                 :            : 
    3681                 :            :   /* If we are in reload, see if either operand is a MEM whose address
    3682                 :            :      is scheduled for replacement.  */
    3683                 :          0 :   if (reload_in_progress && MEM_P (x)
    3684                 :          0 :       && (inner = find_replacement (&XEXP (x, 0))) != XEXP (x, 0))
    3685                 :          0 :     x = replace_equiv_address_nv (x, inner);
    3686                 :          0 :   if (reload_in_progress && MEM_P (y)
    3687                 :          0 :       && (inner = find_replacement (&XEXP (y, 0))) != XEXP (y, 0))
    3688                 :          0 :     y = replace_equiv_address_nv (y, inner);
    3689                 :            : 
    3690                 :          0 :   start_sequence ();
    3691                 :            : 
    3692                 :          0 :   need_clobber = false;
    3693                 :          0 :   for (i = 0; i < CEIL (mode_size, UNITS_PER_WORD); i++)
    3694                 :            :     {
    3695                 :          0 :       rtx xpart = operand_subword (x, i, 1, mode);
    3696                 :          0 :       rtx ypart;
    3697                 :            : 
    3698                 :            :       /* Do not generate code for a move if it would come entirely
    3699                 :            :          from the undefined bits of a paradoxical subreg.  */
    3700                 :          0 :       if (undefined_operand_subword_p (y, i))
    3701                 :          0 :         continue;
    3702                 :            : 
    3703                 :          0 :       ypart = operand_subword (y, i, 1, mode);
    3704                 :            : 
    3705                 :            :       /* If we can't get a part of Y, put Y into memory if it is a
    3706                 :            :          constant.  Otherwise, force it into a register.  Then we must
    3707                 :            :          be able to get a part of Y.  */
    3708                 :          0 :       if (ypart == 0 && CONSTANT_P (y))
    3709                 :            :         {
    3710                 :          0 :           y = use_anchored_address (force_const_mem (mode, y));
    3711                 :          0 :           ypart = operand_subword (y, i, 1, mode);
    3712                 :            :         }
    3713                 :          0 :       else if (ypart == 0)
    3714                 :          0 :         ypart = operand_subword_force (y, i, mode);
    3715                 :            : 
    3716                 :          0 :       gcc_assert (xpart && ypart);
    3717                 :            : 
    3718                 :          0 :       need_clobber |= (GET_CODE (xpart) == SUBREG);
    3719                 :            : 
    3720                 :          0 :       last_insn = emit_move_insn (xpart, ypart);
    3721                 :            :     }
    3722                 :            : 
    3723                 :          0 :   seq = get_insns ();
    3724                 :          0 :   end_sequence ();
    3725                 :            : 
    3726                 :            :   /* Show the output dies here.  This is necessary for SUBREGs
    3727                 :            :      of pseudos since we cannot track their lifetimes correctly;
    3728                 :            :      hard regs shouldn't appear here except as return values.
    3729                 :            :      We never want to emit such a clobber after reload.  */
    3730                 :          0 :   if (x != y
    3731                 :          0 :       && ! (reload_in_progress || reload_completed)
    3732                 :          0 :       && need_clobber != 0)
    3733                 :          0 :     emit_clobber (x);
    3734                 :            : 
    3735                 :          0 :   emit_insn (seq);
    3736                 :            : 
    3737                 :          0 :   return last_insn;
    3738                 :            : }
    3739                 :            : 
    3740                 :            : /* Low level part of emit_move_insn.
    3741                 :            :    Called just like emit_move_insn, but assumes X and Y
    3742                 :            :    are basically valid.  */
    3743                 :            : 
    3744                 :            : rtx_insn *
    3745                 :   48876200 : emit_move_insn_1 (rtx x, rtx y)
    3746                 :            : {
    3747                 :   48876200 :   machine_mode mode = GET_MODE (x);
    3748                 :   48876200 :   enum insn_code code;
    3749                 :            : 
    3750                 :   48876200 :   gcc_assert ((unsigned int) mode < (unsigned int) MAX_MACHINE_MODE);
    3751                 :            : 
    3752                 :   48876200 :   code = optab_handler (mov_optab, mode);
    3753                 :   48876200 :   if (code != CODE_FOR_nothing)
    3754                 :   48646100 :     return emit_insn (GEN_FCN (code) (x, y));
    3755                 :            : 
    3756                 :            :   /* Expand complex moves by moving real part and imag part.  */
    3757                 :     230127 :   if (COMPLEX_MODE_P (mode))
    3758                 :      99452 :     return emit_move_complex (mode, x, y);
    3759                 :            : 
    3760                 :     130675 :   if (GET_MODE_CLASS (mode) == MODE_DECIMAL_FLOAT
    3761                 :          0 :       || ALL_FIXED_POINT_MODE_P (mode))
    3762                 :            :     {
    3763                 :     130675 :       rtx_insn *result = emit_move_via_integer (mode, x, y, true);
    3764                 :            : 
    3765                 :            :       /* If we can't find an integer mode, use multi words.  */
    3766                 :     130675 :       if (result)
    3767                 :            :         return result;
    3768                 :            :       else
    3769                 :          0 :         return emit_move_multi_word (mode, x, y);
    3770                 :            :     }
    3771                 :            : 
    3772                 :          0 :   if (GET_MODE_CLASS (mode) == MODE_CC)
    3773                 :          0 :     return emit_move_ccmode (mode, x, y);
    3774                 :            : 
    3775                 :            :   /* Try using a move pattern for the corresponding integer mode.  This is
    3776                 :            :      only safe when simplify_subreg can convert MODE constants into integer
    3777                 :            :      constants.  At present, it can only do this reliably if the value
    3778                 :            :      fits within a HOST_WIDE_INT.  */
    3779                 :          0 :   if (!CONSTANT_P (y)
    3780                 :          0 :       || known_le (GET_MODE_BITSIZE (mode), HOST_BITS_PER_WIDE_INT))
    3781                 :            :     {
    3782                 :          0 :       rtx_insn *ret = emit_move_via_integer (mode, x, y, lra_in_progress);
    3783                 :            : 
    3784                 :          0 :       if (ret)
    3785                 :            :         {
    3786                 :          0 :           if (! lra_in_progress || recog (PATTERN (ret), ret, 0) >= 0)
    3787                 :          0 :             return ret;
    3788                 :            :         }
    3789                 :            :     }
    3790                 :            : 
    3791                 :          0 :   return emit_move_multi_word (mode, x, y);
    3792                 :            : }
    3793                 :            : 
    3794                 :            : /* Generate code to copy Y into X.
    3795                 :            :    Both Y and X must have the same mode, except that
    3796                 :            :    Y can be a constant with VOIDmode.
    3797                 :            :    This mode cannot be BLKmode; use emit_block_move for that.
    3798                 :            : 
    3799                 :            :    Return the last instruction emitted.  */
    3800                 :            : 
    3801                 :            : rtx_insn *
    3802                 :   44462700 : emit_move_insn (rtx x, rtx y)
    3803                 :            : {
    3804                 :   44462700 :   machine_mode mode = GET_MODE (x);
    3805                 :   44462700 :   rtx y_cst = NULL_RTX;
    3806                 :   44462700 :   rtx_insn *last_insn;
    3807                 :   44462700 :   rtx set;
    3808                 :            : 
    3809                 :   44462700 :   gcc_assert (mode != BLKmode
    3810                 :            :               && (GET_MODE (y) == mode || GET_MODE (y) == VOIDmode));
    3811                 :            : 
    3812                 :   44462700 :   if (CONSTANT_P (y))
    3813                 :            :     {
    3814                 :   10321600 :       if (optimize
    3815                 :    8293520 :           && SCALAR_FLOAT_MODE_P (GET_MODE (x))
    3816                 :   10897900 :           && (last_insn = compress_float_constant (x, y)))
    3817                 :            :         return last_insn;
    3818                 :            : 
    3819                 :   10252400 :       y_cst = y;
    3820                 :            : 
    3821                 :   10252400 :       if (!targetm.legitimate_constant_p (mode, y))
    3822                 :            :         {
    3823                 :     196258 :           y = force_const_mem (mode, y);
    3824                 :            : 
    3825                 :            :           /* If the target's cannot_force_const_mem prevented the spill,
    3826                 :            :              assume that the target's move expanders will also take care
    3827                 :            :              of the non-legitimate constant.  */
    3828                 :     196258 :           if (!y)
    3829                 :            :             y = y_cst;
    3830                 :            :           else
    3831                 :     177457 :             y = use_anchored_address (y);
    3832                 :            :         }
    3833                 :            :     }
    3834                 :            : 
    3835                 :            :   /* If X or Y are memory references, verify that their addresses are valid
    3836                 :            :      for the machine.  */
    3837                 :   44393500 :   if (MEM_P (x)
    3838                 :   54900500 :       && (! memory_address_addr_space_p (GET_MODE (x), XEXP (x, 0),
    3839                 :   10507000 :                                          MEM_ADDR_SPACE (x))
    3840                 :    3299820 :           && ! push_operand (x, GET_MODE (x))))
    3841                 :          9 :     x = validize_mem (x);
    3842                 :            : 
    3843                 :   44393500 :   if (MEM_P (y)
    3844                 :   55890600 :       && ! memory_address_addr_space_p (GET_MODE (y), XEXP (y, 0),
    3845                 :   11497100 :                                         MEM_ADDR_SPACE (y)))
    3846                 :        916 :     y = validize_mem (y);
    3847                 :            : 
    3848                 :   44393500 :   gcc_assert (mode != BLKmode);
    3849                 :            : 
    3850                 :   44393500 :   last_insn = emit_move_insn_1 (x, y);
    3851                 :            : 
    3852                 :   10252400 :   if (y_cst && REG_P (x)
    3853                 :    6797070 :       && (set = single_set (last_insn)) != NULL_RTX
    3854                 :    6797070 :       && SET_DEST (set) == x
    3855                 :   51173600 :       && ! rtx_equal_p (y_cst, SET_SRC (set)))
    3856                 :     789473 :     set_unique_reg_note (last_insn, REG_EQUAL, copy_rtx (y_cst));
    3857                 :            : 
    3858                 :            :   return last_insn;
    3859                 :            : }
    3860                 :            : 
    3861                 :            : /* Generate the body of an instruction to copy Y into X.
    3862                 :            :    It may be a list of insns, if one insn isn't enough.  */
    3863                 :            : 
    3864                 :            : rtx_insn *
    3865                 :    4482710 : gen_move_insn (rtx x, rtx y)
    3866                 :            : {
    3867                 :    4482710 :   rtx_insn *seq;
    3868                 :            : 
    3869                 :    4482710 :   start_sequence ();
    3870                 :    4482710 :   emit_move_insn_1 (x, y);
    3871                 :    4482710 :   seq = get_insns ();
    3872                 :    4482710 :   end_sequence ();
    3873                 :    4482710 :   return seq;
    3874                 :            : }
    3875                 :            : 
    3876                 :            : /* If Y is representable exactly in a narrower mode, and the target can
    3877                 :            :    perform the extension directly from constant or memory, then emit the
    3878                 :            :    move as an extension.  */
    3879                 :            : 
    3880                 :            : static rtx_insn *
    3881                 :     576332 : compress_float_constant (rtx x, rtx y)
    3882                 :            : {
    3883                 :     576332 :   machine_mode dstmode = GET_MODE (x);
    3884                 :     576332 :   machine_mode orig_srcmode = GET_MODE (y);
    3885                 :     576332 :   machine_mode srcmode;
    3886                 :     576332 :   const REAL_VALUE_TYPE *r;
    3887                 :     576332 :   int oldcost, newcost;
    3888                 :     576332 :   bool speed = optimize_insn_for_speed_p ();
    3889                 :            : 
    3890                 :     576332 :   r = CONST_DOUBLE_REAL_VALUE (y);
    3891                 :            : 
    3892                 :     576332 :   if (targetm.legitimate_constant_p (dstmode, y))
    3893                 :     576332 :     oldcost = set_src_cost (y, orig_srcmode, speed);
    3894                 :            :   else
    3895                 :          0 :     oldcost = set_src_cost (force_const_mem (dstmode, y), dstmode, speed);
    3896                 :            : 
    3897                 :    1474500 :   FOR_EACH_MODE_UNTIL (srcmode, orig_srcmode)
    3898                 :            :     {
    3899                 :     518283 :       enum insn_code ic;
    3900                 :     518283 :       rtx trunc_y;
    3901                 :     518283 :       rtx_insn *last_insn;
    3902                 :            : 
    3903                 :            :       /* Skip if the target can't extend this way.  */
    3904                 :     518283 :       ic = can_extend_p (dstmode, srcmode, 0);
    3905                 :     518283 :       if (ic == CODE_FOR_nothing)
    3906                 :      96337 :         continue;
    3907                 :            : 
    3908                 :            :       /* Skip if the narrowed value isn't exact.  */
    3909                 :     421946 :       if (! exact_real_truncate (srcmode, r))
    3910                 :      54169 :         continue;
    3911                 :            : 
    3912                 :     367777 :       trunc_y = const_double_from_real_value (*r, srcmode);
    3913                 :            : 
    3914                 :     367777 :       if (targetm.legitimate_constant_p (srcmode, trunc_y))
    3915                 :            :         {
    3916                 :            :           /* Skip if the target needs extra instructions to perform
    3917                 :            :              the extension.  */
    3918                 :     367777 :           if (!insn_operand_matches (ic, 1, trunc_y))
    3919                 :          0 :             continue;
    3920                 :            :           /* This is valid, but may not be cheaper than the original. */
    3921                 :     367777 :           newcost = set_src_cost (gen_rtx_FLOAT_EXTEND (dstmode, trunc_y),
    3922                 :            :                                   dstmode, speed);
    3923                 :     367777 :           if (oldcost < newcost)
    3924                 :     298580 :             continue;
    3925                 :            :         }
    3926                 :          0 :       else if (float_extend_from_mem[dstmode][srcmode])
    3927                 :            :         {
    3928                 :          0 :           trunc_y = force_const_mem (srcmode, trunc_y);
    3929                 :            :           /* This is valid, but may not be cheaper than the original. */
    3930                 :          0 :           newcost = set_src_cost (gen_rtx_FLOAT_EXTEND (dstmode, trunc_y),
    3931                 :            :                                   dstmode, speed);
    3932                 :          0 :           if (oldcost < newcost)
    3933                 :          0 :             continue;
    3934                 :          0 :           trunc_y = validize_mem (trunc_y);
    3935                 :            :         }
    3936                 :            :       else
    3937                 :          0 :         continue;
    3938                 :            : 
    3939                 :            :       /* For CSE's benefit, force the compressed constant pool entry
    3940                 :            :          into a new pseudo.  This constant may be used in different modes,
    3941                 :            :          and if not, combine will put things back together for us.  */
    3942                 :      69197 :       trunc_y = force_reg (srcmode, trunc_y);
    3943                 :            : 
    3944                 :            :       /* If x is a hard register, perform the extension into a pseudo,
    3945                 :            :          so that e.g. stack realignment code is aware of it.  */
    3946                 :      69197 :       rtx target = x;
    3947                 :      69197 :       if (REG_P (x) && HARD_REGISTER_P (x))
    3948                 :          1 :         target = gen_reg_rtx (dstmode);
    3949                 :            : 
    3950                 :      69197 :       emit_unop_insn (ic, target, trunc_y, UNKNOWN);
    3951                 :      69197 :       last_insn = get_last_insn ();
    3952                 :            : 
    3953                 :      69197 :       if (REG_P (target))
    3954                 :      58847 :         set_unique_reg_note (last_insn, REG_EQUAL, y);
    3955                 :            : 
    3956                 :      69197 :       if (target != x)
    3957                 :          1 :         return emit_move_insn (x, target);
    3958                 :            :       return last_insn;
    3959                 :            :     }
    3960                 :            : 
    3961                 :            :   return NULL;
    3962                 :            : }
    3963                 :            : 
    3964                 :            : /* Pushing data onto the stack.  */
    3965                 :            : 
    3966                 :            : /* Push a block of length SIZE (perhaps variable)
    3967                 :            :    and return an rtx to address the beginning of the block.
    3968                 :            :    The value may be virtual_outgoing_args_rtx.
    3969                 :            : 
    3970                 :            :    EXTRA is the number of bytes of padding to push in addition to SIZE.
    3971                 :            :    BELOW nonzero means this padding comes at low addresses;
    3972                 :            :    otherwise, the padding comes at high addresses.  */
    3973                 :            : 
    3974                 :            : rtx
    3975                 :      19543 : push_block (rtx size, poly_int64 extra, int below)
    3976                 :            : {
    3977                 :      19543 :   rtx temp;
    3978                 :            : 
    3979                 :      21331 :   size = convert_modes (Pmode, ptr_mode, size, 1);
    3980                 :      19543 :   if (CONSTANT_P (size))
    3981                 :      21331 :     anti_adjust_stack (plus_constant (Pmode, size, extra));
    3982                 :          0 :   else if (REG_P (size) && known_eq (extra, 0))
    3983                 :          0 :     anti_adjust_stack (size);
    3984                 :            :   else
    3985                 :            :     {
    3986                 :          0 :       temp = copy_to_mode_reg (Pmode, size);
    3987                 :          0 :       if (maybe_ne (extra, 0))
    3988                 :          0 :         temp = expand_binop (Pmode, add_optab, temp,
    3989                 :          0 :                              gen_int_mode (extra, Pmode),
    3990                 :            :                              temp, 0, OPTAB_LIB_WIDEN);
    3991                 :          0 :       anti_adjust_stack (temp);
    3992                 :            :     }
    3993                 :            : 
    3994                 :      19543 :   if (STACK_GROWS_DOWNWARD)
    3995                 :            :     {
    3996                 :      19543 :       temp = virtual_outgoing_args_rtx;
    3997                 :      19543 :       if (maybe_ne (extra, 0) && below)
    3998                 :          0 :         temp = plus_constant (Pmode, temp, extra);
    3999                 :            :     }
    4000                 :            :   else
    4001                 :            :     {
    4002                 :            :       poly_int64 csize;
    4003                 :            :       if (poly_int_rtx_p (size, &csize))
    4004                 :            :         temp = plus_constant (Pmode, virtual_outgoing_args_rtx,
    4005                 :            :                               -csize - (below ? 0 : extra));
    4006                 :            :       else if (maybe_ne (extra, 0) && !below)
    4007                 :            :         temp = gen_rtx_PLUS (Pmode, virtual_outgoing_args_rtx,
    4008                 :            :                              negate_rtx (Pmode, plus_constant (Pmode, size,
    4009                 :            :                                                                extra)));
    4010                 :            :       else
    4011                 :            :         temp = gen_rtx_PLUS (Pmode, virtual_outgoing_args_rtx,
    4012                 :            :                              negate_rtx (Pmode, size));
    4013                 :            :     }
    4014                 :            : 
    4015                 :      19543 :   return memory_address (NARROWEST_INT_MODE, temp);
    4016                 :            : }
    4017                 :            : 
    4018                 :            : /* A utility routine that returns the base of an auto-inc memory, or NULL.  */
    4019                 :            : 
    4020                 :            : static rtx
    4021                 :    3801450 : mem_autoinc_base (rtx mem)
    4022                 :            : {
    4023                 :          0 :   if (MEM_P (mem))
    4024                 :            :     {
    4025                 :    2986000 :       rtx addr = XEXP (mem, 0);
    4026                 :    2986000 :       if (GET_RTX_CLASS (GET_CODE (addr)) == RTX_AUTOINC)
    4027                 :    1743860 :         return XEXP (addr, 0);
    4028                 :            :     }
    4029                 :            :   return NULL;
    4030                 :            : }
    4031                 :            : 
    4032                 :            : /* A utility routine used here, in reload, and in try_split.  The insns
    4033                 :            :    after PREV up to and including LAST are known to adjust the stack,
    4034                 :            :    with a final value of END_ARGS_SIZE.  Iterate backward from LAST
    4035                 :            :    placing notes as appropriate.  PREV may be NULL, indicating the
    4036                 :            :    entire insn sequence prior to LAST should be scanned.
    4037                 :            : 
    4038                 :            :    The set of allowed stack pointer modifications is small:
    4039                 :            :      (1) One or more auto-inc style memory references (aka pushes),
    4040                 :            :      (2) One or more addition/subtraction with the SP as destination,
    4041                 :            :      (3) A single move insn with the SP as destination,
    4042                 :            :      (4) A call_pop insn,
    4043                 :            :      (5) Noreturn call insns if !ACCUMULATE_OUTGOING_ARGS.
    4044                 :            : 
    4045                 :            :    Insns in the sequence that do not modify the SP are ignored,
    4046                 :            :    except for noreturn calls.
    4047                 :            : 
    4048                 :            :    The return value is the amount of adjustment that can be trivially
    4049                 :            :    verified, via immediate operand or auto-inc.  If the adjustment
    4050                 :            :    cannot be trivially extracted, the return value is HOST_WIDE_INT_MIN.  */
    4051                 :            : 
    4052                 :            : poly_int64
    4053                 :    4389940 : find_args_size_adjust (rtx_insn *insn)
    4054                 :            : {
    4055                 :    4389940 :   rtx dest, set, pat;
    4056                 :    4389940 :   int i;
    4057                 :            : 
    4058                 :    4389940 :   pat = PATTERN (insn);
    4059                 :    4389940 :   set = NULL;
    4060                 :            : 
    4061                 :            :   /* Look for a call_pop pattern.  */
    4062                 :    4389940 :   if (CALL_P (insn))
    4063                 :            :     {
    4064                 :            :       /* We have to allow non-call_pop patterns for the case
    4065                 :            :          of emit_single_push_insn of a TLS address.  */
    4066                 :    2222060 :       if (GET_CODE (pat) != PARALLEL)
    4067                 :    2210360 :         return 0;
    4068                 :            : 
    4069                 :            :       /* All call_pop have a stack pointer adjust in the parallel.
    4070                 :            :          The call itself is always first, and the stack adjust is
    4071                 :            :          usually last, so search from the end.  */
    4072                 :      11690 :       for (i = XVECLEN (pat, 0) - 1; i > 0; --i)
    4073                 :            :         {
    4074                 :      11690 :           set = XVECEXP (pat, 0, i);
    4075                 :      11690 :           if (GET_CODE (set) != SET)
    4076                 :          0 :             continue;
    4077                 :      11690 :           dest = SET_DEST (set);
    4078                 :      11690 :           if (dest == stack_pointer_rtx)
    4079                 :            :             break;
    4080                 :            :         }
    4081                 :            :       /* We'd better have found the stack pointer adjust.  */
    4082                 :      11690 :       if (i == 0)
    4083                 :          0 :         return 0;
    4084                 :            :       /* Fall through to process the extracted SET and DEST
    4085                 :            :          as if it was a standalone insn.  */
    4086                 :            :     }
    4087                 :    2167880 :   else if (GET_CODE (pat) == SET)
    4088                 :            :     set = pat;
    4089                 :     219405 :   else if ((set = single_set (insn)) != NULL)
    4090                 :            :     ;
    4091                 :      40573 :   else if (GET_CODE (pat) == PARALLEL)
    4092                 :            :     {
    4093                 :            :       /* ??? Some older ports use a parallel with a stack adjust
    4094                 :            :          and a store for a PUSH_ROUNDING pattern, rather than a
    4095                 :            :          PRE/POST_MODIFY rtx.  Don't force them to update yet...  */
    4096                 :            :       /* ??? See h8300 and m68k, pushqi1.  */
    4097                 :          0 :       for (i = XVECLEN (pat, 0) - 1; i >= 0; --i)
    4098                 :            :         {
    4099                 :          0 :           set = XVECEXP (pat, 0, i);
    4100                 :          0 :           if (GET_CODE (set) != SET)
    4101                 :          0 :             continue;
    4102                 :          0 :           dest = SET_DEST (set);
    4103                 :          0 :           if (dest == stack_pointer_rtx)
    4104                 :            :             break;
    4105                 :            : 
    4106                 :            :           /* We do not expect an auto-inc of the sp in the parallel.  */
    4107                 :          0 :           gcc_checking_assert (mem_autoinc_base (dest) != stack_pointer_rtx);
    4108                 :          0 :           gcc_checking_assert (mem_autoinc_base (SET_SRC (set))
    4109                 :            :                                != stack_pointer_rtx);
    4110                 :            :         }
    4111                 :          0 :       if (i < 0)
    4112                 :          0 :         return 0;
    4113                 :            :     }
    4114                 :            :   else
    4115                 :      40573 :     return 0;
    4116                 :            : 
    4117                 :    2139000 :   dest = SET_DEST (set);
    4118                 :            : 
    4119                 :            :   /* Look for direct modifications of the stack pointer.  */
    4120                 :    2139000 :   if (REG_P (dest) && REGNO (dest) == STACK_POINTER_REGNUM)
    4121                 :            :     {
    4122                 :            :       /* Look for a trivial adjustment, otherwise assume nothing.  */
    4123                 :            :       /* Note that the SPU restore_stack_block pattern refers to
    4124                 :            :          the stack pointer in V4SImode.  Consider that non-trivial.  */
    4125                 :     238278 :       poly_int64 offset;
    4126                 :     238278 :       if (SCALAR_INT_MODE_P (GET_MODE (dest))
    4127                 :     238278 :           && strip_offset (SET_SRC (set), &offset) == stack_pointer_rtx)
    4128                 :     236688 :         return offset;
    4129                 :            :       /* ??? Reload can generate no-op moves, which will be cleaned
    4130                 :            :          up later.  Recognize it and continue searching.  */
    4131                 :       1590 :       else if (rtx_equal_p (dest, SET_SRC (set)))
    4132                 :          0 :         return 0;
    4133                 :            :       else
    4134                 :       1590 :         return HOST_WIDE_INT_MIN;
    4135                 :            :     }
    4136                 :            :   else
    4137                 :            :     {
    4138                 :    1900720 :       rtx mem, addr;
    4139                 :            : 
    4140                 :            :       /* Otherwise only think about autoinc patterns.  */
    4141                 :    3621590 :       if (mem_autoinc_base (dest) == stack_pointer_rtx)
    4142                 :            :         {
    4143                 :    1660010 :           mem = dest;
    4144                 :    2797990 :           gcc_checking_assert (mem_autoinc_base (SET_SRC (set))
    4145                 :            :                                != stack_pointer_rtx);
    4146                 :            :         }
    4147                 :     367864 :       else if (mem_autoinc_base (SET_SRC (set)) == stack_pointer_rtx)
    4148                 :            :         mem = SET_SRC (set);
    4149                 :            :       else
    4150                 :     156862 :         return 0;
    4151                 :            : 
    4152                 :    1743860 :       addr = XEXP (mem, 0);
    4153                 :    1743860 :       switch (GET_CODE (addr))
    4154                 :            :         {
    4155                 :      83855 :         case PRE_INC:
    4156                 :      83855 :         case POST_INC:
    4157                 :     167710 :           return GET_MODE_SIZE (GET_MODE (mem));
    4158                 :    1653880 :         case PRE_DEC:
    4159                 :    1653880 :         case POST_DEC:
    4160                 :    3307760 :           return -GET_MODE_SIZE (GET_MODE (mem));
    4161                 :       6127 :         case PRE_MODIFY:
    4162                 :       6127 :         case POST_MODIFY:
    4163                 :       6127 :           addr = XEXP (addr, 1);
    4164                 :       6127 :           gcc_assert (GET_CODE (addr) == PLUS);
    4165                 :       6127 :           gcc_assert (XEXP (addr, 0) == stack_pointer_rtx);
    4166                 :       6127 :           return rtx_to_poly_int64 (XEXP (addr, 1));
    4167                 :          0 :         default:
    4168                 :          0 :           gcc_unreachable ();
    4169                 :            :         }
    4170                 :            :     }
    4171                 :            : }
    4172                 :            : 
    4173                 :            : poly_int64
    4174                 :     902002 : fixup_args_size_notes (rtx_insn *prev, rtx_insn *last,
    4175                 :            :                        poly_int64 end_args_size)
    4176                 :            : {
    4177                 :     902002 :   poly_int64 args_size = end_args_size;
    4178                 :     902002 :   bool saw_unknown = false;
    4179                 :     902002 :   rtx_insn *insn;
    4180                 :            : 
    4181                 :    2659760 :   for (insn = last; insn != prev; insn = PREV_INSN (insn))
    4182                 :            :     {
    4183                 :    1757760 :       if (!NONDEBUG_INSN_P (insn))
    4184                 :          0 :         continue;
    4185                 :            : 
    4186                 :            :       /* We might have existing REG_ARGS_SIZE notes, e.g. when pushing
    4187                 :            :          a call argument containing a TLS address that itself requires
    4188                 :            :          a call to __tls_get_addr.  The handling of stack_pointer_delta
    4189                 :            :          in emit_single_push_insn is supposed to ensure that any such
    4190                 :            :          notes are already correct.  */
    4191                 :    1757760 :       rtx note = find_reg_note (insn, REG_ARGS_SIZE, NULL_RTX);
    4192                 :    1757760 :       gcc_assert (!note || known_eq (args_size, get_args_size (note)));
    4193                 :            : 
    4194                 :    1757760 :       poly_int64 this_delta = find_args_size_adjust (insn);
    4195                 :    1757760 :       if (known_eq (this_delta, 0))
    4196                 :            :         {
    4197                 :     391481 :           if (!CALL_P (insn)
    4198                 :          5 :               || ACCUMULATE_OUTGOING_ARGS
    4199                 :     195748 :               || find_reg_note (insn, REG_NORETURN, NULL_RTX) == NULL_RTX)
    4200                 :     195738 :             continue;
    4201                 :            :         }
    4202                 :            : 
    4203                 :    1562020 :       gcc_assert (!saw_unknown);
    4204                 :    1562020 :       if (known_eq (this_delta, HOST_WIDE_INT_MIN))
    4205                 :       1590 :         saw_unknown = true;
    4206                 :            : 
    4207                 :    1562020 :       if (!note)
    4208                 :    1562020 :         add_args_size_note (insn, args_size);
    4209                 :    1562020 :       if (STACK_GROWS_DOWNWARD)
    4210                 :    1562020 :         this_delta = -poly_uint64 (this_delta);
    4211                 :            : 
    4212                 :    1562020 :       if (saw_unknown)
    4213                 :    1757760 :         args_size = HOST_WIDE_INT_MIN;
    4214                 :            :       else
    4215                 :    1757760 :         args_size -= this_delta;
    4216                 :            :     }
    4217                 :            : 
    4218                 :     902002 :   return args_size;
    4219                 :            : }
    4220                 :            : 
    4221                 :            : #ifdef PUSH_ROUNDING
    4222                 :            : /* Emit single push insn.  */
    4223                 :            : 
    4224                 :            : static void
    4225                 :    2090880 : emit_single_push_insn_1 (machine_mode mode, rtx x, tree type)
    4226                 :            : {
    4227                 :    2090880 :   rtx dest_addr;
    4228                 :    4181770 :   poly_int64 rounded_size = PUSH_ROUNDING (GET_MODE_SIZE (mode));
    4229                 :    2090880 :   rtx dest;
    4230                 :    2090880 :   enum insn_code icode;
    4231                 :            : 
    4232                 :            :   /* If there is push pattern, use it.  Otherwise try old way of throwing
    4233                 :            :      MEM representing push operation to move expander.  */
    4234                 :    2090880 :   icode = optab_handler (push_optab, mode);
    4235                 :    2090880 :   if (icode != CODE_FOR_nothing)
    4236                 :            :     {
    4237                 :          0 :       class expand_operand ops[1];
    4238                 :            : 
    4239                 :          0 :       create_input_operand (&ops[0], x, mode);
    4240                 :          0 :       if (maybe_expand_insn (icode, 1, ops))
    4241                 :          0 :         return;
    4242                 :            :     }
    4243                 :    4181770 :   if (known_eq (GET_MODE_SIZE (mode), rounded_size))
    4244                 :    3365370 :     dest_addr = gen_rtx_fmt_e (STACK_PUSH_CODE, Pmode, stack_pointer_rtx);
    4245                 :            :   /* If we are to pad downward, adjust the stack pointer first and
    4246                 :            :      then store X into the stack location using an offset.  This is
    4247                 :            :      because emit_move_insn does not know how to pad; it does not have
    4248                 :            :      access to type.  */
    4249                 :      73566 :   else if (targetm.calls.function_arg_padding (mode, type) == PAD_DOWNWARD)
    4250                 :            :     {
    4251                 :          0 :       emit_move_insn (stack_pointer_rtx,
    4252                 :          0 :                       expand_binop (Pmode,
    4253                 :            :                                     STACK_GROWS_DOWNWARD ? sub_optab
    4254                 :            :                                     : add_optab,
    4255                 :            :                                     stack_pointer_rtx,
    4256                 :          0 :                                     gen_int_mode (rounded_size, Pmode),
    4257                 :            :                                     NULL_RTX, 0, OPTAB_LIB_WIDEN));
    4258                 :            : 
    4259                 :          0 :       poly_int64 offset = rounded_size - GET_MODE_SIZE (mode);
    4260                 :          0 :       if (STACK_GROWS_DOWNWARD && STACK_PUSH_CODE == POST_DEC)
    4261                 :            :         /* We have already decremented the stack pointer, so get the
    4262                 :            :            previous value.  */
    4263                 :            :         offset += rounded_size;
    4264                 :            : 
    4265                 :          0 :       if (!STACK_GROWS_DOWNWARD && STACK_PUSH_CODE == POST_INC)
    4266                 :            :         /* We have already incremented the stack pointer, so get the
    4267                 :            :            previous value.  */
    4268                 :            :         offset -= rounded_size;
    4269                 :            : 
    4270                 :          0 :       dest_addr = plus_constant (Pmode, stack_pointer_rtx, offset);
    4271                 :            :     }
    4272                 :            :   else
    4273                 :            :     {
    4274                 :            :       if (STACK_GROWS_DOWNWARD)
    4275                 :            :         /* ??? This seems wrong if STACK_PUSH_CODE == POST_DEC.  */
    4276                 :      85888 :         dest_addr = plus_constant (Pmode, stack_pointer_rtx, -rounded_size);
    4277                 :            :       else
    4278                 :            :         /* ??? This seems wrong if STACK_PUSH_CODE == POST_INC.  */
    4279                 :            :         dest_addr = plus_constant (Pmode, stack_pointer_rtx, rounded_size);
    4280                 :            : 
    4281                 :      85888 :       dest_addr = gen_rtx_PRE_MODIFY (Pmode, stack_pointer_rtx, dest_addr);
    4282                 :            :     }
    4283                 :            : 
    4284                 :    2090880 :   dest = gen_rtx_MEM (mode, dest_addr);
    4285                 :            : 
    4286                 :    2090880 :   if (type != 0)
    4287                 :            :     {
    4288                 :    1350530 :       set_mem_attributes (dest, type, 1);
    4289                 :            : 
    4290                 :    1350530 :       if (cfun->tail_call_marked)
    4291                 :            :         /* Function incoming arguments may overlap with sibling call
    4292                 :            :            outgoing arguments and we cannot allow reordering of reads
    4293                 :            :            from function arguments with stores to outgoing arguments
    4294                 :            :            of sibling calls.  */
    4295                 :      90470 :         set_mem_alias_set (dest, 0);
    4296                 :            :     }
    4297                 :    2090880 :   emit_move_insn (dest, x);
    4298                 :            : }
    4299                 :            : 
    4300                 :            : /* Emit and annotate a single push insn.  */
    4301                 :            : 
    4302                 :            : static void
    4303                 :    2090880 : emit_single_push_insn (machine_mode mode, rtx x, tree type)
    4304                 :            : {
    4305                 :    2090880 :   poly_int64 delta, old_delta = stack_pointer_delta;
    4306                 :    2090880 :   rtx_insn *prev = get_last_insn ();
    4307                 :    2090880 :   rtx_insn *last;
    4308                 :            : 
    4309                 :    2090880 :   emit_single_push_insn_1 (mode, x, type);
    4310                 :            : 
    4311                 :            :   /* Adjust stack_pointer_delta to describe the situation after the push
    4312                 :            :      we just performed.  Note that we must do this after the push rather
    4313                 :            :      than before the push in case calculating X needs pushes and pops of
    4314                 :            :      its own (e.g. if calling __tls_get_addr).  The REG_ARGS_SIZE notes
    4315                 :            :      for such pushes and pops must not include the effect of the future
    4316                 :            :      push of X.  */
    4317                 :    4181770 :   stack_pointer_delta += PUSH_ROUNDING (GET_MODE_SIZE (mode));
    4318                 :            : 
    4319                 :    2090880 :   last = get_last_insn ();
    4320                 :            : 
    4321                 :            :   /* Notice the common case where we emitted exactly one insn.  */
    4322                 :    2090880 :   if (PREV_INSN (last) == prev)
    4323                 :            :     {
    4324                 :    2017610 :       add_args_size_note (last, stack_pointer_delta);
    4325                 :    2017610 :       return;
    4326                 :            :     }
    4327                 :            : 
    4328                 :      73278 :   delta = fixup_args_size_notes (prev, last, stack_pointer_delta);
    4329                 :      73278 :   gcc_assert (known_eq (delta, HOST_WIDE_INT_MIN)
    4330                 :            :               || known_eq (delta, old_delta));
    4331                 :            : }
    4332                 :            : #endif
    4333                 :            : 
    4334                 :            : /* If reading SIZE bytes from X will end up reading from
    4335                 :            :    Y return the number of bytes that overlap.  Return -1
    4336                 :            :    if there is no overlap or -2 if we can't determine
    4337                 :            :    (for example when X and Y have different base registers).  */
    4338                 :            : 
    4339                 :            : static int
    4340                 :          0 : memory_load_overlap (rtx x, rtx y, HOST_WIDE_INT size)
    4341                 :            : {
    4342                 :          0 :   rtx tmp = plus_constant (Pmode, x, size);
    4343                 :          0 :   rtx sub = simplify_gen_binary (MINUS, Pmode, tmp, y);
    4344                 :            : 
    4345                 :          0 :   if (!CONST_INT_P (sub))
    4346                 :            :     return -2;
    4347                 :            : 
    4348                 :          0 :   HOST_WIDE_INT val = INTVAL (sub);
    4349                 :            : 
    4350                 :          0 :   return IN_RANGE (val, 1, size) ? val : -1;
    4351                 :            : }
    4352                 :            : 
    4353                 :            : /* Generate code to push X onto the stack, assuming it has mode MODE and
    4354                 :            :    type TYPE.
    4355                 :            :    MODE is redundant except when X is a CONST_INT (since they don't
    4356                 :            :    carry mode info).
    4357                 :            :    SIZE is an rtx for the size of data to be copied (in bytes),
    4358                 :            :    needed only if X is BLKmode.
    4359                 :            :    Return true if successful.  May return false if asked to push a
    4360                 :            :    partial argument during a sibcall optimization (as specified by
    4361                 :            :    SIBCALL_P) and the incoming and outgoing pointers cannot be shown
    4362                 :            :    to not overlap.
    4363                 :            : 
    4364                 :            :    ALIGN (in bits) is maximum alignment we can assume.
    4365                 :            : 
    4366                 :            :    If PARTIAL and REG are both nonzero, then copy that many of the first
    4367                 :            :    bytes of X into registers starting with REG, and push the rest of X.
    4368                 :            :    The amount of space pushed is decreased by PARTIAL bytes.
    4369                 :            :    REG must be a hard register in this case.
    4370                 :            :    If REG is zero but PARTIAL is not, take any all others actions for an
    4371                 :            :    argument partially in registers, but do not actually load any
    4372                 :            :    registers.
    4373                 :            : 
    4374                 :            :    EXTRA is the amount in bytes of extra space to leave next to this arg.
    4375                 :            :    This is ignored if an argument block has already been allocated.
    4376                 :            : 
    4377                 :            :    On a machine that lacks real push insns, ARGS_ADDR is the address of
    4378                 :            :    the bottom of the argument block for this call.  We use indexing off there
    4379                 :            :    to store the arg.  On machines with push insns, ARGS_ADDR is 0 when a
    4380                 :            :    argument block has not been preallocated.
    4381                 :            : 
    4382                 :            :    ARGS_SO_FAR is the size of args previously pushed for this call.
    4383                 :            : 
    4384                 :            :    REG_PARM_STACK_SPACE is nonzero if functions require stack space
    4385                 :            :    for arguments passed in registers.  If nonzero, it will be the number
    4386                 :            :    of bytes required.  */
    4387                 :            : 
    4388                 :            : bool
    4389                 :    1613930 : emit_push_insn (rtx x, machine_mode mode, tree type, rtx size,
    4390                 :            :                 unsigned int align, int partial, rtx reg, poly_int64 extra,
    4391                 :            :                 rtx args_addr, rtx args_so_far, int reg_parm_stack_space,
    4392                 :            :                 rtx alignment_pad, bool sibcall_p)
    4393                 :            : {
    4394                 :    1613930 :   rtx xinner;
    4395                 :    1613930 :   pad_direction stack_direction
    4396                 :            :     = STACK_GROWS_DOWNWARD ? PAD_DOWNWARD : PAD_UPWARD;
    4397                 :            : 
    4398                 :            :   /* Decide where to pad the argument: PAD_DOWNWARD for below,
    4399                 :            :      PAD_UPWARD for above, or PAD_NONE for don't pad it.
    4400                 :            :      Default is below for small data on big-endian machines; else above.  */
    4401                 :    1613930 :   pad_direction where_pad = targetm.calls.function_arg_padding (mode, type);
    4402                 :            : 
    4403                 :            :   /* Invert direction if stack is post-decrement.
    4404                 :            :      FIXME: why?  */
    4405                 :    1613930 :   if (STACK_PUSH_CODE == POST_DEC)
    4406                 :            :     if (where_pad != PAD_NONE)
    4407                 :            :       where_pad = (where_pad == PAD_DOWNWARD ? PAD_UPWARD : PAD_DOWNWARD);
    4408                 :            : 
    4409                 :    1613930 :   xinner = x;
    4410                 :            : 
    4411                 :    1613930 :   int nregs = partial / UNITS_PER_WORD;
    4412                 :    1613930 :   rtx *tmp_regs = NULL;
    4413                 :    1613930 :   int overlapping = 0;
    4414                 :            : 
    4415                 :    1613930 :   if (mode == BLKmode
    4416                 :            :       || (STRICT_ALIGNMENT && align < GET_MODE_ALIGNMENT (mode)))
    4417                 :            :     {
    4418                 :            :       /* Copy a block into the stack, entirely or partially.  */
    4419                 :            : 
    4420                 :     218913 :       rtx temp;
    4421                 :     218913 :       int used;
    4422                 :     218913 :       int offset;
    4423                 :     218913 :       int skip;
    4424                 :            : 
    4425                 :     218913 :       offset = partial % (PARM_BOUNDARY / BITS_PER_UNIT);
    4426                 :     218913 :       used = partial - offset;
    4427                 :            : 
    4428                 :     218913 :       if (mode != BLKmode)
    4429                 :            :         {
    4430                 :            :           /* A value is to be stored in an insufficiently aligned
    4431                 :            :              stack slot; copy via a suitably aligned slot if
    4432                 :            :              necessary.  */
    4433                 :            :           size = gen_int_mode (GET_MODE_SIZE (mode), Pmode);
    4434                 :            :           if (!MEM_P (xinner))
    4435                 :            :             {
    4436                 :            :               temp = assign_temp (type, 1, 1);
    4437                 :            :               emit_move_insn (temp, xinner);
    4438                 :            :               xinner = temp;
    4439                 :            :             }
    4440                 :            :         }
    4441                 :            : 
    4442                 :     218913 :       gcc_assert (size);
    4443                 :            : 
    4444                 :            :       /* USED is now the # of bytes we need not copy to the stack
    4445                 :            :          because registers will take care of them.  */
    4446                 :            : 
    4447                 :     218913 :       if (partial != 0)
    4448                 :          0 :         xinner = adjust_address (xinner, BLKmode, used);
    4449                 :            : 
    4450                 :            :       /* If the partial register-part of the arg counts in its stack size,
    4451                 :            :          skip the part of stack space corresponding to the registers.
    4452                 :            :          Otherwise, start copying to the beginning of the stack space,
    4453                 :            :          by setting SKIP to 0.  */
    4454                 :     218913 :       skip = (reg_parm_stack_space == 0) ? 0 : used;
    4455                 :            : 
    4456                 :            : #ifdef PUSH_ROUNDING
    4457                 :            :       /* Do it with several push insns if that doesn't take lots of insns
    4458                 :            :          and if there is no difficulty with push insns that skip bytes
    4459                 :            :          on the stack for alignment purposes.  */
    4460                 :     218913 :       if (args_addr == 0
    4461                 :     218863 :           && PUSH_ARGS
    4462                 :     218863 :           && CONST_INT_P (size)
    4463                 :     218863 :           && skip == 0
    4464                 :     218863 :           && MEM_ALIGN (xinner) >= align
    4465                 :     215913 :           && can_move_by_pieces ((unsigned) INTVAL (size) - used, align)
    4466                 :            :           /* Here we avoid the case of a structure whose weak alignment
    4467                 :            :              forces many pushes of a small amount of data,
    4468                 :            :              and such small pushes do rounding that causes trouble.  */
    4469                 :     209066 :           && ((!targetm.slow_unaligned_access (word_mode, align))
    4470                 :          0 :               || align >= BIGGEST_ALIGNMENT
    4471                 :          0 :               || known_eq (PUSH_ROUNDING (align / BITS_PER_UNIT),
    4472                 :            :                            align / BITS_PER_UNIT))
    4473                 :     427979 :           && known_eq (PUSH_ROUNDING (INTVAL (size)), INTVAL (size)))
    4474                 :            :         {
    4475                 :            :           /* Push padding now if padding above and stack grows down,
    4476                 :            :              or if padding below and stack grows up.
    4477                 :            :              But if space already allocated, this has already been done.  */
    4478                 :     199322 :           if (maybe_ne (extra, 0)
    4479                 :            :               && args_addr == 0
    4480                 :          0 :               && where_pad != PAD_NONE
    4481                 :     199322 :               && where_pad != stack_direction)
    4482                 :          0 :             anti_adjust_stack (gen_int_mode (extra, Pmode));
    4483                 :            : 
    4484                 :     199322 :           move_by_pieces (NULL, xinner, INTVAL (size) - used, align,
    4485                 :            :                           RETURN_BEGIN);
    4486                 :            :         }
    4487                 :            :       else
    4488                 :            : #endif /* PUSH_ROUNDING  */
    4489                 :            :         {
    4490                 :      19591 :           rtx target;
    4491                 :            : 
    4492                 :            :           /* Otherwise make space on the stack and copy the data
    4493                 :            :              to the address of that space.  */
    4494                 :            : 
    4495                 :            :           /* Deduct words put into registers from the size we must copy.  */
    4496                 :      19591 :           if (partial != 0)
    4497                 :            :             {
    4498                 :          0 :               if (CONST_INT_P (size))
    4499                 :          0 :                 size = GEN_INT (INTVAL (size) - used);
    4500                 :            :               else
    4501                 :          0 :                 size = expand_binop (GET_MODE (size), sub_optab, size,
    4502                 :          0 :                                      gen_int_mode (used, GET_MODE (size)),
    4503                 :            :                                      NULL_RTX, 0, OPTAB_LIB_WIDEN);
    4504                 :            :             }
    4505                 :            : 
    4506                 :            :           /* Get the address of the stack space.
    4507                 :            :              In this case, we do not deal with EXTRA separately.
    4508                 :            :              A single stack adjust will do.  */
    4509                 :      19591 :           poly_int64 const_args_so_far;
    4510                 :      19591 :           if (! args_addr)
    4511                 :            :             {
    4512                 :      19541 :               temp = push_block (size, extra, where_pad == PAD_DOWNWARD);
    4513                 :      19541 :               extra = 0;
    4514                 :            :             }
    4515                 :         50 :           else if (poly_int_rtx_p (args_so_far, &const_args_so_far))
    4516                 :         70 :             temp = memory_address (BLKmode,
    4517                 :            :                                    plus_constant (Pmode, args_addr,
    4518                 :            :                                                   skip + const_args_so_far));
    4519                 :            :           else
    4520                 :          0 :             temp = memory_address (BLKmode,
    4521                 :            :                                    plus_constant (Pmode,
    4522                 :            :                                                   gen_rtx_PLUS (Pmode,
    4523                 :            :                                                                 args_addr,
    4524                 :            :                                                                 args_so_far),
    4525                 :            :                                                   skip));
    4526                 :            : 
    4527                 :      19591 :           if (!ACCUMULATE_OUTGOING_ARGS)
    4528                 :            :             {
    4529                 :            :               /* If the source is referenced relative to the stack pointer,
    4530                 :            :                  copy it to another register to stabilize it.  We do not need
    4531                 :            :                  to do this if we know that we won't be changing sp.  */
    4532                 :            : 
    4533                 :      19587 :               if (reg_mentioned_p (virtual_stack_dynamic_rtx, temp)
    4534                 :      19587 :                   || reg_mentioned_p (virtual_outgoing_args_rtx, temp))
    4535                 :      19541 :                 temp = copy_to_reg (temp);
    4536                 :            :             }
    4537                 :            : 
    4538                 :      19591 :           target = gen_rtx_MEM (BLKmode, temp);
    4539                 :            : 
    4540                 :            :           /* We do *not* set_mem_attributes here, because incoming arguments
    4541                 :            :              may overlap with sibling call outgoing arguments and we cannot
    4542                 :            :              allow reordering of reads from function arguments with stores
    4543                 :            :              to outgoing arguments of sibling calls.  We do, however, want
    4544                 :            :              to record the alignment of the stack slot.  */
    4545                 :            :           /* ALIGN may well be better aligned than TYPE, e.g. due to
    4546                 :            :              PARM_BOUNDARY.  Assume the caller isn't lying.  */
    4547                 :      19591 :           set_mem_align (target, align);
    4548                 :            : 
    4549                 :            :           /* If part should go in registers and pushing to that part would
    4550                 :            :              overwrite some of the values that need to go into regs, load the
    4551                 :            :              overlapping values into temporary pseudos to be moved into the hard
    4552                 :            :              regs at the end after the stack pushing has completed.
    4553                 :            :              We cannot load them directly into the hard regs here because
    4554                 :            :              they can be clobbered by the block move expansions.
    4555                 :            :              See PR 65358.  */
    4556                 :            : 
    4557                 :      19591 :           if (partial > 0 && reg != 0 && mode == BLKmode
    4558                 :          0 :               && GET_CODE (reg) != PARALLEL)
    4559                 :            :             {
    4560                 :          0 :               overlapping = memory_load_overlap (XEXP (x, 0), temp, partial);
    4561                 :          0 :               if (overlapping > 0)
    4562                 :            :                 {
    4563                 :          0 :                   gcc_assert (overlapping % UNITS_PER_WORD == 0);
    4564                 :          0 :                   overlapping /= UNITS_PER_WORD;
    4565                 :            : 
    4566                 :          0 :                   tmp_regs = XALLOCAVEC (rtx, overlapping);
    4567                 :            : 
    4568                 :          0 :                   for (int i = 0; i < overlapping; i++)
    4569                 :          0 :                     tmp_regs[i] = gen_reg_rtx (word_mode);
    4570                 :            : 
    4571                 :          0 :                   for (int i = 0; i < overlapping; i++)
    4572                 :          0 :                     emit_move_insn (tmp_regs[i],
    4573                 :            :                                     operand_subword_force (target, i, mode));
    4574                 :            :                 }
    4575                 :          0 :               else if (overlapping == -1)
    4576                 :            :                 overlapping = 0;
    4577                 :            :               /* Could not determine whether there is overlap.
    4578                 :            :                  Fail the sibcall.  */
    4579                 :            :               else
    4580                 :            :                 {
    4581                 :          0 :                   overlapping = 0;
    4582                 :          0 :                   if (sibcall_p)
    4583                 :    1613930 :                     return false;
    4584                 :            :                 }
    4585                 :            :             }
    4586                 :      19591 :           emit_block_move (target, xinner, size, BLOCK_OP_CALL_PARM);
    4587                 :            :         }
    4588                 :            :     }
    4589                 :    1395020 :   else if (partial > 0)
    4590                 :            :     {
    4591                 :            :       /* Scalar partly in registers.  This case is only supported
    4592                 :            :          for fixed-wdth modes.  */
    4593                 :          0 :       int num_words = GET_MODE_SIZE (mode).to_constant ();
    4594                 :          0 :       num_words /= UNITS_PER_WORD;
    4595                 :          0 :       int i;
    4596                 :          0 :       int not_stack;
    4597                 :            :       /* # bytes of start of argument
    4598                 :            :          that we must make space for but need not store.  */
    4599                 :          0 :       int offset = partial % (PARM_BOUNDARY / BITS_PER_UNIT);
    4600                 :          0 :       int args_offset = INTVAL (args_so_far);
    4601                 :          0 :       int skip;
    4602                 :            : 
    4603                 :            :       /* Push padding now if padding above and stack grows down,
    4604                 :            :          or if padding below and stack grows up.
    4605                 :            :          But if space already allocated, this has already been done.  */
    4606                 :          0 :       if (maybe_ne (extra, 0)
    4607                 :          0 :           && args_addr == 0
    4608                 :          0 :           && where_pad != PAD_NONE
    4609                 :          0 :           && where_pad != stack_direction)
    4610                 :          0 :         anti_adjust_stack (gen_int_mode (extra, Pmode));
    4611                 :            : 
    4612                 :            :       /* If we make space by pushing it, we might as well push
    4613                 :            :          the real data.  Otherwise, we can leave OFFSET nonzero
    4614                 :            :          and leave the space uninitialized.  */
    4615                 :          0 :       if (args_addr == 0)
    4616                 :          0 :         offset = 0;
    4617                 :            : 
    4618                 :            :       /* Now NOT_STACK gets the number of words that we don't need to
    4619                 :            :          allocate on the stack.  Convert OFFSET to words too.  */
    4620                 :          0 :       not_stack = (partial - offset) / UNITS_PER_WORD;
    4621                 :          0 :       offset /= UNITS_PER_WORD;
    4622                 :            : 
    4623                 :            :       /* If the partial register-part of the arg counts in its stack size,
    4624                 :            :          skip the part of stack space corresponding to the registers.
    4625                 :            :          Otherwise, start copying to the beginning of the stack space,
    4626                 :            :          by setting SKIP to 0.  */
    4627                 :          0 :       skip = (reg_parm_stack_space == 0) ? 0 : not_stack;
    4628                 :            : 
    4629                 :          0 :       if (CONSTANT_P (x) && !targetm.legitimate_constant_p (mode, x))
    4630                 :          0 :         x = validize_mem (force_const_mem (mode, x));
    4631                 :            : 
    4632                 :            :       /* If X is a hard register in a non-integer mode, copy it into a pseudo;
    4633                 :            :          SUBREGs of such registers are not allowed.  */
    4634                 :          0 :       if ((REG_P (x) && REGNO (x) < FIRST_PSEUDO_REGISTER
    4635                 :          0 :            && GET_MODE_CLASS (GET_MODE (x)) != MODE_INT))
    4636                 :          0 :         x = copy_to_reg (x);
    4637                 :            : 
    4638                 :            :       /* Loop over all the words allocated on the stack for this arg.  */
    4639                 :            :       /* We can do it by words, because any scalar bigger than a word
    4640                 :            :          has a size a multiple of a word.  */
    4641                 :          0 :       for (i = num_words - 1; i >= not_stack; i--)
    4642                 :          0 :         if (i >= not_stack + offset)
    4643                 :          0 :           if (!emit_push_insn (operand_subword_force (x, i, mode),
    4644                 :            :                           word_mode, NULL_TREE, NULL_RTX, align, 0, NULL_RTX,
    4645                 :          0 :                           0, args_addr,
    4646                 :          0 :                           GEN_INT (args_offset + ((i - not_stack + skip)
    4647                 :            :                                                   * UNITS_PER_WORD)),
    4648                 :            :                           reg_parm_stack_space, alignment_pad, sibcall_p))
    4649                 :    1613930 :             return false;
    4650                 :            :     }
    4651                 :            :   else
    4652                 :            :     {
    4653                 :    1395020 :       rtx addr;
    4654                 :    1395020 :       rtx dest;
    4655                 :            : 
    4656                 :            :       /* Push padding now if padding above and stack grows down,
    4657                 :            :          or if padding below and stack grows up.
    4658                 :            :          But if space already allocated, this has already been done.  */
    4659                 :    1395020 :       if (maybe_ne (extra, 0)
    4660                 :          0 :           && args_addr == 0
    4661                 :          0 :           && where_pad != PAD_NONE
    4662                 :    1395020 :           && where_pad != stack_direction)
    4663                 :          0 :         anti_adjust_stack (gen_int_mode (extra, Pmode));
    4664                 :            : 
    4665                 :            : #ifdef PUSH_ROUNDING
    4666                 :    1395020 :       if (args_addr == 0 && PUSH_ARGS)
    4667                 :    1386140 :         emit_single_push_insn (mode, x, type);
    4668                 :            :       else
    4669                 :            : #endif
    4670                 :            :         {
    4671                 :      16577 :           addr = simplify_gen_binary (PLUS, Pmode, args_addr, args_so_far);
    4672                 :       8874 :           dest = gen_rtx_MEM (mode, memory_address (mode, addr));
    4673                 :            : 
    4674                 :            :           /* We do *not* set_mem_attributes here, because incoming arguments
    4675                 :            :              may overlap with sibling call outgoing arguments and we cannot
    4676                 :            :              allow reordering of reads from function arguments with stores
    4677                 :            :              to outgoing arguments of sibling calls.  We do, however, want
    4678                 :            :              to record the alignment of the stack slot.  */
    4679                 :            :           /* ALIGN may well be better aligned than TYPE, e.g. due to
    4680                 :            :              PARM_BOUNDARY.  Assume the caller isn't lying.  */
    4681                 :       8874 :           set_mem_align (dest, align);
    4682                 :            : 
    4683                 :       8874 :           emit_move_insn (dest, x);
    4684                 :            :         }
    4685                 :            :     }
    4686                 :            : 
    4687                 :            :   /* Move the partial arguments into the registers and any overlapping
    4688                 :            :      values that we moved into the pseudos in tmp_regs.  */
    4689                 :    1613930 :   if (partial > 0 && reg != 0)
    4690                 :            :     {
    4691                 :            :       /* Handle calls that pass values in multiple non-contiguous locations.
    4692                 :            :          The Irix 6 ABI has examples of this.  */
    4693                 :          0 :       if (GET_CODE (reg) == PARALLEL)
    4694                 :          0 :         emit_group_load (reg, x, type, -1);
    4695                 :            :       else
    4696                 :            :         {
    4697                 :          0 :           gcc_assert (partial % UNITS_PER_WORD == 0);
    4698                 :          0 :           move_block_to_reg (REGNO (reg), x, nregs - overlapping, mode);
    4699                 :            : 
    4700                 :          0 :           for (int i = 0; i < overlapping; i++)
    4701                 :          0 :             emit_move_insn (gen_rtx_REG (word_mode, REGNO (reg)
    4702                 :          0 :                                                     + nregs - overlapping + i),
    4703                 :          0 :                             tmp_regs[i]);
    4704                 :            : 
    4705                 :            :         }
    4706                 :            :     }
    4707                 :            : 
    4708                 :    1613930 :   if (maybe_ne (extra, 0) && args_addr == 0 && where_pad == stack_direction)
    4709                 :          0 :     anti_adjust_stack (gen_int_mode (extra, Pmode));
    4710                 :            : 
    4711                 :    1613930 :   if (alignment_pad && args_addr == 0)
    4712                 :    1605010 :     anti_adjust_stack (alignment_pad);
    4713                 :            : 
    4714                 :            :   return true;
    4715                 :            : }
    4716                 :            : 
    4717                 :            : /* Return X if X can be used as a subtarget in a sequence of arithmetic
    4718                 :            :    operations.  */
    4719                 :            : 
    4720                 :            : static rtx
    4721                 :  128158000 : get_subtarget (rtx x)
    4722                 :            : {
    4723                 :  128158000 :   return (optimize
    4724                 :   28906300 :           || x == 0
    4725                 :            :            /* Only registers can be subtargets.  */
    4726                 :    9545270 :            || !REG_P (x)
    4727                 :            :            /* Don't use hard regs to avoid extending their life.  */
    4728                 :    6424290 :            || REGNO (x) < FIRST_PSEUDO_REGISTER
    4729                 :  100212000 :           ? 0 : x);
    4730                 :            : }
    4731                 :            : 
    4732                 :            : /* A subroutine of expand_assignment.  Optimize FIELD op= VAL, where
    4733                 :            :    FIELD is a bitfield.  Returns true if the optimization was successful,
    4734                 :            :    and there's nothing else to do.  */
    4735                 :            : 
    4736                 :            : static bool
    4737                 :    3851270 : optimize_bitfield_assignment_op (poly_uint64 pbitsize,
    4738                 :            :                                  poly_uint64 pbitpos,
    4739                 :            :                                  poly_uint64 pbitregion_start,
    4740                 :            :                                  poly_uint64 pbitregion_end,
    4741                 :            :                                  machine_mode mode1, rtx str_rtx,
    4742                 :            :                                  tree to, tree src, bool reverse)
    4743                 :            : {
    4744                 :            :   /* str_mode is not guaranteed to be a scalar type.  */
    4745                 :    3851270 :   machine_mode str_mode = GET_MODE (str_rtx);
    4746                 :    3851270 :   unsigned int str_bitsize;
    4747                 :    3851270 :   tree op0, op1;
    4748                 :    3851270 :   rtx value, result;
    4749                 :    3851270 :   optab binop;
    4750                 :    3851270 :   gimple *srcstmt;
    4751                 :    3851270 :   enum tree_code code;
    4752                 :            : 
    4753                 :    3851270 :   unsigned HOST_WIDE_INT bitsize, bitpos, bitregion_start, bitregion_end;
    4754                 :    3851270 :   if (mode1 != VOIDmode
    4755                 :      40866 :       || !pbitsize.is_constant (&bitsize)
    4756                 :      40866 :       || !pbitpos.is_constant (&bitpos)
    4757                 :      40866 :       || !pbitregion_start.is_constant (&bitregion_start)
    4758                 :      40866 :       || !pbitregion_end.is_constant (&bitregion_end)
    4759                 :      41260 :       || bitsize >= BITS_PER_WORD
    4760                 :      40586 :       || !GET_MODE_BITSIZE (str_mode).is_constant (&str_bitsize)
    4761                 :      40980 :       || str_bitsize > BITS_PER_WORD
    4762                 :      35786 :       || TREE_SIDE_EFFECTS (to)
    4763                 :    3886970 :       || TREE_THIS_VOLATILE (to))
    4764                 :            :     return false;
    4765                 :            : 
    4766                 :      35699 :   STRIP_NOPS (src);
    4767                 :      35699 :   if (TREE_CODE (src) != SSA_NAME)
    4768                 :            :     return false;
    4769                 :      10767 :   if (TREE_CODE (TREE_TYPE (src)) != INTEGER_TYPE)
    4770                 :            :     return false;
    4771                 :            : 
    4772                 :      10321 :   srcstmt = get_gimple_for_ssa_name (src);
    4773                 :      10321 :   if (!srcstmt
    4774                 :      10321 :       || TREE_CODE_CLASS (gimple_assign_rhs_code (srcstmt)) != tcc_binary)
    4775                 :            :     return false;
    4776                 :            : 
    4777                 :        364 :   code = gimple_assign_rhs_code (srcstmt);
    4778                 :            : 
    4779                 :        364 :   op0 = gimple_assign_rhs1 (srcstmt);
    4780                 :            : 
    4781                 :            :   /* If OP0 is an SSA_NAME, then we want to walk the use-def chain
    4782                 :            :      to find its initialization.  Hopefully the initialization will
    4783                 :            :      be from a bitfield load.  */
    4784                 :        364 :   if (TREE_CODE (op0) == SSA_NAME)
    4785                 :            :     {
    4786                 :        364 :       gimple *op0stmt = get_gimple_for_ssa_name (op0);
    4787                 :            : 
    4788                 :            :       /* We want to eventually have OP0 be the same as TO, which
    4789                 :            :          should be a bitfield.  */
    4790                 :        364 :       if (!op0stmt
    4791                 :        332 :           || !is_gimple_assign (op0stmt)
    4792                 :        696 :           || gimple_assign_rhs_code (op0stmt) != TREE_CODE (to))
    4793                 :            :         return false;
    4794                 :        332 :       op0 = gimple_assign_rhs1 (op0stmt);
    4795                 :            :     }
    4796                 :            : 
    4797                 :        332 :   op1 = gimple_assign_rhs2 (srcstmt);
    4798                 :            : 
    4799                 :        332 :   if (!operand_equal_p (to, op0, 0))
    4800                 :            :     return false;
    4801                 :            : 
    4802                 :        272 :   if (MEM_P (str_rtx))
    4803                 :            :     {
    4804                 :        272 :       unsigned HOST_WIDE_INT offset1;
    4805                 :            : 
    4806                 :        272 :       if (str_bitsize == 0 || str_bitsize > BITS_PER_WORD)
    4807                 :         29 :         str_bitsize = BITS_PER_WORD;
    4808                 :            : 
    4809                 :        272 :       scalar_int_mode best_mode;
    4810                 :        272 :       if (!get_best_mode (bitsize, bitpos, bitregion_start, bitregion_end,
    4811                 :        272 :                           MEM_ALIGN (str_rtx), str_bitsize, false, &best_mode))
    4812                 :         10 :         return false;
    4813                 :        262 :       str_mode = best_mode;
    4814                 :        262 :       str_bitsize = GET_MODE_BITSIZE (best_mode);
    4815                 :            : 
    4816                 :        262 :       offset1 = bitpos;
    4817                 :        262 :       bitpos %= str_bitsize;
    4818                 :        262 :       offset1 = (offset1 - bitpos) / BITS_PER_UNIT;
    4819                 :        262 :       str_rtx = adjust_address (str_rtx, str_mode, offset1);
    4820                 :            :     }
    4821                 :          0 :   else if (!REG_P (str_rtx) && GET_CODE (str_rtx) != SUBREG)
    4822                 :            :     return false;
    4823                 :            : 
    4824                 :            :   /* If the bit field covers the whole REG/MEM, store_field
    4825                 :            :      will likely generate better code.  */
    4826                 :        262 :   if (bitsize >= str_bitsize)
    4827                 :            :     return false;
    4828                 :            : 
    4829                 :            :   /* We can't handle fields split across multiple entities.  */
    4830                 :        262 :   if (bitpos + bitsize > str_bitsize)
    4831                 :            :     return false;
    4832                 :            : 
    4833                 :        262 :   if (reverse ? !BYTES_BIG_ENDIAN : BYTES_BIG_ENDIAN)
    4834                 :         28 :     bitpos = str_bitsize - bitpos - bitsize;
    4835                 :            : 
    4836                 :        262 :   switch (code)
    4837                 :            :     {
    4838                 :        146 :     case PLUS_EXPR:
    4839                 :        146 :     case MINUS_EXPR:
    4840                 :            :       /* For now, just optimize the case of the topmost bitfield
    4841                 :            :          where we don't need to do any masking and also
    4842                 :            :          1 bit bitfields where xor can be used.
    4843                 :            :          We might win by one instruction for the other bitfields
    4844                 :            :          too if insv/extv instructions aren't used, so that
    4845                 :            :          can be added later.  */
    4846                 :        146 :       if ((reverse || bitpos + bitsize != str_bitsize)
    4847                 :        102 :           && (bitsize != 1 || TREE_CODE (op1) != INTEGER_CST))
    4848                 :            :         break;
    4849                 :            : 
    4850                 :         70 :       value = expand_expr (op1, NULL_RTX, str_mode, EXPAND_NORMAL);
    4851                 :        140 :       value = convert_modes (str_mode,
    4852                 :         70 :                              TYPE_MODE (TREE_TYPE (op1)), value,
    4853                 :         70 :                              TYPE_UNSIGNED (TREE_TYPE (op1)));
    4854                 :            : 
    4855                 :            :       /* We may be accessing data outside the field, which means
    4856                 :            :          we can alias adjacent data.  */
    4857                 :         70 :       if (MEM_P (str_rtx))
    4858                 :            :         {
    4859                 :         70 :           str_rtx = shallow_copy_rtx (str_rtx);
    4860                 :         70 :           set_mem_alias_set (str_rtx, 0);
    4861                 :         70 :           set_mem_expr (str_rtx, 0);
    4862                 :            :         }
    4863                 :            : 
    4864                 :         70 :       if (bitsize == 1 && (reverse || bitpos + bitsize != str_bitsize))
    4865                 :            :         {
    4866                 :         26 :           value = expand_and (str_mode, value, const1_rtx, NULL);
    4867                 :         26 :           binop = xor_optab;
    4868                 :            :         }
    4869                 :            :       else
    4870                 :         44 :         binop = code == PLUS_EXPR ? add_optab : sub_optab;
    4871                 :            : 
    4872                 :         70 :       value = expand_shift (LSHIFT_EXPR, str_mode, value, bitpos, NULL_RTX, 1);
    4873                 :         70 :       if (reverse)
    4874                 :          0 :         value = flip_storage_order (str_mode, value);
    4875                 :         70 :       result = expand_binop (str_mode, binop, str_rtx,
    4876                 :            :                              value, str_rtx, 1, OPTAB_WIDEN);
    4877                 :         70 :       if (result != str_rtx)
    4878                 :          0 :         emit_move_insn (str_rtx, result);
    4879                 :            :       return true;
    4880                 :            : 
    4881                 :         56 :     case BIT_IOR_EXPR:
    4882                 :         56 :     case BIT_XOR_EXPR:
    4883                 :         56 :       if (TREE_CODE (op1) != INTEGER_CST)
    4884                 :            :         break;
    4885                 :         54 :       value = expand_expr (op1, NULL_RTX, str_mode, EXPAND_NORMAL);
    4886                 :        108 :       value = convert_modes (str_mode,
    4887                 :         54 :                              TYPE_MODE (TREE_TYPE (op1)), value,
    4888                 :         54 :                              TYPE_UNSIGNED (TREE_TYPE (op1)));
    4889                 :            : 
    4890                 :            :       /* We may be accessing data outside the field, which means
    4891                 :            :          we can alias adjacent data.  */
    4892                 :         54 :       if (MEM_P (str_rtx))
    4893                 :            :         {
    4894                 :         54 :           str_rtx = shallow_copy_rtx (str_rtx);
    4895                 :         54 :           set_mem_alias_set (str_rtx, 0);
    4896                 :         54 :           set_mem_expr (str_rtx, 0);
    4897                 :            :         }
    4898                 :            : 
    4899                 :         54 :       binop = code == BIT_IOR_EXPR ? ior_optab : xor_optab;
    4900                 :         54 :       if (bitpos + bitsize != str_bitsize)
    4901                 :            :         {
    4902                 :         30 :           rtx mask = gen_int_mode ((HOST_WIDE_INT_1U << bitsize) - 1,
    4903                 :            :                                    str_mode);
    4904                 :         30 :           value = expand_and (str_mode, value, mask, NULL_RTX);
    4905                 :            :         }
    4906                 :         54 :       value = expand_shift (LSHIFT_EXPR, str_mode, value, bitpos, NULL_RTX, 1);
    4907                 :         54 :       if (reverse)
    4908                 :          0 :         value = flip_storage_order (str_mode, value);
    4909                 :         54 :       result = expand_binop (str_mode, binop, str_rtx,
    4910                 :            :                              value, str_rtx, 1, OPTAB_WIDEN);
    4911                 :         54 :       if (result != str_rtx)
    4912                 :          0 :         emit_move_insn (str_rtx, result);
    4913                 :            :       return true;
    4914                 :            : 
    4915                 :            :     default:
    4916                 :            :       break;
    4917                 :            :     }
    4918                 :            : 
    4919                 :            :   return false;
    4920                 :            : }
    4921                 :            : 
    4922                 :            : /* In the C++ memory model, consecutive bit fields in a structure are
    4923                 :            :    considered one memory location.
    4924                 :            : 
    4925                 :            :    Given a COMPONENT_REF EXP at position (BITPOS, OFFSET), this function
    4926                 :            :    returns the bit range of consecutive bits in which this COMPONENT_REF
    4927                 :            :    belongs.  The values are returned in *BITSTART and *BITEND.  *BITPOS
    4928                 :            :    and *OFFSET may be adjusted in the process.
    4929                 :            : 
    4930                 :            :    If the access does not need to be restricted, 0 is returned in both
    4931                 :            :    *BITSTART and *BITEND.  */
    4932                 :            : 
    4933                 :            : void
    4934                 :      74686 : get_bit_range (poly_uint64_pod *bitstart, poly_uint64_pod *bitend, tree exp,
    4935                 :            :                poly_int64_pod *bitpos, tree *offset)
    4936                 :            : {
    4937                 :      74686 :   poly_int64 bitoffset;
    4938                 :      74686 :   tree field, repr;
    4939                 :            : 
    4940                 :      74686 :   gcc_assert (TREE_CODE (exp) == COMPONENT_REF);
    4941                 :            : 
    4942                 :      74686 :   field = TREE_OPERAND (exp, 1);
    4943                 :      74686 :   repr = DECL_BIT_FIELD_REPRESENTATIVE (field);
    4944                 :            :   /* If we do not have a DECL_BIT_FIELD_REPRESENTATIVE there is no
    4945                 :            :      need to limit the range we can access.  */
    4946                 :      74686 :   if (!repr)
    4947                 :            :     {
    4948                 :        873 :       *bitstart = *bitend = 0;
    4949                 :        873 :       return;
    4950                 :            :     }
    4951                 :            : 
    4952                 :            :   /* If we have a DECL_BIT_FIELD_REPRESENTATIVE but the enclosing record is
    4953                 :            :      part of a larger bit field, then the representative does not serve any
    4954                 :            :      useful purpose.  This can occur in Ada.  */
    4955                 :      73813 :   if (handled_component_p (TREE_OPERAND (exp, 0)))
    4956                 :            :     {
    4957                 :      19222 :       machine_mode rmode;
    4958                 :      19222 :       poly_int64 rbitsize, rbitpos;
    4959                 :      19222 :       tree roffset;
    4960                 :      19222 :       int unsignedp, reversep, volatilep = 0;
    4961                 :      19222 :       get_inner_reference (TREE_OPERAND (exp, 0), &rbitsize, &rbitpos,
    4962                 :            :                            &roffset, &rmode, &unsignedp, &reversep,
    4963                 :            :                            &volatilep);
    4964                 :      38444 :       if (!multiple_p (rbitpos, BITS_PER_UNIT))
    4965                 :            :         {
    4966                 :          0 :           *bitstart = *bitend = 0;
    4967                 :          0 :           return;
    4968                 :            :         }
    4969                 :            :     }
    4970                 :            : 
    4971                 :            :   /* Compute the adjustment to bitpos from the offset of the field
    4972                 :            :      relative to the representative.  DECL_FIELD_OFFSET of field and
    4973                 :            :      repr are the same by construction if they are not constants,
    4974                 :            :      see finish_bitfield_layout.  */
    4975                 :      73813 :   poly_uint64 field_offset, repr_offset;
    4976                 :      73813 :   if (poly_int_tree_p (DECL_FIELD_OFFSET (field), &field_offset)
    4977                 :     147623 :       && poly_int_tree_p (DECL_FIELD_OFFSET (repr), &repr_offset))
    4978                 :      73810 :     bitoffset = (field_offset - repr_offset) * BITS_PER_UNIT;
    4979                 :            :   else
    4980                 :      73813 :     bitoffset = 0;
    4981                 :      73813 :   bitoffset += (tree_to_uhwi (DECL_FIELD_BIT_OFFSET (field))
    4982                 :      73813 :                 - tree_to_uhwi (DECL_FIELD_BIT_OFFSET (repr)));
    4983                 :            : 
    4984                 :            :   /* If the adjustment is larger than bitpos, we would have a negative bit
    4985                 :            :      position for the lower bound and this may wreak havoc later.  Adjust
    4986                 :            :      offset and bitpos to make the lower bound non-negative in that case.  */
    4987                 :      73813 :   if (maybe_gt (bitoffset, *bitpos))
    4988                 :            :     {
    4989                 :          5 :       poly_int64 adjust_bits = upper_bound (bitoffset, *bitpos) - *bitpos;
    4990                 :          5 :       poly_int64 adjust_bytes = exact_div (adjust_bits, BITS_PER_UNIT);
    4991                 :            : 
    4992                 :          5 :       *bitpos += adjust_bits;
    4993                 :          5 :       if (*offset == NULL_TREE)
    4994                 :          5 :         *offset = size_int (-adjust_bytes);
    4995                 :            :       else
    4996                 :          0 :         *offset = size_binop (MINUS_EXPR, *offset, size_int (adjust_bytes));
    4997                 :          5 :       *bitstart = 0;
    4998                 :            :     }
    4999                 :            :   else
    5000                 :      73808 :     *bitstart = *bitpos - bitoffset;
    5001                 :            : 
    5002                 :      73813 :   *bitend = *bitstart + tree_to_poly_uint64 (DECL_SIZE (repr)) - 1;
    5003                 :            : }
    5004                 :            : 
    5005                 :            : /* Returns true if BASE is a DECL that does not reside in memory and
    5006                 :            :    has non-BLKmode.  DECL_RTL must not be a MEM; if
    5007                 :            :    DECL_RTL was not set yet, return false.  */
    5008                 :            : 
    5009                 :            : static inline bool
    5010                 :    3130810 : non_mem_decl_p (tree base)
    5011                 :            : {
    5012                 :    3130810 :   if (!DECL_P (base)
    5013                 :    3130550 :       || TREE_ADDRESSABLE (base)
    5014                 :    4753960 :       || DECL_MODE (base) == BLKmode)
    5015                 :            :     return false;
    5016                 :            : 
    5017                 :    1060020 :   if (!DECL_RTL_SET_P (base))
    5018                 :            :     return false;
    5019                 :            : 
    5020                 :     985910 :   return (!MEM_P (DECL_RTL (base)));
    5021                 :            : }
    5022                 :            : 
    5023                 :            : /* Returns true if REF refers to an object that does not
    5024                 :            :    reside in memory and has non-BLKmode.  */
    5025                 :            : 
    5026                 :            : static inline bool
    5027                 :    6982950 : mem_ref_refers_to_non_mem_p (tree ref)
    5028                 :            : {
    5029                 :    6982950 :   tree base;
    5030                 :            : 
    5031                 :    6982950 :   if (TREE_CODE (ref) == MEM_REF
    5032                 :    6982950 :       || TREE_CODE (ref) == TARGET_MEM_REF)
    5033                 :            :     {
    5034                 :    5843010 :       tree addr = TREE_OPERAND (ref, 0);
    5035                 :            : 
    5036                 :    5843010 :       if (TREE_CODE (addr) != ADDR_EXPR)
    5037                 :            :         return false;
    5038                 :            : 
    5039                 :    1990880 :       base = TREE_OPERAND (addr, 0);
    5040                 :            :     }
    5041                 :            :   else
    5042                 :            :     base = ref;
    5043                 :            : 
    5044                 :    3130810 :   return non_mem_decl_p (base);
    5045                 :            : }
    5046                 :            : 
    5047                 :            : /* Expand an assignment that stores the value of FROM into TO.  If NONTEMPORAL
    5048                 :            :    is true, try generating a nontemporal store.  */
    5049                 :            : 
    5050                 :            : void
    5051                 :   12330300 : expand_assignment (tree to, tree from, bool nontemporal)
    5052                 :            : {
    5053                 :   12330300 :   rtx to_rtx = 0;
    5054                 :   12330300 :   rtx result;
    5055                 :   12330300 :   machine_mode mode;
    5056                 :   12330300 :   unsigned int align;
    5057                 :   12330300 :   enum insn_code icode;
    5058                 :            : 
    5059                 :            :   /* Don't crash if the lhs of the assignment was erroneous.  */
    5060                 :   12330300 :   if (TREE_CODE (to) == ERROR_MARK)
    5061                 :            :     {
    5062                 :          0 :       expand_normal (from);
    5063                 :          0 :       return;
    5064                 :            :     }
    5065                 :            : 
    5066                 :            :   /* Optimize away no-op moves without side-effects.  */
    5067                 :   12330300 :   if (operand_equal_p (to, from, 0))
    5068                 :            :     return;
    5069                 :            : 
    5070                 :            :   /* Handle misaligned stores.  */
    5071                 :   12330100 :   mode = TYPE_MODE (TREE_TYPE (to));
    5072                 :   12330100 :   if ((TREE_CODE (to) == MEM_REF
    5073                 :   12330100 :        || TREE_CODE (to) == TARGET_MEM_REF
    5074                 :   11199700 :        || DECL_P (to))
    5075                 :    2554910 :       && mode != BLKmode
    5076                 :    2181940 :       && !mem_ref_refers_to_non_mem_p (to)
    5077                 :    3767330 :       && ((align = get_object_alignment (to))
    5078                 :    1883660 :           < GET_MODE_ALIGNMENT (mode))
    5079                 :   12485000 :       && (((icode = optab_handler (movmisalign_optab, mode))
    5080                 :            :            != CODE_FOR_nothing)
    5081                 :     124111 :           || targetm.slow_unaligned_access (mode, align)))
    5082                 :            :     {
    5083                 :      30710 :       rtx reg, mem;
    5084                 :            : 
    5085                 :      30710 :       reg = expand_expr (from, NULL_RTX, VOIDmode, EXPAND_NORMAL);
    5086                 :      30710 :       reg = force_not_mem (reg);
    5087                 :      30710 :       mem = expand_expr (to, NULL_RTX, VOIDmode, EXPAND_WRITE);
    5088                 :      30710 :       if (TREE_CODE (to) == MEM_REF && REF_REVERSE_STORAGE_ORDER (to))
    5089                 :          0 :         reg = flip_storage_order (mode, reg);
    5090                 :            : 
    5091                 :      30710 :       if (icode != CODE_FOR_nothing)
    5092                 :            :         {
    5093                 :      30710 :           class expand_operand ops[2];
    5094                 :            : 
    5095                 :      30710 :           create_fixed_operand (&ops[0], mem);
    5096                 :      30710 :           create_input_operand (&ops[1], reg, mode);
    5097                 :            :           /* The movmisalign<mode> pattern cannot fail, else the assignment
    5098                 :            :              would silently be omitted.  */
    5099                 :      30710 :           expand_insn (icode, 2, ops);
    5100                 :            :         }
    5101                 :            :       else
    5102                 :          0 :         store_bit_field (mem, GET_MODE_BITSIZE (mode), 0, 0, 0, mode, reg,
    5103                 :            :                          false);
    5104                 :      30710 :       return;
    5105                 :            :     }
    5106                 :            : 
    5107                 :            :   /* Assignment of a structure component needs special treatment
    5108                 :            :      if the structure component's rtx is not simply a MEM.
    5109                 :            :      Assignment of an array element at a constant index, and assignment of
    5110                 :            :      an array element in an unaligned packed structure field, has the same
    5111                 :            :      problem.  Same for (partially) storing into a non-memory object.  */
    5112                 :   12299400 :   if (handled_component_p (to)
    5113                 :    8570220 :       || (TREE_CODE (to) == MEM_REF
    5114                 :     946496 :           && (REF_REVERSE_STORAGE_ORDER (to)
    5115                 :     946496 :               || mem_ref_refers_to_non_mem_p (to)))
    5116                 :   20830500 :       || TREE_CODE (TREE_TYPE (to)) == ARRAY_TYPE)
    5117                 :            :     {
    5118                 :    3851430 :       machine_mode mode1;
    5119                 :    3851430 :       poly_int64 bitsize, bitpos;
    5120                 :    3851430 :       poly_uint64 bitregion_start = 0;
    5121                 :    3851430 :       poly_uint64 bitregion_end = 0;
    5122                 :    3851430 :       tree offset;
    5123                 :    3851430 :       int unsignedp, reversep, volatilep = 0;
    5124                 :    3851430 :       tree tem;
    5125                 :            : 
    5126                 :    3851430 :       push_temp_slots ();
    5127                 :    3851430 :       tem = get_inner_reference (to, &bitsize, &bitpos, &offset, &mode1,
    5128                 :            :                                  &unsignedp, &reversep, &volatilep);
    5129                 :            : 
    5130                 :            :       /* Make sure bitpos is not negative, it can wreak havoc later.  */
    5131                 :    3851430 :       if (maybe_lt (bitpos, 0))
    5132                 :            :         {
    5133                 :         75 :           gcc_assert (offset == NULL_TREE);
    5134                 :         75 :           offset = size_int (bits_to_bytes_round_down (bitpos));
    5135                 :         75 :           bitpos = num_trailing_bits (bitpos);
    5136                 :            :         }
    5137                 :            : 
    5138                 :    3851430 :       if (TREE_CODE (to) == COMPONENT_REF
    5139                 :    3851430 :           && DECL_BIT_FIELD_TYPE (TREE_OPERAND (to, 1)))
    5140                 :      54938 :         get_bit_range (&bitregion_start, &bitregion_end, to, &bitpos, &offset);
    5141                 :            :       /* The C++ memory model naturally applies to byte-aligned fields.
    5142                 :            :          However, if we do not have a DECL_BIT_FIELD_TYPE but BITPOS or
    5143                 :            :          BITSIZE are not byte-aligned, there is no need to limit the range
    5144                 :            :          we can access.  This can occur with packed structures in Ada.  */
    5145                 :    3796490 :       else if (maybe_gt (bitsize, 0)
    5146                 :    3796360 :                && multiple_p (bitsize, BITS_PER_UNIT)
    5147                 :    7592850 :                && multiple_p (bitpos, BITS_PER_UNIT))
    5148                 :            :         {
    5149                 :    3796360 :           bitregion_start = bitpos;
    5150                 :    3796360 :           bitregion_end = bitpos + bitsize - 1;
    5151                 :            :         }
    5152                 :            : 
    5153                 :    3851430 :       to_rtx = expand_expr (tem, NULL_RTX, VOIDmode, EXPAND_WRITE);
    5154                 :            : 
    5155                 :            :       /* If the field has a mode, we want to access it in the
    5156                 :            :          field's mode, not the computed mode.
    5157                 :            :          If a MEM has VOIDmode (external with incomplete type),
    5158                 :            :          use BLKmode for it instead.  */
    5159                 :    3851430 :       if (MEM_P (to_rtx))
    5160                 :            :         {
    5161                 :    3328890 :           if (mode1 != VOIDmode)
    5162                 :    3288490 :             to_rtx = adjust_address (to_rtx, mode1, 0);
    5163                 :      40400 :           else if (GET_MODE (to_rtx) == VOIDmode)
    5164                 :          0 :             to_rtx = adjust_address (to_rtx, BLKmode, 0);
    5165                 :            :         }
    5166                 :            :  
    5167                 :    3851430 :       if (offset != 0)
    5168                 :            :         {
    5169                 :     112859 :           machine_mode address_mode;
    5170                 :     112859 :           rtx offset_rtx;
    5171                 :            : 
    5172                 :     112859 :           if (!MEM_P (to_rtx))
    5173                 :            :             {
    5174                 :            :               /* We can get constant negative offsets into arrays with broken
    5175                 :            :                  user code.  Translate this to a trap instead of ICEing.  */
    5176                 :          5 :               gcc_assert (TREE_CODE (offset) == INTEGER_CST);
    5177                 :          5 :               expand_builtin_trap ();
    5178                 :          5 :               to_rtx = gen_rtx_MEM (BLKmode, const0_rtx);
    5179                 :            :             }
    5180                 :            : 
    5181                 :     112859 :           offset_rtx = expand_expr (offset, NULL_RTX, VOIDmode, EXPAND_SUM);
    5182                 :     112859 :           address_mode = get_address_mode (to_rtx);
    5183                 :     112859 :           if (GET_MODE (offset_rtx) != address_mode)
    5184                 :            :             {
    5185                 :            :                 /* We cannot be sure that the RTL in offset_rtx is valid outside
    5186                 :            :                    of a memory address context, so force it into a register
    5187                 :            :                    before attempting to convert it to the desired mode.  */
    5188                 :         99 :               offset_rtx = force_operand (offset_rtx, NULL_RTX);
    5189                 :         99 :               offset_rtx = convert_to_mode (address_mode, offset_rtx, 0);
    5190                 :            :             }
    5191                 :            : 
    5192                 :            :           /* If we have an expression in OFFSET_RTX and a non-zero
    5193                 :            :              byte offset in BITPOS, adding the byte offset before the
    5194                 :            :              OFFSET_RTX results in better intermediate code, which makes
    5195                 :            :              later rtl optimization passes perform better.
    5196                 :            : 
    5197                 :            :              We prefer intermediate code like this:
    5198                 :            : 
    5199                 :            :              r124:DI=r123:DI+0x18
    5200                 :            :              [r124:DI]=r121:DI
    5201                 :            : 
    5202                 :            :              ... instead of ...
    5203                 :            : 
    5204                 :            :              r124:DI=r123:DI+0x10
    5205                 :            :              [r124:DI+0x8]=r121:DI
    5206                 :            : 
    5207                 :            :              This is only done for aligned data values, as these can
    5208                 :            :              be expected to result in single move instructions.  */
    5209                 :     112859 :           poly_int64 bytepos;
    5210                 :     112859 :           if (mode1 != VOIDmode
    5211                 :     112751 :               && maybe_ne (bitpos, 0)
    5212                 :      31018 :               && maybe_gt (bitsize, 0)
    5213                 :      31018 :               && multiple_p (bitpos, BITS_PER_UNIT, &bytepos)
    5214                 :      31018 :               && multiple_p (bitpos, bitsize)
    5215                 :      30769 :               && multiple_p (bitsize, GET_MODE_ALIGNMENT (mode1))
    5216                 :     143628 :               && MEM_ALIGN (to_rtx) >= GET_MODE_ALIGNMENT (mode1))
    5217                 :            :             {
    5218                 :      30755 :               to_rtx = adjust_address (to_rtx, mode1, bytepos);
    5219                 :      30755 :               bitregion_start = 0;
    5220                 :      30755 :               if (known_ge (bitregion_end, poly_uint64 (bitpos)))
    5221                 :      30755 :                 bitregion_end -= bitpos;
    5222                 :      30755 :               bitpos = 0;
    5223                 :            :             }
    5224                 :            : 
    5225                 :     112859 :           to_rtx = offset_address (to_rtx, offset_rtx,
    5226                 :            :                                    highest_pow2_factor_for_target (to,
    5227                 :            :                                                                    offset));
    5228                 :            :         }
    5229                 :            : 
    5230                 :            :       /* No action is needed if the target is not a memory and the field
    5231                 :            :          lies completely outside that target.  This can occur if the source
    5232                 :            :          code contains an out-of-bounds access to a small array.  */
    5233                 :    3851430 :       if (!MEM_P (to_rtx)
    5234                 :     522531 :           && GET_MODE (to_rtx) != BLKmode
    5235                 :    4373960 :           && known_ge (bitpos, GET_MODE_PRECISION (GET_MODE (to_rtx))))
    5236                 :            :         {
    5237                 :          1 :           expand_normal (from);
    5238                 :          1 :           result = NULL;
    5239                 :            :         }
    5240                 :            :       /* Handle expand_expr of a complex value returning a CONCAT.  */
    5241                 :    3851420 :       else if (GET_CODE (to_rtx) == CONCAT)
    5242                 :            :         {
    5243                 :        146 :           machine_mode to_mode = GET_MODE (to_rtx);
    5244                 :        146 :           gcc_checking_assert (COMPLEX_MODE_P (to_mode));
    5245                 :        292 :           poly_int64 mode_bitsize = GET_MODE_BITSIZE (to_mode);
    5246                 :        146 :           unsigned short inner_bitsize = GET_MODE_UNIT_BITSIZE (to_mode);
    5247                 :        146 :           if (TYPE_MODE (TREE_TYPE (from)) == to_mode
    5248                 :         14 :               && known_eq (bitpos, 0)
    5249                 :        160 :               && known_eq (bitsize, mode_bitsize))
    5250                 :         14 :             result = store_expr (from, to_rtx, false, nontemporal, reversep);
    5251                 :        264 :           else if (TYPE_MODE (TREE_TYPE (from)) == GET_MODE_INNER (to_mode)
    5252                 :         90 :                    && known_eq (bitsize, inner_bitsize)
    5253                 :        222 :                    && (known_eq (bitpos, 0)
    5254                 :         41 :                        || known_eq (bitpos, inner_bitsize)))
    5255                 :         90 :             result = store_expr (from, XEXP (to_rtx, maybe_ne (bitpos, 0)),
    5256                 :            :                                  false, nontemporal, reversep);
    5257                 :         42 :           else if (known_le (bitpos + bitsize, inner_bitsize))
    5258                 :         21 :             result = store_field (XEXP (to_rtx, 0), bitsize, bitpos,
    5259                 :            :                                   bitregion_start, bitregion_end,
    5260                 :            :                                   mode1, from, get_alias_set (to),
    5261                 :            :                                   nontemporal, reversep);
    5262                 :         21 :           else if (known_ge (bitpos, inner_bitsize))
    5263                 :          2 :             result = store_field (XEXP (to_rtx, 1), bitsize,
    5264                 :            :                                   bitpos - inner_bitsize,
    5265                 :            :                                   bitregion_start, bitregion_end,
    5266                 :            :                                   mode1, from, get_alias_set (to),
    5267                 :            :                                   nontemporal, reversep);
    5268                 :         19 :           else if (known_eq (bitpos, 0) && known_eq (bitsize, mode_bitsize))
    5269                 :            :             {
    5270                 :         12 :               result = expand_normal (from);
    5271                 :         12 :               if (GET_CODE (result) == CONCAT)
    5272                 :            :                 {
    5273                 :          0 :                   to_mode = GET_MODE_INNER (to_mode);
    5274                 :          0 :                   machine_mode from_mode = GET_MODE_INNER (GET_MODE (result));
    5275                 :          0 :                   rtx from_real
    5276                 :          0 :                     = simplify_gen_subreg (to_mode, XEXP (result, 0),
    5277                 :          0 :                                            from_mode, 0);
    5278                 :          0 :                   rtx from_imag
    5279                 :          0 :                     = simplify_gen_subreg (to_mode, XEXP (result, 1),
    5280                 :          0 :                                            from_mode, 0);
    5281                 :          0 :                   if (!from_real || !from_imag)
    5282                 :          0 :                     goto concat_store_slow;
    5283                 :          0 :                   emit_move_insn (XEXP (to_rtx, 0), from_real);
    5284                 :          0 :                   emit_move_insn (XEXP (to_rtx, 1), from_imag);
    5285                 :            :                 }
    5286                 :            :               else
    5287                 :            :                 {
    5288                 :         12 :                   machine_mode from_mode
    5289                 :         12 :                     = GET_MODE (result) == VOIDmode
    5290                 :         12 :                       ? TYPE_MODE (TREE_TYPE (from))
    5291                 :         12 :                       : GET_MODE (result);
    5292                 :         12 :                   rtx from_rtx;
    5293                 :         12 :                   if (MEM_P (result))
    5294                 :          7 :                     from_rtx = change_address (result, to_mode, NULL_RTX);
    5295                 :            :                   else
    5296                 :          5 :                     from_rtx
    5297                 :          5 :                       = simplify_gen_subreg (to_mode, result, from_mode, 0);
    5298                 :         12 :                   if (from_rtx)
    5299                 :            :                     {
    5300                 :         10 :                       emit_move_insn (XEXP (to_rtx, 0),
    5301                 :            :                                       read_complex_part (from_rtx, false));
    5302                 :         10 :                       emit_move_insn (XEXP (to_rtx, 1),
    5303                 :            :                                       read_complex_part (from_rtx, true));
    5304                 :            :                     }
    5305                 :            :                   else
    5306                 :            :                     {
    5307                 :          4 :                       to_mode = GET_MODE_INNER (to_mode);
    5308                 :          2 :                       rtx from_real
    5309                 :          2 :                         = simplify_gen_subreg (to_mode, result, from_mode, 0);
    5310                 :          2 :                       rtx from_imag
    5311                 :          2 :                         = simplify_gen_subreg (to_mode, result, from_mode,
    5312                 :          2 :                                                GET_MODE_SIZE (to_mode));
    5313                 :          2 :                       if (!from_real || !from_imag)
    5314                 :          0 :                         goto concat_store_slow;
    5315                 :          2 :                       emit_move_insn (XEXP (to_rtx, 0), from_real);
    5316                 :          2 :                       emit_move_insn (XEXP (to_rtx, 1), from_imag);
    5317                 :            :                     }
    5318                 :            :                 }
    5319                 :            :             }
    5320                 :            :           else
    5321                 :            :             {
    5322                 :          7 :             concat_store_slow:;
    5323                 :          7 :               rtx temp = assign_stack_temp (GET_MODE (to_rtx),
    5324                 :         14 :                                             GET_MODE_SIZE (GET_MODE (to_rtx)));
    5325                 :          7 :               write_complex_part (temp, XEXP (to_rtx, 0), false);
    5326                 :          7 :               write_complex_part (temp, XEXP (to_rtx, 1), true);
    5327                 :          7 :               result = store_field (temp, bitsize, bitpos,
    5328                 :            :                                     bitregion_start, bitregion_end,
    5329                 :            :                                     mode1, from, get_alias_set (to),
    5330                 :            :                                     nontemporal, reversep);
    5331                 :          7 :               emit_move_insn (XEXP (to_rtx, 0), read_complex_part (temp, false));
    5332                 :          7 :               emit_move_insn (XEXP (to_rtx, 1), read_complex_part (temp, true));
    5333                 :            :             }
    5334                 :            :         }
    5335                 :            :       /* For calls to functions returning variable length structures, if TO_RTX
    5336                 :            :          is not a MEM, go through a MEM because we must not create temporaries
    5337                 :            :          of the VLA type.  */
    5338                 :    3851280 :       else if (!MEM_P (to_rtx)
    5339                 :     522384 :                && TREE_CODE (from) == CALL_EXPR
    5340                 :         77 :                && COMPLETE_TYPE_P (TREE_TYPE (from))
    5341                 :    3851360 :                && TREE_CODE (TYPE_SIZE (TREE_TYPE (from))) != INTEGER_CST)
    5342                 :            :         {
    5343                 :          8 :           rtx temp = assign_stack_temp (GET_MODE (to_rtx),
    5344                 :         16 :                                         GET_MODE_SIZE (GET_MODE (to_rtx)));
    5345                 :          8 :           result = store_field (temp, bitsize, bitpos, bitregion_start,
    5346                 :            :                                 bitregion_end, mode1, from, get_alias_set (to),
    5347                 :            :                                 nontemporal, reversep);
    5348                 :          8 :           emit_move_insn (to_rtx, temp);
    5349                 :            :         }
    5350                 :            :       else
    5351                 :            :         {
    5352                 :    3851270 :           if (MEM_P (to_rtx))
    5353                 :            :             {
    5354                 :            :               /* If the field is at offset zero, we could have been given the
    5355                 :            :                  DECL_RTX of the parent struct.  Don't munge it.  */
    5356                 :    3328900 :               to_rtx = shallow_copy_rtx (to_rtx);
    5357                 :    3328900 :               set_mem_attributes_minus_bitpos (to_rtx, to, 0, bitpos);
    5358                 :    3328900 :               if (volatilep)
    5359                 :       8808 :                 MEM_VOLATILE_P (to_rtx) = 1;
    5360                 :            :             }
    5361                 :            : 
    5362                 :    3851270 :           gcc_checking_assert (known_ge (bitpos, 0));
    5363                 :    3851270 :           if (optimize_bitfield_assignment_op (bitsize, bitpos,
    5364                 :            :                                                bitregion_start, bitregion_end,
    5365                 :            :                                                mode1, to_rtx, to, from,
    5366                 :            :                                                reversep))
    5367                 :            :             result = NULL;
    5368                 :            :           else
    5369                 :    3851150 :             result = store_field (to_rtx, bitsize, bitpos,
    5370                 :            :                                   bitregion_start, bitregion_end,
    5371                 :            :                                   mode1, from, get_alias_set (to),
    5372                 :            :                                   nontemporal, reversep);
    5373                 :            :         }
    5374                 :            : 
    5375                 :    3851300 :       if (result)
    5376                 :     604224 :         preserve_temp_slots (result);
    5377                 :    3851430 :       pop_temp_slots ();
    5378                 :    3851430 :       return;
    5379                 :            :     }
    5380                 :            : 
    5381                 :            :   /* If the rhs is a function call and its value is not an aggregate,
    5382                 :            :      call the function before we start to compute the lhs.
    5383                 :            :      This is needed for correct code for cases such as
    5384                 :            :      val = setjmp (buf) on machines where reference to val
    5385                 :            :      requires loading up part of an address in a separate insn.
    5386                 :            : 
    5387                 :            :      Don't do this if TO is a VAR_DECL or PARM_DECL whose DECL_RTL is REG
    5388                 :            :      since it might be a promoted variable where the zero- or sign- extension
    5389                 :            :      needs to be done.  Handling this in the normal way is safe because no
    5390                 :            :      computation is done before the call.  The same is true for SSA names.  */
    5391                 :    1571310 :   if (TREE_CODE (from) == CALL_EXPR && ! aggregate_value_p (from, from)
    5392                 :    1401950 :       && COMPLETE_TYPE_P (TREE_TYPE (from))
    5393                 :    1401950 :       && TREE_CODE (TYPE_SIZE (TREE_TYPE (from))) == INTEGER_CST
    5394                 :    9849960 :       && ! (((VAR_P (to)
    5395                 :    1316810 :               || TREE_CODE (to) == PARM_DECL
    5396                 :    1315420 :               || TREE_CODE (to) == RESULT_DECL)
    5397                 :      86524 :              && REG_P (DECL_RTL (to)))
    5398                 :    1321140 :             || TREE_CODE (to) == SSA_NAME))
    5399                 :            :     {
    5400                 :       5866 :       rtx value;
    5401                 :            : 
    5402                 :       5866 :       push_temp_slots ();
    5403                 :       5866 :       value = expand_normal (from);
    5404                 :            : 
    5405                 :       5866 :       if (to_rtx == 0)
    5406                 :       5866 :         to_rtx = expand_expr (to, NULL_RTX, VOIDmode, EXPAND_WRITE);
    5407                 :            : 
    5408                 :            :       /* Handle calls that return values in multiple non-contiguous locations.
    5409                 :            :          The Irix 6 ABI has examples of this.  */
    5410                 :       5866 :       if (GET_CODE (to_rtx) == PARALLEL)
    5411                 :            :         {
    5412                 :          0 :           if (GET_CODE (value) == PARALLEL)
    5413                 :          0 :             emit_group_move (to_rtx, value);
    5414                 :            :           else
    5415                 :          0 :             emit_group_load (to_rtx, value, TREE_TYPE (from),
    5416                 :          0 :                              int_size_in_bytes (TREE_TYPE (from)));
    5417                 :            :         }
    5418                 :       5866 :       else if (GET_CODE (value) == PARALLEL)
    5419                 :       1047 :         emit_group_store (to_rtx, value, TREE_TYPE (from),
    5420                 :       1047 :                           int_size_in_bytes (TREE_TYPE (from)));
    5421                 :       4819 :       else if (GET_MODE (to_rtx) == BLKmode)
    5422                 :            :         {
    5423                 :            :           /* Handle calls that return BLKmode values in registers.  */
    5424                 :        212 :           if (REG_P (value))
    5425                 :        212 :             copy_blkmode_from_reg (to_rtx, value, TREE_TYPE (from));
    5426                 :            :           else
    5427                 :          0 :             emit_block_move (to_rtx, value, expr_size (from), BLOCK_OP_NORMAL);
    5428                 :            :         }
    5429                 :            :       else
    5430                 :            :         {
    5431                 :       4607 :           if (POINTER_TYPE_P (TREE_TYPE (to)))
    5432                 :          0 :             value = convert_memory_address_addr_space
    5433                 :          0 :               (as_a <scalar_int_mode> (GET_MODE (to_rtx)), value,
    5434                 :          0 :                TYPE_ADDR_SPACE (TREE_TYPE (TREE_TYPE (to))));
    5435                 :            : 
    5436                 :       4607 :           emit_move_insn (to_rtx, value);
    5437                 :            :         }
    5438                 :            : 
    5439                 :       5866 :       preserve_temp_slots (to_rtx);
    5440                 :       5866 :       pop_temp_slots ();
    5441                 :       5866 :       return;
    5442                 :            :     }
    5443                 :            : 
    5444                 :            :   /* Ordinary treatment.  Expand TO to get a REG or MEM rtx.  */
    5445                 :    8442150 :   to_rtx = expand_expr (to, NULL_RTX, VOIDmode, EXPAND_WRITE);
    5446                 :            : 
    5447                 :            :   /* Don't move directly into a return register.  */
    5448                 :    8442150 :   if (TREE_CODE (to) == RESULT_DECL
    5449                 :      11998 :       && (REG_P (to_rtx) || GET_CODE (to_rtx) == PARALLEL))
    5450                 :            :     {
    5451                 :          0 :       rtx temp;
    5452                 :            : 
    5453                 :          0 :       push_temp_slots ();
    5454                 :            : 
    5455                 :            :       /* If the source is itself a return value, it still is in a pseudo at
    5456                 :            :          this point so we can move it back to the return register directly.  */
    5457                 :          0 :       if (REG_P (to_rtx)
    5458                 :          0 :           && TYPE_MODE (TREE_TYPE (from)) == BLKmode
    5459                 :          0 :           && TREE_CODE (from) != CALL_EXPR)
    5460                 :          0 :         temp = copy_blkmode_to_reg (GET_MODE (to_rtx), from);
    5461                 :            :       else
    5462                 :          0 :         temp = expand_expr (from, NULL_RTX, GET_MODE (to_rtx), EXPAND_NORMAL);
    5463                 :            : 
    5464                 :            :       /* Handle calls that return values in multiple non-contiguous locations.
    5465                 :            :          The Irix 6 ABI has examples of this.  */
    5466                 :          0 :       if (GET_CODE (to_rtx) == PARALLEL)
    5467                 :            :         {
    5468                 :          0 :           if (GET_CODE (temp) == PARALLEL)
    5469                 :          0 :             emit_group_move (to_rtx, temp);
    5470                 :            :           else
    5471                 :          0 :             emit_group_load (to_rtx, temp, TREE_TYPE (from),
    5472                 :          0 :                              int_size_in_bytes (TREE_TYPE (from)));
    5473                 :            :         }
    5474                 :          0 :       else if (temp)
    5475                 :          0 :         emit_move_insn (to_rtx, temp);
    5476                 :            : 
    5477                 :          0 :       preserve_temp_slots (to_rtx);
    5478                 :          0 :       pop_temp_slots ();
    5479                 :          0 :       return;
    5480                 :            :     }
    5481                 :            : 
    5482                 :            :   /* In case we are returning the contents of an object which overlaps
    5483                 :            :      the place the value is being stored, use a safe function when copying
    5484                 :            :      a value through a pointer into a structure value return block.  */
    5485                 :    8442150 :   if (TREE_CODE (to) == RESULT_DECL
    5486                 :      11998 :       && TREE_CODE (from) == INDIRECT_REF
    5487                 :          0 :       && ADDR_SPACE_GENERIC_P
    5488                 :            :            (TYPE_ADDR_SPACE (TREE_TYPE (TREE_TYPE (TREE_OPERAND (from, 0)))))
    5489                 :          0 :       && refs_may_alias_p (to, from)
    5490                 :            :       && cfun->returns_struct
    5491                 :    8442150 :       && !cfun->returns_pcc_struct)
    5492                 :            :     {
    5493                 :          0 :       rtx from_rtx, size;
    5494                 :            : 
    5495                 :          0 :       push_temp_slots ();
    5496                 :          0 :       size = expr_size (from);
    5497                 :          0 :       from_rtx = expand_normal (from);
    5498                 :            : 
    5499                 :          0 :       emit_block_move_via_libcall (XEXP (to_rtx, 0), XEXP (from_rtx, 0), size);
    5500                 :            : 
    5501                 :          0 :       preserve_temp_slots (to_rtx);
    5502                 :          0 :       pop_temp_slots ();
    5503                 :          0 :       return;
    5504                 :            :     }
    5505                 :            : 
    5506                 :            :   /* Compute FROM and store the value in the rtx we got.  */
    5507                 :            : 
    5508                 :    8442150 :   push_temp_slots ();
    5509                 :    8442150 :   result = store_expr (from, to_rtx, 0, nontemporal, false);
    5510                 :    8442150 :   preserve_temp_slots (result);
    5511                 :    8442150 :   pop_temp_slots ();
    5512                 :    8442150 :   return;
    5513                 :            : }
    5514                 :            : 
    5515                 :            : /* Emits nontemporal store insn that moves FROM to TO.  Returns true if this
    5516                 :            :    succeeded, false otherwise.  */
    5517                 :            : 
    5518                 :            : bool
    5519                 :         18 : emit_storent_insn (rtx to, rtx from)
    5520                 :            : {
    5521                 :         18 :   class expand_operand ops[2];
    5522                 :         18 :   machine_mode mode = GET_MODE (to);
    5523                 :         18 :   enum insn_code code = optab_handler (storent_optab, mode);
    5524                 :            : 
    5525                 :         18 :   if (code == CODE_FOR_nothing)
    5526                 :            :     return false;
    5527                 :            : 
    5528                 :         18 :   create_fixed_operand (&ops[0], to);
    5529                 :         18 :   create_input_operand (&ops[1], from, mode);
    5530                 :         18 :   return maybe_expand_insn (code, 2, ops);
    5531                 :            : }
    5532                 :            : 
    5533                 :            : /* Helper function for store_expr storing of STRING_CST.  */
    5534                 :            : 
    5535                 :            : static rtx
    5536                 :      53416 : string_cst_read_str (void *data, HOST_WIDE_INT offset, scalar_int_mode mode)
    5537                 :            : {
    5538                 :      53416 :   tree str = (tree) data;
    5539                 :            : 
    5540                 :      53416 :   gcc_assert (offset >= 0);
    5541                 :      53416 :   if (offset >= TREE_STRING_LENGTH (str))
    5542                 :       2404 :     return const0_rtx;
    5543                 :            : 
    5544                 :     102024 :   if ((unsigned HOST_WIDE_INT) offset + GET_MODE_SIZE (mode)
    5545                 :      51012 :       > (unsigned HOST_WIDE_INT) TREE_STRING_LENGTH (str))
    5546                 :            :     {
    5547                 :       2246 :       char *p = XALLOCAVEC (char, GET_MODE_SIZE (mode));
    5548                 :       2246 :       size_t l = TREE_STRING_LENGTH (str) - offset;
    5549                 :       2246 :       memcpy (p, TREE_STRING_POINTER (str) + offset, l);
    5550                 :       2246 :       memset (p + l, '\0', GET_MODE_SIZE (mode) - l);
    5551                 :       2246 :       return c_readstr (p, mode, false);
    5552                 :            :     }
    5553                 :            : 
    5554                 :      48766 :   return c_readstr (TREE_STRING_POINTER (str) + offset, mode, false);
    5555                 :            : }
    5556                 :            : 
    5557                 :            : /* Generate code for computing expression EXP,
    5558                 :            :    and storing the value into TARGET.
    5559                 :            : 
    5560                 :            :    If the mode is BLKmode then we may return TARGET itself.
    5561                 :            :    It turns out that in BLKmode it doesn't cause a problem.
    5562                 :            :    because C has no operators that could combine two different
    5563                 :            :    assignments into the same BLKmode object with different values
    5564                 :            :    with no sequence point.  Will other languages need this to
    5565                 :            :    be more thorough?
    5566                 :            : 
    5567                 :            :    If CALL_PARAM_P is nonzero, this is a store into a call param on the
    5568                 :            :    stack, and block moves may need to be treated specially.
    5569                 :            : 
    5570                 :            :    If NONTEMPORAL is true, try using a nontemporal store instruction.
    5571                 :            : 
    5572                 :            :    If REVERSE is true, the store is to be done in reverse order.  */
    5573                 :            : 
    5574                 :            : rtx
    5575                 :   11716700 : store_expr (tree exp, rtx target, int call_param_p,
    5576                 :            :             bool nontemporal, bool reverse)
    5577                 :            : {
    5578                 :   11716700 :   rtx temp;
    5579                 :   11716700 :   rtx alt_rtl = NULL_RTX;
    5580                 :   11716700 :   location_t loc = curr_insn_location ();
    5581                 :            : 
    5582                 :   11716700 :   if (VOID_TYPE_P (TREE_TYPE (exp)))
    5583                 :            :     {
    5584                 :            :       /* C++ can generate ?: expressions with a throw expression in one
    5585                 :            :          branch and an rvalue in the other. Here, we resolve attempts to
    5586                 :            :          store the throw expression's nonexistent result.  */
    5587                 :          0 :       gcc_assert (!call_param_p);
    5588                 :          0 :       expand_expr (exp, const0_rtx, VOIDmode, EXPAND_NORMAL);
    5589                 :          0 :       return NULL_RTX;
    5590                 :            :     }
    5591                 :   11716700 :   if (TREE_CODE (exp) == COMPOUND_EXPR)
    5592                 :            :     {
    5593                 :            :       /* Perform first part of compound expression, then assign from second
    5594                 :            :          part.  */
    5595                 :          0 :       expand_expr (TREE_OPERAND (exp, 0), const0_rtx, VOIDmode,
    5596                 :            :                    call_param_p ? EXPAND_STACK_PARM : EXPAND_NORMAL);
    5597                 :          0 :       return store_expr (TREE_OPERAND (exp, 1), target,
    5598                 :          0 :                                      call_param_p, nontemporal, reverse);
    5599                 :            :     }
    5600                 :   11716700 :   else if (TREE_CODE (exp) == COND_EXPR && GET_MODE (target) == BLKmode)
    5601                 :            :     {
    5602                 :            :       /* For conditional expression, get safe form of the target.  Then
    5603                 :            :          test the condition, doing the appropriate assignment on either
    5604                 :            :          side.  This avoids the creation of unnecessary temporaries.
    5605                 :            :          For non-BLKmode, it is more efficient not to do this.  */
    5606                 :            : 
    5607                 :          0 :       rtx_code_label *lab1 = gen_label_rtx (), *lab2 = gen_label_rtx ();
    5608                 :            : 
    5609                 :          0 :       do_pending_stack_adjust ();
    5610                 :          0 :       NO_DEFER_POP;
    5611                 :          0 :       jumpifnot (TREE_OPERAND (exp, 0), lab1,
    5612                 :            :                  profile_probability::uninitialized ());
    5613                 :          0 :       store_expr (TREE_OPERAND (exp, 1), target, call_param_p,
    5614                 :            :                   nontemporal, reverse);
    5615                 :          0 :       emit_jump_insn (targetm.gen_jump (lab2));
    5616                 :          0 :       emit_barrier ();
    5617                 :          0 :       emit_label (lab1);
    5618                 :          0 :       store_expr (TREE_OPERAND (exp, 2), target, call_param_p,
    5619                 :            :                   nontemporal, reverse);
    5620                 :          0 :       emit_label (lab2);
    5621                 :          0 :       OK_DEFER_POP;
    5622                 :            : 
    5623                 :          0 :       return NULL_RTX;
    5624                 :            :     }
    5625                 :   11716700 :   else if (GET_CODE (target) == SUBREG && SUBREG_PROMOTED_VAR_P (target))
    5626                 :            :     /* If this is a scalar in a register that is stored in a wider mode
    5627                 :            :        than the declared mode, compute the result into its declared mode
    5628                 :            :        and then convert to the wider mode.  Our value is the computed
    5629                 :            :        expression.  */
    5630                 :            :     {
    5631                 :          7 :       rtx inner_target = 0;
    5632                 :          7 :       scalar_int_mode outer_mode = subreg_unpromoted_mode (target);
    5633                 :          7 :       scalar_int_mode inner_mode = subreg_promoted_mode (target);
    5634                 :            : 
    5635                 :            :       /* We can do the conversion inside EXP, which will often result
    5636                 :            :          in some optimizations.  Do the conversion in two steps: first
    5637                 :            :          change the signedness, if needed, then the extend.  But don't
    5638                 :            :          do this if the type of EXP is a subtype of something else
    5639                 :            :          since then the conversion might involve more than just
    5640                 :            :          converting modes.  */
    5641                 :         14 :       if (INTEGRAL_TYPE_P (TREE_TYPE (exp))
    5642                 :          0 :           && TREE_TYPE (TREE_TYPE (exp)) == 0
    5643                 :          7 :           && GET_MODE_PRECISION (outer_mode)
    5644                 :          0 :              == TYPE_PRECISION (TREE_TYPE (exp)))
    5645                 :            :         {
    5646                 :          0 :           if (!SUBREG_CHECK_PROMOTED_SIGN (target,
    5647                 :            :                                           TYPE_UNSIGNED (TREE_TYPE (exp))))
    5648                 :            :             {
    5649                 :            :               /* Some types, e.g. Fortran's logical*4, won't have a signed
    5650                 :            :                  version, so use the mode instead.  */
    5651                 :          0 :               tree ntype
    5652                 :            :                 = (signed_or_unsigned_type_for
    5653                 :          0 :                    (SUBREG_PROMOTED_SIGN (target), TREE_TYPE (exp)));
    5654                 :          0 :               if (ntype == NULL)
    5655                 :          0 :                 ntype = lang_hooks.types.type_for_mode
    5656                 :          0 :                   (TYPE_MODE (TREE_TYPE (exp)),
    5657                 :          0 :                    SUBREG_PROMOTED_SIGN (target));
    5658                 :            : 
    5659                 :          0 :               exp = fold_convert_loc (loc, ntype, exp);
    5660                 :            :             }
    5661                 :            : 
    5662                 :          0 :           exp = fold_convert_loc (loc, lang_hooks.types.type_for_mode
    5663                 :          0 :                                   (inner_mode, SUBREG_PROMOTED_SIGN (target)),
    5664                 :            :                                   exp);
    5665                 :            : 
    5666                 :          0 :           inner_target = SUBREG_REG (target);
    5667                 :            :         }
    5668                 :            : 
    5669                 :         14 :       temp = expand_expr (exp, inner_target, VOIDmode,
    5670                 :            :                           call_param_p ? EXPAND_STACK_PARM : EXPAND_NORMAL);
    5671                 :            : 
    5672                 :            : 
    5673                 :            :       /* If TEMP is a VOIDmode constant, use convert_modes to make
    5674                 :            :          sure that we properly convert it.  */
    5675                 :          7 :       if (CONSTANT_P (temp) && GET_MODE (temp) == VOIDmode)
    5676                 :            :         {
    5677                 :          0 :           temp = convert_modes (outer_mode, TYPE_MODE (TREE_TYPE (exp)),
    5678                 :          0 :                                 temp, SUBREG_PROMOTED_SIGN (target));
    5679                 :          0 :           temp = convert_modes (inner_mode, outer_mode, temp,
    5680                 :          0 :                                 SUBREG_PROMOTED_SIGN (target));
    5681                 :            :         }
    5682                 :            : 
    5683                 :         21 :       convert_move (SUBREG_REG (target), temp,
    5684                 :          7 :                     SUBREG_PROMOTED_SIGN (target));
    5685                 :            : 
    5686                 :          7 :       return NULL_RTX;
    5687                 :            :     }
    5688                 :   11716700 :   else if ((TREE_CODE (exp) == STRING_CST
    5689                 :   11710400 :             || (TREE_CODE (exp) == MEM_REF
    5690                 :     537180 :                 && TREE_CODE (TREE_OPERAND (exp, 0)) == ADDR_EXPR
    5691                 :     153678 :                 && TREE_CODE (TREE_OPERAND (TREE_OPERAND (exp, 0), 0))
    5692                 :            :                    == STRING_CST
    5693                 :       4208 :                 && integer_zerop (TREE_OPERAND (exp, 1))))
    5694                 :      10461 :            && !nontemporal && !call_param_p
    5695                 :   11727100 :            && MEM_P (target))
    5696                 :            :     {
    5697                 :            :       /* Optimize initialization of an array with a STRING_CST.  */
    5698                 :      10456 :       HOST_WIDE_INT exp_len, str_copy_len;
    5699                 :      10456 :       rtx dest_mem;
    5700                 :      10456 :       tree str = TREE_CODE (exp) == STRING_CST
    5701                 :      10456 :                  ? exp : TREE_OPERAND (TREE_OPERAND (exp, 0), 0);
    5702                 :            : 
    5703                 :      10456 :       exp_len = int_expr_size (exp);
    5704                 :      10456 :       if (exp_len <= 0)
    5705                 :          0 :         goto normal_expr;
    5706                 :            : 
    5707                 :      10456 :       if (TREE_STRING_LENGTH (str) <= 0)
    5708                 :          0 :         goto normal_expr;
    5709                 :            : 
    5710                 :      10456 :       if (can_store_by_pieces (exp_len, string_cst_read_str, (void *) str,
    5711                 :      10456 :                                MEM_ALIGN (target), false))
    5712                 :            :         {
    5713                 :      10189 :           store_by_pieces (target, exp_len, string_cst_read_str, (void *) str,
    5714                 :      10189 :                            MEM_ALIGN (target), false, RETURN_BEGIN);
    5715                 :      10189 :           return NULL_RTX;
    5716                 :            :         }
    5717                 :            : 
    5718                 :        267 :       str_copy_len = TREE_STRING_LENGTH (str);
    5719                 :        341 :       if ((STORE_MAX_PIECES & (STORE_MAX_PIECES - 1)) == 0)
    5720                 :            :         {
    5721                 :        267 :           str_copy_len += STORE_MAX_PIECES - 1;
    5722                 :        304 :           str_copy_len &= ~(STORE_MAX_PIECES - 1);
    5723                 :            :         }
    5724                 :        267 :       if (str_copy_len >= exp_len)
    5725                 :        201 :         goto normal_expr;
    5726                 :            : 
    5727                 :         66 :       if (!can_store_by_pieces (str_copy_len, string_cst_read_str,
    5728                 :         66 :                                 (void *) str, MEM_ALIGN (target), false))
    5729                 :          0 :         goto normal_expr;
    5730                 :            : 
    5731                 :        132 :       dest_mem = store_by_pieces (target, str_copy_len, string_cst_read_str,
    5732                 :         66 :                                   (void *) str, MEM_ALIGN (target), false,
    5733                 :            :                                   RETURN_END);
    5734                 :         66 :       clear_storage (adjust_address_1 (dest_mem, BLKmode, 0, 1, 1, 0,
    5735                 :         66 :                                        exp_len - str_copy_len),
    5736                 :            :                      GEN_INT (exp_len - str_copy_len), BLOCK_OP_NORMAL);
    5737                 :         66 :       return NULL_RTX;
    5738                 :            :     }
    5739                 :            :   else
    5740                 :            :     {
    5741                 :   11706400 :       rtx tmp_target;
    5742                 :            : 
    5743                 :   11706400 :   normal_expr:
    5744                 :            :       /* If we want to use a nontemporal or a reverse order store, force the
    5745                 :            :          value into a register first.  */
    5746                 :   11706400 :       tmp_target = nontemporal || reverse ? NULL_RTX : target;
    5747                 :   23412800 :       temp = expand_expr_real (exp, tmp_target, GET_MODE (target),
    5748                 :            :                                (call_param_p
    5749                 :            :                                 ? EXPAND_STACK_PARM : EXPAND_NORMAL),
    5750                 :            :                                &alt_rtl, false);
    5751                 :            :     }
    5752                 :            : 
    5753                 :            :   /* If TEMP is a VOIDmode constant and the mode of the type of EXP is not
    5754                 :            :      the same as that of TARGET, adjust the constant.  This is needed, for
    5755                 :            :      example, in case it is a CONST_DOUBLE or CONST_WIDE_INT and we want 
    5756                 :            :      only a word-sized value.  */
    5757                 :    2700440 :   if (CONSTANT_P (temp) && GET_MODE (temp) == VOIDmode
    5758                 :    2077560 :       && TREE_CODE (exp) != ERROR_MARK
    5759                 :   13784000 :       && GET_MODE (target) != TYPE_MODE (TREE_TYPE (exp)))
    5760                 :            :     {
    5761                 :          0 :       if (GET_MODE_CLASS (GET_MODE (target))
    5762                 :          0 :           != GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (exp)))
    5763                 :          0 :           && known_eq (GET_MODE_BITSIZE (GET_MODE (target)),
    5764                 :            :                        GET_MODE_BITSIZE (TYPE_MODE (TREE_TYPE (exp)))))
    5765                 :            :         {
    5766                 :          0 :           rtx t = simplify_gen_subreg (GET_MODE (target), temp,
    5767                 :          0 :                                        TYPE_MODE (TREE_TYPE (exp)), 0);
    5768                 :          0 :           if (t)
    5769                 :          0 :             temp = t;
    5770                 :            :         }
    5771                 :          0 :       if (GET_MODE (temp) == VOIDmode)
    5772                 :          0 :         temp = convert_modes (GET_MODE (target), TYPE_MODE (TREE_TYPE (exp)),
    5773                 :          0 :                               temp, TYPE_UNSIGNED (TREE_TYPE (exp)));
    5774                 :            :     }
    5775                 :            : 
    5776                 :            :   /* If value was not generated in the target, store it there.
    5777                 :            :      Convert the value to TARGET's type first if necessary and emit the
    5778                 :            :      pending incrementations that have been queued when expanding EXP.
    5779                 :            :      Note that we cannot emit the whole queue blindly because this will
    5780                 :            :      effectively disable the POST_INC optimization later.
    5781                 :            : 
    5782                 :            :      If TEMP and TARGET compare equal according to rtx_equal_p, but
    5783                 :            :      one or both of them are volatile memory refs, we have to distinguish
    5784                 :            :      two cases:
    5785                 :            :      - expand_expr has used TARGET.  In this case, we must not generate
    5786                 :            :        another copy.  This can be detected by TARGET being equal according
    5787                 :            :        to == .
    5788                 :            :      - expand_expr has not used TARGET - that means that the source just
    5789                 :            :        happens to have the same RTX form.  Since temp will have been created
    5790                 :            :        by expand_expr, it will compare unequal according to == .
    5791                 :            :        We must generate a copy in this case, to reach the correct number
    5792                 :            :        of volatile memory references.  */
    5793                 :            : 
    5794                 :   11706400 :   if ((! rtx_equal_p (temp, target)
    5795                 :    1989760 :        || (temp != target && (side_effects_p (temp)
    5796                 :      42336 :                               || side_effects_p (target))))
    5797                 :    9716640 :       && TREE_CODE (exp) != ERROR_MARK
    5798                 :            :       /* If store_expr stores a DECL whose DECL_RTL(exp) == TARGET,
    5799                 :            :          but TARGET is not valid memory reference, TEMP will differ
    5800                 :            :          from TARGET although it is really the same location.  */
    5801                 :          0 :       && !(alt_rtl
    5802                 :    9716640 :            && rtx_equal_p (alt_rtl, target)
    5803                 :          1 :            && !side_effects_p (alt_rtl)
    5804                 :          0 :            && !side_effects_p (target))
    5805                 :            :       /* If there's nothing to copy, don't bother.  Don't call
    5806                 :            :          expr_size unless necessary, because some front-ends (C++)
    5807                 :            :          expr_size-hook must not be given objects that are not
    5808                 :            :          supposed to be bit-copied or bit-initialized.  */
    5809                 :   21423000 :       && expr_size (exp) != const0_rtx)
    5810                 :            :     {
    5811                 :    9716640 :       if (GET_MODE (temp) != GET_MODE (target) && GET_MODE (temp) != VOIDmode)
    5812                 :            :         {
    5813                 :        947 :           if (GET_MODE (target) == BLKmode)
    5814                 :            :             {
    5815                 :            :               /* Handle calls that return BLKmode values in registers.  */
    5816                 :          2 :               if (REG_P (temp) && TREE_CODE (exp) == CALL_EXPR)
    5817                 :          2 :                 copy_blkmode_from_reg (target, temp, TREE_TYPE (exp));
    5818                 :            :               else
    5819                 :          0 :                 store_bit_field (target,
    5820                 :          0 :                                  rtx_to_poly_int64 (expr_size (exp))
    5821                 :          0 :                                  * BITS_PER_UNIT,
    5822                 :          0 :                                  0, 0, 0, GET_MODE (temp), temp, reverse);
    5823                 :            :             }
    5824                 :            :           else
    5825                 :        945 :             convert_move (target, temp, TYPE_UNSIGNED (TREE_TYPE (exp)));
    5826                 :            :         }
    5827                 :            : 
    5828                 :    9715700 :       else if (GET_MODE (temp) == BLKmode && TREE_CODE (exp) == STRING_CST)
    5829                 :            :         {
    5830                 :            :           /* Handle copying a string constant into an array.  The string
    5831                 :            :              constant may be shorter than the array.  So copy just the string's
    5832                 :            :              actual length, and clear the rest.  First get the size of the data
    5833                 :            :              type of the string, which is actually the size of the target.  */
    5834                 :         75 :           rtx size = expr_size (exp);
    5835                 :            : 
    5836                 :         75 :           if (CONST_INT_P (size)
    5837                 :         75 :               && INTVAL (size) < TREE_STRING_LENGTH (exp))
    5838                 :          0 :             emit_block_move (target, temp, size,
    5839                 :            :                              (call_param_p
    5840                 :            :                               ? BLOCK_OP_CALL_PARM : BLOCK_OP_NORMAL));
    5841                 :            :           else
    5842                 :            :             {
    5843                 :         75 :               machine_mode pointer_mode
    5844                 :         75 :                 = targetm.addr_space.pointer_mode (MEM_ADDR_SPACE (target));
    5845                 :         75 :               machine_mode address_mode = get_address_mode (target);
    5846                 :            : 
    5847                 :            :               /* Compute the size of the data to copy from the string.  */
    5848                 :         75 :               tree copy_size
    5849                 :         75 :                 = size_binop_loc (loc, MIN_EXPR,
    5850                 :            :                                   make_tree (sizetype, size),
    5851                 :         75 :                                   size_int (TREE_STRING_LENGTH (exp)));
    5852                 :         75 :               rtx copy_size_rtx
    5853                 :         75 :                 = expand_expr (copy_size, NULL_RTX, VOIDmode,
    5854                 :            :                                (call_param_p
    5855                 :            :                                 ? EXPAND_STACK_PARM : EXPAND_NORMAL));
    5856                 :         75 :               rtx_code_label *label = 0;
    5857                 :            : 
    5858                 :            :               /* Copy that much.  */
    5859                 :        225 :               copy_size_rtx = convert_to_mode (pointer_mode, copy_size_rtx,
    5860                 :         75 :                                                TYPE_UNSIGNED (sizetype));
    5861                 :        150 :               emit_block_move (target, temp, copy_size_rtx,
    5862                 :            :                                (call_param_p
    5863                 :            :                                 ? BLOCK_OP_CALL_PARM : BLOCK_OP_NORMAL));
    5864                 :            : 
    5865                 :            :               /* Figure out how much is left in TARGET that we have to clear.
    5866                 :            :                  Do all calculations in pointer_mode.  */
    5867                 :         75 :               poly_int64 const_copy_size;
    5868                 :         75 :               if (poly_int_rtx_p (copy_size_rtx, &const_copy_size))
    5869                 :            :                 {
    5870                 :         75 :                   size = plus_constant (address_mode, size, -const_copy_size);
    5871                 :         75 :                   target = adjust_address (target, BLKmode, const_copy_size);
    5872                 :            :                 }
    5873                 :            :               else
    5874                 :            :                 {
    5875                 :          0 :                   size = expand_binop (TYPE_MODE (sizetype), sub_optab, size,
    5876                 :            :                                        copy_size_rtx, NULL_RTX, 0,
    5877                 :            :                                        OPTAB_LIB_WIDEN);
    5878                 :            : 
    5879                 :          0 :                   if (GET_MODE (copy_size_rtx) != address_mode)
    5880                 :          0 :                     copy_size_rtx = convert_to_mode (address_mode,
    5881                 :            :                                                      copy_size_rtx,
    5882                 :          0 :                                                      TYPE_UNSIGNED (sizetype));
    5883                 :            : 
    5884                 :          0 :                   target = offset_address (target, copy_size_rtx,
    5885                 :            :                                            highest_pow2_factor (copy_size));
    5886                 :          0 :                   label = gen_label_rtx ();
    5887                 :          0 :                   emit_cmp_and_jump_insns (size, const0_rtx, LT, NULL_RTX,
    5888                 :          0 :                                            GET_MODE (size), 0, label);
    5889                 :            :                 }
    5890                 :            : 
    5891                 :         75 :               if (size != const0_rtx)
    5892                 :          1 :                 clear_storage (target, size, BLOCK_OP_NORMAL);
    5893                 :            : 
    5894                 :         75 :               if (label)
    5895                 :          0 :                 emit_label (label);
    5896                 :            :             }
    5897                 :            :         }
    5898                 :            :       /* Handle calls that return values in multiple non-contiguous locations.
    5899                 :            :          The Irix 6 ABI has examples of this.  */
    5900                 :    9715620 :       else if (GET_CODE (target) == PARALLEL)
    5901                 :            :         {
    5902                 :          0 :           if (GET_CODE (temp) == PARALLEL)
    5903                 :          0 :             emit_group_move (target, temp);
    5904                 :            :           else
    5905                 :          0 :             emit_group_load (target, temp, TREE_TYPE (exp),
    5906                 :          0 :                              int_size_in_bytes (TREE_TYPE (exp)));
    5907                 :            :         }
    5908                 :    9715620 :       else if (GET_CODE (temp) == PARALLEL)
    5909                 :          0 :         emit_group_store (target, temp, TREE_TYPE (exp),
    5910                 :          0 :                           int_size_in_bytes (TREE_TYPE (exp)));
    5911                 :    9715620 :       else if (GET_MODE (temp) == BLKmode)
    5912                 :     466290 :         emit_block_move (target, temp, expr_size (exp),
    5913                 :            :                          (call_param_p
    5914                 :            :                           ? BLOCK_OP_CALL_PARM : BLOCK_OP_NORMAL));
    5915                 :            :       /* If we emit a nontemporal store, there is nothing else to do.  */
    5916                 :    9482480 :       else if (nontemporal && emit_storent_insn (target, temp))
    5917                 :            :         ;
    5918                 :            :       else
    5919                 :            :         {
    5920                 :    9482460 :           if (reverse)
    5921                 :        783 :             temp = flip_storage_order (GET_MODE (target), temp);
    5922                 :    9482460 :           temp = force_operand (temp, target);
    5923                 :    9482460 :           if (temp != target)
    5924                 :    9481680 :             emit_move_insn (target, temp);
    5925                 :            :         }
    5926                 :            :     }
    5927                 :            : 
    5928                 :            :   return NULL_RTX;
    5929                 :            : }
    5930                 :            : 
    5931                 :            : /* Return true if field F of structure TYPE is a flexible array.  */
    5932                 :            : 
    5933                 :            : static bool
    5934                 :    2355230 : flexible_array_member_p (const_tree f, const_tree type)
    5935                 :            : {
    5936                 :    2355230 :   const_tree tf;
    5937                 :            : 
    5938                 :    2355230 :   tf = TREE_TYPE (f);
    5939                 :    2355230 :   return (DECL_CHAIN (f) == NULL
    5940                 :     869690 :           && TREE_CODE (tf) == ARRAY_TYPE
    5941                 :       1854 :           && TYPE_DOMAIN (tf)
    5942                 :       1854 :           && TYPE_MIN_VALUE (TYPE_DOMAIN (tf))
    5943                 :       1854 :           && integer_zerop (TYPE_MIN_VALUE (TYPE_DOMAIN (tf)))
    5944                 :       1854 :           && !TYPE_MAX_VALUE (TYPE_DOMAIN (tf))
    5945                 :    2355260 :           && int_size_in_bytes (type) >= 0);
    5946                 :            : }
    5947                 :            : 
    5948                 :            : /* If FOR_CTOR_P, return the number of top-level elements that a constructor
    5949                 :            :    must have in order for it to completely initialize a value of type TYPE.
    5950                 :            :    Return -1 if the number isn't known.
    5951                 :            : 
    5952                 :            :    If !FOR_CTOR_P, return an estimate of the number of scalars in TYPE.  */
    5953                 :            : 
    5954                 :            : static HOST_WIDE_INT
    5955                 :    3198270 : count_type_elements (const_tree type, bool for_ctor_p)
    5956                 :            : {
    5957                 :    3198270 :   switch (TREE_CODE (type))
    5958                 :            :     {
    5959                 :     112697 :     case ARRAY_TYPE:
    5960                 :     112697 :       {
    5961                 :     112697 :         tree nelts;
    5962                 :            : 
    5963                 :     112697 :         nelts = array_type_nelts (type);
    5964                 :     112697 :         if (nelts && tree_fits_uhwi_p (nelts))
    5965                 :            :           {
    5966                 :     112685 :             unsigned HOST_WIDE_INT n;
    5967                 :            : 
    5968                 :     112685 :             n = tree_to_uhwi (nelts) + 1;
    5969                 :     112685 :             if (n == 0 || for_ctor_p)
    5970                 :     111111 :               return n;
    5971                 :            :             else
    5972                 :       1574 :               return n * count_type_elements (TREE_TYPE (type), false);
    5973                 :            :           }
    5974                 :         12 :         return for_ctor_p ? -1 : 1;
    5975                 :            :       }
    5976                 :            : 
    5977                 :    1329770 :     case RECORD_TYPE:
    5978                 :    1329770 :       {
    5979                 :    1329770 :         unsigned HOST_WIDE_INT n;
    5980                 :    1329770 :         tree f;
    5981                 :            : 
    5982                 :    1329770 :         n = 0;
    5983                 :    6085200 :         for (f = TYPE_FIELDS (type); f ; f = DECL_CHAIN (f))
    5984                 :    4755430 :           if (TREE_CODE (f) == FIELD_DECL)
    5985                 :            :             {
    5986                 :    3235700 :               if (!for_ctor_p)
    5987                 :     880472 :                 n += count_type_elements (TREE_TYPE (f), false);
    5988                 :    2355230 :               else if (!flexible_array_member_p (f, type))
    5989                 :            :                 /* Don't count flexible arrays, which are not supposed
    5990                 :            :                    to be initialized.  */
    5991                 :    2355200 :                 n += 1;
    5992                 :            :             }
    5993                 :            : 
    5994                 :    1329770 :         return n;
    5995                 :            :       }
    5996                 :            : 
    5997                 :        286 :     case UNION_TYPE:
    5998                 :        286 :     case QUAL_UNION_TYPE:
    5999                 :        286 :       {
    6000                 :        286 :         tree f;
    6001                 :        286 :         HOST_WIDE_INT n, m;
    6002                 :            : 
    6003                 :        286 :         gcc_assert (!for_ctor_p);
    6004                 :            :         /* Estimate the number of scalars in each field and pick the
    6005                 :            :            maximum.  Other estimates would do instead; the idea is simply
    6006                 :            :            to make sure that the estimate is not sensitive to the ordering
    6007                 :            :            of the fields.  */
    6008                 :        286 :         n = 1;
    6009                 :       1463 :         for (f = TYPE_FIELDS (type); f ; f = DECL_CHAIN (f))
    6010                 :        891 :           if (TREE_CODE (f) == FIELD_DECL)
    6011                 :            :             {
    6012                 :        569 :               m = count_type_elements (TREE_TYPE (f), false);
    6013                 :            :               /* If the field doesn't span the whole union, add an extra
    6014                 :            :                  scalar for the rest.  */
    6015                 :       1138 :               if (simple_cst_equal (TYPE_SIZE (TREE_TYPE (f)),
    6016                 :        569 :                                     TYPE_SIZE (type)) != 1)
    6017                 :        283 :                 m++;
    6018                 :        569 :               if (n < m)
    6019                 :            :                 n = m;
    6020                 :            :             }
    6021                 :            :         return n;
    6022                 :            :       }
    6023                 :            : 
    6024                 :            :     case COMPLEX_TYPE:
    6025                 :            :       return 2;
    6026                 :            : 
    6027                 :         77 :     case VECTOR_TYPE:
    6028                 :         77 :       {
    6029                 :         77 :         unsigned HOST_WIDE_INT nelts;
    6030                 :         77 :         if (TYPE_VECTOR_SUBPARTS (type).is_constant (&nelts))
    6031                 :         77 :           return nelts;
    6032                 :            :         else
    6033                 :            :           return -1;
    6034                 :            :       }
    6035                 :            : 
    6036                 :    1741470 :     case INTEGER_TYPE:
    6037                 :    1741470 :     case REAL_TYPE:
    6038                 :    1741470 :     case FIXED_POINT_TYPE:
    6039                 :    1741470 :     case ENUMERAL_TYPE:
    6040                 :    1741470 :     case BOOLEAN_TYPE:
    6041                 :    1741470 :     case POINTER_TYPE:
    6042                 :    1741470 :     case OFFSET_TYPE:
    6043                 :    1741470 :     case REFERENCE_TYPE:
    6044                 :    1741470 :     case NULLPTR_TYPE:
    6045                 :    1741470 :       return 1;
    6046                 :            : 
    6047                 :          0 :     case ERROR_MARK:
    6048                 :          0 :       return 0;
    6049                 :            : 
    6050                 :          0 :     case VOID_TYPE:
    6051                 :          0 :     case METHOD_TYPE:
    6052                 :          0 :     case FUNCTION_TYPE:
    6053                 :          0 :     case LANG_TYPE:
    6054                 :          0 :     default:
    6055                 :          0 :       gcc_unreachable ();
    6056                 :            :     }
    6057                 :            : }
    6058                 :            : 
    6059                 :            : /* Helper for categorize_ctor_elements.  Identical interface.  */
    6060                 :            : 
    6061                 :            : static bool
    6062                 :    1063210 : categorize_ctor_elements_1 (const_tree ctor, HOST_WIDE_INT *p_nz_elts,
    6063                 :            :                             HOST_WIDE_INT *p_unique_nz_elts,
    6064                 :            :                             HOST_WIDE_INT *p_init_elts, bool *p_complete)
    6065                 :            : {
    6066                 :    1063210 :   unsigned HOST_WIDE_INT idx;
    6067                 :    1063210 :   HOST_WIDE_INT nz_elts, unique_nz_elts, init_elts, num_fields;
    6068                 :    1063210 :   tree value, purpose, elt_type;
    6069                 :            : 
    6070                 :            :   /* Whether CTOR is a valid constant initializer, in accordance with what
    6071                 :            :      initializer_constant_valid_p does.  If inferred from the constructor
    6072                 :            :      elements, true until proven otherwise.  */
    6073                 :    1063210 :   bool const_from_elts_p = constructor_static_from_elts_p (ctor);
    6074                 :    1063210 :   bool const_p = const_from_elts_p ? true : TREE_STATIC (ctor);
    6075                 :            : 
    6076                 :    1063210 :   nz_elts = 0;
    6077                 :    1063210 :   unique_nz_elts = 0;
    6078                 :    1063210 :   init_elts = 0;
    6079                 :    1063210 :   num_fields = 0;
    6080                 :    1063210 :   elt_type = NULL_TREE;
    6081                 :            : 
    6082                 :    7926400 :   FOR_EACH_CONSTRUCTOR_ELT (CONSTRUCTOR_ELTS (ctor), idx, purpose, value)
    6083                 :            :     {
    6084                 :    2918510 :       HOST_WIDE_INT mult = 1;
    6085                 :            : 
    6086                 :    2918510 :       if (purpose && TREE_CODE (purpose) == RANGE_EXPR)
    6087                 :            :         {
    6088                 :        579 :           tree lo_index = TREE_OPERAND (purpose, 0);
    6089                 :        579 :           tree hi_index = TREE_OPERAND (purpose, 1);
    6090                 :            : 
    6091                 :        579 :           if (tree_fits_uhwi_p (lo_index) && tree_fits_uhwi_p (hi_index))
    6092                 :        579 :             mult = (tree_to_uhwi (hi_index)
    6093                 :        579 :                     - tree_to_uhwi (lo_index) + 1);
    6094                 :            :         }
    6095                 :    2918510 :       num_fields += mult;
    6096                 :    2918510 :       elt_type = TREE_TYPE (value);
    6097                 :            : 
    6098                 :    2918510 :       switch (TREE_CODE (value))
    6099                 :            :         {
    6100                 :     227484 :         case CONSTRUCTOR:
    6101                 :     227484 :           {
    6102                 :     227484 :             HOST_WIDE_INT nz = 0, unz = 0, ic = 0;
    6103                 :            : 
    6104                 :     227484 :             bool const_elt_p = categorize_ctor_elements_1 (value, &nz, &unz,
    6105                 :            :                                                            &ic, p_complete);
    6106                 :            : 
    6107                 :     227484 :             nz_elts += mult * nz;
    6108                 :     227484 :             unique_nz_elts += unz;
    6109                 :     227484 :             init_elts += mult * ic;
    6110                 :            : 
    6111                 :     227484 :             if (const_from_elts_p && const_p)
    6112                 :     170891 :               const_p = const_elt_p;
    6113                 :            :           }
    6114                 :     227484 :           break;
    6115                 :            : 
    6116                 :    1411950 :         case INTEGER_CST:
    6117                 :    1411950 :         case REAL_CST:
    6118                 :    1411950 :         case FIXED_CST:
    6119                 :    1411950 :           if (!initializer_zerop (value))
    6120                 :            :             {
    6121                 :    1183990 :               nz_elts += mult;
    6122                 :    1183990 :               unique_nz_elts++;
    6123                 :            :             }
    6124                 :    1411950 :           init_elts += mult;
    6125                 :    1411950 :           break;
    6126                 :            : 
    6127                 :        804 :         case STRING_CST:
    6128                 :        804 :           nz_elts += mult * TREE_STRING_LENGTH (value);
    6129                 :        804 :           unique_nz_elts += TREE_STRING_LENGTH (value);
    6130                 :        804 :           init_elts += mult * TREE_STRING_LENGTH (value);
    6131                 :        804 :           break;
    6132                 :            : 
    6133                 :       1326 :         case COMPLEX_CST:
    6134                 :       1326 :           if (!initializer_zerop (TREE_REALPART (value)))
    6135                 :            :             {
    6136                 :        944 :               nz_elts += mult;
    6137                 :        944 :               unique_nz_elts++;
    6138                 :            :             }
    6139                 :       1326 :           if (!initializer_zerop (TREE_IMAGPART (value)))
    6140                 :            :             {
    6141                 :        874 :               nz_elts += mult;
    6142                 :        874 :               unique_nz_elts++;
    6143                 :            :             }
    6144                 :       1326 :           init_elts += 2 * mult;
    6145                 :       1326 :           break;
    6146                 :            : 
    6147                 :        128 :         case VECTOR_CST:
    6148                 :        128 :           {
    6149                 :            :             /* We can only construct constant-length vectors using
    6150                 :            :                CONSTRUCTOR.  */
    6151                 :        128 :             unsigned int nunits = VECTOR_CST_NELTS (value).to_constant ();
    6152                 :       1056 :             for (unsigned int i = 0; i < nunits; ++i)
    6153                 :            :               {
    6154                 :        928 :                 tree v = VECTOR_CST_ELT (value, i);
    6155                 :        928 :                 if (!initializer_zerop (v))
    6156                 :            :                   {
    6157                 :        739 :                     nz_elts += mult;
    6158                 :        739 :                     unique_nz_elts++;
    6159                 :            :                   }
    6160                 :        928 :                 init_elts += mult;
    6161                 :            :               }
    6162                 :            :           }
    6163                 :            :           break;
    6164                 :            : 
    6165                 :    1276810 :         default:
    6166                 :    1276810 :           {
    6167                 :    1276810 :             HOST_WIDE_INT tc = count_type_elements (elt_type, false);
    6168                 :    1276810 :             nz_elts += mult * tc;
    6169                 :    1276810 :             unique_nz_elts += tc;
    6170                 :    1276810 :             init_elts += mult * tc;
    6171                 :            : 
    6172                 :    1276810 :             if (const_from_elts_p && const_p)
    6173                 :     371896 :               const_p
    6174                 :     371896 :                 = initializer_constant_valid_p (value,
    6175                 :            :                                                 elt_type,
    6176                 :     371896 :                                                 TYPE_REVERSE_STORAGE_ORDER
    6177                 :     371896 :                                                 (TREE_TYPE (ctor)))
    6178                 :            :                   != NULL_TREE;
    6179                 :            :           }
    6180                 :            :           break;
    6181                 :            :         }
    6182                 :            :     }
    6183                 :            : 
    6184                 :    2087440 :   if (*p_complete && !complete_ctor_at_level_p (TREE_TYPE (ctor),
    6185                 :            :                                                 num_fields, elt_type))
    6186                 :      93568 :     *p_complete = false;
    6187                 :            : 
    6188                 :    1063210 :   *p_nz_elts += nz_elts;
    6189                 :    1063210 :   *p_unique_nz_elts += unique_nz_elts;
    6190                 :    1063210 :   *p_init_elts += init_elts;
    6191                 :            : 
    6192                 :    1063210 :   return const_p;
    6193                 :            : }
    6194                 :            : 
    6195                 :            : /* Examine CTOR to discover:
    6196                 :            :    * how many scalar fields are set to nonzero values,
    6197                 :            :      and place it in *P_NZ_ELTS;
    6198                 :            :    * the same, but counting RANGE_EXPRs as multiplier of 1 instead of
    6199                 :            :      high - low + 1 (this can be useful for callers to determine ctors
    6200                 :            :      that could be cheaply initialized with - perhaps nested - loops
    6201                 :            :      compared to copied from huge read-only data),
    6202                 :            :      and place it in *P_UNIQUE_NZ_ELTS;
    6203                 :            :    * how many scalar fields in total are in CTOR,
    6204                 :            :      and place it in *P_ELT_COUNT.
    6205                 :            :    * whether the constructor is complete -- in the sense that every
    6206                 :            :      meaningful byte is explicitly given a value --
    6207                 :            :      and place it in *P_COMPLETE.
    6208                 :            : 
    6209                 :            :    Return whether or not CTOR is a valid static constant initializer, the same
    6210                 :            :    as "initializer_constant_valid_p (CTOR, TREE_TYPE (CTOR)) != 0".  */
    6211                 :            : 
    6212                 :            : bool
    6213                 :     835722 : categorize_ctor_elements (const_tree ctor, HOST_WIDE_INT *p_nz_elts,
    6214                 :            :                           HOST_WIDE_INT *p_unique_nz_elts,
    6215                 :            :                           HOST_WIDE_INT *p_init_elts, bool *p_complete)
    6216                 :            : {
    6217                 :     835722 :   *p_nz_elts = 0;
    6218                 :     835722 :   *p_unique_nz_elts = 0;
    6219                 :     835722 :   *p_init_elts = 0;
    6220                 :     835722 :   *p_complete = true;
    6221                 :            : 
    6222                 :     835722 :   return categorize_ctor_elements_1 (ctor, p_nz_elts, p_unique_nz_elts,
    6223                 :     835722 :                                      p_init_elts, p_complete);
    6224                 :            : }
    6225                 :            : 
    6226                 :            : /* TYPE is initialized by a constructor with NUM_ELTS elements, the last
    6227                 :            :    of which had type LAST_TYPE.  Each element was itself a complete
    6228                 :            :    initializer, in the sense that every meaningful byte was explicitly
    6229                 :            :    given a value.  Return true if the same is true for the constructor
    6230                 :            :    as a whole.  */
    6231                 :            : 
    6232                 :            : bool
    6233                 :    1041620 : complete_ctor_at_level_p (const_tree type, HOST_WIDE_INT num_elts,
    6234                 :            :                           const_tree last_type)
    6235                 :            : {
    6236                 :    1041620 :   if (TREE_CODE (type) == UNION_TYPE
    6237                 :    1041620 :       || TREE_CODE (type) == QUAL_UNION_TYPE)
    6238                 :            :     {
    6239                 :       2773 :       if (num_elts == 0)
    6240                 :            :         return false;
    6241                 :            : 
    6242                 :       2754 :       gcc_assert (num_elts == 1 && last_type);
    6243                 :            : 
    6244                 :            :       /* ??? We could look at each element of the union, and find the
    6245                 :            :          largest element.  Which would avoid comparing the size of the
    6246                 :            :          initialized element against any tail padding in the union.
    6247                 :            :          Doesn't seem worth the effort...  */
    6248                 :       2754 :       return simple_cst_equal (TYPE_SIZE (type), TYPE_SIZE (last_type)) == 1;
    6249                 :            :     }
    6250                 :            : 
    6251                 :    1038850 :   return count_type_elements (type, true) == num_elts;
    6252                 :            : }
    6253                 :            : 
    6254                 :            : /* Return 1 if EXP contains mostly (3/4) zeros.  */
    6255                 :            : 
    6256                 :            : static int
    6257                 :      94813 : mostly_zeros_p (const_tree exp)
    6258                 :            : {
    6259                 :      94813 :   if (TREE_CODE (exp) == CONSTRUCTOR)
    6260                 :            :     {
    6261                 :         24 :       HOST_WIDE_INT nz_elts, unz_elts, init_elts;
    6262                 :         24 :       bool complete_p;
    6263                 :            : 
    6264                 :         24 :       categorize_ctor_elements (exp, &nz_elts, &unz_elts, &init_elts,
    6265                 :            :                                 &complete_p);
    6266                 :         48 :       return !complete_p || nz_elts < init_elts / 4;
    6267                 :            :     }
    6268                 :            : 
    6269                 :      94789 :   return initializer_zerop (exp);
    6270                 :            : }
    6271                 :            : 
    6272                 :            : /* Return 1 if EXP contains all zeros.  */
    6273                 :            : 
    6274                 :            : static int
    6275                 :        235 : all_zeros_p (const_tree exp)
    6276                 :            : {
    6277                 :        235 :   if (TREE_CODE (exp) == CONSTRUCTOR)
    6278                 :            :     {
    6279                 :        235 :       HOST_WIDE_INT nz_elts, unz_elts, init_elts;
    6280                 :        235 :       bool complete_p;
    6281                 :            : 
    6282                 :        235 :       categorize_ctor_elements (exp, &nz_elts, &unz_elts, &init_elts,
    6283                 :            :                                 &complete_p);
    6284                 :        235 :       return nz_elts == 0;
    6285                 :            :     }
    6286                 :            : 
    6287                 :          0 :   return initializer_zerop (exp);
    6288                 :            : }
    6289                 :            : 
    6290                 :            : /* Helper function for store_constructor.
    6291                 :            :    TARGET, BITSIZE, BITPOS, MODE, EXP are as for store_field.
    6292                 :            :    CLEARED is as for store_constructor.
    6293                 :            :    ALIAS_SET is the alias set to use for any stores.
    6294                 :            :    If REVERSE is true, the store is to be done in reverse order.
    6295                 :            : 
    6296                 :            :    This provides a recursive shortcut back to store_constructor when it isn't
    6297                 :            :    necessary to go through store_field.  This is so that we can pass through
    6298                 :            :    the cleared field to let store_constructor know that we may not have to
    6299                 :            :    clear a substructure if the outer structure has already been cleared.  */
    6300                 :            : 
    6301                 :            : static void
    6302                 :      25272 : store_constructor_field (rtx target, poly_uint64 bitsize, poly_int64 bitpos,
    6303                 :            :                          poly_uint64 bitregion_start,
    6304                 :            :                          poly_uint64 bitregion_end,
    6305                 :            :                          machine_mode mode,
    6306                 :            :                          tree exp, int cleared,
    6307                 :            :                          alias_set_type alias_set, bool reverse)
    6308                 :            : {
    6309                 :      25272 :   poly_int64 bytepos;
    6310                 :      25272 :   poly_uint64 bytesize;
    6311                 :      25272 :   if (TREE_CODE (exp) == CONSTRUCTOR
    6312                 :            :       /* We can only call store_constructor recursively if the size and
    6313                 :            :          bit position are on a byte boundary.  */
    6314                 :          0 :       && multiple_p (bitpos, BITS_PER_UNIT, &bytepos)
    6315                 :          0 :       && maybe_ne (bitsize, 0U)
    6316                 :          0 :       && multiple_p (bitsize, BITS_PER_UNIT, &bytesize)
    6317                 :            :       /* If we have a nonzero bitpos for a register target, then we just
    6318                 :            :          let store_field do the bitfield handling.  This is unlikely to
    6319                 :            :          generate unnecessary clear instructions anyways.  */
    6320                 :      25272 :       && (known_eq (bitpos, 0) || MEM_P (target)))
    6321                 :            :     {
    6322                 :          0 :       if (MEM_P (target))
    6323                 :            :         {
    6324                 :          0 :           machine_mode target_mode = GET_MODE (target);
    6325                 :          0 :           if (target_mode != BLKmode
    6326                 :          0 :               && !multiple_p (bitpos, GET_MODE_ALIGNMENT (target_mode)))
    6327                 :            :             target_mode = BLKmode;
    6328                 :          0 :           target = adjust_address (target, target_mode, bytepos);
    6329                 :            :         }
    6330                 :            : 
    6331                 :            : 
    6332                 :            :       /* Update the alias set, if required.  */
    6333                 :          0 :       if (MEM_P (target) && ! MEM_KEEP_ALIAS_SET_P (target)
    6334                 :          0 :           && MEM_ALIAS_SET (target) != 0)
    6335                 :            :         {
    6336                 :          0 :           target = copy_rtx (target);
    6337                 :          0 :           set_mem_alias_set (target, alias_set);
    6338                 :            :         }
    6339                 :            : 
    6340                 :          0 :       store_constructor (exp, target, cleared, bytesize, reverse);
    6341                 :            :     }
    6342                 :            :   else
    6343                 :      25272 :     store_field (target, bitsize, bitpos, bitregion_start, bitregion_end, mode,
    6344                 :            :                  exp, alias_set, false, reverse);
    6345                 :      25272 : }
    6346                 :            : 
    6347                 :            : 
    6348                 :            : /* Returns the number of FIELD_DECLs in TYPE.  */
    6349                 :            : 
    6350                 :            : static int
    6351                 :      32560 : fields_length (const_tree type)
    6352                 :            : {
    6353                 :      32560 :   tree t = TYPE_FIELDS (type);
    6354                 :      32560 :   int count = 0;
    6355                 :            : 
    6356                 :     214254 :   for (; t; t = DECL_CHAIN (t))
    6357                 :     181694 :     if (TREE_CODE (t) == FIELD_DECL)
    6358                 :     162953 :       ++count;
    6359                 :            : 
    6360                 :      32560 :   return count;
    6361                 :            : }
    6362                 :            : 
    6363                 :            : 
    6364                 :            : /* Store the value of constructor EXP into the rtx TARGET.
    6365                 :            :    TARGET is either a REG or a MEM; we know it cannot conflict, since
    6366                 :            :    safe_from_p has been called.
    6367                 :            :    CLEARED is true if TARGET is known to have been zero'd.
    6368                 :            :    SIZE is the number of bytes of TARGET we are allowed to modify: this
    6369                 :            :    may not be the same as the size of EXP if we are assigning to a field
    6370                 :            :    which has been packed to exclude padding bits.
    6371                 :            :    If REVERSE is true, the store is to be done in reverse order.  */
    6372                 :            : 
    6373                 :            : static void
    6374                 :      76592 : store_constructor (tree exp, rtx target, int cleared, poly_int64 size,
    6375                 :            :                    bool reverse)
    6376                 :            : {
    6377                 :      76592 :   tree type = TREE_TYPE (exp);
    6378                 :      76592 :   HOST_WIDE_INT exp_size = int_size_in_bytes (type);
    6379                 :      76592 :   poly_int64 bitregion_end = known_gt (size, 0) ? size * BITS_PER_UNIT - 1 : 0;
    6380                 :            : 
    6381                 :      76592 :   switch (TREE_CODE (type))
    6382                 :            :     {
    6383                 :      33245 :     case RECORD_TYPE:
    6384                 :      33245 :     case UNION_TYPE:
    6385                 :      33245 :     case QUAL_UNION_TYPE:
    6386                 :      33245 :       {
    6387                 :      33245 :         unsigned HOST_WIDE_INT idx;
    6388                 :      33245 :         tree field, value;
    6389                 :            : 
    6390                 :            :         /* The storage order is specified for every aggregate type.  */
    6391                 :      33245 :         reverse = TYPE_REVERSE_STORAGE_ORDER (type);
    6392                 :            : 
    6393                 :            :         /* If size is zero or the target is already cleared, do nothing.  */
    6394                 :      33245 :         if (known_eq (size, 0) || cleared)
    6395                 :            :           cleared = 1;
    6396                 :            :         /* We either clear the aggregate or indicate the value is dead.  */
    6397                 :      33245 :         else if ((TREE_CODE (type) == UNION_TYPE
    6398                 :      33245 :                   || TREE_CODE (type) == QUAL_UNION_TYPE)
    6399                 :      33885 :                  && ! CONSTRUCTOR_ELTS (exp))
    6400                 :            :           /* If the constructor is empty, clear the union.  */
    6401                 :            :           {
    6402                 :        640 :             clear_storage (target, expr_size (exp), BLOCK_OP_NORMAL);
    6403                 :        640 :             cleared = 1;
    6404                 :            :           }
    6405                 :            : 
    6406                 :            :         /* If we are building a static constructor into a register,
    6407                 :            :            set the initial value as zero so we can fold the value into
    6408                 :            :            a constant.  But if more than one register is involved,
    6409                 :            :            this probably loses.  */
    6410                 :       2318 :         else if (REG_P (target) && TREE_STATIC (exp)
    6411                 :      32735 :                  && known_le (GET_MODE_SIZE (GET_MODE (target)),
    6412                 :            :                               REGMODE_NATURAL_SIZE (GET_MODE (target))))
    6413                 :            :           {
    6414                 :         45 :             emit_move_insn (target, CONST0_RTX (GET_MODE (target)));
    6415                 :         45 :             cleared = 1;
    6416                 :            :           }
    6417                 :            : 
    6418                 :            :         /* If the constructor has fewer fields than the structure or
    6419                 :            :            if we are initializing the structure to mostly zeros, clear
    6420                 :            :            the whole structure first.  Don't do this if TARGET is a
    6421                 :            :            register whose mode size isn't equal to SIZE since
    6422                 :            :            clear_storage can't handle this case.  */
    6423                 :      32560 :         else if (known_size_p (size)
    6424                 :      32587 :                  && (((int) CONSTRUCTOR_NELTS (exp) != fields_length (type))
    6425                 :         22 :                      || mostly_zeros_p (exp))
    6426                 :      65098 :                  && (!REG_P (target)
    6427                 :       4546 :                      || known_eq (GET_MODE_SIZE (GET_MODE (target)), size)))
    6428                 :            :           {
    6429                 :      39760 :             clear_storage (target, gen_int_mode (size, Pmode),
    6430                 :            :                            BLOCK_OP_NORMAL);
    6431                 :      32538 :             cleared = 1;
    6432                 :            :           }
    6433                 :            : 
    6434                 :      33245 :         if (REG_P (target) && !cleared)
    6435                 :          0 :           emit_clobber (target);
    6436                 :            : 
    6437                 :            :         /* Store each element of the constructor into the
    6438                 :            :            corresponding field of TARGET.  */
    6439                 :      33434 :         FOR_EACH_CONSTRUCTOR_ELT (CONSTRUCTOR_ELTS (exp), idx, field, value)
    6440                 :            :           {
    6441                 :         74 :             machine_mode mode;
    6442                 :         74 :             HOST_WIDE_INT bitsize;
    6443                 :         74 :             HOST_WIDE_INT bitpos = 0;
    6444                 :         74 :             tree offset;
    6445                 :         74 :             rtx to_rtx = target;
    6446                 :            : 
    6447                 :            :             /* Just ignore missing fields.  We cleared the whole
    6448                 :            :                structure, above, if any fields are missing.  */
    6449                 :         74 :             if (field == 0)
    6450                 :         74 :               continue;
    6451                 :            : 
    6452                 :         74 :             if (cleared && initializer_zerop (value))
    6453                 :         14 :               continue;
    6454                 :            : 
    6455                 :         60 :             if (tree_fits_uhwi_p (DECL_SIZE (field)))
    6456                 :         60 :               bitsize = tree_to_uhwi (DECL_SIZE (field));
    6457                 :            :             else
    6458                 :          0 :               gcc_unreachable ();
    6459                 :            : 
    6460                 :         60 :             mode = DECL_MODE (field);
    6461                 :         60 :             if (DECL_BIT_FIELD (field))
    6462                 :          2 :               mode = VOIDmode;
    6463                 :            : 
    6464                 :         60 :             offset = DECL_FIELD_OFFSET (field);
    6465                 :         60 :             if (tree_fits_shwi_p (offset)
    6466                 :         60 :                 && tree_fits_shwi_p (bit_position (field)))
    6467                 :            :               {
    6468                 :         60 :                 bitpos = int_bit_position (field);
    6469                 :         60 :                 offset = NULL_TREE;
    6470                 :            :               }
    6471                 :            :             else
    6472                 :          0 :               gcc_unreachable ();
    6473                 :            : 
    6474                 :            :             /* If this initializes a field that is smaller than a
    6475                 :            :                word, at the start of a word, try to widen it to a full
    6476                 :            :                word.  This special case allows us to output C++ member
    6477                 :            :                function initializations in a form that the optimizers
    6478                 :            :                can understand.  */
    6479                 :         60 :             if (WORD_REGISTER_OPERATIONS
    6480                 :            :                 && REG_P (target)
    6481                 :            :                 && bitsize < BITS_PER_WORD
    6482                 :            :                 && bitpos % BITS_PER_WORD == 0
    6483                 :            :                 && GET_MODE_CLASS (mode) == MODE_INT
    6484                 :            :                 && TREE_CODE (value) == INTEGER_CST
    6485                 :            :                 && exp_size >= 0
    6486                 :            :                 && bitpos + BITS_PER_WORD <= exp_size * BITS_PER_UNIT)
    6487                 :            :               {
    6488                 :            :                 type = TREE_TYPE (value);
    6489                 :            : 
    6490                 :            :                 if (TYPE_PRECISION (type) < BITS_PER_WORD)
    6491                 :            :                   {
    6492                 :            :                     type = lang_hooks.types.type_for_mode
    6493                 :            :                       (word_mode, TYPE_UNSIGNED (type));
    6494                 :            :                     value = fold_convert (type, value);
    6495                 :            :                     /* Make sure the bits beyond the original bitsize are zero
    6496                 :            :                        so that we can correctly avoid extra zeroing stores in
    6497                 :            :                        later constructor elements.  */
    6498                 :            :                     tree bitsize_mask
    6499                 :            :                       = wide_int_to_tree (type, wi::mask (bitsize, false,
    6500                 :            :                                                            BITS_PER_WORD));
    6501                 :            :                     value = fold_build2 (BIT_AND_EXPR, type, value, bitsize_mask);
    6502                 :            :                   }
    6503                 :            : 
    6504                 :            :                 if (BYTES_BIG_ENDIAN)
    6505                 :            :                   value
    6506                 :            :                    = fold_build2 (LSHIFT_EXPR, type, value,
    6507                 :            :                                    build_int_cst (type,
    6508                 :            :                                                   BITS_PER_WORD - bitsize));
    6509                 :            :                 bitsize = BITS_PER_WORD;
    6510                 :            :                 mode = word_mode;
    6511                 :            :               }
    6512                 :            : 
    6513                 :         46 :             if (MEM_P (to_rtx) && !MEM_KEEP_ALIAS_SET_P (to_rtx)
    6514                 :        106 :                 && DECL_NONADDRESSABLE_P (field))
    6515                 :            :               {
    6516                 :          4 :                 to_rtx = copy_rtx (to_rtx);
    6517                 :          4 :                 MEM_KEEP_ALIAS_SET_P (to_rtx) = 1;
    6518                 :            :               }
    6519                 :            : 
    6520                 :        120 :             store_constructor_field (to_rtx, bitsize, bitpos,
    6521                 :         60 :                                      0, bitregion_end, mode,
    6522                 :            :                                      value, cleared,
    6523                 :         60 :                                      get_alias_set (TREE_TYPE (field)),
    6524                 :            :                                      reverse);
    6525                 :            :           }
    6526                 :            :         break;
    6527                 :            :       }
    6528                 :      23747 :     case ARRAY_TYPE:
    6529                 :      23747 :       {
    6530                 :      23747 :         tree value, index;
    6531                 :      23747 :         unsigned HOST_WIDE_INT i;
    6532                 :      23747 :         int need_to_clear;
    6533                 :      23747 :         tree domain;
    6534                 :      23747 :         tree elttype = TREE_TYPE (type);
    6535                 :      23747 :         int const_bounds_p;
    6536                 :      23747 :         HOST_WIDE_INT minelt = 0;
    6537                 :      23747 :         HOST_WIDE_INT maxelt = 0;
    6538                 :            : 
    6539                 :            :         /* The storage order is specified for every aggregate type.  */
    6540                 :      23747 :         reverse = TYPE_REVERSE_STORAGE_ORDER (type);
    6541                 :            : 
    6542                 :      23747 :         domain = TYPE_DOMAIN (type);
    6543                 :      23747 :         const_bounds_p = (TYPE_MIN_VALUE (domain)
    6544                 :      23747 :                           && TYPE_MAX_VALUE (domain)
    6545                 :      23747 :                           && tree_fits_shwi_p (TYPE_MIN_VALUE (domain))
    6546                 :      47494 :                           && tree_fits_shwi_p (TYPE_MAX_VALUE (domain)));
    6547                 :            : 
    6548                 :            :         /* If we have constant bounds for the range of the type, get them.  */
    6549                 :      23747 :         if (const_bounds_p)
    6550                 :            :           {
    6551                 :      23747 :             minelt = tree_to_shwi (TYPE_MIN_VALUE (domain));
    6552                 :      23747 :             maxelt = tree_to_shwi (TYPE_MAX_VALUE (domain));
    6553                 :            :           }
    6554                 :            : 
    6555                 :            :         /* If the constructor has fewer elements than the array, clear
    6556                 :            :            the whole array first.  Similarly if this is static
    6557                 :            :            constructor of a non-BLKmode object.  */
    6558                 :      23747 :         if (cleared)
    6559                 :            :           need_to_clear = 0;
    6560                 :      23747 :         else if (REG_P (target) && TREE_STATIC (exp))
    6561                 :            :           need_to_clear = 1;
    6562                 :            :         else
    6563                 :            :           {
    6564                 :      23742 :             unsigned HOST_WIDE_INT idx;
    6565                 :      23742 :             HOST_WIDE_INT count = 0, zero_count = 0;
    6566                 :      23742 :             need_to_clear = ! const_bounds_p;
    6567                 :            : 
    6568                 :            :             /* This loop is a more accurate version of the loop in
    6569                 :            :                mostly_zeros_p (it handles RANGE_EXPR in an index).  It
    6570                 :            :                is also needed to check for missing elements.  */
    6571                 :      23746 :             FOR_EACH_CONSTRUCTOR_ELT (CONSTRUCTOR_ELTS (exp), idx, index, value)
    6572                 :            :               {
    6573                 :          0 :                 HOST_WIDE_INT this_node_count;
    6574                 :            : 
    6575                 :          0 :                 if (need_to_clear)
    6576                 :            :                   break;
    6577                 :            : 
    6578                 :          0 :                 if (index != NULL_TREE && TREE_CODE (index) == RANGE_EXPR)
    6579                 :            :                   {
    6580                 :          0 :                     tree lo_index = TREE_OPERAND (index, 0);
    6581                 :          0 :                     tree hi_index = TREE_OPERAND (index, 1);
    6582                 :            : 
    6583                 :          0 :                     if (! tree_fits_uhwi_p (lo_index)
    6584                 :          0 :                         || ! tree_fits_uhwi_p (hi_index))
    6585                 :            :                       {
    6586                 :            :                         need_to_clear = 1;
    6587                 :            :                         break;
    6588                 :            :                       }
    6589                 :            : 
    6590                 :          0 :                     this_node_count = (tree_to_uhwi (hi_index)
    6591                 :          0 :                                        - tree_to_uhwi (lo_index) + 1);
    6592                 :            :                   }
    6593                 :            :                 else
    6594                 :            :                   this_node_count = 1;
    6595                 :            : 
    6596                 :          0 :                 count += this_node_count;
    6597                 :          0 :                 if (mostly_zeros_p (value))
    6598                 :          0 :                   zero_count += this_node_count;
    6599                 :            :               }
    6600                 :            : 
    6601                 :            :             /* Clear the entire array first if there are any missing
    6602                 :            :                elements, or if the incidence of zero elements is >=
    6603                 :            :                75%.  */
    6604                 :      23742 :             if (! need_to_clear
    6605                 :      23742 :                 && (count < maxelt - minelt + 1
    6606                 :          0 :                     || 4 * zero_count >= 3 * count))
    6607                 :      23742 :               need_to_clear = 1;
    6608                 :            :           }
    6609                 :            : 
    6610                 :      23747 :         if (need_to_clear && maybe_gt (size, 0))
    6611                 :            :           {
    6612                 :      23747 :             if (REG_P (target))
    6613                 :        842 :               emit_move_insn (target, CONST0_RTX (GET_MODE (target)));
    6614                 :            :             else
    6615                 :      27598 :               clear_storage (target, gen_int_mode (size, Pmode),
    6616                 :            :                              BLOCK_OP_NORMAL);
    6617                 :            :             cleared = 1;
    6618                 :            :           }
    6619                 :            : 
    6620                 :          0 :         if (!cleared && REG_P (target))
    6621                 :            :           /* Inform later passes that the old value is dead.  */
    6622                 :          0 :           emit_clobber (target);
    6623                 :            : 
    6624                 :            :         /* Store each element of the constructor into the
    6625                 :            :            corresponding element of TARGET, determined by counting the
    6626                 :            :            elements.  */
    6627                 :      23751 :         FOR_EACH_CONSTRUCTOR_ELT (CONSTRUCTOR_ELTS (exp), i, index, value)
    6628                 :            :           {
    6629                 :          0 :             machine_mode mode;
    6630                 :          0 :             poly_int64 bitsize;
    6631                 :          0 :             HOST_WIDE_INT bitpos;
    6632                 :          0 :             rtx xtarget = target;
    6633                 :            : 
    6634                 :          0 :             if (cleared && initializer_zerop (value))
    6635                 :          0 :               continue;
    6636                 :            : 
    6637                 :          0 :             mode = TYPE_MODE (elttype);
    6638                 :          0 :             if (mode != BLKmode)
    6639                 :          0 :               bitsize = GET_MODE_BITSIZE (mode);
    6640                 :          0 :             else if (!poly_int_tree_p (TYPE_SIZE (elttype), &bitsize))
    6641                 :          0 :               bitsize = -1;
    6642                 :            : 
    6643                 :          0 :             if (index != NULL_TREE && TREE_CODE (index) == RANGE_EXPR)
    6644                 :            :               {
    6645                 :          0 :                 tree lo_index = TREE_OPERAND (index, 0);
    6646                 :          0 :                 tree hi_index = TREE_OPERAND (index, 1);
    6647                 :          0 :                 rtx index_r, pos_rtx;
    6648                 :          0 :                 HOST_WIDE_INT lo, hi, count;
    6649                 :          0 :                 tree position;
    6650                 :            : 
    6651                 :            :                 /* If the range is constant and "small", unroll the loop.  */
    6652                 :          0 :                 if (const_bounds_p
    6653                 :          0 :                     && tree_fits_shwi_p (lo_index)
    6654                 :          0 :                     && tree_fits_shwi_p (hi_index)
    6655                 :          0 :                     && (lo = tree_to_shwi (lo_index),
    6656                 :          0 :                         hi = tree_to_shwi (hi_index),
    6657                 :          0 :                         count = hi - lo + 1,
    6658                 :          0 :                         (!MEM_P (target)
    6659                 :          0 :                          || count <= 2
    6660                 :          0 :                          || (tree_fits_uhwi_p (TYPE_SIZE (elttype))
    6661                 :          0 :                              && (tree_to_uhwi (TYPE_SIZE (elttype)) * count
    6662                 :            :                                  <= 40 * 8)))))
    6663                 :            :                   {
    6664                 :          0 :                     lo -= minelt;  hi -= minelt;
    6665                 :          0 :                     for (; lo <= hi; lo++)
    6666                 :            :                       {
    6667                 :          0 :                         bitpos = lo * tree_to_shwi (TYPE_SIZE (elttype));
    6668                 :            : 
    6669                 :          0 :                         if (MEM_P (target)
    6670                 :          0 :                             && !MEM_KEEP_ALIAS_SET_P (target)
    6671                 :          0 :                             && TREE_CODE (type) == ARRAY_TYPE
    6672                 :          0 :                             && TYPE_NONALIASED_COMPONENT (type))
    6673                 :            :                           {
    6674                 :          0 :                             target = copy_rtx (target);
    6675                 :          0 :                             MEM_KEEP_ALIAS_SET_P (target) = 1;
    6676                 :            :                           }
    6677                 :            : 
    6678                 :          0 :                         store_constructor_field
    6679                 :          0 :                           (target, bitsize, bitpos, 0, bitregion_end,
    6680                 :            :                            mode, value, cleared,
    6681                 :            :                            get_alias_set (elttype), reverse);
    6682                 :            :                       }
    6683                 :            :                   }
    6684                 :            :                 else
    6685                 :            :                   {
    6686                 :          0 :                     rtx_code_label *loop_start = gen_label_rtx ();
    6687                 :          0 :                     rtx_code_label *loop_end = gen_label_rtx ();
    6688                 :          0 :                     tree exit_cond;
    6689                 :            : 
    6690                 :          0 :                     expand_normal (hi_index);
    6691                 :            : 
    6692                 :          0 :                     index = build_decl (EXPR_LOCATION (exp),
    6693                 :            :                                         VAR_DECL, NULL_TREE, domain);
    6694                 :          0 :                     index_r = gen_reg_rtx (promote_decl_mode (index, NULL));
    6695                 :          0 :                     SET_DECL_RTL (index, index_r);
    6696                 :          0 :                     store_expr (lo_index, index_r, 0, false, reverse);
    6697                 :            : 
    6698                 :            :                     /* Build the head of the loop.  */
    6699                 :          0 :                     do_pending_stack_adjust ();
    6700                 :          0 :                     emit_label (loop_start);
    6701                 :            : 
    6702                 :            :                     /* Assign value to element index.  */
    6703                 :          0 :                     position =
    6704                 :          0 :                       fold_convert (ssizetype,
    6705                 :            :                                     fold_build2 (MINUS_EXPR,
    6706                 :            :                                                  TREE_TYPE (index),
    6707                 :            :                                                  index,
    6708                 :            :                                                  TYPE_MIN_VALUE (domain)));
    6709                 :            : 
    6710                 :          0 :                     position =
    6711                 :          0 :                         size_binop (MULT_EXPR, position,
    6712                 :            :                                     fold_convert (ssizetype,
    6713                 :            :                                                   TYPE_SIZE_UNIT (elttype)));
    6714                 :            : 
    6715                 :          0 :                     pos_rtx = expand_normal (position);
    6716                 :          0 :                     xtarget = offset_address (target, pos_rtx,
    6717                 :            :                                               highest_pow2_factor (position));
    6718                 :          0 :                     xtarget = adjust_address (xtarget, mode, 0);
    6719                 :          0 :                     if (TREE_CODE (value) == CONSTRUCTOR)
    6720                 :          0 :                       store_constructor (value, xtarget, cleared,
    6721                 :            :                                          exact_div (bitsize, BITS_PER_UNIT),
    6722                 :            :                                          reverse);
    6723                 :            :                     else
    6724                 :          0 :                       store_expr (value, xtarget, 0, false, reverse);
    6725                 :            : 
    6726                 :            :                     /* Generate a conditional jump to exit the loop.  */
    6727                 :          0 :                     exit_cond = build2 (LT_EXPR, integer_type_node,
    6728                 :            :                                         index, hi_index);
    6729                 :          0 :                     jumpif (exit_cond, loop_end,
    6730                 :            :                             profile_probability::uninitialized ());
    6731                 :            : 
    6732                 :            :                     /* Update the loop counter, and jump to the head of
    6733                 :            :                        the loop.  */
    6734                 :          0 :                     expand_assignment (index,
    6735                 :          0 :                                        build2 (PLUS_EXPR, TREE_TYPE (index),
    6736                 :            :                                                index, integer_one_node),
    6737                 :            :                                        false);
    6738                 :            : 
    6739                 :          0 :                     emit_jump (loop_start);
    6740                 :            : 
    6741                 :            :                     /* Build the end of the loop.  */
    6742                 :          0 :                     emit_label (loop_end);
    6743                 :            :                   }
    6744                 :            :               }
    6745                 :          0 :             else if ((index != 0 && ! tree_fits_shwi_p (index))
    6746                 :          0 :                      || ! tree_fits_uhwi_p (TYPE_SIZE (elttype)))
    6747                 :            :               {
    6748                 :          0 :                 tree position;
    6749                 :            : 
    6750                 :          0 :                 if (index == 0)
    6751                 :          0 :                   index = ssize_int (1);
    6752                 :            : 
    6753                 :          0 :                 if (minelt)
    6754                 :          0 :                   index = fold_convert (ssizetype,
    6755                 :            :                                         fold_build2 (MINUS_EXPR,
    6756                 :            :                                                      TREE_TYPE (index),
    6757                 :            :                                                      index,
    6758                 :            :                                                      TYPE_MIN_VALUE (domain)));
    6759                 :            : 
    6760                 :          0 :                 position =
    6761                 :          0 :                   size_binop (MULT_EXPR, index,
    6762                 :            :                               fold_convert (ssizetype,
    6763                 :            :                                             TYPE_SIZE_UNIT (elttype)));
    6764                 :          0 :                 xtarget = offset_address (target,
    6765                 :            :                                           expand_normal (position),
    6766                 :            :                                           highest_pow2_factor (position));
    6767                 :          0 :                 xtarget = adjust_address (xtarget, mode, 0);
    6768                 :          0 :                 store_expr (value, xtarget, 0, false, reverse);
    6769                 :            :               }
    6770                 :            :             else
    6771                 :            :               {
    6772                 :          0 :                 if (index != 0)
    6773                 :          0 :                   bitpos = ((tree_to_shwi (index) - minelt)
    6774                 :          0 :                             * tree_to_uhwi (TYPE_SIZE (elttype)));
    6775                 :            :                 else
    6776                 :          0 :                   bitpos = (i * tree_to_uhwi (TYPE_SIZE (elttype)));
    6777                 :            : 
    6778                 :          0 :                 if (MEM_P (target) && !MEM_KEEP_ALIAS_SET_P (target)
    6779                 :          0 :                     && TREE_CODE (type) == ARRAY_TYPE
    6780                 :          0 :                     && TYPE_NONALIASED_COMPONENT (type))
    6781                 :            :                   {
    6782                 :          0 :                     target = copy_rtx (target);
    6783                 :          0 :                     MEM_KEEP_ALIAS_SET_P (target) = 1;
    6784                 :            :                   }
    6785                 :          0 :                 store_constructor_field (target, bitsize, bitpos, 0,
    6786                 :            :                                          bitregion_end, mode, value,
    6787                 :            :                                          cleared, get_alias_set (elttype),
    6788                 :            :                                          reverse);
    6789                 :            :               }
    6790                 :            :           }
    6791                 :            :         break;
    6792                 :            :       }
    6793                 :            : 
    6794                 :      19600 :     case VECTOR_TYPE:
    6795                 :      19600 :       {
    6796                 :      19600 :         unsigned HOST_WIDE_INT idx;
    6797                 :      19600 :         constructor_elt *ce;
    6798                 :      19600 :         int i;
    6799                 :      19600 :         int need_to_clear;
    6800                 :      19600 :         insn_code icode = CODE_FOR_nothing;
    6801                 :      19600 :         tree elt;
    6802                 :      19600 :         tree elttype = TREE_TYPE (type);
    6803                 :      19600 :         int elt_size = tree_to_uhwi (TYPE_SIZE (elttype));
    6804                 :      19600 :         machine_mode eltmode = TYPE_MODE (elttype);
    6805                 :      19600 :         HOST_WIDE_INT bitsize;
    6806                 :      19600 :         HOST_WIDE_INT bitpos;
    6807                 :      19600 :         rtvec vector = NULL;
    6808                 :      19600 :         poly_uint64 n_elts;
    6809                 :      19600 :         unsigned HOST_WIDE_INT const_n_elts;
    6810                 :      19600 :         alias_set_type alias;
    6811                 :      19600 :         bool vec_vec_init_p = false;
    6812                 :      19600 :         machine_mode mode = GET_MODE (target);
    6813                 :            : 
    6814                 :      19600 :         gcc_assert (eltmode != BLKmode);
    6815                 :            : 
    6816                 :            :         /* Try using vec_duplicate_optab for uniform vectors.  */
    6817                 :      39200 :         if (!TREE_SIDE_EFFECTS (exp)
    6818                 :      19186 :             && VECTOR_MODE_P (mode)
    6819                 :      16189 :             && eltmode == GET_MODE_INNER (mode)
    6820                 :      16189 :             && ((icode = optab_handler (vec_duplicate_optab, mode))
    6821                 :            :                 != CODE_FOR_nothing)
    6822                 :      19600 :             && (elt = uniform_vector_p (exp)))
    6823                 :            :           {
    6824                 :          0 :             class expand_operand ops[2];
    6825                 :          0 :             create_output_operand (&ops[0], target, mode);
    6826                 :          0 :             create_input_operand (&ops[1], expand_normal (elt), eltmode);
    6827                 :          0 :             expand_insn (icode, 2, ops);
    6828                 :          0 :             if (!rtx_equal_p (target, ops[0].value))
    6829                 :          0 :               emit_move_insn (target, ops[0].value);
    6830                 :          0 :             break;
    6831                 :            :           }
    6832                 :            : 
    6833                 :      19600 :         n_elts = TYPE_VECTOR_SUBPARTS (type);
    6834                 :      19600 :         if (REG_P (target)
    6835                 :      17355 :             && VECTOR_MODE_P (mode)
    6836                 :      36116 :             && n_elts.is_constant (&const_n_elts))
    6837                 :            :           {
    6838                 :      16516 :             machine_mode emode = eltmode;
    6839                 :      16516 :             bool vector_typed_elts_p = false;
    6840                 :            : 
    6841                 :      16516 :             if (CONSTRUCTOR_NELTS (exp)
    6842                 :      16516 :                 && (TREE_CODE (TREE_TYPE (CONSTRUCTOR_ELT (exp, 0)->value))
    6843                 :            :                     == VECTOR_TYPE))
    6844                 :            :               {
    6845                 :        318 :                 tree etype = TREE_TYPE (CONSTRUCTOR_ELT (exp, 0)->value);
    6846                 :        636 :                 gcc_assert (known_eq (CONSTRUCTOR_NELTS (exp)
    6847                 :            :                                       * TYPE_VECTOR_SUBPARTS (etype),
    6848                 :            :                                       n_elts));
    6849                 :        318 :                 emode = TYPE_MODE (etype);
    6850                 :            :                 vector_typed_elts_p = true;
    6851                 :            :               }
    6852                 :      16516 :             icode = convert_optab_handler (vec_init_optab, mode, emode);
    6853                 :      16516 :             if (icode != CODE_FOR_nothing)
    6854                 :            :               {
    6855                 :      16348 :                 unsigned int n = const_n_elts;
    6856                 :            : 
    6857                 :      16348 :                 if (vector_typed_elts_p)
    6858                 :            :                   {
    6859                 :        318 :                     n = CONSTRUCTOR_NELTS (exp);
    6860                 :            :                     vec_vec_init_p = true;
    6861                 :            :                   }
    6862                 :      16348 :                 vector = rtvec_alloc (n);
    6863                 :      84370 :                 for (unsigned int k = 0; k < n; k++)
    6864                 :      68022 :                   RTVEC_ELT (vector, k) = CONST0_RTX (emode);
    6865                 :            :               }
    6866                 :            :           }
    6867                 :            : 
    6868                 :            :         /* If the constructor has fewer elements than the vector,
    6869                 :            :            clear the whole array first.  Similarly if this is static
    6870                 :            :            constructor of a non-BLKmode object.  */
    6871                 :      19600 :         if (cleared)
    6872                 :            :           need_to_clear = 0;
    6873                 :      19600 :         else if (REG_P (target) && TREE_STATIC (exp))
    6874                 :            :           need_to_clear = 1;
    6875                 :            :         else
    6876                 :            :           {
    6877                 :            :             unsigned HOST_WIDE_INT count = 0, zero_count = 0;
    6878                 :            :             tree value;
    6879                 :            : 
    6880                 :     228778 :             FOR_EACH_CONSTRUCTOR_VALUE (CONSTRUCTOR_ELTS (exp), idx, value)
    6881                 :            :               {
    6882                 :      94789 :                 tree sz = TYPE_SIZE (TREE_TYPE (value));
    6883                 :      94789 :                 int n_elts_here
    6884                 :     189578 :                   = tree_to_uhwi (int_const_binop (TRUNC_DIV_EXPR, sz,
    6885                 :      94789 :                                                    TYPE_SIZE (elttype)));
    6886                 :            : 
    6887                 :      94789 :                 count += n_elts_here;
    6888                 :      94789 :                 if (mostly_zeros_p (value))
    6889                 :       7420 :                   zero_count += n_elts_here;
    6890                 :            :               }
    6891                 :            : 
    6892                 :            :             /* Clear the entire vector first if there are any missing elements,
    6893                 :            :                or if the incidence of zero elements is >= 75%.  */
    6894                 :      19600 :             need_to_clear = (maybe_lt (count, n_elts)
    6895                 :      19600 :                              || 4 * zero_count >= 3 * count);
    6896                 :            :           }
    6897                 :            : 
    6898                 :      19600 :         if (need_to_clear && maybe_gt (size, 0) && !vector)
    6899                 :            :           {
    6900                 :        291 :             if (REG_P (target))
    6901                 :          2 :               emit_move_insn (target, CONST0_RTX (mode));
    6902                 :            :             else
    6903                 :        289 :               clear_storage (target, gen_int_mode (size, Pmode),
    6904                 :            :                              BLOCK_OP_NORMAL);
    6905                 :            :             cleared = 1;
    6906                 :            :           }
    6907                 :            : 
    6908                 :            :         /* Inform later passes that the old value is dead.  */
    6909                 :      19600 :         if (!cleared && !vector && REG_P (target))
    6910                 :       1005 :           emit_move_insn (target, CONST0_RTX (mode));
    6911                 :            : 
    6912                 :      19600 :         if (MEM_P (target))
    6913                 :       2245 :           alias = MEM_ALIAS_SET (target);
    6914                 :            :         else
    6915                 :      17355 :           alias = get_alias_set (elttype);
    6916                 :            : 
    6917                 :            :         /* Store each element of the constructor into the corresponding
    6918                 :            :            element of TARGET, determined by counting the elements.  */
    6919                 :      19600 :         for (idx = 0, i = 0;
    6920                 :     114389 :              vec_safe_iterate (CONSTRUCTOR_ELTS (exp), idx, &ce);
    6921                 :      94789 :              idx++, i += bitsize / elt_size)
    6922                 :            :           {
    6923                 :      94789 :             HOST_WIDE_INT eltpos;
    6924                 :      94789 :             tree value = ce->value;
    6925                 :            : 
    6926                 :      94789 :             bitsize = tree_to_uhwi (TYPE_SIZE (TREE_TYPE (value)));
    6927                 :      94789 :             if (cleared && initializer_zerop (value))
    6928                 :       2560 :               continue;
    6929                 :            : 
    6930                 :      92229 :             if (ce->index)
    6931                 :      15423 :               eltpos = tree_to_uhwi (ce->index);
    6932                 :            :             else
    6933                 :      76806 :               eltpos = i;
    6934                 :            : 
    6935                 :      92229 :             if (vector)
    6936                 :            :               {
    6937                 :      67017 :                 if (vec_vec_init_p)
    6938                 :            :                   {
    6939                 :        636 :                     gcc_assert (ce->index == NULL_TREE);
    6940                 :        636 :                     gcc_assert (TREE_CODE (TREE_TYPE (value)) == VECTOR_TYPE);
    6941                 :        636 :                     eltpos = idx;
    6942                 :            :                   }
    6943                 :            :                 else
    6944                 :      66381 :                   gcc_assert (TREE_CODE (TREE_TYPE (value)) != VECTOR_TYPE);
    6945                 :      67017 :                 RTVEC_ELT (vector, eltpos) = expand_normal (value);
    6946                 :            :               }
    6947                 :            :             else
    6948                 :            :               {
    6949                 :      25212 :                 machine_mode value_mode
    6950                 :      25212 :                   = (TREE_CODE (TREE_TYPE (value)) == VECTOR_TYPE
    6951                 :      25212 :                      ? TYPE_MODE (TREE_TYPE (value)) : eltmode);
    6952                 :      25212 :                 bitpos = eltpos * elt_size;
    6953                 :      25212 :                 store_constructor_field (target, bitsize, bitpos, 0,
    6954                 :            :                                          bitregion_end, value_mode,
    6955                 :            :                                          value, cleared, alias, reverse);
    6956                 :            :               }
    6957                 :            :           }
    6958                 :            : 
    6959                 :      19600 :         if (vector)
    6960                 :      16348 :           emit_insn (GEN_FCN (icode) (target,
    6961                 :            :                                       gen_rtx_PARALLEL (mode, vector)));
    6962                 :            :         break;
    6963                 :            :       }
    6964                 :            : 
    6965                 :          0 :     default:
    6966                 :          0 :       gcc_unreachable ();
    6967                 :            :     }
    6968                 :      76592 : }
    6969                 :            : 
    6970                 :            : /* Store the value of EXP (an expression tree)
    6971                 :            :    into a subfield of TARGET which has mode MODE and occupies
    6972                 :            :    BITSIZE bits, starting BITPOS bits from the start of TARGET.
    6973                 :            :    If MODE is VOIDmode, it means that we are storing into a bit-field.
    6974                 :            : 
    6975                 :            :    BITREGION_START is bitpos of the first bitfield in this region.
    6976                 :            :    BITREGION_END is the bitpos of the ending bitfield in this region.
    6977                 :            :    These two fields are 0, if the C++ memory model does not apply,
    6978                 :            :    or we are not interested in keeping track of bitfield regions.
    6979                 :            : 
    6980                 :            :    Always return const0_rtx unless we have something particular to
    6981                 :            :    return.
    6982                 :            : 
    6983                 :            :    ALIAS_SET is the alias set for the destination.  This value will
    6984                 :            :    (in general) be different from that for TARGET, since TARGET is a
    6985                 :            :    reference to the containing structure.
    6986                 :            : 
    6987                 :            :    If NONTEMPORAL is true, try generating a nontemporal store.
    6988                 :            : 
    6989                 :            :    If REVERSE is true, the store is to be done in reverse order.  */
    6990                 :            : 
    6991                 :            : static rtx
    6992                 :    3876460 : store_field (rtx target, poly_int64 bitsize, poly_int64 bitpos,
    6993                 :            :              poly_uint64 bitregion_start, poly_uint64 bitregion_end,
    6994                 :            :              machine_mode mode, tree exp,
    6995                 :            :              alias_set_type alias_set, bool nontemporal,  bool reverse)
    6996                 :            : {
    6997                 :    3876460 :   if (TREE_CODE (exp) == ERROR_MARK)
    6998                 :          0 :     return const0_rtx;
    6999                 :            : 
    7000                 :            :   /* If we have nothing to store, do nothing unless the expression has
    7001                 :            :      side-effects.  Don't do that for zero sized addressable lhs of
    7002                 :            :      calls.  */
    7003                 :    3876460 :   if (known_eq (bitsize, 0)
    7004                 :    3876580 :       && (!TREE_ADDRESSABLE (TREE_TYPE (exp))
    7005                 :          4 :           || TREE_CODE (exp) != CALL_EXPR))
    7006                 :        118 :     return expand_expr (exp, const0_rtx, VOIDmode, EXPAND_NORMAL);
    7007                 :            : 
    7008                 :    3876340 :   if (GET_CODE (target) == CONCAT)
    7009                 :            :     {
    7010                 :            :       /* We're storing into a struct containing a single __complex.  */
    7011                 :            : 
    7012                 :          0 :       gcc_assert (known_eq (bitpos, 0));
    7013                 :          0 :       return store_expr (exp, target, 0, nontemporal, reverse);
    7014                 :            :     }
    7015                 :            : 
    7016                 :            :   /* If the structure is in a register or if the component
    7017                 :            :      is a bit field, we cannot use addressing to access it.
    7018                 :            :      Use bit-field techniques or SUBREG to store in it.  */
    7019                 :            : 
    7020                 :    3876340 :   poly_int64 decl_bitsize;
    7021                 :    3876340 :   if (mode == VOIDmode
    7022                 :    3835600 :       || (mode != BLKmode && ! direct_store[(int) mode]
    7023                 :      15164 :           && GET_MODE_CLASS (mode) != MODE_COMPLEX_INT
    7024                 :      14907 :           && GET_MODE_CLASS (mode) != MODE_COMPLEX_FLOAT)
    7025                 :    3830460 :       || REG_P (target)
    7026                 :    3305990 :       || GET_CODE (target) == SUBREG
    7027                 :            :       /* If the field isn't aligned enough to store as an ordinary memref,
    7028                 :            :          store it as a bit field.  */
    7029                 :    3305990 :       || (mode != BLKmode
    7030                 :    3233770 :           && ((((MEM_ALIGN (target) < GET_MODE_ALIGNMENT (mode))
    7031                 :    6342180 :                 || !multiple_p (bitpos, GET_MODE_ALIGNMENT (mode)))
    7032                 :      63545 :                && targetm.slow_unaligned_access (mode, MEM_ALIGN (target)))
    7033                 :    6467530 :               || !multiple_p (bitpos, BITS_PER_UNIT)))
    7034                 :    3305990 :       || (known_size_p (bitsize)
    7035                 :    3305990 :           && mode != BLKmode
    7036                 :    3233770 :           && maybe_gt (GET_MODE_BITSIZE (mode), bitsize))
    7037                 :            :       /* If the RHS and field are a constant size and the size of the
    7038                 :            :          RHS isn't the same size as the bitfield, we must use bitfield
    7039                 :            :          operations.  */
    7040                 :    3305980 :       || (known_size_p (bitsize)
    7041                 :    3305980 :           && poly_int_tree_p (TYPE_SIZE (TREE_TYPE (exp)))
    7042                 :    3305980 :           && maybe_ne (wi::to_poly_offset (TYPE_SIZE (TREE_TYPE (exp))),
    7043                 :            :                        bitsize)
    7044                 :            :           /* Except for initialization of full bytes from a CONSTRUCTOR, which
    7045                 :            :              we will handle specially below.  */
    7046                 :         52 :           && !(TREE_CODE (exp) == CONSTRUCTOR
    7047                 :         12 :                && multiple_p (bitsize, BITS_PER_UNIT))
    7048                 :            :           /* And except for bitwise copying of TREE_ADDRESSABLE types,
    7049                 :            :              where the FIELD_DECL has the right bitsize, but TREE_TYPE (exp)
    7050                 :            :              includes some extra padding.  store_expr / expand_expr will in
    7051                 :            :              that case call get_inner_reference that will have the bitsize
    7052                 :            :              we check here and thus the block move will not clobber the
    7053                 :            :              padding that shouldn't be clobbered.  In the future we could
    7054                 :            :              replace the TREE_ADDRESSABLE check with a check that
    7055                 :            :              get_base_address needs to live in memory.  */
    7056                 :         28 :           && (!TREE_ADDRESSABLE (TREE_TYPE (exp))
    7057                 :         10 :               || TREE_CODE (exp) != COMPONENT_REF
    7058                 :          6 :               || !multiple_p (bitsize, BITS_PER_UNIT)
    7059                 :          6 :               || !multiple_p (bitpos, BITS_PER_UNIT)
    7060                 :          6 :               || !poly_int_tree_p (DECL_SIZE (TREE_OPERAND (exp, 1)),
    7061                 :            :                                    &decl_bitsize)
    7062                 :          6 :               || maybe_ne (decl_bitsize, bitsize)))
    7063                 :            :       /* If we are expanding a MEM_REF of a non-BLKmode non-addressable
    7064                 :            :          decl we must use bitfield operations.  */
    7065                 :    7182300 :       || (known_size_p (bitsize)
    7066                 :    3305950 :           && TREE_CODE (exp) == MEM_REF
    7067                 :      13655 :           && TREE_CODE (TREE_OPERAND (exp, 0)) == ADDR_EXPR
    7068                 :      10854 :           && DECL_P (TREE_OPERAND (TREE_OPERAND (exp, 0), 0))
    7069                 :       6651 :           && !TREE_ADDRESSABLE (TREE_OPERAND (TREE_OPERAND (exp, 0), 0))
    7070                 :       2814 :           && DECL_MODE (TREE_OPERAND (TREE_OPERAND (exp, 0), 0)) != BLKmode))
    7071                 :            :     {
    7072                 :     570588 :       rtx temp;
    7073                 :     570588 :       gimple *nop_def;
    7074                 :            : 
    7075                 :            :       /* If EXP is a NOP_EXPR of precision less than its mode, then that
    7076                 :            :          implies a mask operation.  If the precision is the same size as
    7077                 :            :          the field we're storing into, that mask is redundant.  This is
    7078                 :            :          particularly common with bit field assignments generated by the
    7079                 :            :          C front end.  */
    7080                 :     570588 :       nop_def = get_def_for_expr (exp, NOP_EXPR);
    7081                 :     570588 :       if (nop_def)
    7082                 :            :         {
    7083                 :       3704 :           tree type = TREE_TYPE (exp);
    7084                 :       3704 :           if (INTEGRAL_TYPE_P (type)
    7085                 :       3610 :               && maybe_ne (TYPE_PRECISION (type),
    7086                 :       7220 :                            GET_MODE_BITSIZE (TYPE_MODE (type)))
    7087                 :       6603 :               && known_eq (bitsize, TYPE_PRECISION (type)))
    7088                 :            :             {
    7089                 :       2899 :               tree op = gimple_assign_rhs1 (nop_def);
    7090                 :       2899 :               type = TREE_TYPE (op);
    7091                 :       2899 :               if (INTEGRAL_TYPE_P (type)
    7092                 :       5798 :                   && known_ge (TYPE_PRECISION (type), bitsize))
    7093                 :            :                 exp = op;
    7094                 :            :             }
    7095                 :            :         }
    7096                 :            : 
    7097                 :     570588 :       temp = expand_normal (exp);
    7098                 :            : 
    7099                 :            :       /* We don't support variable-sized BLKmode bitfields, since our
    7100                 :            :          handling of BLKmode is bound up with the ability to break
    7101                 :            :          things into words.  */
    7102                 :     570588 :       gcc_assert (mode != BLKmode || bitsize.is_constant ());
    7103                 :            : 
    7104                 :            :       /* Handle calls that return values in multiple non-contiguous locations.
    7105                 :            :          The Irix 6 ABI has examples of this.  */
    7106                 :     570588 :       if (GET_CODE (temp) == PARALLEL)
    7107                 :            :         {
    7108                 :         18 :           HOST_WIDE_INT size = int_size_in_bytes (TREE_TYPE (exp));
    7109                 :         18 :           machine_mode temp_mode = GET_MODE (temp);
    7110                 :         18 :           if (temp_mode == BLKmode || temp_mode == VOIDmode)
    7111                 :         13 :             temp_mode = smallest_int_mode_for_size (size * BITS_PER_UNIT);
    7112                 :         18 :           rtx temp_target = gen_reg_rtx (temp_mode);
    7113                 :         18 :           emit_group_store (temp_target, temp, TREE_TYPE (exp), size);
    7114                 :         18 :           temp = temp_target;
    7115                 :            :         }
    7116                 :            : 
    7117                 :            :       /* Handle calls that return BLKmode values in registers.  */
    7118                 :     570570 :       else if (mode == BLKmode && REG_P (temp) && TREE_CODE (exp) == CALL_EXPR)
    7119                 :            :         {
    7120                 :          0 :           rtx temp_target = gen_reg_rtx (GET_MODE (temp));
    7121                 :          0 :           copy_blkmode_from_reg (temp_target, temp, TREE_TYPE (exp));
    7122                 :          0 :           temp = temp_target;
    7123                 :            :         }
    7124                 :            : 
    7125                 :            :       /* If the value has aggregate type and an integral mode then, if BITSIZE
    7126                 :            :          is narrower than this mode and this is for big-endian data, we first
    7127                 :            :          need to put the value into the low-order bits for store_bit_field,
    7128                 :            :          except when MODE is BLKmode and BITSIZE larger than the word size
    7129                 :            :          (see the handling of fields larger than a word in store_bit_field).
    7130                 :            :          Moreover, the field may be not aligned on a byte boundary; in this
    7131                 :            :          case, if it has reverse storage order, it needs to be accessed as a
    7132                 :            :          scalar field with reverse storage order and we must first put the
    7133                 :            :          value into target order.  */
    7134                 :     570588 :       scalar_int_mode temp_mode;
    7135                 :    1708540 :       if (AGGREGATE_TYPE_P (TREE_TYPE (exp))
    7136                 :     570847 :           && is_int_mode (GET_MODE (temp), &temp_mode))
    7137                 :            :         {
    7138                 :       1326 :           HOST_WIDE_INT size = GET_MODE_BITSIZE (temp_mode);
    7139                 :            : 
    7140                 :       1326 :           reverse = TYPE_REVERSE_STORAGE_ORDER (TREE_TYPE (exp));
    7141                 :            : 
    7142                 :       1326 :           if (reverse)
    7143                 :          0 :             temp = flip_storage_order (temp_mode, temp);
    7144                 :            : 
    7145                 :       1326 :           gcc_checking_assert (known_le (bitsize, size));
    7146                 :       1326 :           if (maybe_lt (bitsize, size)
    7147                 :       1326 :               && reverse ? !BYTES_BIG_ENDIAN : BYTES_BIG_ENDIAN
    7148                 :            :               /* Use of to_constant for BLKmode was checked above.  */
    7149                 :            :               && !(mode == BLKmode && bitsize.to_constant () > BITS_PER_WORD))
    7150                 :          0 :             temp = expand_shift (RSHIFT_EXPR, temp_mode, temp,
    7151                 :            :                                  size - bitsize, NULL_RTX, 1);
    7152                 :            :         }
    7153                 :            : 
    7154                 :            :       /* Unless MODE is VOIDmode or BLKmode, convert TEMP to MODE.  */
    7155                 :     529844 :       if (mode != VOIDmode && mode != BLKmode
    7156                 :    1100020 :           && mode != TYPE_MODE (TREE_TYPE (exp)))
    7157                 :          8 :         temp = convert_modes (mode, TYPE_MODE (TREE_TYPE (exp)), temp, 1);
    7158                 :            : 
    7159                 :            :       /* If the mode of TEMP and TARGET is BLKmode, both must be in memory
    7160                 :            :          and BITPOS must be aligned on a byte boundary.  If so, we simply do
    7161                 :            :          a block copy.  Likewise for a BLKmode-like TARGET.  */
    7162                 :     570588 :       if (GET_MODE (temp) == BLKmode
    7163                 :     570588 :           && (GET_MODE (target) == BLKmode
    7164                 :        204 :               || (MEM_P (target)
    7165                 :          0 :                   && GET_MODE_CLASS (GET_MODE (target)) == MODE_INT
    7166                 :          0 :                   && multiple_p (bitpos, BITS_PER_UNIT)
    7167                 :          0 :                   && multiple_p (bitsize, BITS_PER_UNIT))))
    7168                 :            :         {
    7169                 :        192 :           gcc_assert (MEM_P (target) && MEM_P (temp));
    7170                 :        192 :           poly_int64 bytepos = exact_div (bitpos, BITS_PER_UNIT);
    7171                 :        192 :           poly_int64 bytesize = bits_to_bytes_round_up (bitsize);
    7172                 :            : 
    7173                 :        192 :           target = adjust_address (target, VOIDmode, bytepos);
    7174                 :        192 :           emit_block_move (target, temp,
    7175                 :        192 :                            gen_int_mode (bytesize, Pmode),
    7176                 :            :                            BLOCK_OP_NORMAL);
    7177                 :            : 
    7178                 :        192 :           return const0_rtx;
    7179                 :            :         }
    7180                 :            : 
    7181                 :            :       /* If the mode of TEMP is still BLKmode and BITSIZE not larger than the
    7182                 :            :          word size, we need to load the value (see again store_bit_field).  */
    7183                 :     570416 :       if (GET_MODE (temp) == BLKmode && known_le (bitsize, BITS_PER_WORD))
    7184                 :            :         {
    7185                 :          1 :           temp_mode = smallest_int_mode_for_size (bitsize);
    7186                 :          1 :           temp = extract_bit_field (temp, bitsize, 0, 1, NULL_RTX, temp_mode,
    7187                 :            :                                     temp_mode, false, NULL);
    7188                 :            :         }
    7189                 :            : 
    7190                 :            :       /* Store the value in the bitfield.  */
    7191                 :     570396 :       gcc_checking_assert (known_ge (bitpos, 0));
    7192                 :     570396 :       store_bit_field (target, bitsize, bitpos,
    7193                 :            :                        bitregion_start, bitregion_end,
    7194                 :            :                        mode, temp, reverse);
    7195                 :            : 
    7196                 :     570396 :       return const0_rtx;
    7197                 :            :     }
    7198                 :            :   else
    7199                 :            :     {
    7200                 :            :       /* Now build a reference to just the desired component.  */
    7201                 :    3305750 :       rtx to_rtx = adjust_address (target, mode,
    7202                 :            :                                    exact_div (bitpos, BITS_PER_UNIT));
    7203                 :            : 
    7204                 :    3305750 :       if (to_rtx == target)
    7205                 :     988524 :         to_rtx = copy_rtx (to_rtx);
    7206                 :            : 
    7207                 :    6441020 :       if (!MEM_KEEP_ALIAS_SET_P (to_rtx) && MEM_ALIAS_SET (to_rtx) != 0)
    7208                 :    2973210 :         set_mem_alias_set (to_rtx, alias_set);
    7209                 :            : 
    7210                 :            :       /* Above we avoided using bitfield operations for storing a CONSTRUCTOR
    7211                 :            :          into a target smaller than its type; handle that case now.  */
    7212                 :    3305750 :       if (TREE_CODE (exp) == CONSTRUCTOR && known_size_p (bitsize))
    7213                 :            :         {
    7214                 :      36081 :           poly_int64 bytesize = exact_div (bitsize, BITS_PER_UNIT);
    7215                 :      36081 :           store_constructor (exp, to_rtx, 0, bytesize, reverse);
    7216                 :      36081 :           return to_rtx;
    7217                 :            :         }
    7218                 :            : 
    7219                 :    3269670 :       return store_expr (exp, to_rtx, 0, nontemporal, reverse);
    7220                 :            :     }
    7221                 :            : }
    7222                 :            : 
    7223                 :            : /* Given an expression EXP that may be a COMPONENT_REF, a BIT_FIELD_REF,
    7224                 :            :    an ARRAY_REF, or an ARRAY_RANGE_REF, look for nested operations of these
    7225                 :            :    codes and find the ultimate containing object, which we return.
    7226                 :            : 
    7227                 :            :    We set *PBITSIZE to the size in bits that we want, *PBITPOS to the
    7228                 :            :    bit position, *PUNSIGNEDP to the signedness and *PREVERSEP to the
    7229                 :            :    storage order of the field.
    7230                 :            :    If the position of the field is variable, we store a tree
    7231                 :            :    giving the variable offset (in units) in *POFFSET.
    7232                 :            :    This offset is in addition to the bit position.
    7233                 :            :    If the position is not variable, we store 0 in *POFFSET.
    7234                 :            : 
    7235                 :            :    If any of the extraction expressions is volatile,
    7236                 :            :    we store 1 in *PVOLATILEP.  Otherwise we don't change that.
    7237                 :            : 
    7238                 :            :    If the field is a non-BLKmode bit-field, *PMODE is set to VOIDmode.
    7239                 :            :    Otherwise, it is a mode that can be used to access the field.
    7240                 :            : 
    7241                 :            :    If the field describes a variable-sized object, *PMODE is set to
    7242                 :            :    BLKmode and *PBITSIZE is set to -1.  An access cannot be made in
    7243                 :            :    this case, but the address of the object can be found.  */
    7244                 :            : 
    7245                 :            : tree
    7246                 :   98928800 : get_inner_reference (tree exp, poly_int64_pod *pbitsize,
    7247                 :            :                      poly_int64_pod *pbitpos, tree *poffset,
    7248                 :            :                      machine_mode *pmode, int *punsignedp,
    7249                 :            :                      int *preversep, int *pvolatilep)
    7250                 :            : {
    7251                 :   98928800 :   tree size_tree = 0;
    7252                 :   98928800 :   machine_mode mode = VOIDmode;
    7253                 :   98928800 :   bool blkmode_bitfield = false;
    7254                 :   98928800 :   tree offset = size_zero_node;
    7255                 :   98928800 :   poly_offset_int bit_offset = 0;
    7256                 :            : 
    7257                 :            :   /* First get the mode, signedness, storage order and size.  We do this from
    7258                 :            :      just the outermost expression.  */
    7259                 :   98928800 :   *pbitsize = -1;
    7260                 :   98928800 :   if (TREE_CODE (exp) == COMPONENT_REF)
    7261                 :            :     {
    7262                 :   41623300 :       tree field = TREE_OPERAND (exp, 1);
    7263                 :   41623300 :       size_tree = DECL_SIZE (field);
    7264                 :   41623300 :       if (flag_strict_volatile_bitfields > 0
    7265                 :         58 :           && TREE_THIS_VOLATILE (exp)
    7266                 :         40 :           && DECL_BIT_FIELD_TYPE (field)
    7267                 :   41623300 :           && DECL_MODE (field) != BLKmode)
    7268                 :            :         /* Volatile bitfields should be accessed in the mode of the
    7269                 :            :              field's type, not the mode computed based on the bit
    7270                 :            :              size.  */
    7271                 :         22 :         mode = TYPE_MODE (DECL_BIT_FIELD_TYPE (field));
    7272                 :   41623200 :       else if (!DECL_BIT_FIELD (field))
    7273                 :            :         {
    7274                 :   41411200 :           mode = DECL_MODE (field);
    7275                 :            :           /* For vector fields re-check the target flags, as DECL_MODE
    7276                 :            :              could have been set with different target flags than
    7277                 :            :              the current function has.  */
    7278                 :   41411200 :           if (mode == BLKmode
    7279                 :    7082300 :               && VECTOR_TYPE_P (TREE_TYPE (field))
    7280                 :   41419800 :               && VECTOR_MODE_P (TYPE_MODE_RAW (TREE_TYPE (field))))
    7281                 :       8572 :             mode = TYPE_MODE (TREE_TYPE (field));
    7282                 :            :         }
    7283                 :     212021 :       else if (DECL_MODE (field) == BLKmode)
    7284                 :          0 :         blkmode_bitfield = true;
    7285                 :            : 
    7286                 :   41623300 :       *punsignedp = DECL_UNSIGNED (field);
    7287                 :            :     }
    7288                 :   57305500 :   else if (TREE_CODE (exp) == BIT_FIELD_REF)
    7289                 :            :     {
    7290                 :     260617 :       size_tree = TREE_OPERAND (exp, 1);
    7291                 :     521229 :       *punsignedp = (! INTEGRAL_TYPE_P (TREE_TYPE (exp))
    7292                 :     435885 :                      || TYPE_UNSIGNED (TREE_TYPE (exp)));
    7293                 :            : 
    7294                 :            :       /* For vector element types with the correct size of access or for
    7295                 :            :          vector typed accesses use the mode of the access type.  */
    7296                 :     260617 :       if ((TREE_CODE (TREE_TYPE (TREE_OPERAND (exp, 0))) == VECTOR_TYPE
    7297                 :     217694 :            && TREE_TYPE (exp) == TREE_TYPE (TREE_TYPE (TREE_OPERAND (exp, 0)))
    7298                 :     200126 :            && tree_int_cst_equal (size_tree, TYPE_SIZE (TREE_TYPE (exp))))
    7299                 :     321108 :           || VECTOR_TYPE_P (TREE_TYPE (exp)))
    7300                 :     212113 :         mode = TYPE_MODE (TREE_TYPE (exp));
    7301                 :            :     }
    7302                 :            :   else
    7303                 :            :     {
    7304                 :   57044900 :       mode = TYPE_MODE (TREE_TYPE (exp));
    7305                 :   57044900 :       *punsignedp = TYPE_UNSIGNED (TREE_TYPE (exp));
    7306                 :            : 
    7307                 :   57044900 :       if (mode == BLKmode)
    7308                 :   25081700 :         size_tree = TYPE_SIZE (TREE_TYPE (exp));
    7309                 :            :       else
    7310                 :   63926300 :         *pbitsize = GET_MODE_BITSIZE (mode);
    7311                 :            :     }
    7312                 :            : 
    7313                 :   98928800 :   if (size_tree != 0)
    7314                 :            :     {
    7315                 :   66380800 :       if (! tree_fits_uhwi_p (size_tree))
    7316                 :     247524 :         mode = BLKmode, *pbitsize = -1;
    7317                 :            :       else
    7318                 :   66133300 :         *pbitsize = tree_to_uhwi (size_tree);
    7319                 :            :     }
    7320                 :            : 
    7321                 :   98928800 :   *preversep = reverse_storage_order_for_component_p (exp);
    7322                 :            : 
    7323                 :            :   /* Compute cumulative bit-offset for nested component-refs and array-refs,
    7324                 :            :      and find the ultimate containing object.  */
    7325                 :  239093000 :   while (1)
    7326                 :            :     {
    7327                 :  169011000 :       switch (TREE_CODE (exp))
    7328                 :            :         {
    7329                 :     260617 :         case BIT_FIELD_REF:
    7330                 :     260617 :           bit_offset += wi::to_poly_offset (TREE_OPERAND (exp, 2));
    7331                 :     260617 :           break;
    7332                 :            : 
    7333                 :   57952900 :         case COMPONENT_REF:
    7334                 :   57952900 :           {
    7335                 :   57952900 :             tree field = TREE_OPERAND (exp, 1);
    7336                 :   57952900 :             tree this_offset = component_ref_field_offset (exp);
    7337                 :            : 
    7338                 :            :             /* If this field hasn't been filled in yet, don't go past it.
    7339                 :            :                This should only happen when folding expressions made during
    7340                 :            :                type construction.  */
    7341                 :   57952900 :             if (this_offset == 0)
    7342                 :            :               break;
    7343                 :            : 
    7344                 :   57952900 :             offset = size_binop (PLUS_EXPR, offset, this_offset);
    7345                 :   57952900 :             bit_offset += wi::to_poly_offset (DECL_FIELD_BIT_OFFSET (field));
    7346                 :            : 
    7347                 :            :             /* ??? Right now we don't do anything with DECL_OFFSET_ALIGN.  */
    7348                 :            :           }
    7349                 :   57952900 :           break;
    7350                 :            : 
    7351                 :   11415300 :         case ARRAY_REF:
    7352                 :   11415300 :         case ARRAY_RANGE_REF:
    7353                 :   11415300 :           {
    7354                 :   11415300 :             tree index = TREE_OPERAND (exp, 1);
    7355                 :   11415300 :             tree low_bound = array_ref_low_bound (exp);
    7356                 :   11415300 :             tree unit_size = array_ref_element_size (exp);
    7357                 :            : 
    7358                 :            :             /* We assume all arrays have sizes that are a multiple of a byte.
    7359                 :            :                First subtract the lower bound, if any, in the type of the
    7360                 :            :                index, then convert to sizetype and multiply by the size of
    7361                 :            :                the array element.  */
    7362                 :   11415300 :             if (! integer_zerop (low_bound))
    7363                 :     432649 :               index = fold_build2 (MINUS_EXPR, TREE_TYPE (index),
    7364                 :            :                                    index, low_bound);
    7365                 :            : 
    7366                 :   11415300 :             offset = size_binop (PLUS_EXPR, offset,
    7367                 :            :                                  size_binop (MULT_EXPR,
    7368                 :            :                                              fold_convert (sizetype, index),
    7369                 :            :                                              unit_size));
    7370                 :            :           }
    7371                 :   11415300 :           break;
    7372                 :            : 
    7373                 :            :         case REALPART_EXPR:
    7374                 :            :           break;
    7375                 :            : 
    7376                 :     111922 :         case IMAGPART_EXPR:
    7377                 :     111922 :           bit_offset += *pbitsize;
    7378                 :     111922 :           break;
    7379                 :            : 
    7380                 :            :         case VIEW_CONVERT_EXPR:
    7381                 :            :           break;
    7382                 :            : 
    7383                 :   38606900 :         case MEM_REF:
    7384                 :            :           /* Hand back the decl for MEM[&decl, off].  */
    7385                 :   38606900 :           if (TREE_CODE (TREE_OPERAND (exp, 0)) == ADDR_EXPR)
    7386                 :            :             {
    7387                 :    9757520 :               tree off = TREE_OPERAND (exp, 1);
    7388                 :    9757520 :               if (!integer_zerop (off))
    7389                 :            :                 {
    7390                 :    5514770 :                   poly_offset_int boff = mem_ref_offset (exp);
    7391                 :    5514770 :                   boff <<= LOG2_BITS_PER_UNIT;
    7392                 :    5514770 :                   bit_offset += boff;
    7393                 :            :                 }
    7394                 :    9757520 :               exp = TREE_OPERAND (TREE_OPERAND (exp, 0), 0);
    7395                 :            :             }
    7396                 :   38606900 :           goto done;
    7397                 :            : 
    7398                 :   60321800 :         default:
    7399                 :   60321800 :           goto done;
    7400                 :            :         }
    7401                 :            : 
    7402                 :            :       /* If any reference in the chain is volatile, the effect is volatile.  */
    7403                 :   70082100 :       if (TREE_THIS_VOLATILE (exp))
    7404                 :     172089 :         *pvolatilep = 1;
    7405                 :            : 
    7406                 :   70082100 :       exp = TREE_OPERAND (exp, 0);
    7407                 :   70082100 :     }
    7408                 :   98928800 :  done:
    7409                 :            : 
    7410                 :            :   /* If OFFSET is constant, see if we can return the whole thing as a
    7411                 :            :      constant bit position.  Make sure to handle overflow during
    7412                 :            :      this conversion.  */
    7413                 :   98928800 :   if (poly_int_tree_p (offset))
    7414                 :            :     {
    7415                 :   96421300 :       poly_offset_int tem = wi::sext (wi::to_poly_offset (offset),
    7416                 :   96421300 :                                       TYPE_PRECISION (sizetype));
    7417                 :   96421300 :       tem <<= LOG2_BITS_PER_UNIT;
    7418                 :   96421300 :       tem += bit_offset;
    7419                 :  192838000 :       if (tem.to_shwi (pbitpos))
    7420                 :   96416300 :         *poffset = offset = NULL_TREE;
    7421                 :            :     }
    7422                 :            : 
    7423                 :            :   /* Otherwise, split it up.  */
    7424                 :   96416300 :   if (offset)
    7425                 :            :     {
    7426                 :            :       /* Avoid returning a negative bitpos as this may wreak havoc later.  */
    7427                 :    2512420 :       if (!bit_offset.to_shwi (pbitpos) || maybe_lt (*pbitpos, 0))
    7428                 :            :         {
    7429                 :       3988 :           *pbitpos = num_trailing_bits (bit_offset.force_shwi ());
    7430                 :       3988 :           poly_offset_int bytes = bits_to_bytes_round_down (bit_offset);
    7431                 :       3988 :           offset = size_binop (PLUS_EXPR, offset,
    7432                 :            :                                build_int_cst (sizetype, bytes.force_shwi ()));
    7433                 :            :         }
    7434                 :            : 
    7435                 :    2512420 :       *poffset = offset;
    7436                 :            :     }
    7437                 :            : 
    7438                 :            :   /* We can use BLKmode for a byte-aligned BLKmode bitfield.  */
    7439                 :   98928800 :   if (mode == VOIDmode
    7440                 :     290539 :       && blkmode_bitfield
    7441                 :          0 :       && multiple_p (*pbitpos, BITS_PER_UNIT)
    7442                 :   98928800 :       && multiple_p (*pbitsize, BITS_PER_UNIT))
    7443                 :          0 :     *pmode = BLKmode;
    7444                 :            :   else
    7445                 :   98928800 :     *pmode = mode;
    7446                 :            : 
    7447                 :   98928800 :   return exp;
    7448                 :            : }
    7449                 :            : 
    7450                 :            : /* Alignment in bits the TARGET of an assignment may be assumed to have.  */
    7451                 :            : 
    7452                 :            : static unsigned HOST_WIDE_INT
    7453                 :     328289 : target_align (const_tree target)
    7454                 :            : {
    7455                 :            :   /* We might have a chain of nested references with intermediate misaligning
    7456                 :            :      bitfields components, so need to recurse to find out.  */
    7457                 :            : 
    7458                 :     328289 :   unsigned HOST_WIDE_INT this_align, outer_align;
    7459                 :            : 
    7460                 :     328289 :   switch (TREE_CODE (target))
    7461                 :            :     {
    7462                 :            :     case BIT_FIELD_REF:
    7463                 :            :       return 1;
    7464                 :            : 
    7465                 :      92652 :     case COMPONENT_REF:
    7466                 :      92652 :       this_align = DECL_ALIGN (TREE_OPERAND (target, 1));
    7467                 :      92652 :       outer_align = target_align (TREE_OPERAND (target, 0));
    7468                 :      92652 :       return MIN (this_align, outer_align);
    7469                 :            : 
    7470                 :     122658 :     case ARRAY_REF:
    7471                 :     122658 :     case ARRAY_RANGE_REF:
    7472                 :     122658 :       this_align = TYPE_ALIGN (TREE_TYPE (target));
    7473                 :     122658 :       outer_align = target_align (TREE_OPERAND (target, 0));
    7474                 :     122658 :       return MIN (this_align, outer_align);
    7475                 :            : 
    7476                 :        120 :     CASE_CONVERT:
    7477                 :        120 :     case NON_LVALUE_EXPR:
    7478                 :        120 :     case VIEW_CONVERT_EXPR:
    7479                 :        120 :       this_align = TYPE_ALIGN (TREE_TYPE (target));
    7480                 :        120 :       outer_align = target_align (TREE_OPERAND (target, 0));
    7481                 :        120 :       return MAX (this_align, outer_align);
    7482                 :            : 
    7483                 :     112859 :     default:
    7484                 :     112859 :       return TYPE_ALIGN (TREE_TYPE (target));
    7485                 :            :     }
    7486                 :            : }
    7487                 :            : 
    7488                 :            : 
    7489                 :            : /* Given an rtx VALUE that may contain additions and multiplications, return
    7490                 :            :    an equivalent value that just refers to a register, memory, or constant.
    7491                 :            :    This is done by generating instructions to perform the arithmetic and
    7492                 :            :    returning a pseudo-register containing the value.
    7493                 :            : 
    7494                 :            :    The returned value may be a REG, SUBREG, MEM or constant.  */
    7495                 :            : 
    7496                 :            : rtx
    7497                 :   20101500 : force_operand (rtx value, rtx target)
    7498                 :            : {
    7499                 :   20101500 :   rtx op1, op2;
    7500                 :            :   /* Use subtarget as the target for operand 0 of a binary operation.  */
    7501                 :   20101500 :   rtx subtarget = get_subtarget (target);
    7502                 :   20101500 :   enum rtx_code code = GET_CODE (value);
    7503                 :            : 
    7504                 :            :   /* Check for subreg applied to an expression produced by loop optimizer.  */
    7505                 :   20101500 :   if (code == SUBREG
    7506                 :     247956 :       && !REG_P (SUBREG_REG (value))
    7507                 :         46 :       && !MEM_P (SUBREG_REG (value)))
    7508                 :            :     {
    7509                 :         46 :       value
    7510                 :         46 :         = simplify_gen_subreg (GET_MODE (value),
    7511                 :         46 :                                force_reg (GET_MODE (SUBREG_REG (value)),
    7512                 :            :                                           force_operand (SUBREG_REG (value),
    7513                 :            :                                                          NULL_RTX)),
    7514                 :         46 :                                GET_MODE (SUBREG_REG (value)),
    7515                 :         46 :                                SUBREG_BYTE (value));
    7516                 :         46 :       code = GET_CODE (value);
    7517                 :            :     }
    7518                 :            : 
    7519                 :            :   /* Check for a PIC address load.  */
    7520                 :   20101500 :   if ((code == PLUS || code == MINUS)
    7521                 :    2343560 :       && XEXP (value, 0) == pic_offset_table_rtx
    7522                 :       1878 :       && (GET_CODE (XEXP (value, 1)) == SYMBOL_REF
    7523                 :       1878 :           || GET_CODE (XEXP (value, 1)) == LABEL_REF
    7524                 :       1878 :           || GET_CODE (XEXP (value, 1)) == CONST))
    7525                 :            :     {
    7526                 :        371 :       if (!subtarget)
    7527                 :        370 :         subtarget = gen_reg_rtx (GET_MODE (value));
    7528                 :        371 :       emit_move_insn (subtarget, value);
    7529                 :        371 :       return subtarget;
    7530                 :            :     }
    7531                 :            : 
    7532                 :   20101100 :   if (ARITHMETIC_P (value))
    7533                 :            :     {
    7534                 :    2426870 :       op2 = XEXP (value, 1);
    7535                 :    2426870 :       if (!CONSTANT_P (op2) && !(REG_P (op2) && op2 != subtarget))
    7536                 :      11092 :         subtarget = 0;
    7537                 :    2426870 :       if (code == MINUS && CONST_INT_P (op2))
    7538                 :            :         {
    7539                 :          0 :           code = PLUS;
    7540                 :          0 :           op2 = negate_rtx (GET_MODE (value), op2);
    7541                 :            :         }
    7542                 :            : 
    7543                 :            :       /* Check for an addition with OP2 a constant integer and our first
    7544                 :            :          operand a PLUS of a virtual register and something else.  In that
    7545                 :            :          case, we want to emit the sum of the virtual register and the
    7546                 :            :          constant first and then add the other value.  This allows virtual
    7547                 :            :          register instantiation to simply modify the constant rather than
    7548                 :            :          creating another one around this addition.  */
    7549                 :    2298700 :       if (code == PLUS && CONST_INT_P (op2)
    7550                 :    2095910 :           && GET_CODE (XEXP (value, 0)) == PLUS
    7551                 :      43275 :           && REG_P (XEXP (XEXP (value, 0), 0))
    7552                 :       8165 :           && REGNO (XEXP (XEXP (value, 0), 0)) >= FIRST_VIRTUAL_REGISTER
    7553                 :    2435030 :           && REGNO (XEXP (XEXP (value, 0), 0)) <= LAST_VIRTUAL_REGISTER)
    7554                 :            :         {
    7555                 :          7 :           rtx temp = expand_simple_binop (GET_MODE (value), code,
    7556                 :            :                                           XEXP (XEXP (value, 0), 0), op2,
    7557                 :            :                                           subtarget, 0, OPTAB_LIB_WIDEN);
    7558                 :          7 :           return expand_simple_binop (GET_MODE (value), code, temp,
    7559                 :          7 :                                       force_operand (XEXP (XEXP (value,
    7560                 :            :                                                                  0), 1), 0),
    7561                 :          7 :                                       target, 0, OPTAB_LIB_WIDEN);
    7562                 :            :         }
    7563                 :            : 
    7564                 :    2426860 :       op1 = force_operand (XEXP (value, 0), subtarget);
    7565                 :    2426860 :       op2 = force_operand (op2, NULL_RTX);
    7566                 :    2426860 :       switch (code)
    7567                 :            :         {
    7568                 :      72065 :         case MULT:
    7569                 :      72065 :           return expand_mult (GET_MODE (value), op1, op2, target, 1);
    7570                 :          0 :         case DIV:
    7571                 :          0 :           if (!INTEGRAL_MODE_P (GET_MODE (value)))
    7572                 :          0 :             return expand_simple_binop (GET_MODE (value), code, op1, op2,
    7573                 :          0 :                                         target, 1, OPTAB_LIB_WIDEN);
    7574                 :            :           else
    7575                 :          0 :             return expand_divmod (0,
    7576                 :          0 :                                   FLOAT_MODE_P (GET_MODE (value))
    7577                 :            :                                   ? RDIV_EXPR : TRUNC_DIV_EXPR,
    7578                 :          0 :                                   GET_MODE (value), op1, op2, target, 0);
    7579                 :          0 :         case MOD:
    7580                 :          0 :           return expand_divmod (1, TRUNC_MOD_EXPR, GET_MODE (value), op1, op2,
    7581                 :          0 :                                 target, 0);
    7582                 :          1 :         case UDIV:
    7583                 :          1 :           return expand_divmod (0, TRUNC_DIV_EXPR, GET_MODE (value), op1, op2,
    7584                 :          1 :                                 target, 1);
    7585                 :          0 :         case UMOD:
    7586                 :          0 :           return expand_divmod (1, TRUNC_MOD_EXPR, GET_MODE (value), op1, op2,
    7587                 :          0 :                                 target, 1);
    7588                 :          0 :         case ASHIFTRT:
    7589                 :          0 :           return expand_simple_binop (GET_MODE (value), code, op1, op2,
    7590                 :          0 :                                       target, 0, OPTAB_LIB_WIDEN);
    7591                 :    2354800 :         default:
    7592                 :    2354800 :           return expand_simple_binop (GET_MODE (value), code, op1, op2,
    7593                 :    2354800 :                                       target, 1, OPTAB_LIB_WIDEN);
    7594                 :            :         }
    7595                 :            :     }
    7596                 :   17674300 :   if (UNARY_P (value))
    7597                 :            :     {
    7598                 :       2924 :       if (!target)
    7599                 :       1247 :         target = gen_reg_rtx (GET_MODE (value));
    7600                 :       2924 :       op1 = force_operand (XEXP (value, 0), NULL_RTX);
    7601                 :       2924 :       switch (code)
    7602                 :            :         {
    7603                 :         17 :         case ZERO_EXTEND:
    7604                 :         17 :         case SIGN_EXTEND:
    7605                 :         17 :         case TRUNCATE:
    7606                 :         17 :         case FLOAT_EXTEND:
    7607                 :         17 :         case FLOAT_TRUNCATE:
    7608                 :         17 :           convert_move (target, op1, code == ZERO_EXTEND);
    7609                 :         17 :           return target;
    7610                 :            : 
    7611                 :          0 :         case FIX:
    7612                 :          0 :         case UNSIGNED_FIX:
    7613                 :          0 :           expand_fix (target, op1, code == UNSIGNED_FIX);
    7614                 :          0 :           return target;
    7615                 :            : 
    7616                 :          0 :         case FLOAT:
    7617                 :          0 :         case UNSIGNED_FLOAT:
    7618                 :          0 :           expand_float (target, op1, code == UNSIGNED_FLOAT);
    7619                 :          0 :           return target;
    7620                 :            : 
    7621                 :       2907 :         default:
    7622                 :       2907 :           return expand_simple_unop (GET_MODE (value), code, op1, target, 0);
    7623                 :            :         }
    7624                 :            :     }
    7625                 :            : 
    7626                 :            : #ifdef INSN_SCHEDULING
    7627                 :            :   /* On machines that have insn scheduling, we want all memory reference to be
    7628                 :            :      explicit, so we need to deal with such paradoxical SUBREGs.  */
    7629                 :   17671400 :   if (paradoxical_subreg_p (value) && MEM_P (SUBREG_REG (value)))
    7630                 :          0 :     value
    7631                 :          0 :       = simplify_gen_subreg (GET_MODE (value),
    7632                 :          0 :                              force_reg (GET_MODE (SUBREG_REG (value)),
    7633                 :            :                                         force_operand (SUBREG_REG (value),
    7634                 :            :                                                        NULL_RTX)),
    7635                 :            :                              GET_MODE (SUBREG_REG (value)),
    7636                 :          0 :                              SUBREG_BYTE (value));
    7637                 :            : #endif
    7638                 :            : 
    7639                 :            :   return value;
    7640                 :            : }
    7641                 :            : 
    7642                 :            : /* Subroutine of expand_expr: return nonzero iff there is no way that
    7643                 :            :    EXP can reference X, which is being modified.  TOP_P is nonzero if this
    7644                 :            :    call is going to be used to determine whether we need a temporary
    7645                 :            :    for EXP, as opposed to a recursive call to this function.
    7646                 :            : 
    7647                 :            :    It is always safe for this routine to return zero since it merely
    7648                 :            :    searches for optimization opportunities.  */
    7649                 :            : 
    7650                 :            : int
    7651                 :    4589360 : safe_from_p (const_rtx x, tree exp, int top_p)
    7652                 :            : {
    7653                 :    4589760 :   rtx exp_rtl = 0;
    7654                 :    458