LCOV - code coverage report
Current view: top level - gcc - cfgexpand.c (source / functions) Hit Total Coverage
Test: gcc.info Lines: 2750 3148 87.4 %
Date: 2020-03-28 11:57:23 Functions: 84 92 91.3 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : /* A pass for lowering trees to RTL.
       2                 :            :    Copyright (C) 2004-2020 Free Software Foundation, Inc.
       3                 :            : 
       4                 :            : This file is part of GCC.
       5                 :            : 
       6                 :            : GCC is free software; you can redistribute it and/or modify
       7                 :            : it under the terms of the GNU General Public License as published by
       8                 :            : the Free Software Foundation; either version 3, or (at your option)
       9                 :            : any later version.
      10                 :            : 
      11                 :            : GCC is distributed in the hope that it will be useful,
      12                 :            : but WITHOUT ANY WARRANTY; without even the implied warranty of
      13                 :            : MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
      14                 :            : GNU General Public License for more details.
      15                 :            : 
      16                 :            : You should have received a copy of the GNU General Public License
      17                 :            : along with GCC; see the file COPYING3.  If not see
      18                 :            : <http://www.gnu.org/licenses/>.  */
      19                 :            : 
      20                 :            : #include "config.h"
      21                 :            : #include "system.h"
      22                 :            : #include "coretypes.h"
      23                 :            : #include "backend.h"
      24                 :            : #include "target.h"
      25                 :            : #include "rtl.h"
      26                 :            : #include "tree.h"
      27                 :            : #include "gimple.h"
      28                 :            : #include "cfghooks.h"
      29                 :            : #include "tree-pass.h"
      30                 :            : #include "memmodel.h"
      31                 :            : #include "tm_p.h"
      32                 :            : #include "ssa.h"
      33                 :            : #include "optabs.h"
      34                 :            : #include "regs.h" /* For reg_renumber.  */
      35                 :            : #include "emit-rtl.h"
      36                 :            : #include "recog.h"
      37                 :            : #include "cgraph.h"
      38                 :            : #include "diagnostic.h"
      39                 :            : #include "fold-const.h"
      40                 :            : #include "varasm.h"
      41                 :            : #include "stor-layout.h"
      42                 :            : #include "stmt.h"
      43                 :            : #include "print-tree.h"
      44                 :            : #include "cfgrtl.h"
      45                 :            : #include "cfganal.h"
      46                 :            : #include "cfgbuild.h"
      47                 :            : #include "cfgcleanup.h"
      48                 :            : #include "dojump.h"
      49                 :            : #include "explow.h"
      50                 :            : #include "calls.h"
      51                 :            : #include "expr.h"
      52                 :            : #include "internal-fn.h"
      53                 :            : #include "tree-eh.h"
      54                 :            : #include "gimple-iterator.h"
      55                 :            : #include "gimple-expr.h"
      56                 :            : #include "gimple-walk.h"
      57                 :            : #include "tree-cfg.h"
      58                 :            : #include "tree-dfa.h"
      59                 :            : #include "tree-ssa.h"
      60                 :            : #include "except.h"
      61                 :            : #include "gimple-pretty-print.h"
      62                 :            : #include "toplev.h"
      63                 :            : #include "debug.h"
      64                 :            : #include "tree-inline.h"
      65                 :            : #include "value-prof.h"
      66                 :            : #include "tree-ssa-live.h"
      67                 :            : #include "tree-outof-ssa.h"
      68                 :            : #include "cfgloop.h"
      69                 :            : #include "insn-attr.h" /* For INSN_SCHEDULING.  */
      70                 :            : #include "stringpool.h"
      71                 :            : #include "attribs.h"
      72                 :            : #include "asan.h"
      73                 :            : #include "tree-ssa-address.h"
      74                 :            : #include "output.h"
      75                 :            : #include "builtins.h"
      76                 :            : 
      77                 :            : /* Some systems use __main in a way incompatible with its use in gcc, in these
      78                 :            :    cases use the macros NAME__MAIN to give a quoted symbol and SYMBOL__MAIN to
      79                 :            :    give the same symbol without quotes for an alternative entry point.  You
      80                 :            :    must define both, or neither.  */
      81                 :            : #ifndef NAME__MAIN
      82                 :            : #define NAME__MAIN "__main"
      83                 :            : #endif
      84                 :            : 
      85                 :            : /* This variable holds information helping the rewriting of SSA trees
      86                 :            :    into RTL.  */
      87                 :            : struct ssaexpand SA;
      88                 :            : 
      89                 :            : /* This variable holds the currently expanded gimple statement for purposes
      90                 :            :    of comminucating the profile info to the builtin expanders.  */
      91                 :            : gimple *currently_expanding_gimple_stmt;
      92                 :            : 
      93                 :            : static rtx expand_debug_expr (tree);
      94                 :            : 
      95                 :            : static bool defer_stack_allocation (tree, bool);
      96                 :            : 
      97                 :            : static void record_alignment_for_reg_var (unsigned int);
      98                 :            : 
      99                 :            : /* Return an expression tree corresponding to the RHS of GIMPLE
     100                 :            :    statement STMT.  */
     101                 :            : 
     102                 :            : tree
     103                 :    1611220 : gimple_assign_rhs_to_tree (gimple *stmt)
     104                 :            : {
     105                 :    1611220 :   tree t;
     106                 :    1611220 :   switch (get_gimple_rhs_class (gimple_expr_code (stmt)))
     107                 :            :     {
     108                 :        263 :     case GIMPLE_TERNARY_RHS:
     109                 :        263 :       t = build3 (gimple_assign_rhs_code (stmt),
     110                 :        263 :                   TREE_TYPE (gimple_assign_lhs (stmt)),
     111                 :            :                   gimple_assign_rhs1 (stmt), gimple_assign_rhs2 (stmt),
     112                 :            :                   gimple_assign_rhs3 (stmt));
     113                 :        263 :       break;
     114                 :     505639 :     case GIMPLE_BINARY_RHS:
     115                 :     505639 :       t = build2 (gimple_assign_rhs_code (stmt),
     116                 :     505639 :                   TREE_TYPE (gimple_assign_lhs (stmt)),
     117                 :            :                   gimple_assign_rhs1 (stmt), gimple_assign_rhs2 (stmt));
     118                 :     505639 :       break;
     119                 :     161738 :     case GIMPLE_UNARY_RHS:
     120                 :     161738 :       t = build1 (gimple_assign_rhs_code (stmt),
     121                 :     161738 :                   TREE_TYPE (gimple_assign_lhs (stmt)),
     122                 :            :                   gimple_assign_rhs1 (stmt));
     123                 :     161738 :       break;
     124                 :     943576 :     case GIMPLE_SINGLE_RHS:
     125                 :     943576 :       {
     126                 :     943576 :         t = gimple_assign_rhs1 (stmt);
     127                 :            :         /* Avoid modifying this tree in place below.  */
     128                 :    1847070 :         if ((gimple_has_location (stmt) && CAN_HAVE_LOCATION_P (t)
     129                 :     886760 :              && gimple_location (stmt) != EXPR_LOCATION (t))
     130                 :    1081290 :             || (gimple_block (stmt) && currently_expanding_to_rtl
     131                 :      30848 :                 && EXPR_P (t)))
     132                 :     856858 :           t = copy_node (t);
     133                 :            :         break;
     134                 :            :       }
     135                 :          0 :     default:
     136                 :          0 :       gcc_unreachable ();
     137                 :            :     }
     138                 :            : 
     139                 :    3128230 :   if (gimple_has_location (stmt) && CAN_HAVE_LOCATION_P (t))
     140                 :    1501140 :     SET_EXPR_LOCATION (t, gimple_location (stmt));
     141                 :            : 
     142                 :    1611220 :   return t;
     143                 :            : }
     144                 :            : 
     145                 :            : 
     146                 :            : #ifndef STACK_ALIGNMENT_NEEDED
     147                 :            : #define STACK_ALIGNMENT_NEEDED 1
     148                 :            : #endif
     149                 :            : 
     150                 :            : #define SSAVAR(x) (TREE_CODE (x) == SSA_NAME ? SSA_NAME_VAR (x) : x)
     151                 :            : 
     152                 :            : /* Choose either CUR or NEXT as the leader DECL for a partition.
     153                 :            :    Prefer ignored decls, to simplify debug dumps and reduce ambiguity
     154                 :            :    out of the same user variable being in multiple partitions (this is
     155                 :            :    less likely for compiler-introduced temps).  */
     156                 :            : 
     157                 :            : static tree
     158                 :   36048200 : leader_merge (tree cur, tree next)
     159                 :            : {
     160                 :   36048200 :   if (cur == NULL || cur == next)
     161                 :            :     return next;
     162                 :            : 
     163                 :    2549200 :   if (DECL_P (cur) && DECL_IGNORED_P (cur))
     164                 :            :     return cur;
     165                 :            : 
     166                 :    1556720 :   if (DECL_P (next) && DECL_IGNORED_P (next))
     167                 :      81335 :     return next;
     168                 :            : 
     169                 :            :   return cur;
     170                 :            : }
     171                 :            : 
     172                 :            : /* Associate declaration T with storage space X.  If T is no
     173                 :            :    SSA name this is exactly SET_DECL_RTL, otherwise make the
     174                 :            :    partition of T associated with X.  */
     175                 :            : static inline void
     176                 :   43838500 : set_rtl (tree t, rtx x)
     177                 :            : {
     178                 :   43838800 :   gcc_checking_assert (!x
     179                 :            :                        || !(TREE_CODE (t) == SSA_NAME || is_gimple_reg (t))
     180                 :            :                        || (use_register_for_decl (t)
     181                 :            :                            ? (REG_P (x)
     182                 :            :                               || (GET_CODE (x) == CONCAT
     183                 :            :                                   && (REG_P (XEXP (x, 0))
     184                 :            :                                       || SUBREG_P (XEXP (x, 0)))
     185                 :            :                                   && (REG_P (XEXP (x, 1))
     186                 :            :                                       || SUBREG_P (XEXP (x, 1))))
     187                 :            :                               /* We need to accept PARALLELs for RESUT_DECLs
     188                 :            :                                  because of vector types with BLKmode returned
     189                 :            :                                  in multiple registers, but they are supposed
     190                 :            :                                  to be uncoalesced.  */
     191                 :            :                               || (GET_CODE (x) == PARALLEL
     192                 :            :                                   && SSAVAR (t)
     193                 :            :                                   && TREE_CODE (SSAVAR (t)) == RESULT_DECL
     194                 :            :                                   && (GET_MODE (x) == BLKmode
     195                 :            :                                       || !flag_tree_coalesce_vars)))
     196                 :            :                            : (MEM_P (x) || x == pc_rtx
     197                 :            :                               || (GET_CODE (x) == CONCAT
     198                 :            :                                   && MEM_P (XEXP (x, 0))
     199                 :            :                                   && MEM_P (XEXP (x, 1))))));
     200                 :            :   /* Check that the RTL for SSA_NAMEs and gimple-reg PARM_DECLs and
     201                 :            :      RESULT_DECLs has the expected mode.  For memory, we accept
     202                 :            :      unpromoted modes, since that's what we're likely to get.  For
     203                 :            :      PARM_DECLs and RESULT_DECLs, we'll have been called by
     204                 :            :      set_parm_rtl, which will give us the default def, so we don't
     205                 :            :      have to compute it ourselves.  For RESULT_DECLs, we accept mode
     206                 :            :      mismatches too, as long as we have BLKmode or are not coalescing
     207                 :            :      across variables, so that we don't reject BLKmode PARALLELs or
     208                 :            :      unpromoted REGs.  */
     209                 :   43838500 :   gcc_checking_assert (!x || x == pc_rtx || TREE_CODE (t) != SSA_NAME
     210                 :            :                        || (SSAVAR (t)
     211                 :            :                            && TREE_CODE (SSAVAR (t)) == RESULT_DECL
     212                 :            :                            && (promote_ssa_mode (t, NULL) == BLKmode
     213                 :            :                                || !flag_tree_coalesce_vars))
     214                 :            :                        || !use_register_for_decl (t)
     215                 :            :                        || GET_MODE (x) == promote_ssa_mode (t, NULL));
     216                 :            : 
     217                 :   43838500 :   if (x)
     218                 :            :     {
     219                 :   40506000 :       bool skip = false;
     220                 :   40506000 :       tree cur = NULL_TREE;
     221                 :            :       rtx xm = x;
     222                 :            : 
     223                 :   40506000 :     retry:
     224                 :   40506000 :       if (MEM_P (xm))
     225                 :    2781980 :         cur = MEM_EXPR (xm);
     226                 :   37724000 :       else if (REG_P (xm))
     227                 :   33266200 :         cur = REG_EXPR (xm);
     228                 :    4457770 :       else if (SUBREG_P (xm))
     229                 :            :         {
     230                 :          0 :           gcc_assert (subreg_lowpart_p (xm));
     231                 :          0 :           xm = SUBREG_REG (xm);
     232                 :          0 :           goto retry;
     233                 :            :         }
     234                 :    4457770 :       else if (GET_CODE (xm) == CONCAT)
     235                 :            :         {
     236                 :     327743 :           xm = XEXP (xm, 0);
     237                 :     327743 :           goto retry;
     238                 :            :         }
     239                 :    4130030 :       else if (GET_CODE (xm) == PARALLEL)
     240                 :            :         {
     241                 :       1888 :           xm = XVECEXP (xm, 0, 0);
     242                 :       1888 :           gcc_assert (GET_CODE (xm) == EXPR_LIST);
     243                 :       1888 :           xm = XEXP (xm, 0);
     244                 :       1888 :           goto retry;
     245                 :            :         }
     246                 :    4128140 :       else if (xm == pc_rtx)
     247                 :            :         skip = true;
     248                 :            :       else
     249                 :          0 :         gcc_unreachable ();
     250                 :            : 
     251                 :   46620900 :       tree next = skip ? cur : leader_merge (cur, SSAVAR (t) ? SSAVAR (t) : t);
     252                 :            : 
     253                 :   40176300 :       if (cur != next)
     254                 :            :         {
     255                 :   16983300 :           if (MEM_P (x))
     256                 :    2689870 :             set_mem_attributes (x,
     257                 :    1344930 :                                 next && TREE_CODE (next) == SSA_NAME
     258                 :       7890 :                                 ? TREE_TYPE (next)
     259                 :            :                                 : next, true);
     260                 :            :           else
     261                 :   15638300 :             set_reg_attrs_for_decl_rtl (next, x);
     262                 :            :         }
     263                 :            :     }
     264                 :            : 
     265                 :   43838500 :   if (TREE_CODE (t) == SSA_NAME)
     266                 :            :     {
     267                 :   34215900 :       int part = var_to_partition (SA.map, t);
     268                 :   34215900 :       if (part != NO_PARTITION)
     269                 :            :         {
     270                 :   34215900 :           if (SA.partition_to_pseudo[part])
     271                 :   18573600 :             gcc_assert (SA.partition_to_pseudo[part] == x);
     272                 :   15642300 :           else if (x != pc_rtx)
     273                 :   15639800 :             SA.partition_to_pseudo[part] = x;
     274                 :            :         }
     275                 :            :       /* For the benefit of debug information at -O0 (where
     276                 :            :          vartracking doesn't run) record the place also in the base
     277                 :            :          DECL.  For PARMs and RESULTs, do so only when setting the
     278                 :            :          default def.  */
     279                 :   68429200 :       if (x && x != pc_rtx && SSA_NAME_VAR (t)
     280                 :   44788600 :           && (VAR_P (SSA_NAME_VAR (t))
     281                 :    4628400 :               || SSA_NAME_IS_DEFAULT_DEF (t)))
     282                 :            :         {
     283                 :   10500300 :           tree var = SSA_NAME_VAR (t);
     284                 :            :           /* If we don't yet have something recorded, just record it now.  */
     285                 :   10500300 :           if (!DECL_RTL_SET_P (var))
     286                 :    4474330 :             SET_DECL_RTL (var, x);
     287                 :            :           /* If we have it set already to "multiple places" don't
     288                 :            :              change this.  */
     289                 :    6026000 :           else if (DECL_RTL (var) == pc_rtx)
     290                 :            :             ;
     291                 :            :           /* If we have something recorded and it's not the same place
     292                 :            :              as we want to record now, we have multiple partitions for the
     293                 :            :              same base variable, with different places.  We can't just
     294                 :            :              randomly chose one, hence we have to say that we don't know.
     295                 :            :              This only happens with optimization, and there var-tracking
     296                 :            :              will figure out the right thing.  */
     297                 :    5333570 :           else if (DECL_RTL (var) != x)
     298                 :     135254 :             SET_DECL_RTL (var, pc_rtx);
     299                 :            :         }
     300                 :            :     }
     301                 :            :   else
     302                 :    9622600 :     SET_DECL_RTL (t, x);
     303                 :   43838500 : }
     304                 :            : 
     305                 :            : /* This structure holds data relevant to one variable that will be
     306                 :            :    placed in a stack slot.  */
     307                 :            : class stack_var
     308                 :            : {
     309                 :            : public:
     310                 :            :   /* The Variable.  */
     311                 :            :   tree decl;
     312                 :            : 
     313                 :            :   /* Initially, the size of the variable.  Later, the size of the partition,
     314                 :            :      if this variable becomes it's partition's representative.  */
     315                 :            :   poly_uint64 size;
     316                 :            : 
     317                 :            :   /* The *byte* alignment required for this variable.  Or as, with the
     318                 :            :      size, the alignment for this partition.  */
     319                 :            :   unsigned int alignb;
     320                 :            : 
     321                 :            :   /* The partition representative.  */
     322                 :            :   size_t representative;
     323                 :            : 
     324                 :            :   /* The next stack variable in the partition, or EOC.  */
     325                 :            :   size_t next;
     326                 :            : 
     327                 :            :   /* The numbers of conflicting stack variables.  */
     328                 :            :   bitmap conflicts;
     329                 :            : };
     330                 :            : 
     331                 :            : #define EOC  ((size_t)-1)
     332                 :            : 
     333                 :            : /* We have an array of such objects while deciding allocation.  */
     334                 :            : static class stack_var *stack_vars;
     335                 :            : static size_t stack_vars_alloc;
     336                 :            : static size_t stack_vars_num;
     337                 :            : static hash_map<tree, size_t> *decl_to_stack_part;
     338                 :            : 
     339                 :            : /* Conflict bitmaps go on this obstack.  This allows us to destroy
     340                 :            :    all of them in one big sweep.  */
     341                 :            : static bitmap_obstack stack_var_bitmap_obstack;
     342                 :            : 
     343                 :            : /* An array of indices such that stack_vars[stack_vars_sorted[i]].size
     344                 :            :    is non-decreasing.  */
     345                 :            : static size_t *stack_vars_sorted;
     346                 :            : 
     347                 :            : /* The phase of the stack frame.  This is the known misalignment of
     348                 :            :    virtual_stack_vars_rtx from PREFERRED_STACK_BOUNDARY.  That is,
     349                 :            :    (frame_offset+frame_phase) % PREFERRED_STACK_BOUNDARY == 0.  */
     350                 :            : static int frame_phase;
     351                 :            : 
     352                 :            : /* Used during expand_used_vars to remember if we saw any decls for
     353                 :            :    which we'd like to enable stack smashing protection.  */
     354                 :            : static bool has_protected_decls;
     355                 :            : 
     356                 :            : /* Used during expand_used_vars.  Remember if we say a character buffer
     357                 :            :    smaller than our cutoff threshold.  Used for -Wstack-protector.  */
     358                 :            : static bool has_short_buffer;
     359                 :            : 
     360                 :            : /* Compute the byte alignment to use for DECL.  Ignore alignment
     361                 :            :    we can't do with expected alignment of the stack boundary.  */
     362                 :            : 
     363                 :            : static unsigned int
     364                 :    4361580 : align_local_variable (tree decl, bool really_expand)
     365                 :            : {
     366                 :    4361580 :   unsigned int align;
     367                 :            : 
     368                 :    4361580 :   if (TREE_CODE (decl) == SSA_NAME)
     369                 :       2532 :     align = TYPE_ALIGN (TREE_TYPE (decl));
     370                 :            :   else
     371                 :            :     {
     372                 :    4359040 :       align = LOCAL_DECL_ALIGNMENT (decl);
     373                 :            :       /* Don't change DECL_ALIGN when called from estimated_stack_frame_size.
     374                 :            :          That is done before IPA and could bump alignment based on host
     375                 :            :          backend even for offloaded code which wants different
     376                 :            :          LOCAL_DECL_ALIGNMENT.  */
     377                 :    4359040 :       if (really_expand)
     378                 :    1140530 :         SET_DECL_ALIGN (decl, align);
     379                 :            :     }
     380                 :    4361580 :   return align / BITS_PER_UNIT;
     381                 :            : }
     382                 :            : 
     383                 :            : /* Align given offset BASE with ALIGN.  Truncate up if ALIGN_UP is true,
     384                 :            :    down otherwise.  Return truncated BASE value.  */
     385                 :            : 
     386                 :            : static inline unsigned HOST_WIDE_INT
     387                 :       2001 : align_base (HOST_WIDE_INT base, unsigned HOST_WIDE_INT align, bool align_up)
     388                 :            : {
     389                 :       2001 :   return align_up ? (base + align - 1) & -align : base & -align;
     390                 :            : }
     391                 :            : 
     392                 :            : /* Allocate SIZE bytes at byte alignment ALIGN from the stack frame.
     393                 :            :    Return the frame offset.  */
     394                 :            : 
     395                 :            : static poly_int64
     396                 :    1177230 : alloc_stack_frame_space (poly_int64 size, unsigned HOST_WIDE_INT align)
     397                 :            : {
     398                 :    1177230 :   poly_int64 offset, new_frame_offset;
     399                 :            : 
     400                 :    1177230 :   if (FRAME_GROWS_DOWNWARD)
     401                 :            :     {
     402                 :    1177230 :       new_frame_offset
     403                 :    1177230 :         = aligned_lower_bound (frame_offset - frame_phase - size,
     404                 :    1177230 :                                align) + frame_phase;
     405                 :    1177230 :       offset = new_frame_offset;
     406                 :            :     }
     407                 :            :   else
     408                 :            :     {
     409                 :            :       new_frame_offset
     410                 :            :         = aligned_upper_bound (frame_offset - frame_phase,
     411                 :            :                                align) + frame_phase;
     412                 :            :       offset = new_frame_offset;
     413                 :            :       new_frame_offset += size;
     414                 :            :     }
     415                 :    1177230 :   frame_offset = new_frame_offset;
     416                 :            : 
     417                 :    1177230 :   if (frame_offset_overflow (frame_offset, cfun->decl))
     418                 :          0 :     frame_offset = offset = 0;
     419                 :            : 
     420                 :    1177230 :   return offset;
     421                 :            : }
     422                 :            : 
     423                 :            : /* Accumulate DECL into STACK_VARS.  */
     424                 :            : 
     425                 :            : static void
     426                 :    4128140 : add_stack_var (tree decl, bool really_expand)
     427                 :            : {
     428                 :    4128140 :   class stack_var *v;
     429                 :            : 
     430                 :    4128140 :   if (stack_vars_num >= stack_vars_alloc)
     431                 :            :     {
     432                 :     908701 :       if (stack_vars_alloc)
     433                 :      25876 :         stack_vars_alloc = stack_vars_alloc * 3 / 2;
     434                 :            :       else
     435                 :     882825 :         stack_vars_alloc = 32;
     436                 :     908701 :       stack_vars
     437                 :     908701 :         = XRESIZEVEC (class stack_var, stack_vars, stack_vars_alloc);
     438                 :            :     }
     439                 :    4128140 :   if (!decl_to_stack_part)
     440                 :          0 :     decl_to_stack_part = new hash_map<tree, size_t>;
     441                 :            : 
     442                 :    4128140 :   v = &stack_vars[stack_vars_num];
     443                 :    4128140 :   decl_to_stack_part->put (decl, stack_vars_num);
     444                 :            : 
     445                 :    4128140 :   v->decl = decl;
     446                 :    4128140 :   tree size = TREE_CODE (decl) == SSA_NAME
     447                 :    4128140 :     ? TYPE_SIZE_UNIT (TREE_TYPE (decl))
     448                 :    4125610 :     : DECL_SIZE_UNIT (decl);
     449                 :    4128140 :   v->size = tree_to_poly_uint64 (size);
     450                 :            :   /* Ensure that all variables have size, so that &a != &b for any two
     451                 :            :      variables that are simultaneously live.  */
     452                 :    4128140 :   if (known_eq (v->size, 0U))
     453                 :      10852 :     v->size = 1;
     454                 :    4128140 :   v->alignb = align_local_variable (decl, really_expand);
     455                 :            :   /* An alignment of zero can mightily confuse us later.  */
     456                 :    4128140 :   gcc_assert (v->alignb != 0);
     457                 :            : 
     458                 :            :   /* All variables are initially in their own partition.  */
     459                 :    4128140 :   v->representative = stack_vars_num;
     460                 :    4128140 :   v->next = EOC;
     461                 :            : 
     462                 :            :   /* All variables initially conflict with no other.  */
     463                 :    4128140 :   v->conflicts = NULL;
     464                 :            : 
     465                 :            :   /* Ensure that this decl doesn't get put onto the list twice.  */
     466                 :    4128140 :   set_rtl (decl, pc_rtx);
     467                 :            : 
     468                 :    4128140 :   stack_vars_num++;
     469                 :    4128140 : }
     470                 :            : 
     471                 :            : /* Make the decls associated with luid's X and Y conflict.  */
     472                 :            : 
     473                 :            : static void
     474                 :    9897560 : add_stack_var_conflict (size_t x, size_t y)
     475                 :            : {
     476                 :    9897560 :   class stack_var *a = &stack_vars[x];
     477                 :    9897560 :   class stack_var *b = &stack_vars[y];
     478                 :    9897560 :   if (x == y)
     479                 :            :     return;
     480                 :    9042510 :   if (!a->conflicts)
     481                 :     496057 :     a->conflicts = BITMAP_ALLOC (&stack_var_bitmap_obstack);
     482                 :    9042510 :   if (!b->conflicts)
     483                 :      68447 :     b->conflicts = BITMAP_ALLOC (&stack_var_bitmap_obstack);
     484                 :    9042510 :   bitmap_set_bit (a->conflicts, y);
     485                 :    9042510 :   bitmap_set_bit (b->conflicts, x);
     486                 :            : }
     487                 :            : 
     488                 :            : /* Check whether the decls associated with luid's X and Y conflict.  */
     489                 :            : 
     490                 :            : static bool
     491                 :   10579400 : stack_var_conflict_p (size_t x, size_t y)
     492                 :            : {
     493                 :   10579400 :   class stack_var *a = &stack_vars[x];
     494                 :   10579400 :   class stack_var *b = &stack_vars[y];
     495                 :   10579400 :   if (x == y)
     496                 :            :     return false;
     497                 :            :   /* Partitions containing an SSA name result from gimple registers
     498                 :            :      with things like unsupported modes.  They are top-level and
     499                 :            :      hence conflict with everything else.  */
     500                 :   10579400 :   if (TREE_CODE (a->decl) == SSA_NAME || TREE_CODE (b->decl) == SSA_NAME)
     501                 :            :     return true;
     502                 :            : 
     503                 :   10541000 :   if (!a->conflicts || !b->conflicts)
     504                 :            :     return false;
     505                 :   10507700 :   return bitmap_bit_p (a->conflicts, y);
     506                 :            : }
     507                 :            : 
     508                 :            : /* Callback for walk_stmt_ops.  If OP is a decl touched by add_stack_var
     509                 :            :    enter its partition number into bitmap DATA.  */
     510                 :            : 
     511                 :            : static bool
     512                 :   22723200 : visit_op (gimple *, tree op, tree, void *data)
     513                 :            : {
     514                 :   22723200 :   bitmap active = (bitmap)data;
     515                 :   22723200 :   op = get_base_address (op);
     516                 :   22723200 :   if (op
     517                 :   22723200 :       && DECL_P (op)
     518                 :   55148200 :       && DECL_RTL_IF_SET (op) == pc_rtx)
     519                 :            :     {
     520                 :   10543900 :       size_t *v = decl_to_stack_part->get (op);
     521                 :   10543900 :       if (v)
     522                 :   10543900 :         bitmap_set_bit (active, *v);
     523                 :            :     }
     524                 :   22723200 :   return false;
     525                 :            : }
     526                 :            : 
     527                 :            : /* Callback for walk_stmt_ops.  If OP is a decl touched by add_stack_var
     528                 :            :    record conflicts between it and all currently active other partitions
     529                 :            :    from bitmap DATA.  */
     530                 :            : 
     531                 :            : static bool
     532                 :   10485500 : visit_conflict (gimple *, tree op, tree, void *data)
     533                 :            : {
     534                 :   10485500 :   bitmap active = (bitmap)data;
     535                 :   10485500 :   op = get_base_address (op);
     536                 :   10485500 :   if (op
     537                 :   10485500 :       && DECL_P (op)
     538                 :   25404300 :       && DECL_RTL_IF_SET (op) == pc_rtx)
     539                 :            :     {
     540                 :    4916180 :       size_t *v = decl_to_stack_part->get (op);
     541                 :    4916180 :       if (v && bitmap_set_bit (active, *v))
     542                 :            :         {
     543                 :     785877 :           size_t num = *v;
     544                 :     785877 :           bitmap_iterator bi;
     545                 :     785877 :           unsigned i;
     546                 :     785877 :           gcc_assert (num < stack_vars_num);
     547                 :    9799110 :           EXECUTE_IF_SET_IN_BITMAP (active, 0, i, bi)
     548                 :    9013240 :             add_stack_var_conflict (num, i);
     549                 :            :         }
     550                 :            :     }
     551                 :   10485500 :   return false;
     552                 :            : }
     553                 :            : 
     554                 :            : /* Helper routine for add_scope_conflicts, calculating the active partitions
     555                 :            :    at the end of BB, leaving the result in WORK.  We're called to generate
     556                 :            :    conflicts when FOR_CONFLICT is true, otherwise we're just tracking
     557                 :            :    liveness.  */
     558                 :            : 
     559                 :            : static void
     560                 :   12186300 : add_scope_conflicts_1 (basic_block bb, bitmap work, bool for_conflict)
     561                 :            : {
     562                 :   12186300 :   edge e;
     563                 :   12186300 :   edge_iterator ei;
     564                 :   12186300 :   gimple_stmt_iterator gsi;
     565                 :   12186300 :   walk_stmt_load_store_addr_fn visit;
     566                 :            : 
     567                 :   12186300 :   bitmap_clear (work);
     568                 :   30509200 :   FOR_EACH_EDGE (e, ei, bb->preds)
     569                 :   18322900 :     bitmap_ior_into (work, (bitmap)e->src->aux);
     570                 :            : 
     571                 :   12186300 :   visit = visit_op;
     572                 :            : 
     573                 :   15353000 :   for (gsi = gsi_start_phis (bb); !gsi_end_p (gsi); gsi_next (&gsi))
     574                 :            :     {
     575                 :    3166750 :       gimple *stmt = gsi_stmt (gsi);
     576                 :    3166750 :       walk_stmt_load_store_addr_ops (stmt, work, NULL, NULL, visit);
     577                 :            :     }
     578                 :  137506000 :   for (gsi = gsi_after_labels (bb); !gsi_end_p (gsi); gsi_next (&gsi))
     579                 :            :     {
     580                 :  113133000 :       gimple *stmt = gsi_stmt (gsi);
     581                 :            : 
     582                 :  113133000 :       if (gimple_clobber_p (stmt))
     583                 :            :         {
     584                 :    2298100 :           tree lhs = gimple_assign_lhs (stmt);
     585                 :    2298100 :           size_t *v;
     586                 :            :           /* Nested function lowering might introduce LHSs
     587                 :            :              that are COMPONENT_REFs.  */
     588                 :    2298100 :           if (!VAR_P (lhs))
     589                 :     432047 :             continue;
     590                 :    1866050 :           if (DECL_RTL_IF_SET (lhs) == pc_rtx
     591                 :    3379850 :               && (v = decl_to_stack_part->get (lhs)))
     592                 :    1513800 :             bitmap_clear_bit (work, *v);
     593                 :            :         }
     594                 :  110835000 :       else if (!is_gimple_debug (stmt))
     595                 :            :         {
     596                 :   45680600 :           if (for_conflict
     597                 :   14631400 :               && visit == visit_op)
     598                 :            :             {
     599                 :            :               /* If this is the first real instruction in this BB we need
     600                 :            :                  to add conflicts for everything live at this point now.
     601                 :            :                  Unlike classical liveness for named objects we can't
     602                 :            :                  rely on seeing a def/use of the names we're interested in.
     603                 :            :                  There might merely be indirect loads/stores.  We'd not add any
     604                 :            :                  conflicts for such partitions.  */
     605                 :    3699170 :               bitmap_iterator bi;
     606                 :    3699170 :               unsigned i;
     607                 :   37106100 :               EXECUTE_IF_SET_IN_BITMAP (work, 0, i, bi)
     608                 :            :                 {
     609                 :   33406900 :                   class stack_var *a = &stack_vars[i];
     610                 :   33406900 :                   if (!a->conflicts)
     611                 :     277536 :                     a->conflicts = BITMAP_ALLOC (&stack_var_bitmap_obstack);
     612                 :   33406900 :                   bitmap_ior_into (a->conflicts, work);
     613                 :            :                 }
     614                 :    3699170 :               visit = visit_conflict;
     615                 :            :             }
     616                 :   45680600 :           walk_stmt_load_store_addr_ops (stmt, work, visit, visit, visit);
     617                 :            :         }
     618                 :            :     }
     619                 :   12186300 : }
     620                 :            : 
     621                 :            : /* Generate stack partition conflicts between all partitions that are
     622                 :            :    simultaneously live.  */
     623                 :            : 
     624                 :            : static void
     625                 :     171634 : add_scope_conflicts (void)
     626                 :            : {
     627                 :     171634 :   basic_block bb;
     628                 :     171634 :   bool changed;
     629                 :     171634 :   bitmap work = BITMAP_ALLOC (NULL);
     630                 :     171634 :   int *rpo;
     631                 :     171634 :   int n_bbs;
     632                 :            : 
     633                 :            :   /* We approximate the live range of a stack variable by taking the first
     634                 :            :      mention of its name as starting point(s), and by the end-of-scope
     635                 :            :      death clobber added by gimplify as ending point(s) of the range.
     636                 :            :      This overapproximates in the case we for instance moved an address-taken
     637                 :            :      operation upward, without also moving a dereference to it upwards.
     638                 :            :      But it's conservatively correct as a variable never can hold values
     639                 :            :      before its name is mentioned at least once.
     640                 :            : 
     641                 :            :      We then do a mostly classical bitmap liveness algorithm.  */
     642                 :            : 
     643                 :    4354630 :   FOR_ALL_BB_FN (bb, cfun)
     644                 :    4183000 :     bb->aux = BITMAP_ALLOC (&stack_var_bitmap_obstack);
     645                 :            : 
     646                 :     171634 :   rpo = XNEWVEC (int, last_basic_block_for_fn (cfun));
     647                 :     171634 :   n_bbs = pre_and_rev_post_order_compute (NULL, rpo, false);
     648                 :            : 
     649                 :     171634 :   changed = true;
     650                 :     504564 :   while (changed)
     651                 :            :     {
     652                 :            :       int i;
     653                 :            :       changed = false;
     654                 :    8679490 :       for (i = 0; i < n_bbs; i++)
     655                 :            :         {
     656                 :    8346560 :           bitmap active;
     657                 :    8346560 :           bb = BASIC_BLOCK_FOR_FN (cfun, rpo[i]);
     658                 :    8346560 :           active = (bitmap)bb->aux;
     659                 :    8346560 :           add_scope_conflicts_1 (bb, work, false);
     660                 :    8346560 :           if (bitmap_ior_into (active, work))
     661                 :    3371730 :             changed = true;
     662                 :            :         }
     663                 :            :     }
     664                 :            : 
     665                 :    4011370 :   FOR_EACH_BB_FN (bb, cfun)
     666                 :    3839730 :     add_scope_conflicts_1 (bb, work, true);
     667                 :            : 
     668                 :     171634 :   free (rpo);
     669                 :     171634 :   BITMAP_FREE (work);
     670                 :    4354630 :   FOR_ALL_BB_FN (bb, cfun)
     671                 :    4183000 :     BITMAP_FREE (bb->aux);
     672                 :     171634 : }
     673                 :            : 
     674                 :            : /* A subroutine of partition_stack_vars.  A comparison function for qsort,
     675                 :            :    sorting an array of indices by the properties of the object.  */
     676                 :            : 
     677                 :            : static int
     678                 :   15268200 : stack_var_cmp (const void *a, const void *b)
     679                 :            : {
     680                 :   15268200 :   size_t ia = *(const size_t *)a;
     681                 :   15268200 :   size_t ib = *(const size_t *)b;
     682                 :   15268200 :   unsigned int aligna = stack_vars[ia].alignb;
     683                 :   15268200 :   unsigned int alignb = stack_vars[ib].alignb;
     684                 :   15268200 :   poly_int64 sizea = stack_vars[ia].size;
     685                 :   15268200 :   poly_int64 sizeb = stack_vars[ib].size;
     686                 :   15268200 :   tree decla = stack_vars[ia].decl;
     687                 :   15268200 :   tree declb = stack_vars[ib].decl;
     688                 :   15268200 :   bool largea, largeb;
     689                 :   15268200 :   unsigned int uida, uidb;
     690                 :            : 
     691                 :            :   /* Primary compare on "large" alignment.  Large comes first.  */
     692                 :   15268200 :   largea = (aligna * BITS_PER_UNIT > MAX_SUPPORTED_STACK_ALIGNMENT);
     693                 :   15268200 :   largeb = (alignb * BITS_PER_UNIT > MAX_SUPPORTED_STACK_ALIGNMENT);
     694                 :   15268200 :   if (largea != largeb)
     695                 :          0 :     return (int)largeb - (int)largea;
     696                 :            : 
     697                 :            :   /* Secondary compare on size, decreasing  */
     698                 :   18776900 :   int diff = compare_sizes_for_sort (sizeb, sizea);
     699                 :    3508710 :   if (diff != 0)
     700                 :    6535870 :     return diff;
     701                 :            : 
     702                 :            :   /* Tertiary compare on true alignment, decreasing.  */
     703                 :    8732360 :   if (aligna < alignb)
     704                 :            :     return -1;
     705                 :    8706880 :   if (aligna > alignb)
     706                 :            :     return 1;
     707                 :            : 
     708                 :            :   /* Final compare on ID for sort stability, increasing.
     709                 :            :      Two SSA names are compared by their version, SSA names come before
     710                 :            :      non-SSA names, and two normal decls are compared by their DECL_UID.  */
     711                 :    8688270 :   if (TREE_CODE (decla) == SSA_NAME)
     712                 :            :     {
     713                 :      39904 :       if (TREE_CODE (declb) == SSA_NAME)
     714                 :      33893 :         uida = SSA_NAME_VERSION (decla), uidb = SSA_NAME_VERSION (declb);
     715                 :            :       else
     716                 :            :         return -1;
     717                 :            :     }
     718                 :    8648370 :   else if (TREE_CODE (declb) == SSA_NAME)
     719                 :            :     return 1;
     720                 :            :   else
     721                 :    8641280 :     uida = DECL_UID (decla), uidb = DECL_UID (declb);
     722                 :    8675170 :   if (uida < uidb)
     723                 :            :     return 1;
     724                 :    4302510 :   if (uida > uidb)
     725                 :    4302510 :     return -1;
     726                 :            :   return 0;
     727                 :            : }
     728                 :            : 
     729                 :            : struct part_traits : unbounded_int_hashmap_traits <size_t, bitmap> {};
     730                 :            : typedef hash_map<size_t, bitmap, part_traits> part_hashmap;
     731                 :            : 
     732                 :            : /* If the points-to solution *PI points to variables that are in a partition
     733                 :            :    together with other variables add all partition members to the pointed-to
     734                 :            :    variables bitmap.  */
     735                 :            : 
     736                 :            : static void
     737                 :     929686 : add_partitioned_vars_to_ptset (struct pt_solution *pt,
     738                 :            :                                part_hashmap *decls_to_partitions,
     739                 :            :                                hash_set<bitmap> *visited, bitmap temp)
     740                 :            : {
     741                 :     929686 :   bitmap_iterator bi;
     742                 :     929686 :   unsigned i;
     743                 :     929686 :   bitmap *part;
     744                 :            : 
     745                 :     929686 :   if (pt->anything
     746                 :     920361 :       || pt->vars == NULL
     747                 :            :       /* The pointed-to vars bitmap is shared, it is enough to
     748                 :            :          visit it once.  */
     749                 :    1850050 :       || visited->add (pt->vars))
     750                 :     776326 :     return;
     751                 :            : 
     752                 :     153360 :   bitmap_clear (temp);
     753                 :            : 
     754                 :            :   /* By using a temporary bitmap to store all members of the partitions
     755                 :            :      we have to add we make sure to visit each of the partitions only
     756                 :            :      once.  */
     757                 :     710714 :   EXECUTE_IF_SET_IN_BITMAP (pt->vars, 0, i, bi)
     758                 :     557354 :     if ((!temp
     759                 :     557354 :          || !bitmap_bit_p (temp, i))
     760                 :    1333330 :         && (part = decls_to_partitions->get (i)))
     761                 :      95343 :       bitmap_ior_into (temp, *part);
     762                 :     153360 :   if (!bitmap_empty_p (temp))
     763                 :      82779 :     bitmap_ior_into (pt->vars, temp);
     764                 :            : }
     765                 :            : 
     766                 :            : /* Update points-to sets based on partition info, so we can use them on RTL.
     767                 :            :    The bitmaps representing stack partitions will be saved until expand,
     768                 :            :    where partitioned decls used as bases in memory expressions will be
     769                 :            :    rewritten.  */
     770                 :            : 
     771                 :            : static void
     772                 :     112019 : update_alias_info_with_stack_vars (void)
     773                 :            : {
     774                 :     112019 :   part_hashmap *decls_to_partitions = NULL;
     775                 :     112019 :   size_t i, j;
     776                 :     112019 :   tree var = NULL_TREE;
     777                 :            : 
     778                 :     962031 :   for (i = 0; i < stack_vars_num; i++)
     779                 :            :     {
     780                 :     850012 :       bitmap part = NULL;
     781                 :     850012 :       tree name;
     782                 :     850012 :       struct ptr_info_def *pi;
     783                 :            : 
     784                 :            :       /* Not interested in partitions with single variable.  */
     785                 :     850012 :       if (stack_vars[i].representative != i
     786                 :     685542 :           || stack_vars[i].next == EOC)
     787                 :     804068 :         continue;
     788                 :            : 
     789                 :      45944 :       if (!decls_to_partitions)
     790                 :            :         {
     791                 :      28931 :           decls_to_partitions = new part_hashmap;
     792                 :      28931 :           cfun->gimple_df->decls_to_pointers = new hash_map<tree, tree>;
     793                 :            :         }
     794                 :            : 
     795                 :            :       /* Create an SSA_NAME that points to the partition for use
     796                 :            :          as base during alias-oracle queries on RTL for bases that
     797                 :            :          have been partitioned.  */
     798                 :      45944 :       if (var == NULL_TREE)
     799                 :      28931 :         var = create_tmp_var (ptr_type_node);
     800                 :      45944 :       name = make_ssa_name (var);
     801                 :            : 
     802                 :            :       /* Create bitmaps representing partitions.  They will be used for
     803                 :            :          points-to sets later, so use GGC alloc.  */
     804                 :      45944 :       part = BITMAP_GGC_ALLOC ();
     805                 :     256358 :       for (j = i; j != EOC; j = stack_vars[j].next)
     806                 :            :         {
     807                 :     210414 :           tree decl = stack_vars[j].decl;
     808                 :     210414 :           unsigned int uid = DECL_PT_UID (decl);
     809                 :     210414 :           bitmap_set_bit (part, uid);
     810                 :     210414 :           decls_to_partitions->put (uid, part);
     811                 :     210414 :           cfun->gimple_df->decls_to_pointers->put (decl, name);
     812                 :     210414 :           if (TREE_ADDRESSABLE (decl))
     813                 :     189802 :             TREE_ADDRESSABLE (name) = 1;
     814                 :            :         }
     815                 :            : 
     816                 :            :       /* Make the SSA name point to all partition members.  */
     817                 :      45944 :       pi = get_ptr_info (name);
     818                 :      45944 :       pt_solution_set (&pi->pt, part, false);
     819                 :            :     }
     820                 :            : 
     821                 :            :   /* Make all points-to sets that contain one member of a partition
     822                 :            :      contain all members of the partition.  */
     823                 :     112019 :   if (decls_to_partitions)
     824                 :            :     {
     825                 :      28931 :       unsigned i;
     826                 :      28931 :       tree name;
     827                 :      57862 :       hash_set<bitmap> visited;
     828                 :      28931 :       bitmap temp = BITMAP_ALLOC (&stack_var_bitmap_obstack);
     829                 :            : 
     830                 :    9077190 :       FOR_EACH_SSA_NAME (i, name, cfun)
     831                 :            :         {
     832                 :    6028300 :           struct ptr_info_def *pi;
     833                 :            : 
     834                 :   11085300 :           if (POINTER_TYPE_P (TREE_TYPE (name))
     835                 :    6089190 :               && ((pi = SSA_NAME_PTR_INFO (name)) != NULL))
     836                 :     900755 :             add_partitioned_vars_to_ptset (&pi->pt, decls_to_partitions,
     837                 :            :                                            &visited, temp);
     838                 :            :         }
     839                 :            : 
     840                 :      28931 :       add_partitioned_vars_to_ptset (&cfun->gimple_df->escaped,
     841                 :            :                                      decls_to_partitions, &visited, temp);
     842                 :            : 
     843                 :      28931 :       delete decls_to_partitions;
     844                 :      28931 :       BITMAP_FREE (temp);
     845                 :            :     }
     846                 :     112019 : }
     847                 :            : 
     848                 :            : /* A subroutine of partition_stack_vars.  The UNION portion of a UNION/FIND
     849                 :            :    partitioning algorithm.  Partitions A and B are known to be non-conflicting.
     850                 :            :    Merge them into a single partition A.  */
     851                 :            : 
     852                 :            : static void
     853                 :     164470 : union_stack_vars (size_t a, size_t b)
     854                 :            : {
     855                 :     164470 :   class stack_var *vb = &stack_vars[b];
     856                 :     164470 :   bitmap_iterator bi;
     857                 :     164470 :   unsigned u;
     858                 :            : 
     859                 :     164470 :   gcc_assert (stack_vars[b].next == EOC);
     860                 :            :    /* Add B to A's partition.  */
     861                 :     164470 :   stack_vars[b].next = stack_vars[a].next;
     862                 :     164470 :   stack_vars[b].representative = a;
     863                 :     164470 :   stack_vars[a].next = b;
     864                 :            : 
     865                 :            :   /* Make sure A is big enough to hold B.  */
     866                 :     164470 :   stack_vars[a].size = upper_bound (stack_vars[a].size, stack_vars[b].size);
     867                 :            : 
     868                 :            :   /* Update the required alignment of partition A to account for B.  */
     869                 :     164470 :   if (stack_vars[a].alignb < stack_vars[b].alignb)
     870                 :        454 :     stack_vars[a].alignb = stack_vars[b].alignb;
     871                 :            : 
     872                 :            :   /* Update the interference graph and merge the conflicts.  */
     873                 :     164470 :   if (vb->conflicts)
     874                 :            :     {
     875                 :    1017280 :       EXECUTE_IF_SET_IN_BITMAP (vb->conflicts, 0, u, bi)
     876                 :     884264 :         add_stack_var_conflict (a, stack_vars[u].representative);
     877                 :     133013 :       BITMAP_FREE (vb->conflicts);
     878                 :            :     }
     879                 :     164470 : }
     880                 :            : 
     881                 :            : /* A subroutine of expand_used_vars.  Binpack the variables into
     882                 :            :    partitions constrained by the interference graph.  The overall
     883                 :            :    algorithm used is as follows:
     884                 :            : 
     885                 :            :         Sort the objects by size in descending order.
     886                 :            :         For each object A {
     887                 :            :           S = size(A)
     888                 :            :           O = 0
     889                 :            :           loop {
     890                 :            :             Look for the largest non-conflicting object B with size <= S.
     891                 :            :             UNION (A, B)
     892                 :            :           }
     893                 :            :         }
     894                 :            : */
     895                 :            : 
     896                 :            : static void
     897                 :     171634 : partition_stack_vars (void)
     898                 :            : {
     899                 :     171634 :   size_t si, sj, n = stack_vars_num;
     900                 :            : 
     901                 :     171634 :   stack_vars_sorted = XNEWVEC (size_t, stack_vars_num);
     902                 :    1081260 :   for (si = 0; si < n; ++si)
     903                 :     909627 :     stack_vars_sorted[si] = si;
     904                 :            : 
     905                 :     171634 :   if (n == 1)
     906                 :            :     return;
     907                 :            : 
     908                 :     112019 :   qsort (stack_vars_sorted, n, sizeof (size_t), stack_var_cmp);
     909                 :            : 
     910                 :     962031 :   for (si = 0; si < n; ++si)
     911                 :            :     {
     912                 :     850012 :       size_t i = stack_vars_sorted[si];
     913                 :     850012 :       unsigned int ialign = stack_vars[i].alignb;
     914                 :     850012 :       poly_int64 isize = stack_vars[i].size;
     915                 :            : 
     916                 :            :       /* Ignore objects that aren't partition representatives. If we
     917                 :            :          see a var that is not a partition representative, it must
     918                 :            :          have been merged earlier.  */
     919                 :     850012 :       if (stack_vars[i].representative != i)
     920                 :     164470 :         continue;
     921                 :            : 
     922                 :   11583600 :       for (sj = si + 1; sj < n; ++sj)
     923                 :            :         {
     924                 :   10898500 :           size_t j = stack_vars_sorted[sj];
     925                 :   10898500 :           unsigned int jalign = stack_vars[j].alignb;
     926                 :   10898500 :           poly_int64 jsize = stack_vars[j].size;
     927                 :            : 
     928                 :            :           /* Ignore objects that aren't partition representatives.  */
     929                 :   10898500 :           if (stack_vars[j].representative != j)
     930                 :   10898100 :             continue;
     931                 :            : 
     932                 :            :           /* Do not mix objects of "small" (supported) alignment
     933                 :            :              and "large" (unsupported) alignment.  */
     934                 :   10579900 :           if ((ialign * BITS_PER_UNIT <= MAX_SUPPORTED_STACK_ALIGNMENT)
     935                 :   10579900 :               != (jalign * BITS_PER_UNIT <= MAX_SUPPORTED_STACK_ALIGNMENT))
     936                 :            :             break;
     937                 :            : 
     938                 :            :           /* For Address Sanitizer do not mix objects with different
     939                 :            :              sizes, as the shorter vars wouldn't be adequately protected.
     940                 :            :              Don't do that for "large" (unsupported) alignment objects,
     941                 :            :              those aren't protected anyway.  */
     942                 :   10579900 :           if (asan_sanitize_stack_p ()
     943                 :       4167 :               && maybe_ne (isize, jsize)
     944                 :   10580300 :               && ialign * BITS_PER_UNIT <= MAX_SUPPORTED_STACK_ALIGNMENT)
     945                 :            :             break;
     946                 :            : 
     947                 :            :           /* Ignore conflicting objects.  */
     948                 :   10579400 :           if (stack_var_conflict_p (i, j))
     949                 :   10414900 :             continue;
     950                 :            : 
     951                 :            :           /* UNION the objects, placing J at OFFSET.  */
     952                 :     164470 :           union_stack_vars (i, j);
     953                 :            :         }
     954                 :            :     }
     955                 :            : 
     956                 :     112019 :   update_alias_info_with_stack_vars ();
     957                 :            : }
     958                 :            : 
     959                 :            : /* A debugging aid for expand_used_vars.  Dump the generated partitions.  */
     960                 :            : 
     961                 :            : static void
     962                 :          8 : dump_stack_var_partition (void)
     963                 :            : {
     964                 :          8 :   size_t si, i, j, n = stack_vars_num;
     965                 :            : 
     966                 :         23 :   for (si = 0; si < n; ++si)
     967                 :            :     {
     968                 :         15 :       i = stack_vars_sorted[si];
     969                 :            : 
     970                 :            :       /* Skip variables that aren't partition representatives, for now.  */
     971                 :         15 :       if (stack_vars[i].representative != i)
     972                 :          3 :         continue;
     973                 :            : 
     974                 :         12 :       fprintf (dump_file, "Partition %lu: size ", (unsigned long) i);
     975                 :         12 :       print_dec (stack_vars[i].size, dump_file);
     976                 :         12 :       fprintf (dump_file, " align %u\n", stack_vars[i].alignb);
     977                 :            : 
     978                 :         27 :       for (j = i; j != EOC; j = stack_vars[j].next)
     979                 :            :         {
     980                 :         15 :           fputc ('\t', dump_file);
     981                 :         15 :           print_generic_expr (dump_file, stack_vars[j].decl, dump_flags);
     982                 :            :         }
     983                 :         12 :       fputc ('\n', dump_file);
     984                 :            :     }
     985                 :          8 : }
     986                 :            : 
     987                 :            : /* Assign rtl to DECL at BASE + OFFSET.  */
     988                 :            : 
     989                 :            : static void
     990                 :    1339420 : expand_one_stack_var_at (tree decl, rtx base, unsigned base_align,
     991                 :            :                          poly_int64 offset)
     992                 :            : {
     993                 :    1339420 :   unsigned align;
     994                 :    1339420 :   rtx x;
     995                 :            : 
     996                 :            :   /* If this fails, we've overflowed the stack frame.  Error nicely?  */
     997                 :    1583680 :   gcc_assert (known_eq (offset, trunc_int_for_mode (offset, Pmode)));
     998                 :            : 
     999                 :    1583680 :   x = plus_constant (Pmode, base, offset);
    1000                 :    2678840 :   x = gen_rtx_MEM (TREE_CODE (decl) == SSA_NAME
    1001                 :     198891 :                    ? TYPE_MODE (TREE_TYPE (decl))
    1002                 :    1140530 :                    : DECL_MODE (SSAVAR (decl)), x);
    1003                 :            : 
    1004                 :    1339420 :   if (TREE_CODE (decl) != SSA_NAME)
    1005                 :            :     {
    1006                 :            :       /* Set alignment we actually gave this decl if it isn't an SSA name.
    1007                 :            :          If it is we generate stack slots only accidentally so it isn't as
    1008                 :            :          important, we'll simply use the alignment that is already set.  */
    1009                 :    1140530 :       if (base == virtual_stack_vars_rtx)
    1010                 :    1138520 :         offset -= frame_phase;
    1011                 :    1140530 :       align = known_alignment (offset);
    1012                 :    1140530 :       align *= BITS_PER_UNIT;
    1013                 :    1140530 :       if (align == 0 || align > base_align)
    1014                 :     728348 :         align = base_align;
    1015                 :            : 
    1016                 :            :       /* One would think that we could assert that we're not decreasing
    1017                 :            :          alignment here, but (at least) the i386 port does exactly this
    1018                 :            :          via the MINIMUM_ALIGNMENT hook.  */
    1019                 :            : 
    1020                 :    1140530 :       SET_DECL_ALIGN (decl, align);
    1021                 :    1140530 :       DECL_USER_ALIGN (decl) = 0;
    1022                 :            :     }
    1023                 :            : 
    1024                 :    1339420 :   set_rtl (decl, x);
    1025                 :    1339420 : }
    1026                 :            : 
    1027                 :     171634 : class stack_vars_data
    1028                 :            : {
    1029                 :            : public:
    1030                 :            :   /* Vector of offset pairs, always end of some padding followed
    1031                 :            :      by start of the padding that needs Address Sanitizer protection.
    1032                 :            :      The vector is in reversed, highest offset pairs come first.  */
    1033                 :            :   auto_vec<HOST_WIDE_INT> asan_vec;
    1034                 :            : 
    1035                 :            :   /* Vector of partition representative decls in between the paddings.  */
    1036                 :            :   auto_vec<tree> asan_decl_vec;
    1037                 :            : 
    1038                 :            :   /* Base pseudo register for Address Sanitizer protected automatic vars.  */
    1039                 :            :   rtx asan_base;
    1040                 :            : 
    1041                 :            :   /* Alignment needed for the Address Sanitizer protected automatic vars.  */
    1042                 :            :   unsigned int asan_alignb;
    1043                 :            : };
    1044                 :            : 
    1045                 :            : /* A subroutine of expand_used_vars.  Give each partition representative
    1046                 :            :    a unique location within the stack frame.  Update each partition member
    1047                 :            :    with that location.  */
    1048                 :            : 
    1049                 :            : static void
    1050                 :     172974 : expand_stack_vars (bool (*pred) (size_t), class stack_vars_data *data)
    1051                 :            : {
    1052                 :     172974 :   size_t si, i, j, n = stack_vars_num;
    1053                 :     172974 :   poly_uint64 large_size = 0, large_alloc = 0;
    1054                 :     172974 :   rtx large_base = NULL;
    1055                 :     172974 :   unsigned large_align = 0;
    1056                 :     172974 :   bool large_allocation_done = false;
    1057                 :     172974 :   tree decl;
    1058                 :            : 
    1059                 :            :   /* Determine if there are any variables requiring "large" alignment.
    1060                 :            :      Since these are dynamically allocated, we only process these if
    1061                 :            :      no predicate involved.  */
    1062                 :     172974 :   large_align = stack_vars[stack_vars_sorted[0]].alignb * BITS_PER_UNIT;
    1063                 :     172974 :   if (pred == NULL && large_align > MAX_SUPPORTED_STACK_ALIGNMENT)
    1064                 :            :     {
    1065                 :            :       /* Find the total size of these variables.  */
    1066                 :          0 :       for (si = 0; si < n; ++si)
    1067                 :            :         {
    1068                 :          0 :           unsigned alignb;
    1069                 :            : 
    1070                 :          0 :           i = stack_vars_sorted[si];
    1071                 :          0 :           alignb = stack_vars[i].alignb;
    1072                 :            : 
    1073                 :            :           /* All "large" alignment decls come before all "small" alignment
    1074                 :            :              decls, but "large" alignment decls are not sorted based on
    1075                 :            :              their alignment.  Increase large_align to track the largest
    1076                 :            :              required alignment.  */
    1077                 :          0 :           if ((alignb * BITS_PER_UNIT) > large_align)
    1078                 :            :             large_align = alignb * BITS_PER_UNIT;
    1079                 :            : 
    1080                 :            :           /* Stop when we get to the first decl with "small" alignment.  */
    1081                 :          0 :           if (alignb * BITS_PER_UNIT <= MAX_SUPPORTED_STACK_ALIGNMENT)
    1082                 :            :             break;
    1083                 :            : 
    1084                 :            :           /* Skip variables that aren't partition representatives.  */
    1085                 :          0 :           if (stack_vars[i].representative != i)
    1086                 :          0 :             continue;
    1087                 :            : 
    1088                 :            :           /* Skip variables that have already had rtl assigned.  See also
    1089                 :            :              add_stack_var where we perpetrate this pc_rtx hack.  */
    1090                 :          0 :           decl = stack_vars[i].decl;
    1091                 :          0 :           if (TREE_CODE (decl) == SSA_NAME
    1092                 :          0 :               ? SA.partition_to_pseudo[var_to_partition (SA.map, decl)] != NULL_RTX
    1093                 :          0 :               : DECL_RTL (decl) != pc_rtx)
    1094                 :          0 :             continue;
    1095                 :            : 
    1096                 :          0 :           large_size = aligned_upper_bound (large_size, alignb);
    1097                 :          0 :           large_size += stack_vars[i].size;
    1098                 :            :         }
    1099                 :            :     }
    1100                 :            : 
    1101                 :    1085030 :   for (si = 0; si < n; ++si)
    1102                 :            :     {
    1103                 :     912053 :       rtx base;
    1104                 :     912053 :       unsigned base_align, alignb;
    1105                 :     912053 :       poly_int64 offset;
    1106                 :            : 
    1107                 :     912053 :       i = stack_vars_sorted[si];
    1108                 :            : 
    1109                 :            :       /* Skip variables that aren't partition representatives, for now.  */
    1110                 :     912053 :       if (stack_vars[i].representative != i)
    1111                 :     164482 :         continue;
    1112                 :            : 
    1113                 :            :       /* Skip variables that have already had rtl assigned.  See also
    1114                 :            :          add_stack_var where we perpetrate this pc_rtx hack.  */
    1115                 :     747571 :       decl = stack_vars[i].decl;
    1116                 :     747571 :       if (TREE_CODE (decl) == SSA_NAME
    1117                 :     747571 :           ? SA.partition_to_pseudo[var_to_partition (SA.map, decl)] != NULL_RTX
    1118                 :     744788 :           : DECL_RTL (decl) != pc_rtx)
    1119                 :       2084 :         continue;
    1120                 :            : 
    1121                 :            :       /* Check the predicate to see whether this variable should be
    1122                 :            :          allocated in this pass.  */
    1123                 :     745487 :       if (pred && !pred (i))
    1124                 :        330 :         continue;
    1125                 :            : 
    1126                 :     745157 :       alignb = stack_vars[i].alignb;
    1127                 :     745157 :       if (alignb * BITS_PER_UNIT <= MAX_SUPPORTED_STACK_ALIGNMENT)
    1128                 :            :         {
    1129                 :     745157 :           base = virtual_stack_vars_rtx;
    1130                 :            :           /* ASAN description strings don't yet have a syntax for expressing
    1131                 :            :              polynomial offsets.  */
    1132                 :     745157 :           HOST_WIDE_INT prev_offset;
    1133                 :     745157 :           if (asan_sanitize_stack_p ()
    1134                 :       2258 :               && pred
    1135                 :       2001 :               && frame_offset.is_constant (&prev_offset)
    1136                 :     745157 :               && stack_vars[i].size.is_constant ())
    1137                 :            :             {
    1138                 :       2001 :               if (data->asan_vec.is_empty ())
    1139                 :            :                 {
    1140                 :       1138 :                   alloc_stack_frame_space (0, ASAN_RED_ZONE_SIZE);
    1141                 :       1138 :                   prev_offset = frame_offset.to_constant ();
    1142                 :            :                 }
    1143                 :       2001 :               prev_offset = align_base (prev_offset,
    1144                 :            :                                         ASAN_MIN_RED_ZONE_SIZE,
    1145                 :            :                                         !FRAME_GROWS_DOWNWARD);
    1146                 :       2001 :               tree repr_decl = NULL_TREE;
    1147                 :       2001 :               unsigned HOST_WIDE_INT size
    1148                 :       2001 :                 = asan_var_and_redzone_size (stack_vars[i].size.to_constant ());
    1149                 :       2001 :               if (data->asan_vec.is_empty ())
    1150                 :       1138 :                 size = MAX (size, ASAN_RED_ZONE_SIZE);
    1151                 :            : 
    1152                 :       2001 :               unsigned HOST_WIDE_INT alignment = MAX (alignb,
    1153                 :            :                                                       ASAN_MIN_RED_ZONE_SIZE);
    1154                 :       2001 :               offset = alloc_stack_frame_space (size, alignment);
    1155                 :            : 
    1156                 :       2001 :               data->asan_vec.safe_push (prev_offset);
    1157                 :            :               /* Allocating a constant amount of space from a constant
    1158                 :            :                  starting offset must give a constant result.  */
    1159                 :       2001 :               data->asan_vec.safe_push ((offset + stack_vars[i].size)
    1160                 :       2001 :                                         .to_constant ());
    1161                 :            :               /* Find best representative of the partition.
    1162                 :            :                  Prefer those with DECL_NAME, even better
    1163                 :            :                  satisfying asan_protect_stack_decl predicate.  */
    1164                 :       2478 :               for (j = i; j != EOC; j = stack_vars[j].next)
    1165                 :       2004 :                 if (asan_protect_stack_decl (stack_vars[j].decl)
    1166                 :       2004 :                     && DECL_NAME (stack_vars[j].decl))
    1167                 :            :                   {
    1168                 :       1527 :                     repr_decl = stack_vars[j].decl;
    1169                 :       1527 :                     break;
    1170                 :            :                   }
    1171                 :        477 :                 else if (repr_decl == NULL_TREE
    1172                 :        477 :                          && DECL_P (stack_vars[j].decl)
    1173                 :        954 :                          && DECL_NAME (stack_vars[j].decl))
    1174                 :          0 :                   repr_decl = stack_vars[j].decl;
    1175                 :       2001 :               if (repr_decl == NULL_TREE)
    1176                 :        474 :                 repr_decl = stack_vars[i].decl;
    1177                 :       2001 :               data->asan_decl_vec.safe_push (repr_decl);
    1178                 :            : 
    1179                 :            :               /* Make sure a representative is unpoison if another
    1180                 :            :                  variable in the partition is handled by
    1181                 :            :                  use-after-scope sanitization.  */
    1182                 :       2001 :               if (asan_handled_variables != NULL
    1183                 :       2001 :                   && !asan_handled_variables->contains (repr_decl))
    1184                 :            :                 {
    1185                 :        226 :                   for (j = i; j != EOC; j = stack_vars[j].next)
    1186                 :        114 :                     if (asan_handled_variables->contains (stack_vars[j].decl))
    1187                 :            :                       break;
    1188                 :        113 :                   if (j != EOC)
    1189                 :          1 :                     asan_handled_variables->add (repr_decl);
    1190                 :            :                 }
    1191                 :            : 
    1192                 :       2001 :               data->asan_alignb = MAX (data->asan_alignb, alignb);
    1193                 :       2001 :               if (data->asan_base == NULL)
    1194                 :       1138 :                 data->asan_base = gen_reg_rtx (Pmode);
    1195                 :       2001 :               base = data->asan_base;
    1196                 :            : 
    1197                 :       2001 :               if (!STRICT_ALIGNMENT)
    1198                 :       2001 :                 base_align = crtl->max_used_stack_slot_alignment;
    1199                 :            :               else
    1200                 :            :                 base_align = MAX (crtl->max_used_stack_slot_alignment,
    1201                 :            :                                   GET_MODE_ALIGNMENT (SImode)
    1202                 :            :                                   << ASAN_SHADOW_SHIFT);
    1203                 :            :             }
    1204                 :            :           else
    1205                 :            :             {
    1206                 :     743156 :               offset = alloc_stack_frame_space (stack_vars[i].size, alignb);
    1207                 :     743156 :               base_align = crtl->max_used_stack_slot_alignment;
    1208                 :            :             }
    1209                 :            :         }
    1210                 :            :       else
    1211                 :            :         {
    1212                 :            :           /* Large alignment is only processed in the last pass.  */
    1213                 :          0 :           if (pred)
    1214                 :          0 :             continue;
    1215                 :            : 
    1216                 :            :           /* If there were any variables requiring "large" alignment, allocate
    1217                 :            :              space.  */
    1218                 :          0 :           if (maybe_ne (large_size, 0U) && ! large_allocation_done)
    1219                 :            :             {
    1220                 :          0 :               poly_int64 loffset;
    1221                 :          0 :               rtx large_allocsize;
    1222                 :            : 
    1223                 :          0 :               large_allocsize = gen_int_mode (large_size, Pmode);
    1224                 :          0 :               get_dynamic_stack_size (&large_allocsize, 0, large_align, NULL);
    1225                 :          0 :               loffset = alloc_stack_frame_space
    1226                 :            :                 (rtx_to_poly_int64 (large_allocsize),
    1227                 :          0 :                  PREFERRED_STACK_BOUNDARY / BITS_PER_UNIT);
    1228                 :          0 :               large_base = get_dynamic_stack_base (loffset, large_align);
    1229                 :          0 :               large_allocation_done = true;
    1230                 :            :             }
    1231                 :          0 :           gcc_assert (large_base != NULL);
    1232                 :            : 
    1233                 :          0 :           large_alloc = aligned_upper_bound (large_alloc, alignb);
    1234                 :          0 :           offset = large_alloc;
    1235                 :          0 :           large_alloc += stack_vars[i].size;
    1236                 :            : 
    1237                 :          0 :           base = large_base;
    1238                 :          0 :           base_align = large_align;
    1239                 :            :         }
    1240                 :            : 
    1241                 :            :       /* Create rtl for each variable based on their location within the
    1242                 :            :          partition.  */
    1243                 :    1654780 :       for (j = i; j != EOC; j = stack_vars[j].next)
    1244                 :            :         {
    1245                 :     909627 :           expand_one_stack_var_at (stack_vars[j].decl,
    1246                 :            :                                    base, base_align,
    1247                 :            :                                    offset);
    1248                 :            :         }
    1249                 :            :     }
    1250                 :            : 
    1251                 :     172974 :   gcc_assert (known_eq (large_alloc, large_size));
    1252                 :     172974 : }
    1253                 :            : 
    1254                 :            : /* Take into account all sizes of partitions and reset DECL_RTLs.  */
    1255                 :            : static poly_uint64
    1256                 :     711191 : account_stack_vars (void)
    1257                 :            : {
    1258                 :     711191 :   size_t si, j, i, n = stack_vars_num;
    1259                 :     711191 :   poly_uint64 size = 0;
    1260                 :            : 
    1261                 :    3929710 :   for (si = 0; si < n; ++si)
    1262                 :            :     {
    1263                 :    3218520 :       i = stack_vars_sorted[si];
    1264                 :            : 
    1265                 :            :       /* Skip variables that aren't partition representatives, for now.  */
    1266                 :    3218520 :       if (stack_vars[i].representative != i)
    1267                 :          0 :         continue;
    1268                 :            : 
    1269                 :    3218520 :       size += stack_vars[i].size;
    1270                 :    6437030 :       for (j = i; j != EOC; j = stack_vars[j].next)
    1271                 :    3218520 :         set_rtl (stack_vars[j].decl, NULL);
    1272                 :            :     }
    1273                 :     711191 :   return size;
    1274                 :            : }
    1275                 :            : 
    1276                 :            : /* Record the RTL assignment X for the default def of PARM.  */
    1277                 :            : 
    1278                 :            : extern void
    1279                 :    2971410 : set_parm_rtl (tree parm, rtx x)
    1280                 :            : {
    1281                 :    2971410 :   gcc_assert (TREE_CODE (parm) == PARM_DECL
    1282                 :            :               || TREE_CODE (parm) == RESULT_DECL);
    1283                 :            : 
    1284                 :    2971410 :   if (x && !MEM_P (x))
    1285                 :            :     {
    1286                 :    4024100 :       unsigned int align = MINIMUM_ALIGNMENT (TREE_TYPE (parm),
    1287                 :            :                                               TYPE_MODE (TREE_TYPE (parm)),
    1288                 :            :                                               TYPE_ALIGN (TREE_TYPE (parm)));
    1289                 :            : 
    1290                 :            :       /* If the variable alignment is very large we'll dynamicaly
    1291                 :            :          allocate it, which means that in-frame portion is just a
    1292                 :            :          pointer.  ??? We've got a pseudo for sure here, do we
    1293                 :            :          actually dynamically allocate its spilling area if needed?
    1294                 :            :          ??? Isn't it a problem when Pmode alignment also exceeds
    1295                 :            :          MAX_SUPPORTED_STACK_ALIGNMENT, as can happen on cris and lm32?  */
    1296                 :    2012050 :       if (align > MAX_SUPPORTED_STACK_ALIGNMENT)
    1297                 :          0 :         align = GET_MODE_ALIGNMENT (Pmode);
    1298                 :            : 
    1299                 :    2012050 :       record_alignment_for_reg_var (align);
    1300                 :            :     }
    1301                 :            : 
    1302                 :    2971410 :   tree ssa = ssa_default_def (cfun, parm);
    1303                 :    2971410 :   if (!ssa)
    1304                 :     693400 :     return set_rtl (parm, x);
    1305                 :            : 
    1306                 :    2278010 :   int part = var_to_partition (SA.map, ssa);
    1307                 :    2278010 :   gcc_assert (part != NO_PARTITION);
    1308                 :            : 
    1309                 :    2278010 :   bool changed = bitmap_bit_p (SA.partitions_for_parm_default_defs, part);
    1310                 :    2278010 :   gcc_assert (changed);
    1311                 :            : 
    1312                 :    2278010 :   set_rtl (ssa, x);
    1313                 :    2278010 :   gcc_assert (DECL_RTL (parm) == x);
    1314                 :            : }
    1315                 :            : 
    1316                 :            : /* A subroutine of expand_one_var.  Called to immediately assign rtl
    1317                 :            :    to a variable to be allocated in the stack frame.  */
    1318                 :            : 
    1319                 :            : static void
    1320                 :     429793 : expand_one_stack_var_1 (tree var)
    1321                 :            : {
    1322                 :     429793 :   poly_uint64 size;
    1323                 :     429793 :   poly_int64 offset;
    1324                 :     429793 :   unsigned byte_align;
    1325                 :            : 
    1326                 :     429793 :   if (TREE_CODE (var) == SSA_NAME)
    1327                 :            :     {
    1328                 :     196359 :       tree type = TREE_TYPE (var);
    1329                 :     196359 :       size = tree_to_poly_uint64 (TYPE_SIZE_UNIT (type));
    1330                 :     196359 :       byte_align = TYPE_ALIGN_UNIT (type);
    1331                 :            :     }
    1332                 :            :   else
    1333                 :            :     {
    1334                 :     233434 :       size = tree_to_poly_uint64 (DECL_SIZE_UNIT (var));
    1335                 :     233434 :       byte_align = align_local_variable (var, true);
    1336                 :            :     }
    1337                 :            : 
    1338                 :            :   /* We handle highly aligned variables in expand_stack_vars.  */
    1339                 :     429793 :   gcc_assert (byte_align * BITS_PER_UNIT <= MAX_SUPPORTED_STACK_ALIGNMENT);
    1340                 :            : 
    1341                 :     429793 :   offset = alloc_stack_frame_space (size, byte_align);
    1342                 :            : 
    1343                 :     429793 :   expand_one_stack_var_at (var, virtual_stack_vars_rtx,
    1344                 :            :                            crtl->max_used_stack_slot_alignment, offset);
    1345                 :     429793 : }
    1346                 :            : 
    1347                 :            : /* Wrapper for expand_one_stack_var_1 that checks SSA_NAMEs are
    1348                 :            :    already assigned some MEM.  */
    1349                 :            : 
    1350                 :            : static void
    1351                 :     233434 : expand_one_stack_var (tree var)
    1352                 :            : {
    1353                 :     233434 :   if (TREE_CODE (var) == SSA_NAME)
    1354                 :            :     {
    1355                 :          0 :       int part = var_to_partition (SA.map, var);
    1356                 :          0 :       if (part != NO_PARTITION)
    1357                 :            :         {
    1358                 :          0 :           rtx x = SA.partition_to_pseudo[part];
    1359                 :          0 :           gcc_assert (x);
    1360                 :          0 :           gcc_assert (MEM_P (x));
    1361                 :            :           return;
    1362                 :            :         }
    1363                 :            :     }
    1364                 :            : 
    1365                 :     233434 :   return expand_one_stack_var_1 (var);
    1366                 :            : }
    1367                 :            : 
    1368                 :            : /* A subroutine of expand_one_var.  Called to assign rtl to a VAR_DECL
    1369                 :            :    that will reside in a hard register.  */
    1370                 :            : 
    1371                 :            : static void
    1372                 :        630 : expand_one_hard_reg_var (tree var)
    1373                 :            : {
    1374                 :          0 :   rest_of_decl_compilation (var, 0, 0);
    1375                 :          0 : }
    1376                 :            : 
    1377                 :            : /* Record the alignment requirements of some variable assigned to a
    1378                 :            :    pseudo.  */
    1379                 :            : 
    1380                 :            : static void
    1381                 :   26090600 : record_alignment_for_reg_var (unsigned int align)
    1382                 :            : {
    1383                 :   26090600 :   if (SUPPORTS_STACK_ALIGNMENT
    1384                 :   26090600 :       && crtl->stack_alignment_estimated < align)
    1385                 :            :     {
    1386                 :            :       /* stack_alignment_estimated shouldn't change after stack
    1387                 :            :          realign decision made */
    1388                 :    1010170 :       gcc_assert (!crtl->stack_realign_processed);
    1389                 :    1010170 :       crtl->stack_alignment_estimated = align;
    1390                 :            :     }
    1391                 :            : 
    1392                 :            :   /* stack_alignment_needed > PREFERRED_STACK_BOUNDARY is permitted.
    1393                 :            :      So here we only make sure stack_alignment_needed >= align.  */
    1394                 :   26090600 :   if (crtl->stack_alignment_needed < align)
    1395                 :     238961 :     crtl->stack_alignment_needed = align;
    1396                 :   26090600 :   if (crtl->max_used_stack_slot_alignment < align)
    1397                 :     238961 :     crtl->max_used_stack_slot_alignment = align;
    1398                 :   26090600 : }
    1399                 :            : 
    1400                 :            : /* Create RTL for an SSA partition.  */
    1401                 :            : 
    1402                 :            : static void
    1403                 :   13361800 : expand_one_ssa_partition (tree var)
    1404                 :            : {
    1405                 :   13361800 :   int part = var_to_partition (SA.map, var);
    1406                 :   13361800 :   gcc_assert (part != NO_PARTITION);
    1407                 :            : 
    1408                 :   13361800 :   if (SA.partition_to_pseudo[part])
    1409                 :            :     return;
    1410                 :            : 
    1411                 :   26723500 :   unsigned int align = MINIMUM_ALIGNMENT (TREE_TYPE (var),
    1412                 :            :                                           TYPE_MODE (TREE_TYPE (var)),
    1413                 :            :                                           TYPE_ALIGN (TREE_TYPE (var)));
    1414                 :            : 
    1415                 :            :   /* If the variable alignment is very large we'll dynamicaly allocate
    1416                 :            :      it, which means that in-frame portion is just a pointer.  */
    1417                 :   13361800 :   if (align > MAX_SUPPORTED_STACK_ALIGNMENT)
    1418                 :          0 :     align = GET_MODE_ALIGNMENT (Pmode);
    1419                 :            : 
    1420                 :   13361800 :   record_alignment_for_reg_var (align);
    1421                 :            : 
    1422                 :   13361800 :   if (!use_register_for_decl (var))
    1423                 :            :     {
    1424                 :     198891 :       if (defer_stack_allocation (var, true))
    1425                 :       2532 :         add_stack_var (var, true);
    1426                 :            :       else
    1427                 :     196359 :         expand_one_stack_var_1 (var);
    1428                 :     198891 :       return;
    1429                 :            :     }
    1430                 :            : 
    1431                 :   13162900 :   machine_mode reg_mode = promote_ssa_mode (var, NULL);
    1432                 :   13162900 :   rtx x = gen_reg_rtx (reg_mode);
    1433                 :            : 
    1434                 :   13162900 :   set_rtl (var, x);
    1435                 :            : 
    1436                 :            :   /* For a promoted variable, X will not be used directly but wrapped in a
    1437                 :            :      SUBREG with SUBREG_PROMOTED_VAR_P set, which means that the RTL land
    1438                 :            :      will assume that its upper bits can be inferred from its lower bits.
    1439                 :            :      Therefore, if X isn't initialized on every path from the entry, then
    1440                 :            :      we must do it manually in order to fulfill the above assumption.  */
    1441                 :   13162900 :   if (reg_mode != TYPE_MODE (TREE_TYPE (var))
    1442                 :   13162900 :       && bitmap_bit_p (SA.partitions_for_undefined_values, part))
    1443                 :          0 :     emit_move_insn (x, CONST0_RTX (reg_mode));
    1444                 :            : }
    1445                 :            : 
    1446                 :            : /* Record the association between the RTL generated for partition PART
    1447                 :            :    and the underlying variable of the SSA_NAME VAR.  */
    1448                 :            : 
    1449                 :            : static void
    1450                 :   30735100 : adjust_one_expanded_partition_var (tree var)
    1451                 :            : {
    1452                 :   30735100 :   if (!var)
    1453                 :            :     return;
    1454                 :            : 
    1455                 :   30735100 :   tree decl = SSA_NAME_VAR (var);
    1456                 :            : 
    1457                 :   30735100 :   int part = var_to_partition (SA.map, var);
    1458                 :   30735100 :   if (part == NO_PARTITION)
    1459                 :            :     return;
    1460                 :            : 
    1461                 :   18573600 :   rtx x = SA.partition_to_pseudo[part];
    1462                 :            : 
    1463                 :   18573600 :   gcc_assert (x);
    1464                 :            : 
    1465                 :   18573600 :   set_rtl (var, x);
    1466                 :            : 
    1467                 :   18573600 :   if (!REG_P (x))
    1468                 :            :     return;
    1469                 :            : 
    1470                 :            :   /* Note if the object is a user variable.  */
    1471                 :   22609600 :   if (decl && !DECL_ARTIFICIAL (decl))
    1472                 :    2520260 :     mark_user_reg (x);
    1473                 :            : 
    1474                 :   48099800 :   if (POINTER_TYPE_P (decl ? TREE_TYPE (decl) : TREE_TYPE (var)))
    1475                 :    4591040 :     mark_reg_pointer (x, get_pointer_alignment (var));
    1476                 :            : }
    1477                 :            : 
    1478                 :            : /* A subroutine of expand_one_var.  Called to assign rtl to a VAR_DECL
    1479                 :            :    that will reside in a pseudo register.  */
    1480                 :            : 
    1481                 :            : static void
    1482                 :     444551 : expand_one_register_var (tree var)
    1483                 :            : {
    1484                 :     444551 :   if (TREE_CODE (var) == SSA_NAME)
    1485                 :            :     {
    1486                 :          0 :       int part = var_to_partition (SA.map, var);
    1487                 :          0 :       if (part != NO_PARTITION)
    1488                 :            :         {
    1489                 :          0 :           rtx x = SA.partition_to_pseudo[part];
    1490                 :          0 :           gcc_assert (x);
    1491                 :          0 :           gcc_assert (REG_P (x));
    1492                 :            :           return;
    1493                 :            :         }
    1494                 :          0 :       gcc_unreachable ();
    1495                 :            :     }
    1496                 :            : 
    1497                 :     444551 :   tree decl = var;
    1498                 :     444551 :   tree type = TREE_TYPE (decl);
    1499                 :     444551 :   machine_mode reg_mode = promote_decl_mode (decl, NULL);
    1500                 :     444551 :   rtx x = gen_reg_rtx (reg_mode);
    1501                 :            : 
    1502                 :     444551 :   set_rtl (var, x);
    1503                 :            : 
    1504                 :            :   /* Note if the object is a user variable.  */
    1505                 :     444551 :   if (!DECL_ARTIFICIAL (decl))
    1506                 :      79019 :     mark_user_reg (x);
    1507                 :            : 
    1508                 :     444551 :   if (POINTER_TYPE_P (type))
    1509                 :          0 :     mark_reg_pointer (x, get_pointer_alignment (var));
    1510                 :            : }
    1511                 :            : 
    1512                 :            : /* A subroutine of expand_one_var.  Called to assign rtl to a VAR_DECL that
    1513                 :            :    has some associated error, e.g. its type is error-mark.  We just need
    1514                 :            :    to pick something that won't crash the rest of the compiler.  */
    1515                 :            : 
    1516                 :            : static void
    1517                 :         24 : expand_one_error_var (tree var)
    1518                 :            : {
    1519                 :         24 :   machine_mode mode = DECL_MODE (var);
    1520                 :         24 :   rtx x;
    1521                 :            : 
    1522                 :         24 :   if (mode == BLKmode)
    1523                 :          0 :     x = gen_rtx_MEM (BLKmode, const0_rtx);
    1524                 :         24 :   else if (mode == VOIDmode)
    1525                 :          0 :     x = const0_rtx;
    1526                 :            :   else
    1527                 :         24 :     x = gen_reg_rtx (mode);
    1528                 :            : 
    1529                 :         24 :   SET_DECL_RTL (var, x);
    1530                 :         24 : }
    1531                 :            : 
    1532                 :            : /* A subroutine of expand_one_var.  VAR is a variable that will be
    1533                 :            :    allocated to the local stack frame.  Return true if we wish to
    1534                 :            :    add VAR to STACK_VARS so that it will be coalesced with other
    1535                 :            :    variables.  Return false to allocate VAR immediately.
    1536                 :            : 
    1537                 :            :    This function is used to reduce the number of variables considered
    1538                 :            :    for coalescing, which reduces the size of the quadratic problem.  */
    1539                 :            : 
    1540                 :            : static bool
    1541                 :    4646000 : defer_stack_allocation (tree var, bool toplevel)
    1542                 :            : {
    1543                 :    4646000 :   tree size_unit = TREE_CODE (var) == SSA_NAME
    1544                 :    4844890 :     ? TYPE_SIZE_UNIT (TREE_TYPE (var))
    1545                 :    4447110 :     : DECL_SIZE_UNIT (var);
    1546                 :    4646000 :   poly_uint64 size;
    1547                 :            : 
    1548                 :            :   /* Whether the variable is small enough for immediate allocation not to be
    1549                 :            :      a problem with regard to the frame size.  */
    1550                 :    4646000 :   bool smallish
    1551                 :    4646000 :     = (poly_int_tree_p (size_unit, &size)
    1552                 :    4646000 :        && (estimated_poly_value (size)
    1553                 :    4646000 :            < param_min_size_for_stack_sharing));
    1554                 :            : 
    1555                 :            :   /* If stack protection is enabled, *all* stack variables must be deferred,
    1556                 :            :      so that we can re-order the strings to the top of the frame.
    1557                 :            :      Similarly for Address Sanitizer.  */
    1558                 :    4646000 :   if (flag_stack_protect || asan_sanitize_stack_p ())
    1559                 :       7926 :     return true;
    1560                 :            : 
    1561                 :    4638070 :   unsigned int align = TREE_CODE (var) == SSA_NAME
    1562                 :    4836710 :     ? TYPE_ALIGN (TREE_TYPE (var))
    1563                 :    4439440 :     : DECL_ALIGN (var);
    1564                 :            : 
    1565                 :            :   /* We handle "large" alignment via dynamic allocation.  We want to handle
    1566                 :            :      this extra complication in only one place, so defer them.  */
    1567                 :    4638070 :   if (align > MAX_SUPPORTED_STACK_ALIGNMENT)
    1568                 :            :     return true;
    1569                 :            : 
    1570                 :    4638070 :   bool ignored = TREE_CODE (var) == SSA_NAME
    1571                 :    4638120 :     ? !SSAVAR (var) || DECL_IGNORED_P (SSA_NAME_VAR (var))
    1572                 :    4439440 :     : DECL_IGNORED_P (var);
    1573                 :            : 
    1574                 :            :   /* When optimization is enabled, DECL_IGNORED_P variables originally scoped
    1575                 :            :      might be detached from their block and appear at toplevel when we reach
    1576                 :            :      here.  We want to coalesce them with variables from other blocks when
    1577                 :            :      the immediate contribution to the frame size would be noticeable.  */
    1578                 :    4638070 :   if (toplevel && optimize > 0 && ignored && !smallish)
    1579                 :            :     return true;
    1580                 :            : 
    1581                 :            :   /* Variables declared in the outermost scope automatically conflict
    1582                 :            :      with every other variable.  The only reason to want to defer them
    1583                 :            :      at all is that, after sorting, we can more efficiently pack
    1584                 :            :      small variables in the stack frame.  Continue to defer at -O2.  */
    1585                 :    3740700 :   if (toplevel && optimize < 2)
    1586                 :            :     return false;
    1587                 :            : 
    1588                 :            :   /* Without optimization, *most* variables are allocated from the
    1589                 :            :      stack, which makes the quadratic problem large exactly when we
    1590                 :            :      want compilation to proceed as quickly as possible.  On the
    1591                 :            :      other hand, we don't want the function's stack frame size to
    1592                 :            :      get completely out of hand.  So we avoid adding scalars and
    1593                 :            :      "small" aggregates to the list at all.  */
    1594                 :    3252840 :   if (optimize == 0 && smallish)
    1595                 :      29993 :     return false;
    1596                 :            : 
    1597                 :            :   return true;
    1598                 :            : }
    1599                 :            : 
    1600                 :            : /* A subroutine of expand_used_vars.  Expand one variable according to
    1601                 :            :    its flavor.  Variables to be placed on the stack are not actually
    1602                 :            :    expanded yet, merely recorded.
    1603                 :            :    When REALLY_EXPAND is false, only add stack values to be allocated.
    1604                 :            :    Return stack usage this variable is supposed to take.
    1605                 :            : */
    1606                 :            : 
    1607                 :            : static poly_uint64
    1608                 :   10944000 : expand_one_var (tree var, bool toplevel, bool really_expand)
    1609                 :            : {
    1610                 :   10944000 :   unsigned int align = BITS_PER_UNIT;
    1611                 :   10944000 :   tree origvar = var;
    1612                 :            : 
    1613                 :   10944000 :   var = SSAVAR (var);
    1614                 :            : 
    1615                 :   10944000 :   if (TREE_TYPE (var) != error_mark_node && VAR_P (var))
    1616                 :            :     {
    1617                 :   10944000 :       if (is_global_var (var))
    1618                 :     227215 :         return 0;
    1619                 :            : 
    1620                 :            :       /* Because we don't know if VAR will be in register or on stack,
    1621                 :            :          we conservatively assume it will be on stack even if VAR is
    1622                 :            :          eventually put into register after RA pass.  For non-automatic
    1623                 :            :          variables, which won't be on stack, we collect alignment of
    1624                 :            :          type and ignore user specified alignment.  Similarly for
    1625                 :            :          SSA_NAMEs for which use_register_for_decl returns true.  */
    1626                 :   10716800 :       if (TREE_STATIC (var)
    1627                 :   10716800 :           || DECL_EXTERNAL (var)
    1628                 :   21433600 :           || (TREE_CODE (origvar) == SSA_NAME && use_register_for_decl (var)))
    1629                 :          0 :         align = MINIMUM_ALIGNMENT (TREE_TYPE (var),
    1630                 :            :                                    TYPE_MODE (TREE_TYPE (var)),
    1631                 :            :                                    TYPE_ALIGN (TREE_TYPE (var)));
    1632                 :   10716800 :       else if (DECL_HAS_VALUE_EXPR_P (var)
    1633                 :   10716800 :                || (DECL_RTL_SET_P (var) && MEM_P (DECL_RTL (var))))
    1634                 :            :         /* Don't consider debug only variables with DECL_HAS_VALUE_EXPR_P set
    1635                 :            :            or variables which were assigned a stack slot already by
    1636                 :            :            expand_one_stack_var_at - in the latter case DECL_ALIGN has been
    1637                 :            :            changed from the offset chosen to it.  */
    1638                 :       7665 :         align = crtl->stack_alignment_estimated;
    1639                 :            :       else
    1640                 :   10709200 :         align = MINIMUM_ALIGNMENT (var, DECL_MODE (var), DECL_ALIGN (var));
    1641                 :            : 
    1642                 :            :       /* If the variable alignment is very large we'll dynamicaly allocate
    1643                 :            :          it, which means that in-frame portion is just a pointer.  */
    1644                 :   10716800 :       if (align > MAX_SUPPORTED_STACK_ALIGNMENT)
    1645                 :          0 :         align = GET_MODE_ALIGNMENT (Pmode);
    1646                 :            :     }
    1647                 :            : 
    1648                 :   10716800 :   record_alignment_for_reg_var (align);
    1649                 :            : 
    1650                 :   10716800 :   poly_uint64 size;
    1651                 :   10716800 :   if (TREE_CODE (origvar) == SSA_NAME)
    1652                 :            :     {
    1653                 :          0 :       gcc_assert (!VAR_P (var)
    1654                 :            :                   || (!DECL_EXTERNAL (var)
    1655                 :            :                       && !DECL_HAS_VALUE_EXPR_P (var)
    1656                 :            :                       && !TREE_STATIC (var)
    1657                 :            :                       && TREE_TYPE (var) != error_mark_node
    1658                 :            :                       && !DECL_HARD_REGISTER (var)
    1659                 :            :                       && really_expand));
    1660                 :            :     }
    1661                 :   10716800 :   if (!VAR_P (var) && TREE_CODE (origvar) != SSA_NAME)
    1662                 :            :     ;
    1663                 :   10716800 :   else if (DECL_EXTERNAL (var))
    1664                 :            :     ;
    1665                 :   10716800 :   else if (DECL_HAS_VALUE_EXPR_P (var))
    1666                 :            :     ;
    1667                 :   10709200 :   else if (TREE_STATIC (var))
    1668                 :            :     ;
    1669                 :   10709200 :   else if (TREE_CODE (origvar) != SSA_NAME && DECL_RTL_SET_P (var))
    1670                 :            :     ;
    1671                 :   10709200 :   else if (TREE_TYPE (var) == error_mark_node)
    1672                 :            :     {
    1673                 :          0 :       if (really_expand)
    1674                 :          0 :         expand_one_error_var (var);
    1675                 :            :     }
    1676                 :   10709200 :   else if (VAR_P (var) && DECL_HARD_REGISTER (var))
    1677                 :            :     {
    1678                 :       2393 :       if (really_expand)
    1679                 :            :         {
    1680                 :        630 :           expand_one_hard_reg_var (var);
    1681                 :        630 :           if (!DECL_HARD_REGISTER (var))
    1682                 :            :             /* Invalid register specification.  */
    1683                 :         24 :             expand_one_error_var (var);
    1684                 :            :         }
    1685                 :            :     }
    1686                 :   10706800 :   else if (use_register_for_decl (var))
    1687                 :            :     {
    1688                 :    6259650 :       if (really_expand)
    1689                 :     444551 :         expand_one_register_var (origvar);
    1690                 :            :     }
    1691                 :    4447110 :   else if (!poly_int_tree_p (DECL_SIZE_UNIT (var), &size)
    1692                 :    8894210 :            || !valid_constant_size_p (DECL_SIZE_UNIT (var)))
    1693                 :            :     {
    1694                 :            :       /* Reject variables which cover more than half of the address-space.  */
    1695                 :          0 :       if (really_expand)
    1696                 :            :         {
    1697                 :          0 :           if (DECL_NONLOCAL_FRAME (var))
    1698                 :          0 :             error_at (DECL_SOURCE_LOCATION (current_function_decl),
    1699                 :            :                       "total size of local objects is too large");
    1700                 :            :           else
    1701                 :          0 :             error_at (DECL_SOURCE_LOCATION (var),
    1702                 :            :                       "size of variable %q+D is too large", var);
    1703                 :          0 :           expand_one_error_var (var);
    1704                 :            :         }
    1705                 :            :     }
    1706                 :    4447110 :   else if (defer_stack_allocation (var, toplevel))
    1707                 :    4125610 :     add_stack_var (origvar, really_expand);
    1708                 :            :   else
    1709                 :            :     {
    1710                 :     321496 :       if (really_expand)
    1711                 :            :         {
    1712                 :     233271 :           if (lookup_attribute ("naked",
    1713                 :     233271 :                                 DECL_ATTRIBUTES (current_function_decl)))
    1714                 :          0 :             error ("cannot allocate stack for variable %q+D, naked function",
    1715                 :            :                    var);
    1716                 :            : 
    1717                 :     233271 :           expand_one_stack_var (origvar);
    1718                 :            :         }
    1719                 :     321496 :       return size;
    1720                 :            :     }
    1721                 :   10395300 :   return 0;
    1722                 :            : }
    1723                 :            : 
    1724                 :            : /* A subroutine of expand_used_vars.  Walk down through the BLOCK tree
    1725                 :            :    expanding variables.  Those variables that can be put into registers
    1726                 :            :    are allocated pseudos; those that can't are put on the stack.
    1727                 :            : 
    1728                 :            :    TOPLEVEL is true if this is the outermost BLOCK.  */
    1729                 :            : 
    1730                 :            : static void
    1731                 :    9136270 : expand_used_vars_for_block (tree block, bool toplevel)
    1732                 :            : {
    1733                 :    9136270 :   tree t;
    1734                 :            : 
    1735                 :            :   /* Expand all variables at this level.  */
    1736                 :   18193400 :   for (t = BLOCK_VARS (block); t ; t = DECL_CHAIN (t))
    1737                 :    9057120 :     if (TREE_USED (t)
    1738                 :     535395 :         && ((!VAR_P (t) && TREE_CODE (t) != RESULT_DECL)
    1739                 :    9592510 :             || !DECL_NONSHAREABLE (t)))
    1740                 :     535395 :       expand_one_var (t, toplevel, true);
    1741                 :            : 
    1742                 :            :   /* Expand all variables at containing levels.  */
    1743                 :   17329200 :   for (t = BLOCK_SUBBLOCKS (block); t ; t = BLOCK_CHAIN (t))
    1744                 :    8192900 :     expand_used_vars_for_block (t, false);
    1745                 :    9136270 : }
    1746                 :            : 
    1747                 :            : /* A subroutine of expand_used_vars.  Walk down through the BLOCK tree
    1748                 :            :    and clear TREE_USED on all local variables.  */
    1749                 :            : 
    1750                 :            : static void
    1751                 :    9136270 : clear_tree_used (tree block)
    1752                 :            : {
    1753                 :    9136270 :   tree t;
    1754                 :            : 
    1755                 :   18193400 :   for (t = BLOCK_VARS (block); t ; t = DECL_CHAIN (t))
    1756                 :            :     /* if (!TREE_STATIC (t) && !DECL_EXTERNAL (t)) */
    1757                 :    9057120 :     if ((!VAR_P (t) && TREE_CODE (t) != RESULT_DECL)
    1758                 :   17778700 :         || !DECL_NONSHAREABLE (t))
    1759                 :    9057120 :       TREE_USED (t) = 0;
    1760                 :            : 
    1761                 :   17329200 :   for (t = BLOCK_SUBBLOCKS (block); t ; t = BLOCK_CHAIN (t))
    1762                 :    8192900 :     clear_tree_used (t);
    1763                 :    9136270 : }
    1764                 :            : 
    1765                 :            : enum {
    1766                 :            :   SPCT_FLAG_DEFAULT = 1,
    1767                 :            :   SPCT_FLAG_ALL = 2,
    1768                 :            :   SPCT_FLAG_STRONG = 3,
    1769                 :            :   SPCT_FLAG_EXPLICIT = 4
    1770                 :            : };
    1771                 :            : 
    1772                 :            : /* Examine TYPE and determine a bit mask of the following features.  */
    1773                 :            : 
    1774                 :            : #define SPCT_HAS_LARGE_CHAR_ARRAY       1
    1775                 :            : #define SPCT_HAS_SMALL_CHAR_ARRAY       2
    1776                 :            : #define SPCT_HAS_ARRAY                  4
    1777                 :            : #define SPCT_HAS_AGGREGATE              8
    1778                 :            : 
    1779                 :            : static unsigned int
    1780                 :        837 : stack_protect_classify_type (tree type)
    1781                 :            : {
    1782                 :        837 :   unsigned int ret = 0;
    1783                 :        837 :   tree t;
    1784                 :            : 
    1785                 :        837 :   switch (TREE_CODE (type))
    1786                 :            :     {
    1787                 :        164 :     case ARRAY_TYPE:
    1788                 :        164 :       t = TYPE_MAIN_VARIANT (TREE_TYPE (type));
    1789                 :        164 :       if (t == char_type_node
    1790                 :         57 :           || t == signed_char_type_node
    1791                 :         57 :           || t == unsigned_char_type_node)
    1792                 :            :         {
    1793                 :        107 :           unsigned HOST_WIDE_INT max = param_ssp_buffer_size;
    1794                 :        107 :           unsigned HOST_WIDE_INT len;
    1795                 :            : 
    1796                 :        107 :           if (!TYPE_SIZE_UNIT (type)
    1797                 :        107 :               || !tree_fits_uhwi_p (TYPE_SIZE_UNIT (type)))
    1798                 :            :             len = max;
    1799                 :            :           else
    1800                 :        107 :             len = tree_to_uhwi (TYPE_SIZE_UNIT (type));
    1801                 :            : 
    1802                 :        107 :           if (len < max)
    1803                 :            :             ret = SPCT_HAS_SMALL_CHAR_ARRAY | SPCT_HAS_ARRAY;
    1804                 :            :           else
    1805                 :        107 :             ret = SPCT_HAS_LARGE_CHAR_ARRAY | SPCT_HAS_ARRAY;
    1806                 :            :         }
    1807                 :            :       else
    1808                 :            :         ret = SPCT_HAS_ARRAY;
    1809                 :            :       break;
    1810                 :            : 
    1811                 :        203 :     case UNION_TYPE:
    1812                 :        203 :     case QUAL_UNION_TYPE:
    1813                 :        203 :     case RECORD_TYPE:
    1814                 :        203 :       ret = SPCT_HAS_AGGREGATE;
    1815                 :       2781 :       for (t = TYPE_FIELDS (type); t ; t = TREE_CHAIN (t))
    1816                 :       2578 :         if (TREE_CODE (t) == FIELD_DECL)
    1817                 :        475 :           ret |= stack_protect_classify_type (TREE_TYPE (t));
    1818                 :            :       break;
    1819                 :            : 
    1820                 :            :     default:
    1821                 :            :       break;
    1822                 :            :     }
    1823                 :            : 
    1824                 :        837 :   return ret;
    1825                 :            : }
    1826                 :            : 
    1827                 :            : /* Return nonzero if DECL should be segregated into the "vulnerable" upper
    1828                 :            :    part of the local stack frame.  Remember if we ever return nonzero for
    1829                 :            :    any variable in this function.  The return value is the phase number in
    1830                 :            :    which the variable should be allocated.  */
    1831                 :            : 
    1832                 :            : static int
    1833                 :        362 : stack_protect_decl_phase (tree decl)
    1834                 :            : {
    1835                 :        362 :   unsigned int bits = stack_protect_classify_type (TREE_TYPE (decl));
    1836                 :        362 :   int ret = 0;
    1837                 :            : 
    1838                 :        362 :   if (bits & SPCT_HAS_SMALL_CHAR_ARRAY)
    1839                 :          0 :     has_short_buffer = true;
    1840                 :            : 
    1841                 :        362 :   if (flag_stack_protect == SPCT_FLAG_ALL
    1842                 :        362 :       || flag_stack_protect == SPCT_FLAG_STRONG
    1843                 :        362 :       || (flag_stack_protect == SPCT_FLAG_EXPLICIT
    1844                 :          5 :           && lookup_attribute ("stack_protect",
    1845                 :          5 :                                DECL_ATTRIBUTES (current_function_decl))))
    1846                 :            :     {
    1847                 :        239 :       if ((bits & (SPCT_HAS_SMALL_CHAR_ARRAY | SPCT_HAS_LARGE_CHAR_ARRAY))
    1848                 :         33 :           && !(bits & SPCT_HAS_AGGREGATE))
    1849                 :            :         ret = 1;
    1850                 :        209 :       else if (bits & SPCT_HAS_ARRAY)
    1851                 :            :         ret = 2;
    1852                 :            :     }
    1853                 :            :   else
    1854                 :        123 :     ret = (bits & SPCT_HAS_LARGE_CHAR_ARRAY) != 0;
    1855                 :            : 
    1856                 :        123 :   if (ret)
    1857                 :        152 :     has_protected_decls = true;
    1858                 :            : 
    1859                 :        362 :   return ret;
    1860                 :            : }
    1861                 :            : 
    1862                 :            : /* Two helper routines that check for phase 1 and phase 2.  These are used
    1863                 :            :    as callbacks for expand_stack_vars.  */
    1864                 :            : 
    1865                 :            : static bool
    1866                 :        104 : stack_protect_decl_phase_1 (size_t i)
    1867                 :            : {
    1868                 :        104 :   return stack_protect_decl_phase (stack_vars[i].decl) == 1;
    1869                 :            : }
    1870                 :            : 
    1871                 :            : static bool
    1872                 :         37 : stack_protect_decl_phase_2 (size_t i)
    1873                 :            : {
    1874                 :         37 :   return stack_protect_decl_phase (stack_vars[i].decl) == 2;
    1875                 :            : }
    1876                 :            : 
    1877                 :            : /* And helper function that checks for asan phase (with stack protector
    1878                 :            :    it is phase 3).  This is used as callback for expand_stack_vars.
    1879                 :            :    Returns true if any of the vars in the partition need to be protected.  */
    1880                 :            : 
    1881                 :            : static bool
    1882                 :       2239 : asan_decl_phase_3 (size_t i)
    1883                 :            : {
    1884                 :       2496 :   while (i != EOC)
    1885                 :            :     {
    1886                 :       2239 :       if (asan_protect_stack_decl (stack_vars[i].decl))
    1887                 :            :         return true;
    1888                 :        257 :       i = stack_vars[i].next;
    1889                 :            :     }
    1890                 :            :   return false;
    1891                 :            : }
    1892                 :            : 
    1893                 :            : /* Ensure that variables in different stack protection phases conflict
    1894                 :            :    so that they are not merged and share the same stack slot.
    1895                 :            :    Return true if there are any address taken variables.  */
    1896                 :            : 
    1897                 :            : static bool
    1898                 :        156 : add_stack_protection_conflicts (void)
    1899                 :            : {
    1900                 :        156 :   size_t i, j, n = stack_vars_num;
    1901                 :        156 :   unsigned char *phase;
    1902                 :        156 :   bool ret = false;
    1903                 :            : 
    1904                 :        156 :   phase = XNEWVEC (unsigned char, n);
    1905                 :        377 :   for (i = 0; i < n; ++i)
    1906                 :            :     {
    1907                 :        221 :       phase[i] = stack_protect_decl_phase (stack_vars[i].decl);
    1908                 :        221 :       if (TREE_ADDRESSABLE (stack_vars[i].decl))
    1909                 :        181 :         ret = true;
    1910                 :            :     }
    1911                 :            : 
    1912                 :        377 :   for (i = 0; i < n; ++i)
    1913                 :            :     {
    1914                 :        221 :       unsigned char ph_i = phase[i];
    1915                 :        401 :       for (j = i + 1; j < n; ++j)
    1916                 :        180 :         if (ph_i != phase[j])
    1917                 :         64 :           add_stack_var_conflict (i, j);
    1918                 :            :     }
    1919                 :            : 
    1920                 :        156 :   XDELETEVEC (phase);
    1921                 :        156 :   return ret;
    1922                 :            : }
    1923                 :            : 
    1924                 :            : /* Create a decl for the guard at the top of the stack frame.  */
    1925                 :            : 
    1926                 :            : static void
    1927                 :        163 : create_stack_guard (void)
    1928                 :            : {
    1929                 :        163 :   tree guard = build_decl (DECL_SOURCE_LOCATION (current_function_decl),
    1930                 :            :                            VAR_DECL, NULL, ptr_type_node);
    1931                 :        163 :   TREE_THIS_VOLATILE (guard) = 1;
    1932                 :        163 :   TREE_USED (guard) = 1;
    1933                 :        163 :   expand_one_stack_var (guard);
    1934                 :        163 :   crtl->stack_protect_guard = guard;
    1935                 :        163 : }
    1936                 :            : 
    1937                 :            : /* Prepare for expanding variables.  */
    1938                 :            : static void
    1939                 :    5026010 : init_vars_expansion (void)
    1940                 :            : {
    1941                 :            :   /* Conflict bitmaps, and a few related temporary bitmaps, go here.  */
    1942                 :    5026010 :   bitmap_obstack_initialize (&stack_var_bitmap_obstack);
    1943                 :            : 
    1944                 :            :   /* A map from decl to stack partition.  */
    1945                 :    5026010 :   decl_to_stack_part = new hash_map<tree, size_t>;
    1946                 :            : 
    1947                 :            :   /* Initialize local stack smashing state.  */
    1948                 :    5026010 :   has_protected_decls = false;
    1949                 :    5026010 :   has_short_buffer = false;
    1950                 :    5026010 : }
    1951                 :            : 
    1952                 :            : /* Free up stack variable graph data.  */
    1953                 :            : static void
    1954                 :    5026010 : fini_vars_expansion (void)
    1955                 :            : {
    1956                 :    5026010 :   bitmap_obstack_release (&stack_var_bitmap_obstack);
    1957                 :    5026010 :   if (stack_vars)
    1958                 :     882825 :     XDELETEVEC (stack_vars);
    1959                 :    5026010 :   if (stack_vars_sorted)
    1960                 :     882825 :     XDELETEVEC (stack_vars_sorted);
    1961                 :    5026010 :   stack_vars = NULL;
    1962                 :    5026010 :   stack_vars_sorted = NULL;
    1963                 :    5026010 :   stack_vars_alloc = stack_vars_num = 0;
    1964                 :   10052000 :   delete decl_to_stack_part;
    1965                 :    5026010 :   decl_to_stack_part = NULL;
    1966                 :    5026010 : }
    1967                 :            : 
    1968                 :            : /* Make a fair guess for the size of the stack frame of the function
    1969                 :            :    in NODE.  This doesn't have to be exact, the result is only used in
    1970                 :            :    the inline heuristics.  So we don't want to run the full stack var
    1971                 :            :    packing algorithm (which is quadratic in the number of stack vars).
    1972                 :            :    Instead, we calculate the total size of all stack vars.  This turns
    1973                 :            :    out to be a pretty fair estimate -- packing of stack vars doesn't
    1974                 :            :    happen very often.  */
    1975                 :            : 
    1976                 :            : HOST_WIDE_INT
    1977                 :    4082630 : estimated_stack_frame_size (struct cgraph_node *node)
    1978                 :            : {
    1979                 :    4082630 :   poly_int64 size = 0;
    1980                 :    4082630 :   size_t i;
    1981                 :    4082630 :   tree var;
    1982                 :    4082630 :   struct function *fn = DECL_STRUCT_FUNCTION (node->decl);
    1983                 :            : 
    1984                 :    4082630 :   push_cfun (fn);
    1985                 :            : 
    1986                 :    4082630 :   init_vars_expansion ();
    1987                 :            : 
    1988                 :   16994700 :   FOR_EACH_LOCAL_DECL (fn, i, var)
    1989                 :    9560870 :     if (auto_var_in_fn_p (var, fn->decl))
    1990                 :    9123600 :       size += expand_one_var (var, true, false);
    1991                 :            : 
    1992                 :    4082630 :   if (stack_vars_num > 0)
    1993                 :            :     {
    1994                 :            :       /* Fake sorting the stack vars for account_stack_vars ().  */
    1995                 :     711191 :       stack_vars_sorted = XNEWVEC (size_t, stack_vars_num);
    1996                 :    3929710 :       for (i = 0; i < stack_vars_num; ++i)
    1997                 :    3218520 :         stack_vars_sorted[i] = i;
    1998                 :     711191 :       size += account_stack_vars ();
    1999                 :            :     }
    2000                 :            : 
    2001                 :    4082630 :   fini_vars_expansion ();
    2002                 :    4082630 :   pop_cfun ();
    2003                 :    4082630 :   return estimated_poly_value (size);
    2004                 :            : }
    2005                 :            : 
    2006                 :            : /* Check if the current function has calls that use a return slot.  */
    2007                 :            : 
    2008                 :            : static bool
    2009                 :        206 : stack_protect_return_slot_p ()
    2010                 :            : {
    2011                 :        206 :   basic_block bb;
    2012                 :            :   
    2013                 :        919 :   FOR_ALL_BB_FN (bb, cfun)
    2014                 :        735 :     for (gimple_stmt_iterator gsi = gsi_start_bb (bb);
    2015                 :       2046 :          !gsi_end_p (gsi); gsi_next (&gsi))
    2016                 :            :       {
    2017                 :       1333 :         gimple *stmt = gsi_stmt (gsi);
    2018                 :            :         /* This assumes that calls to internal-only functions never
    2019                 :            :            use a return slot.  */
    2020                 :       1333 :         if (is_gimple_call (stmt)
    2021                 :        305 :             && !gimple_call_internal_p (stmt)
    2022                 :       1638 :             && aggregate_value_p (TREE_TYPE (gimple_call_fntype (stmt)),
    2023                 :        305 :                                   gimple_call_fndecl (stmt)))
    2024                 :            :           return true;
    2025                 :            :       }
    2026                 :            :   return false;
    2027                 :            : }
    2028                 :            : 
    2029                 :            : /* Expand all variables used in the function.  */
    2030                 :            : 
    2031                 :            : static rtx_insn *
    2032                 :     943374 : expand_used_vars (void)
    2033                 :            : {
    2034                 :     943374 :   tree var, outer_block = DECL_INITIAL (current_function_decl);
    2035                 :     943374 :   auto_vec<tree> maybe_local_decls;
    2036                 :     943374 :   rtx_insn *var_end_seq = NULL;
    2037                 :     943374 :   unsigned i;
    2038                 :     943374 :   unsigned len;
    2039                 :     943374 :   bool gen_stack_protect_signal = false;
    2040                 :            : 
    2041                 :            :   /* Compute the phase of the stack frame for this function.  */
    2042                 :     943374 :   {
    2043                 :     943374 :     int align = PREFERRED_STACK_BOUNDARY / BITS_PER_UNIT;
    2044                 :     943374 :     int off = targetm.starting_frame_offset () % align;
    2045                 :     943374 :     frame_phase = off ? align - off : 0;
    2046                 :            :   }
    2047                 :            : 
    2048                 :            :   /* Set TREE_USED on all variables in the local_decls.  */
    2049                 :    7266980 :   FOR_EACH_LOCAL_DECL (cfun, i, var)
    2050                 :    4766230 :     TREE_USED (var) = 1;
    2051                 :            :   /* Clear TREE_USED on all variables associated with a block scope.  */
    2052                 :     943374 :   clear_tree_used (DECL_INITIAL (current_function_decl));
    2053                 :            : 
    2054                 :     943374 :   init_vars_expansion ();
    2055                 :            : 
    2056                 :     943374 :   if (targetm.use_pseudo_pic_reg ())
    2057                 :      61535 :     pic_offset_table_rtx = gen_reg_rtx (Pmode);
    2058                 :            : 
    2059                 :   16583200 :   for (i = 0; i < SA.map->num_partitions; i++)
    2060                 :            :     {
    2061                 :   15639800 :       if (bitmap_bit_p (SA.partitions_for_parm_default_defs, i))
    2062                 :    2278010 :         continue;
    2063                 :            : 
    2064                 :   13361800 :       tree var = partition_to_var (SA.map, i);
    2065                 :            : 
    2066                 :   26723500 :       gcc_assert (!virtual_operand_p (var));
    2067                 :            : 
    2068                 :   13361800 :       expand_one_ssa_partition (var);
    2069                 :            :     }
    2070                 :            : 
    2071                 :     943374 :   if (flag_stack_protect == SPCT_FLAG_STRONG)
    2072                 :        206 :     gen_stack_protect_signal = stack_protect_return_slot_p ();
    2073                 :            : 
    2074                 :            :   /* At this point all variables on the local_decls with TREE_USED
    2075                 :            :      set are not associated with any block scope.  Lay them out.  */
    2076                 :            : 
    2077                 :     943374 :   len = vec_safe_length (cfun->local_decls);
    2078                 :    6488290 :   FOR_EACH_LOCAL_DECL (cfun, i, var)
    2079                 :            :     {
    2080                 :    4766230 :       bool expand_now = false;
    2081                 :            : 
    2082                 :            :       /* Expanded above already.  */
    2083                 :    4766230 :       if (is_gimple_reg (var))
    2084                 :            :         {
    2085                 :    3012130 :           TREE_USED (var) = 0;
    2086                 :    3012130 :           goto next;
    2087                 :            :         }
    2088                 :            :       /* We didn't set a block for static or extern because it's hard
    2089                 :            :          to tell the difference between a global variable (re)declared
    2090                 :            :          in a local scope, and one that's really declared there to
    2091                 :            :          begin with.  And it doesn't really matter much, since we're
    2092                 :            :          not giving them stack space.  Expand them now.  */
    2093                 :    1754100 :       else if (TREE_STATIC (var) || DECL_EXTERNAL (var))
    2094                 :            :         expand_now = true;
    2095                 :            : 
    2096                 :            :       /* Expand variables not associated with any block now.  Those created by
    2097                 :            :          the optimizers could be live anywhere in the function.  Those that
    2098                 :            :          could possibly have been scoped originally and detached from their
    2099                 :            :          block will have their allocation deferred so we coalesce them with
    2100                 :            :          others when optimization is enabled.  */
    2101                 :    1593210 :       else if (TREE_USED (var))
    2102                 :            :         expand_now = true;
    2103                 :            : 
    2104                 :            :       /* Finally, mark all variables on the list as used.  We'll use
    2105                 :            :          this in a moment when we expand those associated with scopes.  */
    2106                 :    1754100 :       TREE_USED (var) = 1;
    2107                 :            : 
    2108                 :    1754100 :       if (expand_now)
    2109                 :    1285030 :         expand_one_var (var, true, true);
    2110                 :            : 
    2111                 :     469064 :     next:
    2112                 :    4766230 :       if (DECL_ARTIFICIAL (var) && !DECL_IGNORED_P (var))
    2113                 :            :         {
    2114                 :     287643 :           rtx rtl = DECL_RTL_IF_SET (var);
    2115                 :            : 
    2116                 :            :           /* Keep artificial non-ignored vars in cfun->local_decls
    2117                 :            :              chain until instantiate_decls.  */
    2118                 :     234304 :           if (rtl && (MEM_P (rtl) || GET_CODE (rtl) == CONCAT))
    2119                 :       9163 :             add_local_decl (cfun, var);
    2120                 :     278480 :           else if (rtl == NULL_RTX)
    2121                 :            :             /* If rtl isn't set yet, which can happen e.g. with
    2122                 :            :                -fstack-protector, retry before returning from this
    2123                 :            :                function.  */
    2124                 :      53339 :             maybe_local_decls.safe_push (var);
    2125                 :            :         }
    2126                 :            :     }
    2127                 :            : 
    2128                 :            :   /* We duplicated some of the decls in CFUN->LOCAL_DECLS.
    2129                 :            : 
    2130                 :            :      +-----------------+-----------------+
    2131                 :            :      | ...processed... | ...duplicates...|
    2132                 :            :      +-----------------+-----------------+
    2133                 :            :                        ^
    2134                 :            :                        +-- LEN points here.
    2135                 :            : 
    2136                 :            :      We just want the duplicates, as those are the artificial
    2137                 :            :      non-ignored vars that we want to keep until instantiate_decls.
    2138                 :            :      Move them down and truncate the array.  */
    2139                 :     943374 :   if (!vec_safe_is_empty (cfun->local_decls))
    2140                 :     517145 :     cfun->local_decls->block_remove (0, len);
    2141                 :            : 
    2142                 :            :   /* At this point, all variables within the block tree with TREE_USED
    2143                 :            :      set are actually used by the optimized function.  Lay them out.  */
    2144                 :     943374 :   expand_used_vars_for_block (outer_block, true);
    2145                 :            : 
    2146                 :     943374 :   if (stack_vars_num > 0)
    2147                 :            :     {
    2148                 :     171634 :       bool has_addressable_vars = false;
    2149                 :            : 
    2150                 :     171634 :       add_scope_conflicts ();
    2151                 :            : 
    2152                 :            :       /* If stack protection is enabled, we don't share space between
    2153                 :            :          vulnerable data and non-vulnerable data.  */
    2154                 :     171634 :       if (flag_stack_protect != 0
    2155                 :     171634 :           && (flag_stack_protect != SPCT_FLAG_EXPLICIT
    2156                 :            :               || (flag_stack_protect == SPCT_FLAG_EXPLICIT
    2157                 :          1 :                   && lookup_attribute ("stack_protect",
    2158                 :          1 :                                        DECL_ATTRIBUTES (current_function_decl)))))
    2159                 :        156 :         has_addressable_vars = add_stack_protection_conflicts ();
    2160                 :            : 
    2161                 :     171634 :       if (flag_stack_protect == SPCT_FLAG_STRONG && has_addressable_vars)
    2162                 :         84 :         gen_stack_protect_signal = true;
    2163                 :            : 
    2164                 :            :       /* Now that we have collected all stack variables, and have computed a
    2165                 :            :          minimal interference graph, attempt to save some stack space.  */
    2166                 :     171634 :       partition_stack_vars ();
    2167                 :     171634 :       if (dump_file)
    2168                 :          8 :         dump_stack_var_partition ();
    2169                 :            :     }
    2170                 :            : 
    2171                 :     943374 :   switch (flag_stack_protect)
    2172                 :            :     {
    2173                 :          8 :     case SPCT_FLAG_ALL:
    2174                 :          8 :       create_stack_guard ();
    2175                 :          8 :       break;
    2176                 :            : 
    2177                 :        206 :     case SPCT_FLAG_STRONG:
    2178                 :        206 :       if (gen_stack_protect_signal
    2179                 :        104 :           || cfun->calls_alloca
    2180                 :        102 :           || has_protected_decls
    2181                 :        307 :           || lookup_attribute ("stack_protect",
    2182                 :        101 :                                DECL_ATTRIBUTES (current_function_decl)))
    2183                 :        105 :         create_stack_guard ();
    2184                 :            :       break;
    2185                 :            : 
    2186                 :        130 :     case SPCT_FLAG_DEFAULT:
    2187                 :        130 :       if (cfun->calls_alloca
    2188                 :        126 :           || has_protected_decls
    2189                 :        219 :           || lookup_attribute ("stack_protect",
    2190                 :         89 :                                DECL_ATTRIBUTES (current_function_decl)))
    2191                 :         41 :         create_stack_guard ();
    2192                 :            :       break;
    2193                 :            : 
    2194                 :         14 :     case SPCT_FLAG_EXPLICIT:
    2195                 :         14 :       if (lookup_attribute ("stack_protect",
    2196                 :         14 :                             DECL_ATTRIBUTES (current_function_decl)))
    2197                 :          9 :         create_stack_guard ();
    2198                 :            :       break;
    2199                 :            : 
    2200                 :            :     default:
    2201                 :            :       break;
    2202                 :            :     }
    2203                 :            : 
    2204                 :            :   /* Assign rtl to each variable based on these partitions.  */
    2205                 :     943374 :   if (stack_vars_num > 0)
    2206                 :            :     {
    2207                 :     343268 :       class stack_vars_data data;
    2208                 :            : 
    2209                 :     171634 :       data.asan_base = NULL_RTX;
    2210                 :     171634 :       data.asan_alignb = 0;
    2211                 :            : 
    2212                 :            :       /* Reorder decls to be protected by iterating over the variables
    2213                 :            :          array multiple times, and allocating out of each phase in turn.  */
    2214                 :            :       /* ??? We could probably integrate this into the qsort we did
    2215                 :            :          earlier, such that we naturally see these variables first,
    2216                 :            :          and thus naturally allocate things in the right order.  */
    2217                 :     171634 :       if (has_protected_decls)
    2218                 :            :         {
    2219                 :            :           /* Phase 1 contains only character arrays.  */
    2220                 :         64 :           expand_stack_vars (stack_protect_decl_phase_1, &data);
    2221                 :            : 
    2222                 :            :           /* Phase 2 contains other kinds of arrays.  */
    2223                 :         64 :           if (flag_stack_protect == SPCT_FLAG_ALL
    2224                 :         64 :               || flag_stack_protect == SPCT_FLAG_STRONG
    2225                 :         64 :               || (flag_stack_protect == SPCT_FLAG_EXPLICIT
    2226                 :          1 :                   && lookup_attribute ("stack_protect",
    2227                 :          1 :                                        DECL_ATTRIBUTES (current_function_decl))))
    2228                 :         27 :             expand_stack_vars (stack_protect_decl_phase_2, &data);
    2229                 :            :         }
    2230                 :            : 
    2231                 :     171634 :       if (asan_sanitize_stack_p ())
    2232                 :            :         /* Phase 3, any partitions that need asan protection
    2233                 :            :            in addition to phase 1 and 2.  */
    2234                 :       1249 :         expand_stack_vars (asan_decl_phase_3, &data);
    2235                 :            : 
    2236                 :            :       /* ASAN description strings don't yet have a syntax for expressing
    2237                 :            :          polynomial offsets.  */
    2238                 :     171634 :       HOST_WIDE_INT prev_offset;
    2239                 :     171634 :       if (!data.asan_vec.is_empty ()
    2240                 :       1138 :           && frame_offset.is_constant (&prev_offset))
    2241                 :            :         {
    2242                 :       1138 :           HOST_WIDE_INT offset, sz, redzonesz;
    2243                 :       1138 :           redzonesz = ASAN_RED_ZONE_SIZE;
    2244                 :       1138 :           sz = data.asan_vec[0] - prev_offset;
    2245                 :       1138 :           if (data.asan_alignb > ASAN_RED_ZONE_SIZE
    2246                 :       1138 :               && data.asan_alignb <= 4096
    2247                 :         29 :               && sz + ASAN_RED_ZONE_SIZE >= (int) data.asan_alignb)
    2248                 :         29 :             redzonesz = ((sz + ASAN_RED_ZONE_SIZE + data.asan_alignb - 1)
    2249                 :         29 :                          & ~(data.asan_alignb - HOST_WIDE_INT_1)) - sz;
    2250                 :            :           /* Allocating a constant amount of space from a constant
    2251                 :            :              starting offset must give a constant result.  */
    2252                 :       1138 :           offset = (alloc_stack_frame_space (redzonesz, ASAN_RED_ZONE_SIZE)
    2253                 :       1138 :                     .to_constant ());
    2254                 :       1138 :           data.asan_vec.safe_push (prev_offset);
    2255                 :       1138 :           data.asan_vec.safe_push (offset);
    2256                 :            :           /* Leave space for alignment if STRICT_ALIGNMENT.  */
    2257                 :       1138 :           if (STRICT_ALIGNMENT)
    2258                 :            :             alloc_stack_frame_space ((GET_MODE_ALIGNMENT (SImode)
    2259                 :            :                                       << ASAN_SHADOW_SHIFT)
    2260                 :            :                                      / BITS_PER_UNIT, 1);
    2261                 :            : 
    2262                 :       1138 :           var_end_seq
    2263                 :       3414 :             = asan_emit_stack_protection (virtual_stack_vars_rtx,
    2264                 :            :                                           data.asan_base,
    2265                 :            :                                           data.asan_alignb,
    2266                 :            :                                           data.asan_vec.address (),
    2267                 :            :                                           data.asan_decl_vec.address (),
    2268                 :       1138 :                                           data.asan_vec.length ());
    2269                 :            :         }
    2270                 :            : 
    2271                 :     171634 :       expand_stack_vars (NULL, &data);
    2272                 :            :     }
    2273                 :            : 
    2274                 :     943374 :   if (asan_sanitize_allocas_p () && cfun->calls_alloca)
    2275                 :        167 :     var_end_seq = asan_emit_allocas_unpoison (virtual_stack_dynamic_rtx,
    2276                 :            :                                               virtual_stack_vars_rtx,
    2277                 :            :                                               var_end_seq);
    2278                 :            : 
    2279                 :     943374 :   fini_vars_expansion ();
    2280                 :            : 
    2281                 :            :   /* If there were any artificial non-ignored vars without rtl
    2282                 :            :      found earlier, see if deferred stack allocation hasn't assigned
    2283                 :            :      rtl to them.  */
    2284                 :    1042530 :   FOR_EACH_VEC_ELT_REVERSE (maybe_local_decls, i, var)
    2285                 :            :     {
    2286                 :      55126 :       rtx rtl = DECL_RTL_IF_SET (var);
    2287                 :            : 
    2288                 :            :       /* Keep artificial non-ignored vars in cfun->local_decls
    2289                 :            :          chain until instantiate_decls.  */
    2290                 :       1787 :       if (rtl && (MEM_P (rtl) || GET_CODE (rtl) == CONCAT))
    2291                 :       1731 :         add_local_decl (cfun, var);
    2292                 :            :     }
    2293                 :            : 
    2294                 :            :   /* If the target requires that FRAME_OFFSET be aligned, do it.  */
    2295                 :     943374 :   if (STACK_ALIGNMENT_NEEDED)
    2296                 :            :     {
    2297                 :     943374 :       HOST_WIDE_INT align = PREFERRED_STACK_BOUNDARY / BITS_PER_UNIT;
    2298                 :     943374 :       if (FRAME_GROWS_DOWNWARD)
    2299                 :     943374 :         frame_offset = aligned_lower_bound (frame_offset, align);
    2300                 :            :       else
    2301                 :            :         frame_offset = aligned_upper_bound (frame_offset, align);
    2302                 :            :     }
    2303                 :            : 
    2304                 :     943374 :   return var_end_seq;
    2305                 :            : }
    2306                 :            : 
    2307                 :            : 
    2308                 :            : /* If we need to produce a detailed dump, print the tree representation
    2309                 :            :    for STMT to the dump file.  SINCE is the last RTX after which the RTL
    2310                 :            :    generated for STMT should have been appended.  */
    2311                 :            : 
    2312                 :            : static void
    2313                 :   26762600 : maybe_dump_rtl_for_gimple_stmt (gimple *stmt, rtx_insn *since)
    2314                 :            : {
    2315                 :   26762600 :   if (dump_file && (dump_flags & TDF_DETAILS))
    2316                 :            :     {
    2317                 :        170 :       fprintf (dump_file, "\n;; ");
    2318                 :        170 :       print_gimple_stmt (dump_file, stmt, 0,
    2319                 :            :                          TDF_SLIM | (dump_flags & TDF_LINENO));
    2320                 :        170 :       fprintf (dump_file, "\n");
    2321                 :            : 
    2322                 :        170 :       print_rtl (dump_file, since ? NEXT_INSN (since) : since);
    2323                 :            :     }
    2324                 :   26762600 : }
    2325                 :            : 
    2326                 :            : /* Maps the blocks that do not contain tree labels to rtx labels.  */
    2327                 :            : 
    2328                 :            : static hash_map<basic_block, rtx_code_label *> *lab_rtx_for_bb;
    2329                 :            : 
    2330                 :            : /* Returns the label_rtx expression for a label starting basic block BB.  */
    2331                 :            : 
    2332                 :            : static rtx_code_label *
    2333                 :    4762600 : label_rtx_for_bb (basic_block bb ATTRIBUTE_UNUSED)
    2334                 :            : {
    2335                 :    4762600 :   gimple_stmt_iterator gsi;
    2336                 :    4762600 :   tree lab;
    2337                 :            : 
    2338                 :    4762600 :   if (bb->flags & BB_RTL)
    2339                 :    1095660 :     return block_label (bb);
    2340                 :            : 
    2341                 :    3666940 :   rtx_code_label **elt = lab_rtx_for_bb->get (bb);
    2342                 :     584085 :   if (elt)
    2343                 :     584085 :     return *elt;
    2344                 :            : 
    2345                 :            :   /* Find the tree label if it is present.  */
    2346                 :            : 
    2347                 :    6165700 :   for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
    2348                 :            :     {
    2349                 :    3024450 :       glabel *lab_stmt;
    2350                 :            : 
    2351                 :    3024450 :       lab_stmt = dyn_cast <glabel *> (gsi_stmt (gsi));
    2352                 :     119429 :       if (!lab_stmt)
    2353                 :            :         break;
    2354                 :            : 
    2355                 :     119429 :       lab = gimple_label_label (lab_stmt);
    2356                 :     119429 :       if (DECL_NONLOCAL (lab))
    2357                 :            :         break;
    2358                 :            : 
    2359                 :     119429 :       return jump_target_rtx (lab);
    2360                 :            :     }
    2361                 :            : 
    2362                 :    2963420 :   rtx_code_label *l = gen_label_rtx ();
    2363                 :    2963420 :   lab_rtx_for_bb->put (bb, l);
    2364                 :    2963420 :   return l;
    2365                 :            : }
    2366                 :            : 
    2367                 :            : 
    2368                 :            : /* A subroutine of expand_gimple_cond.  Given E, a fallthrough edge
    2369                 :            :    of a basic block where we just expanded the conditional at the end,
    2370                 :            :    possibly clean up the CFG and instruction sequence.  LAST is the
    2371                 :            :    last instruction before the just emitted jump sequence.  */
    2372                 :            : 
    2373                 :            : static void
    2374                 :    3162860 : maybe_cleanup_end_of_block (edge e, rtx_insn *last)
    2375                 :            : {
    2376                 :            :   /* Special case: when jumpif decides that the condition is
    2377                 :            :      trivial it emits an unconditional jump (and the necessary
    2378                 :            :      barrier).  But we still have two edges, the fallthru one is
    2379                 :            :      wrong.  purge_dead_edges would clean this up later.  Unfortunately
    2380                 :            :      we have to insert insns (and split edges) before
    2381                 :            :      find_many_sub_basic_blocks and hence before purge_dead_edges.
    2382                 :            :      But splitting edges might create new blocks which depend on the
    2383                 :            :      fact that if there are two edges there's no barrier.  So the
    2384                 :            :      barrier would get lost and verify_flow_info would ICE.  Instead
    2385                 :            :      of auditing all edge splitters to care for the barrier (which
    2386                 :            :      normally isn't there in a cleaned CFG), fix it here.  */
    2387                 :    3162860 :   if (BARRIER_P (get_last_insn ()))
    2388                 :            :     {
    2389                 :         44 :       rtx_insn *insn;
    2390                 :         44 :       remove_edge (e);
    2391                 :            :       /* Now, we have a single successor block, if we have insns to
    2392                 :            :          insert on the remaining edge we potentially will insert
    2393                 :            :          it at the end of this block (if the dest block isn't feasible)
    2394                 :            :          in order to avoid splitting the edge.  This insertion will take
    2395                 :            :          place in front of the last jump.  But we might have emitted
    2396                 :            :          multiple jumps (conditional and one unconditional) to the
    2397                 :            :          same destination.  Inserting in front of the last one then
    2398                 :            :          is a problem.  See PR 40021.  We fix this by deleting all
    2399                 :            :          jumps except the last unconditional one.  */
    2400                 :         44 :       insn = PREV_INSN (get_last_insn ());
    2401                 :            :       /* Make sure we have an unconditional jump.  Otherwise we're
    2402                 :            :          confused.  */
    2403                 :         44 :       gcc_assert (JUMP_P (insn) && !any_condjump_p (insn));
    2404                 :         44 :       for (insn = PREV_INSN (insn); insn != last;)
    2405                 :            :         {
    2406                 :          0 :           insn = PREV_INSN (insn);
    2407                 :          0 :           if (JUMP_P (NEXT_INSN (insn)))
    2408                 :            :             {
    2409                 :          0 :               if (!any_condjump_p (NEXT_INSN (insn)))
    2410                 :            :                 {
    2411                 :          0 :                   gcc_assert (BARRIER_P (NEXT_INSN (NEXT_INSN (insn))));
    2412                 :          0 :                   delete_insn (NEXT_INSN (NEXT_INSN (insn)));
    2413                 :            :                 }
    2414                 :          0 :               delete_insn (NEXT_INSN (insn));
    2415                 :            :             }
    2416                 :            :         }
    2417                 :            :     }
    2418                 :    3162860 : }
    2419                 :            : 
    2420                 :            : /* A subroutine of expand_gimple_basic_block.  Expand one GIMPLE_COND.
    2421                 :            :    Returns a new basic block if we've terminated the current basic
    2422                 :            :    block and created a new one.  */
    2423                 :            : 
    2424                 :            : static basic_block
    2425                 :    3455060 : expand_gimple_cond (basic_block bb, gcond *stmt)
    2426                 :            : {
    2427                 :    3455060 :   basic_block new_bb, dest;
    2428                 :    3455060 :   edge true_edge;
    2429                 :    3455060 :   edge false_edge;
    2430                 :    3455060 :   rtx_insn *last2, *last;
    2431                 :    3455060 :   enum tree_code code;
    2432                 :    3455060 :   tree op0, op1;
    2433                 :            : 
    2434                 :    3455060 :   code = gimple_cond_code (stmt);
    2435                 :    3455060 :   op0 = gimple_cond_lhs (stmt);
    2436                 :    3455060 :   op1 = gimple_cond_rhs (stmt);
    2437                 :            :   /* We're sometimes presented with such code:
    2438                 :            :        D.123_1 = x < y;
    2439                 :            :        if (D.123_1 != 0)
    2440                 :            :          ...
    2441                 :            :      This would expand to two comparisons which then later might
    2442                 :            :      be cleaned up by combine.  But some pattern matchers like if-conversion
    2443                 :            :      work better when there's only one compare, so make up for this
    2444                 :            :      here as special exception if TER would have made the same change.  */
    2445                 :    3455060 :   if (SA.values
    2446                 :    2548700 :       && TREE_CODE (op0) == SSA_NAME
    2447                 :    2506500 :       && TREE_CODE (TREE_TYPE (op0)) == BOOLEAN_TYPE
    2448                 :     271641 :       && TREE_CODE (op1) == INTEGER_CST
    2449                 :     264175 :       && ((gimple_cond_code (stmt) == NE_EXPR
    2450                 :     264165 :            && integer_zerop (op1))
    2451                 :         10 :           || (gimple_cond_code (stmt) == EQ_EXPR
    2452                 :         10 :               && integer_onep (op1)))
    2453                 :    3719230 :       && bitmap_bit_p (SA.values, SSA_NAME_VERSION (op0)))
    2454                 :            :     {
    2455                 :     145838 :       gimple *second = SSA_NAME_DEF_STMT (op0);
    2456                 :     145838 :       if (gimple_code (second) == GIMPLE_ASSIGN)
    2457                 :            :         {
    2458                 :     145838 :           enum tree_code code2 = gimple_assign_rhs_code (second);
    2459                 :     145838 :           if (TREE_CODE_CLASS (code2) == tcc_comparison)
    2460                 :            :             {
    2461                 :        916 :               code = code2;
    2462                 :        916 :               op0 = gimple_assign_rhs1 (second);
    2463                 :        916 :               op1 = gimple_assign_rhs2 (second);
    2464                 :            :             }
    2465                 :            :           /* If jumps are cheap and the target does not support conditional
    2466                 :            :              compare, turn some more codes into jumpy sequences.  */
    2467                 :     144922 :           else if (BRANCH_COST (optimize_insn_for_speed_p (), false) < 4
    2468                 :     144922 :                    && targetm.gen_ccmp_first == NULL)
    2469                 :            :             {
    2470                 :     144922 :               if ((code2 == BIT_AND_EXPR
    2471                 :      41232 :                    && TYPE_PRECISION (TREE_TYPE (op0)) == 1
    2472                 :      41232 :                    && TREE_CODE (gimple_assign_rhs2 (second)) != INTEGER_CST)
    2473                 :     144922 :                   || code2 == TRUTH_AND_EXPR)
    2474                 :            :                 {
    2475                 :      41232 :                   code = TRUTH_ANDIF_EXPR;
    2476                 :      41232 :                   op0 = gimple_assign_rhs1 (second);
    2477                 :      41232 :                   op1 = gimple_assign_rhs2 (second);
    2478                 :            :                 }
    2479                 :     103690 :               else if (code2 == BIT_IOR_EXPR || code2 == TRUTH_OR_EXPR)
    2480                 :            :                 {
    2481                 :      47876 :                   code = TRUTH_ORIF_EXPR;
    2482                 :      47876 :                   op0 = gimple_assign_rhs1 (second);
    2483                 :      47876 :                   op1 = gimple_assign_rhs2 (second);
    2484                 :            :                 }
    2485                 :            :             }
    2486                 :            :         }
    2487                 :            :     }
    2488                 :            : 
    2489                 :            :   /* Optimize (x % C1) == C2 or (x % C1) != C2 if it is beneficial
    2490                 :            :      into (x - C2) * C3 < C4.  */
    2491                 :    3455060 :   if ((code == EQ_EXPR || code == NE_EXPR)
    2492                 :    2688890 :       && TREE_CODE (op0) == SSA_NAME
    2493                 :    2644190 :       && TREE_CODE (op1) == INTEGER_CST)
    2494                 :    1846790 :     code = maybe_optimize_mod_cmp (code, &op0, &op1);
    2495                 :            : 
    2496                 :    3455060 :   last2 = last = get_last_insn ();
    2497                 :            : 
    2498                 :    3455060 :   extract_true_false_edges_from_block (bb, &true_edge, &false_edge);
    2499                 :    3455060 :   set_curr_insn_location (gimple_location (stmt));
    2500                 :            : 
    2501                 :            :   /* These flags have no purpose in RTL land.  */
    2502                 :    3455060 :   true_edge->flags &= ~EDGE_TRUE_VALUE;
    2503                 :    3455060 :   false_edge->flags &= ~EDGE_FALSE_VALUE;
    2504                 :            : 
    2505                 :            :   /* We can either have a pure conditional jump with one fallthru edge or
    2506                 :            :      two-way jump that needs to be decomposed into two basic blocks.  */
    2507                 :    3455060 :   if (false_edge->dest == bb->next_bb)
    2508                 :            :     {
    2509                 :    1200870 :       jumpif_1 (code, op0, op1, label_rtx_for_bb (true_edge->dest),
    2510                 :            :                 true_edge->probability);
    2511                 :    1200870 :       maybe_dump_rtl_for_gimple_stmt (stmt, last);
    2512                 :    1200870 :       if (true_edge->goto_locus != UNKNOWN_LOCATION)
    2513                 :     860548 :         set_curr_insn_location (true_edge->goto_locus);
    2514                 :    1200870 :       false_edge->flags |= EDGE_FALLTHRU;
    2515                 :    1200870 :       maybe_cleanup_end_of_block (false_edge, last);
    2516                 :    1200870 :       return NULL;
    2517                 :            :     }
    2518                 :    2254190 :   if (true_edge->dest == bb->next_bb)
    2519                 :            :     {
    2520                 :    1961990 :       jumpifnot_1 (code, op0, op1, label_rtx_for_bb (false_edge->dest),
    2521                 :            :                    false_edge->probability);
    2522                 :    1961990 :       maybe_dump_rtl_for_gimple_stmt (stmt, last);
    2523                 :    1961990 :       if (false_edge->goto_locus != UNKNOWN_LOCATION)
    2524                 :    1736080 :         set_curr_insn_location (false_edge->goto_locus);
    2525                 :    1961990 :       true_edge->flags |= EDGE_FALLTHRU;
    2526                 :    1961990 :       maybe_cleanup_end_of_block (true_edge, last);
    2527                 :    1961990 :       return NULL;
    2528                 :            :     }
    2529                 :            : 
    2530                 :     292194 :   jumpif_1 (code, op0, op1, label_rtx_for_bb (true_edge->dest),
    2531                 :            :             true_edge->probability);
    2532                 :     292194 :   last = get_last_insn ();
    2533                 :     292194 :   if (false_edge->goto_locus != UNKNOWN_LOCATION)
    2534                 :     182646 :     set_curr_insn_location (false_edge->goto_locus);
    2535                 :     292194 :   emit_jump (label_rtx_for_bb (false_edge->dest));
    2536                 :            : 
    2537                 :     292194 :   BB_END (bb) = last;
    2538                 :     292194 :   if (BARRIER_P (BB_END (bb)))
    2539                 :         18 :     BB_END (bb) = PREV_INSN (BB_END (bb));
    2540                 :     292194 :   update_bb_for_insn (bb);
    2541                 :            : 
    2542                 :     292194 :   new_bb = create_basic_block (NEXT_INSN (last), get_last_insn (), bb);
    2543                 :     292194 :   dest = false_edge->dest;
    2544                 :     292194 :   redirect_edge_succ (false_edge, new_bb);
    2545                 :     292194 :   false_edge->flags |= EDGE_FALLTHRU;
    2546                 :     292194 :   new_bb->count = false_edge->count ();
    2547                 :     292194 :   loop_p loop = find_common_loop (bb->loop_father, dest->loop_father);
    2548                 :     292194 :   add_bb_to_loop (new_bb, loop);
    2549                 :     292194 :   if (loop->latch == bb
    2550                 :      26709 :       && loop->header == dest)
    2551                 :      26705 :     loop->latch = new_bb;
    2552                 :     292194 :   make_single_succ_edge (new_bb, dest, 0);
    2553                 :     292194 :   if (BARRIER_P (BB_END (new_bb)))
    2554                 :     292194 :     BB_END (new_bb) = PREV_INSN (BB_END (new_bb));
    2555                 :     292194 :   update_bb_for_insn (new_bb);
    2556                 :            : 
    2557                 :     292194 :   maybe_dump_rtl_for_gimple_stmt (stmt, last2);
    2558                 :            : 
    2559                 :     292194 :   if (true_edge->goto_locus != UNKNOWN_LOCATION)
    2560                 :            :     {
    2561                 :     182809 :       set_curr_insn_location (true_edge->goto_locus);
    2562                 :     182809 :       true_edge->goto_locus = curr_insn_location ();
    2563                 :            :     }
    2564                 :            : 
    2565                 :            :   return new_bb;
    2566                 :            : }
    2567                 :            : 
    2568                 :            : /* Mark all calls that can have a transaction restart.  */
    2569                 :            : 
    2570                 :            : static void
    2571                 :    4408100 : mark_transaction_restart_calls (gimple *stmt)
    2572                 :            : {
    2573                 :    4408100 :   struct tm_restart_node dummy;
    2574                 :    4408100 :   tm_restart_node **slot;
    2575                 :            : 
    2576                 :    4408100 :   if (!cfun->gimple_df->tm_restart)
    2577                 :    4404750 :     return;
    2578                 :            : 
    2579                 :       3353 :   dummy.stmt = stmt;
    2580                 :       3353 :   slot = cfun->gimple_df->tm_restart->find_slot (&dummy, NO_INSERT);
    2581                 :       3353 :   if (slot)
    2582                 :            :     {
    2583                 :          0 :       struct tm_restart_node *n = *slot;
    2584                 :          0 :       tree list = n->label_or_list;
    2585                 :          0 :       rtx_insn *insn;
    2586                 :            : 
    2587                 :          0 :       for (insn = next_real_insn (get_last_insn ());
    2588                 :          0 :            !CALL_P (insn);
    2589                 :          0 :            insn = next_real_insn (insn))
    2590                 :          0 :         continue;
    2591                 :            : 
    2592                 :          0 :       if (TREE_CODE (list) == LABEL_DECL)
    2593                 :          0 :         add_reg_note (insn, REG_TM, label_rtx (list));
    2594                 :            :       else
    2595                 :          0 :         for (; list ; list = TREE_CHAIN (list))
    2596                 :          0 :           add_reg_note (insn, REG_TM, label_rtx (TREE_VALUE (list)));
    2597                 :            :     }
    2598                 :            : }
    2599                 :            : 
    2600                 :            : /* A subroutine of expand_gimple_stmt_1, expanding one GIMPLE_CALL
    2601                 :            :    statement STMT.  */
    2602                 :            : 
    2603                 :            : static void
    2604                 :    4559310 : expand_call_stmt (gcall *stmt)
    2605                 :            : {
    2606                 :    4559310 :   tree exp, decl, lhs;
    2607                 :    4559310 :   bool builtin_p;
    2608                 :    4559310 :   size_t i;
    2609                 :            : 
    2610                 :    4559310 :   if (gimple_call_internal_p (stmt))
    2611                 :            :     {
    2612                 :     122733 :       expand_internal_call (stmt);
    2613                 :     122733 :       return;
    2614                 :            :     }
    2615                 :            : 
    2616                 :            :   /* If this is a call to a built-in function and it has no effect other
    2617                 :            :      than setting the lhs, try to implement it using an internal function
    2618                 :            :      instead.  */
    2619                 :    4436580 :   decl = gimple_call_fndecl (stmt);
    2620                 :    4436580 :   if (gimple_call_lhs (stmt)
    2621                 :    1602260 :       && !gimple_has_side_effects (stmt)
    2622                 :    4798570 :       && (optimize || (decl && called_as_built_in (decl))))
    2623                 :            :     {
    2624                 :     352301 :       internal_fn ifn = replacement_internal_fn (stmt);
    2625                 :     352301 :       if (ifn != IFN_LAST)
    2626                 :            :         {
    2627                 :      28472 :           expand_internal_call (ifn, stmt);
    2628                 :      28472 :           return;
    2629                 :            :         }
    2630                 :            :     }
    2631                 :            : 
    2632                 :    4408100 :   exp = build_vl_exp (CALL_EXPR, gimple_call_num_args (stmt) + 3);
    2633                 :            : 
    2634                 :    4408100 :   CALL_EXPR_FN (exp) = gimple_call_fn (stmt);
    2635                 :    4408100 :   builtin_p = decl && fndecl_built_in_p (decl);
    2636                 :            : 
    2637                 :            :   /* If this is not a builtin function, the function type through which the
    2638                 :            :      call is made may be different from the type of the function.  */
    2639                 :    3161980 :   if (!builtin_p)
    2640                 :    6323950 :     CALL_EXPR_FN (exp)
    2641                 :    9485920 :       = fold_convert (build_pointer_type (gimple_call_fntype (stmt)),
    2642                 :            :                       CALL_EXPR_FN (exp));
    2643                 :            : 
    2644                 :    4408100 :   TREE_TYPE (exp) = gimple_call_return_type (stmt);
    2645                 :    4408100 :   CALL_EXPR_STATIC_CHAIN (exp) = gimple_call_chain (stmt);
    2646                 :            : 
    2647                 :   12652200 :   for (i = 0; i < gimple_call_num_args (stmt); i++)
    2648                 :            :     {
    2649                 :    8244080 :       tree arg = gimple_call_arg (stmt, i);
    2650                 :    8244080 :       gimple *def;
    2651                 :            :       /* TER addresses into arguments of builtin functions so we have a
    2652                 :            :          chance to infer more correct alignment information.  See PR39954.  */
    2653                 :    8244080 :       if (builtin_p
    2654                 :    2481040 :           && TREE_CODE (arg) == SSA_NAME
    2655                 :     777346 :           && (def = get_gimple_for_ssa_name (arg))
    2656                 :    8478680 :           && gimple_assign_rhs_code (def) == ADDR_EXPR)
    2657                 :      14899 :         arg = gimple_assign_rhs1 (def);
    2658                 :    8244080 :       CALL_EXPR_ARG (exp, i) = arg;
    2659                 :            :     }
    2660                 :            : 
    2661                 :    4408100 :   if (gimple_has_side_effects (stmt))
    2662                 :    4074370 :     TREE_SIDE_EFFECTS (exp) = 1;
    2663                 :            : 
    2664                 :    4408100 :   if (gimple_call_nothrow_p (stmt))
    2665                 :    1714280 :     TREE_NOTHROW (exp) = 1;
    2666                 :            : 
    2667                 :    4408100 :   if (gimple_no_warning_p (stmt))
    2668                 :       9526 :     TREE_NO_WARNING (exp) = 1;
    2669                 :            : 
    2670                 :    4408100 :   CALL_EXPR_TAILCALL (exp) = gimple_call_tail_p (stmt);
    2671                 :    4408100 :   CALL_EXPR_MUST_TAIL_CALL (exp) = gimple_call_must_tail_p (stmt);
    2672                 :    4408100 :   CALL_EXPR_RETURN_SLOT_OPT (exp) = gimple_call_return_slot_opt_p (stmt);
    2673                 :    4408100 :   if (decl
    2674                 :    4263060 :       && fndecl_built_in_p (decl, BUILT_IN_NORMAL)
    2675                 :    5509290 :       && ALLOCA_FUNCTION_CODE_P (DECL_FUNCTION_CODE (decl)))
    2676                 :      11473 :     CALL_ALLOCA_FOR_VAR_P (exp) = gimple_call_alloca_for_var_p (stmt);
    2677                 :            :   else
    2678                 :    4396630 :     CALL_FROM_THUNK_P (exp) = gimple_call_from_thunk_p (stmt);
    2679                 :    4408100 :   CALL_EXPR_VA_ARG_PACK (exp) = gimple_call_va_arg_pack_p (stmt);
    2680                 :    4408100 :   CALL_EXPR_BY_DESCRIPTOR (exp) = gimple_call_by_descriptor_p (stmt);
    2681                 :    4408100 :   SET_EXPR_LOCATION (exp, gimple_location (stmt));
    2682                 :            : 
    2683                 :            :   /* Ensure RTL is created for debug args.  */
    2684                 :    8671160 :   if (decl && DECL_HAS_DEBUG_ARGS_P (decl))
    2685                 :            :     {
    2686                 :      34761 :       vec<tree, va_gc> **debug_args = decl_debug_args_lookup (decl);
    2687                 :      34761 :       unsigned int ix;
    2688                 :      34761 :       tree dtemp;
    2689                 :            : 
    2690                 :      34761 :       if (debug_args)
    2691                 :      74588 :         for (ix = 1; (*debug_args)->iterate (ix, &dtemp); ix += 2)
    2692                 :            :           {
    2693                 :      39827 :             gcc_assert (TREE_CODE (dtemp) == DEBUG_EXPR_DECL);
    2694                 :      39827 :             expand_debug_expr (dtemp);
    2695                 :            :           }
    2696                 :            :     }
    2697                 :            : 
    2698                 :    4408100 :   rtx_insn *before_call = get_last_insn ();
    2699                 :    4408100 :   lhs = gimple_call_lhs (stmt);
    2700                 :    4408100 :   if (lhs)
    2701                 :    1573790 :     expand_assignment (lhs, exp, false);
    2702                 :            :   else
    2703                 :    2834320 :     expand_expr (exp, const0_rtx, VOIDmode, EXPAND_NORMAL);
    2704                 :            : 
    2705                 :            :   /* If the gimple call is an indirect call and has 'nocf_check'
    2706                 :            :      attribute find a generated CALL insn to mark it as no
    2707                 :            :      control-flow verification is needed.  */
    2708                 :    4408100 :   if (gimple_call_nocf_check_p (stmt)
    2709                 :    4408130 :       && !gimple_call_fndecl (stmt))
    2710                 :            :     {
    2711                 :         21 :       rtx_insn *last = get_last_insn ();
    2712                 :         36 :       while (!CALL_P (last)
    2713                 :         36 :              && last != before_call)
    2714                 :         15 :         last = PREV_INSN (last);
    2715                 :            : 
    2716                 :         21 :       if (last != before_call)
    2717                 :         21 :         add_reg_note (last, REG_CALL_NOCF_CHECK, const0_rtx);
    2718                 :            :     }
    2719                 :            : 
    2720                 :    4408100 :   mark_transaction_restart_calls (stmt);
    2721                 :            : }
    2722                 :            : 
    2723                 :            : 
    2724                 :            : /* Generate RTL for an asm statement (explicit assembler code).
    2725                 :            :    STRING is a STRING_CST node containing the assembler code text,
    2726                 :            :    or an ADDR_EXPR containing a STRING_CST.  VOL nonzero means the
    2727                 :            :    insn is volatile; don't optimize it.  */
    2728                 :            : 
    2729                 :            : static void
    2730                 :       2228 : expand_asm_loc (tree string, int vol, location_t locus)
    2731                 :            : {
    2732                 :       2228 :   rtx body;
    2733                 :            : 
    2734                 :       2228 :   body = gen_rtx_ASM_INPUT_loc (VOIDmode,
    2735                 :            :                                 ggc_strdup (TREE_STRING_POINTER (string)),
    2736                 :            :                                 locus);
    2737                 :            : 
    2738                 :       2228 :   MEM_VOLATILE_P (body) = vol;
    2739                 :            : 
    2740                 :            :   /* Non-empty basic ASM implicitly clobbers memory.  */
    2741                 :       2228 :   if (TREE_STRING_LENGTH (string) != 0)
    2742                 :            :     {
    2743                 :        484 :       rtx asm_op, clob;
    2744                 :        484 :       unsigned i, nclobbers;
    2745                 :        968 :       auto_vec<rtx> input_rvec, output_rvec;
    2746                 :        484 :       auto_vec<const char *> constraints;
    2747                 :        968 :       auto_vec<rtx> clobber_rvec;
    2748                 :            :       HARD_REG_SET clobbered_regs;
    2749                 :       1452 :       CLEAR_HARD_REG_SET (clobbered_regs);
    2750                 :            : 
    2751                 :        484 :       clob = gen_rtx_MEM (BLKmode, gen_rtx_SCRATCH (VOIDmode));
    2752                 :        484 :       clobber_rvec.safe_push (clob);
    2753                 :            : 
    2754                 :        484 :       if (targetm.md_asm_adjust)
    2755                 :        484 :         targetm.md_asm_adjust (output_rvec, input_rvec,
    2756                 :            :                                constraints, clobber_rvec,
    2757                 :            :                                clobbered_regs);
    2758                 :            : 
    2759                 :        484 :       asm_op = body;
    2760                 :        484 :       nclobbers = clobber_rvec.length ();
    2761                 :        484 :       body = gen_rtx_PARALLEL (VOIDmode, rtvec_alloc (1 + nclobbers));
    2762                 :            : 
    2763                 :        484 :       XVECEXP (body, 0, 0) = asm_op;
    2764                 :       1452 :       for (i = 0; i < nclobbers; i++)
    2765                 :        968 :         XVECEXP (body, 0, i + 1) = gen_rtx_CLOBBER (VOIDmode, clobber_rvec[i]);
    2766                 :            :     }
    2767                 :            : 
    2768                 :       2228 :   emit_insn (body);
    2769                 :       2228 : }
    2770                 :            : 
    2771                 :            : /* Return the number of times character C occurs in string S.  */
    2772                 :            : static int
    2773                 :     115500 : n_occurrences (int c, const char *s)
    2774                 :            : {
    2775                 :          0 :   int n = 0;
    2776                 :     306021 :   while (*s)
    2777                 :     190521 :     n += (*s++ == c);
    2778                 :     115500 :   return n;
    2779                 :            : }
    2780                 :            : 
    2781                 :            : /* A subroutine of expand_asm_operands.  Check that all operands have
    2782                 :            :    the same number of alternatives.  Return true if so.  */
    2783                 :            : 
    2784                 :            : static bool
    2785                 :      87584 : check_operand_nalternatives (const vec<const char *> &constraints)
    2786                 :            : {
    2787                 :      87584 :   unsigned len = constraints.length();
    2788                 :      87584 :   if (len > 0)
    2789                 :            :     {
    2790                 :      34842 :       int nalternatives = n_occurrences (',', constraints[0]);
    2791                 :            : 
    2792                 :      34842 :       if (nalternatives + 1 > MAX_RECOG_ALTERNATIVES)
    2793                 :            :         {
    2794                 :          0 :           error ("too many alternatives in %<asm%>");
    2795                 :          0 :           return false;
    2796                 :            :         }
    2797                 :            : 
    2798                 :     115500 :       for (unsigned i = 1; i < len; ++i)
    2799                 :     161316 :         if (n_occurrences (',', constraints[i]) != nalternatives)
    2800                 :            :           {
    2801                 :          0 :             error ("operand constraints for %<asm%> differ "
    2802                 :            :                    "in number of alternatives");
    2803                 :          0 :             return false;
    2804                 :            :           }
    2805                 :            :     }
    2806                 :            :   return true;
    2807                 :            : }
    2808                 :            : 
    2809                 :            : /* Check for overlap between registers marked in CLOBBERED_REGS and
    2810                 :            :    anything inappropriate in T.  Emit error and return the register
    2811                 :            :    variable definition for error, NULL_TREE for ok.  */
    2812                 :            : 
    2813                 :            : static bool
    2814                 :     115500 : tree_conflicts_with_clobbers_p (tree t, HARD_REG_SET *clobbered_regs)
    2815                 :            : {
    2816                 :            :   /* Conflicts between asm-declared register variables and the clobber
    2817                 :            :      list are not allowed.  */
    2818                 :     115500 :   tree overlap = tree_overlaps_hard_reg_set (t, clobbered_regs);
    2819                 :            : 
    2820                 :     115500 :   if (overlap)
    2821                 :            :     {
    2822                 :         21 :       error ("%<asm%> specifier for variable %qE conflicts with "
    2823                 :            :              "%<asm%> clobber list",
    2824                 :         21 :              DECL_NAME (overlap));
    2825                 :            : 
    2826                 :            :       /* Reset registerness to stop multiple errors emitted for a single
    2827                 :            :          variable.  */
    2828                 :         21 :       DECL_REGISTER (overlap) = 0;
    2829                 :         21 :       return true;
    2830                 :            :     }
    2831                 :            : 
    2832                 :            :   return false;
    2833                 :            : }
    2834                 :            : 
    2835                 :            : /* Check that the given REGNO spanning NREGS is a valid
    2836                 :            :    asm clobber operand.  Some HW registers cannot be
    2837                 :            :    saved/restored, hence they should not be clobbered by
    2838                 :            :    asm statements.  */
    2839                 :            : static bool
    2840                 :      39202 : asm_clobber_reg_is_valid (int regno, int nregs, const char *regname)
    2841                 :            : {
    2842                 :      39202 :   bool is_valid = true;
    2843                 :      39202 :   HARD_REG_SET regset;
    2844                 :            : 
    2845                 :      39202 :   CLEAR_HARD_REG_SET (regset);
    2846                 :            : 
    2847                 :      39202 :   add_range_to_hard_reg_set (&regset, regno, nregs);
    2848                 :            : 
    2849                 :            :   /* Clobbering the PIC register is an error.  */
    2850                 :      39202 :   if (PIC_OFFSET_TABLE_REGNUM != INVALID_REGNUM
    2851                 :          0 :       && overlaps_hard_reg_set_p (regset, Pmode, PIC_OFFSET_TABLE_REGNUM))
    2852                 :            :     {
    2853                 :            :       /* ??? Diagnose during gimplification?  */
    2854                 :          0 :       error ("PIC register clobbered by %qs in %<asm%>", regname);
    2855                 :          0 :       is_valid = false;
    2856                 :            :     }
    2857                 :      39202 :   else if (!in_hard_reg_set_p
    2858                 :      39202 :            (accessible_reg_set, reg_raw_mode[regno], regno))
    2859                 :            :     {
    2860                 :            :       /* ??? Diagnose during gimplification?  */
    2861                 :          0 :       error ("the register %qs cannot be clobbered in %<asm%>"
    2862                 :            :              " for the current target", regname);
    2863                 :          0 :       is_valid = false;
    2864                 :            :     }
    2865                 :            : 
    2866                 :            :   /* Clobbering the stack pointer register is deprecated.  GCC expects
    2867                 :            :      the value of the stack pointer after an asm statement to be the same
    2868                 :            :      as it was before, so no asm can validly clobber the stack pointer in
    2869                 :            :      the usual sense.  Adding the stack pointer to the clobber list has
    2870                 :            :      traditionally had some undocumented and somewhat obscure side-effects.  */
    2871                 :      39202 :   if (overlaps_hard_reg_set_p (regset, Pmode, STACK_POINTER_REGNUM)
    2872                 :      39202 :       && warning (OPT_Wdeprecated, "listing the stack pointer register"
    2873                 :            :                   " %qs in a clobber list is deprecated", regname))
    2874                 :          1 :     inform (input_location, "the value of the stack pointer after an %<asm%>"
    2875                 :            :             " statement must be the same as it was before the statement");
    2876                 :            : 
    2877                 :      39202 :   return is_valid;
    2878                 :            : }
    2879                 :            : 
    2880                 :            : /* Generate RTL for an asm statement with arguments.
    2881                 :            :    STRING is the instruction template.
    2882                 :            :    OUTPUTS is a list of output arguments (lvalues); INPUTS a list of inputs.
    2883                 :            :    Each output or input has an expression in the TREE_VALUE and
    2884                 :            :    a tree list in TREE_PURPOSE which in turn contains a constraint
    2885                 :            :    name in TREE_VALUE (or NULL_TREE) and a constraint string
    2886                 :            :    in TREE_PURPOSE.
    2887                 :            :    CLOBBERS is a list of STRING_CST nodes each naming a hard register
    2888                 :            :    that is clobbered by this insn.
    2889                 :            : 
    2890                 :            :    LABELS is a list of labels, and if LABELS is non-NULL, FALLTHRU_BB
    2891                 :            :    should be the fallthru basic block of the asm goto.
    2892                 :            : 
    2893                 :            :    Not all kinds of lvalue that may appear in OUTPUTS can be stored directly.
    2894                 :            :    Some elements of OUTPUTS may be replaced with trees representing temporary
    2895                 :            :    values.  The caller should copy those temporary values to the originally
    2896                 :            :    specified lvalues.
    2897                 :            : 
    2898                 :            :    VOL nonzero means the insn is volatile; don't optimize it.  */
    2899                 :            : 
    2900                 :            : static void
    2901                 :      89817 : expand_asm_stmt (gasm *stmt)
    2902                 :            : {
    2903                 :      89817 :   class save_input_location
    2904                 :            :   {
    2905                 :            :     location_t old;
    2906                 :            : 
    2907                 :            :   public:
    2908                 :      87589 :     explicit save_input_location(location_t where)
    2909                 :      87589 :     {
    2910                 :      87589 :       old = input_location;
    2911                 :      87589 :       input_location = where;
    2912                 :            :     }
    2913                 :            : 
    2914                 :      87589 :     ~save_input_location()
    2915                 :      87589 :     {
    2916                 :      87589 :       input_location = old;
    2917                 :          5 :     }
    2918                 :            :   };
    2919                 :            : 
    2920                 :      89817 :   location_t locus = gimple_location (stmt);
    2921                 :            : 
    2922                 :      89817 :   if (gimple_asm_input_p (stmt))
    2923                 :            :     {
    2924                 :       2228 :       const char *s = gimple_asm_string (stmt);
    2925                 :       2228 :       tree string = build_string (strlen (s), s);
    2926                 :       2228 :       expand_asm_loc (string, gimple_asm_volatile_p (stmt), locus);
    2927                 :       2228 :       return;
    2928                 :            :     }
    2929                 :            : 
    2930                 :            :   /* There are some legacy diagnostics in here, and also avoids a
    2931                 :            :      sixth parameger to targetm.md_asm_adjust.  */
    2932                 :     175173 :   save_input_location s_i_l(locus);
    2933                 :            : 
    2934                 :      87589 :   unsigned noutputs = gimple_asm_noutputs (stmt);
    2935                 :      87589 :   unsigned ninputs = gimple_asm_ninputs (stmt);
    2936                 :      87589 :   unsigned nlabels = gimple_asm_nlabels (stmt);
    2937                 :      87589 :   unsigned i;
    2938                 :            : 
    2939                 :            :   /* ??? Diagnose during gimplification?  */
    2940                 :      87589 :   if (ninputs + noutputs + nlabels > MAX_RECOG_OPERANDS)
    2941                 :            :     {
    2942                 :          5 :       error ("more than %d operands in %<asm%>", MAX_RECOG_OPERANDS);
    2943                 :       2238 :       return;
    2944                 :            :     }
    2945                 :            : 
    2946                 :     175168 :   auto_vec<tree, MAX_RECOG_OPERANDS> output_tvec;
    2947                 :      87584 :   auto_vec<tree, MAX_RECOG_OPERANDS> input_tvec;
    2948                 :      87584 :   auto_vec<const char *, MAX_RECOG_OPERANDS> constraints;
    2949                 :            : 
    2950                 :            :   /* Copy the gimple vectors into new vectors that we can manipulate.  */
    2951                 :            : 
    2952                 :      87584 :   output_tvec.safe_grow (noutputs);
    2953                 :      87584 :   input_tvec.safe_grow (ninputs);
    2954                 :      87584 :   constraints.safe_grow (noutputs + ninputs);
    2955                 :            : 
    2956                 :     158584 :   for (i = 0; i < noutputs; ++i)
    2957                 :            :     {
    2958                 :      71000 :       tree t = gimple_asm_output_op (stmt, i);
    2959                 :      71000 :       output_tvec[i] = TREE_VALUE (t);
    2960                 :      71000 :       constraints[i] = TREE_STRING_POINTER (TREE_VALUE (TREE_PURPOSE (t)));
    2961                 :            :     }
    2962                 :     132084 :   for (i = 0; i < ninputs; i++)
    2963                 :            :     {
    2964                 :      44500 :       tree t = gimple_asm_input_op (stmt, i);
    2965                 :      44500 :       input_tvec[i] = TREE_VALUE (t);
    2966                 :      44500 :       constraints[i + noutputs]
    2967                 :      44500 :         = TREE_STRING_POINTER (TREE_VALUE (TREE_PURPOSE (t)));
    2968                 :            :     }
    2969                 :            : 
    2970                 :            :   /* ??? Diagnose during gimplification?  */
    2971                 :      87584 :   if (! check_operand_nalternatives (constraints))
    2972                 :          0 :     return;
    2973                 :            : 
    2974                 :            :   /* Count the number of meaningful clobbered registers, ignoring what
    2975                 :            :      we would ignore later.  */
    2976                 :     175168 :   auto_vec<rtx> clobber_rvec;
    2977                 :            :   HARD_REG_SET clobbered_regs;
    2978                 :     262752 :   CLEAR_HARD_REG_SET (clobbered_regs);
    2979                 :            : 
    2980                 :      87584 :   if (unsigned n = gimple_asm_nclobbers (stmt))
    2981                 :            :     {
    2982                 :      57387 :       clobber_rvec.reserve (n);
    2983                 :     140380 :       for (i = 0; i < n; i++)
    2984                 :            :         {
    2985                 :      82993 :           tree t = gimple_asm_clobber_op (stmt, i);
    2986                 :      82993 :           const char *regname = TREE_STRING_POINTER (TREE_VALUE (t));
    2987                 :      82993 :           int nregs, j;
    2988                 :            : 
    2989                 :      82993 :           j = decode_reg_name_and_count (regname, &nregs);
    2990                 :      82993 :           if (j < 0)
    2991                 :            :             {
    2992                 :      43791 :               if (j == -2)
    2993                 :            :                 {
    2994                 :            :                   /* ??? Diagnose during gimplification?  */
    2995                 :          7 :                   error ("unknown register name %qs in %<asm%>", regname);
    2996                 :            :                 }
    2997                 :      43784 :               else if (j == -4)
    2998                 :            :                 {
    2999                 :      28037 :                   rtx x = gen_rtx_MEM (BLKmode, gen_rtx_SCRATCH (VOIDmode));
    3000                 :      28037 :                   clobber_rvec.safe_push (x);
    3001                 :            :                 }
    3002                 :            :               else
    3003                 :            :                 {
    3004                 :            :                   /* Otherwise we should have -1 == empty string
    3005                 :            :                      or -3 == cc, which is not a register.  */
    3006                 :      15747 :                   gcc_assert (j == -1 || j == -3);
    3007                 :            :                 }
    3008                 :            :             }
    3009                 :            :           else
    3010                 :      78404 :             for (int reg = j; reg < j + nregs; reg++)
    3011                 :            :               {
    3012                 :      39202 :                 if (!asm_clobber_reg_is_valid (reg, nregs, regname))
    3013                 :          0 :                   return;
    3014                 :            : 
    3015                 :      39202 :                 SET_HARD_REG_BIT (clobbered_regs, reg);
    3016                 :      39202 :                 rtx x = gen_rtx_REG (reg_raw_mode[reg], reg);
    3017                 :      39202 :                 clobber_rvec.safe_push (x);
    3018                 :            :               }
    3019                 :            :         }
    3020                 :            :     }
    3021                 :            : 
    3022                 :            :   /* First pass over inputs and outputs checks validity and sets
    3023                 :            :      mark_addressable if needed.  */
    3024                 :            :   /* ??? Diagnose during gimplification?  */
    3025                 :            : 
    3026                 :     158584 :   for (i = 0; i < noutputs; ++i)
    3027                 :            :     {
    3028                 :      71000 :       tree val = output_tvec[i];
    3029                 :      71000 :       tree type = TREE_TYPE (val);
    3030                 :      71000 :       const char *constraint;
    3031                 :      71000 :       bool is_inout;
    3032                 :      71000 :       bool allows_reg;
    3033                 :      71000 :       bool allows_mem;
    3034                 :            : 
    3035                 :            :       /* Try to parse the output constraint.  If that fails, there's
    3036                 :            :          no point in going further.  */
    3037                 :      71000 :       constraint = constraints[i];
    3038                 :      71000 :       if (!parse_output_constraint (&constraint, i, ninputs, noutputs,
    3039                 :            :                                     &allows_mem, &allows_reg, &is_inout))
    3040                 :          0 :         return;
    3041                 :            : 
    3042                 :            :       /* If the output is a hard register, verify it doesn't conflict with
    3043                 :            :          any other operand's possible hard register use.  */
    3044                 :      71000 :       if (DECL_P (val)
    3045                 :       1956 :           && REG_P (DECL_RTL (val))
    3046                 :      71643 :           && HARD_REGISTER_P (DECL_RTL (val)))
    3047                 :            :         {
    3048                 :        626 :           unsigned j, output_hregno = REGNO (DECL_RTL (val));
    3049                 :        626 :           bool early_clobber_p = strchr (constraints[i], '&') != NULL;
    3050                 :        626 :           unsigned long match;
    3051                 :            : 
    3052                 :            :           /* Verify the other outputs do not use the same hard register.  */
    3053                 :        670 :           for (j = i + 1; j < noutputs; ++j)
    3054                 :         44 :             if (DECL_P (output_tvec[j])
    3055                 :         42 :                 && REG_P (DECL_RTL (output_tvec[j]))
    3056                 :         42 :                 && HARD_REGISTER_P (DECL_RTL (output_tvec[j]))
    3057                 :         86 :                 && output_hregno == REGNO (DECL_RTL (output_tvec[j])))
    3058                 :          1 :               error ("invalid hard register usage between output operands");
    3059                 :            : 
    3060                 :            :           /* Verify matching constraint operands use the same hard register
    3061                 :            :              and that the non-matching constraint operands do not use the same
    3062                 :            :              hard register if the output is an early clobber operand.  */
    3063                 :       1325 :           for (j = 0; j < ninputs; ++j)
    3064                 :        699 :             if (DECL_P (input_tvec[j])
    3065                 :        655 :                 && REG_P (DECL_RTL (input_tvec[j]))
    3066                 :       1354 :                 && HARD_REGISTER_P (DECL_RTL (input_tvec[j])))
    3067                 :            :               {
    3068                 :        655 :                 unsigned input_hregno = REGNO (DECL_RTL (input_tvec[j]));
    3069                 :        655 :                 switch (*constraints[j + noutputs])
    3070                 :            :                   {
    3071                 :        643 :                   case '0':  case '1':  case '2':  case '3':  case '4':
    3072                 :        643 :                   case '5':  case '6':  case '7':  case '8':  case '9':
    3073                 :        643 :                     match = strtoul (constraints[j + noutputs], NULL, 10);
    3074                 :        643 :                     break;
    3075                 :            :                   default:
    3076                 :            :                     match = ULONG_MAX;
    3077                 :            :                     break;
    3078                 :            :                   }
    3079                 :        655 :                 if (i == match
    3080                 :        564 :                     && output_hregno != input_hregno)
    3081                 :          1 :                   error ("invalid hard register usage between output operand "
    3082                 :            :                          "and matching constraint operand");
    3083                 :        654 :                 else if (early_clobber_p
    3084                 :          6 :                          && i != match
    3085                 :          4 :                          && output_hregno == input_hregno)
    3086                 :          2 :                   error ("invalid hard register usage between earlyclobber "
    3087                 :            :                          "operand and input operand");
    3088                 :            :               }
    3089                 :            :         }
    3090                 :            : 
    3091                 :      71000 :       if (! allows_reg
    3092                 :      71000 :           && (allows_mem
    3093                 :          0 :               || is_inout
    3094                 :          0 :               || (DECL_P (val)
    3095                 :          0 :                   && REG_P (DECL_RTL (val))
    3096                 :          0 :                   && GET_MODE (DECL_RTL (val)) != TYPE_MODE (type))))
    3097                 :        831 :         mark_addressable (val);
    3098                 :            :     }
    3099                 :            : 
    3100                 :     132084 :   for (i = 0; i < ninputs; ++i)
    3101                 :            :     {
    3102                 :      44500 :       bool allows_reg, allows_mem;
    3103                 :      44500 :       const char *constraint;
    3104                 :            : 
    3105                 :      44500 :       constraint = constraints[i + noutputs];
    3106                 :      44500 :       if (! parse_input_constraint (&constraint, i, ninputs, noutputs, 0,
    3107                 :      44500 :                                     constraints.address (),
    3108                 :            :                                     &allows_mem, &allows_reg))
    3109                 :          0 :         return;
    3110                 :            : 
    3111                 :      44500 :       if (! allows_reg && allows_mem)
    3112                 :       1607 :         mark_addressable (input_tvec[i]);
    3113                 :            :     }
    3114                 :            : 
    3115                 :            :   /* Second pass evaluates arguments.  */
    3116                 :            : 
    3117                 :            :   /* Make sure stack is consistent for asm goto.  */
    3118                 :      87584 :   if (nlabels > 0)
    3119                 :        250 :     do_pending_stack_adjust ();
    3120                 :      87584 :   int old_generating_concat_p = generating_concat_p;
    3121                 :            : 
    3122                 :            :   /* Vector of RTX's of evaluated output operands.  */
    3123                 :     175168 :   auto_vec<rtx, MAX_RECOG_OPERANDS> output_rvec;
    3124                 :      87584 :   auto_vec<int, MAX_RECOG_OPERANDS> inout_opnum;
    3125                 :      87584 :   rtx_insn *after_rtl_seq = NULL, *after_rtl_end = NULL;
    3126                 :            : 
    3127                 :      87584 :   output_rvec.safe_grow (noutputs);
    3128                 :            : 
    3129                 :     158584 :   for (i = 0; i < noutputs; ++i)
    3130                 :            :     {
    3131                 :      71000 :       tree val = output_tvec[i];
    3132                 :      71000 :       tree type = TREE_TYPE (val);
    3133                 :      71000 :       bool is_inout, allows_reg, allows_mem, ok;
    3134                 :      71000 :       rtx op;
    3135                 :            : 
    3136                 :      71000 :       ok = parse_output_constraint (&constraints[i], i, ninputs,
    3137                 :            :                                     noutputs, &allows_mem, &allows_reg,
    3138                 :            :                                     &is_inout);
    3139                 :      71000 :       gcc_assert (ok);
    3140                 :            : 
    3141                 :            :       /* If an output operand is not a decl or indirect ref and our constraint
    3142                 :            :          allows a register, make a temporary to act as an intermediate.
    3143                 :            :          Make the asm insn write into that, then we will copy it to
    3144                 :            :          the real output operand.  Likewise for promoted variables.  */
    3145                 :            : 
    3146                 :      71000 :       generating_concat_p = 0;
    3147                 :            : 
    3148                 :          0 :       if ((TREE_CODE (val) == INDIRECT_REF && allows_mem)
    3149                 :      71000 :           || (DECL_P (val)
    3150                 :       3207 :               && (allows_mem || REG_P (DECL_RTL (val)))
    3151                 :       1991 :               && ! (REG_P (DECL_RTL (val))
    3152                 :        643 :                     && GET_MODE (DECL_RTL (val)) != TYPE_MODE (type)))
    3153                 :      69652 :           || ! allows_reg
    3154                 :      69345 :           || is_inout
    3155                 :     140345 :           || TREE_ADDRESSABLE (type))
    3156                 :            :         {
    3157                 :       1659 :           op = expand_expr (val, NULL_RTX, VOIDmode,
    3158                 :            :                             !allows_reg ? EXPAND_MEMORY : EXPAND_WRITE);
    3159                 :       1659 :           if (MEM_P (op))
    3160                 :       1016 :             op = validize_mem (op);
    3161                 :            : 
    3162                 :       1659 :           if (! allows_reg && !MEM_P (op))
    3163                 :          0 :             error ("output number %d not directly addressable", i);
    3164                 :       1659 :           if ((! allows_mem && MEM_P (op) && GET_MODE (op) != BLKmode)
    3165                 :       1659 :               || GET_CODE (op) == CONCAT)
    3166                 :            :             {
    3167                 :          0 :               rtx old_op = op;
    3168                 :          0 :               op = gen_reg_rtx (GET_MODE (op));
    3169                 :            : 
    3170                 :          0 :               generating_concat_p = old_generating_concat_p;
    3171                 :            : 
    3172                 :          0 :               if (is_inout)
    3173                 :          0 :                 emit_move_insn (op, old_op);
    3174                 :            : 
    3175                 :          0 :               push_to_sequence2 (after_rtl_seq, after_rtl_end);
    3176                 :          0 :               emit_move_insn (old_op, op);
    3177                 :          0 :               after_rtl_seq = get_insns ();
    3178                 :          0 :               after_rtl_end = get_last_insn ();
    3179                 :          0 :               end_sequence ();
    3180                 :            :             }
    3181                 :            :         }
    3182                 :            :       else
    3183                 :            :         {
    3184                 :      69341 :           op = assign_temp (type, 0, 1);
    3185                 :      69341 :           op = validize_mem (op);
    3186                 :      69341 :           if (!MEM_P (op) && TREE_CODE (val) == SSA_NAME)
    3187                 :     133894 :             set_reg_attrs_for_decl_rtl (SSA_NAME_VAR (val), op);
    3188                 :            : 
    3189                 :      69341 :           generating_concat_p = old_generating_concat_p;
    3190                 :            : 
    3191                 :      69341 :           push_to_sequence2 (after_rtl_seq, after_rtl_end);
    3192                 :      69341 :           expand_assignment (val, make_tree (type, op), false);
    3193                 :      69341 :           after_rtl_seq = get_insns ();
    3194                 :      69341 :           after_rtl_end = get_last_insn ();
    3195                 :      69341 :           end_sequence ();
    3196                 :            :         }
    3197                 :      71000 :       output_rvec[i] = op;
    3198                 :            : 
    3199                 :      71000 :       if (is_inout)
    3200                 :          0 :         inout_opnum.safe_push (i);
    3201                 :            :     }
    3202                 :            : 
    3203                 :     175168 :   auto_vec<rtx, MAX_RECOG_OPERANDS> input_rvec;
    3204                 :      87584 :   auto_vec<machine_mode, MAX_RECOG_OPERANDS> input_mode;
    3205                 :            : 
    3206                 :      87584 :   input_rvec.safe_grow (ninputs);
    3207                 :      87584 :   input_mode.safe_grow (ninputs);
    3208                 :            : 
    3209                 :      87584 :   generating_concat_p = 0;
    3210                 :            : 
    3211                 :     132084 :   for (i = 0; i < ninputs; ++i)
    3212                 :            :     {
    3213                 :      44500 :       tree val = input_tvec[i];
    3214                 :      44500 :       tree type = TREE_TYPE (val);
    3215                 :      44500 :       bool allows_reg, allows_mem, ok;
    3216                 :      44500 :       const char *constraint;
    3217                 :      44500 :       rtx op;
    3218                 :            : 
    3219                 :      44500 :       constraint = constraints[i + noutputs];
    3220                 :      89000 :       ok = parse_input_constraint (&constraint, i, ninputs, noutputs, 0,
    3221                 :      44500 :                                    constraints.address (),
    3222                 :            :                                    &allows_mem, &allows_reg);
    3223                 :      44500 :       gcc_assert (ok);
    3224                 :            : 
    3225                 :            :       /* EXPAND_INITIALIZER will not generate code for valid initializer
    3226                 :            :          constants, but will still generate code for other types of operand.
    3227                 :            :          This is the behavior we want for constant constraints.  */
    3228                 :      44500 :       op = expand_expr (val, NULL_RTX, VOIDmode,
    3229                 :            :                         allows_reg ? EXPAND_NORMAL
    3230                 :       2013 :                         : allows_mem ? EXPAND_MEMORY
    3231                 :            :                         : EXPAND_INITIALIZER);
    3232                 :            : 
    3233                 :            :       /* Never pass a CONCAT to an ASM.  */
    3234                 :      44500 :       if (GET_CODE (op) == CONCAT)
    3235                 :          2 :         op = force_reg (GET_MODE (op), op);
    3236                 :      44498 :       else if (MEM_P (op))
    3237                 :       4892 :         op = validize_mem (op);
    3238                 :            : 
    3239                 :      44500 :       if (asm_operand_ok (op, constraint, NULL) <= 0)
    3240                 :            :         {
    3241                 :      46579 :           if (allows_reg && TYPE_MODE (type) != BLKmode)
    3242                 :      23126 :             op = force_reg (TYPE_MODE (type), op);
    3243                 :        326 :           else if (!allows_mem)
    3244                 :         18 :             warning (0, "%<asm%> operand %d probably does not match "
    3245                 :            :                      "constraints",
    3246                 :            :                      i + noutputs);
    3247                 :        308 :           else if (MEM_P (op))
    3248                 :            :             {
    3249                 :            :               /* We won't recognize either volatile memory or memory
    3250                 :            :                  with a queued address as available a memory_operand
    3251                 :            :                  at this point.  Ignore it: clearly this *is* a memory.  */
    3252                 :            :             }
    3253                 :            :           else
    3254                 :          0 :             gcc_unreachable ();
    3255                 :            :         }
    3256                 :      44500 :       input_rvec[i] = op;
    3257                 :      44500 :       input_mode[i] = TYPE_MODE (type);
    3258                 :            :     }
    3259                 :            : 
    3260                 :            :   /* For in-out operands, copy output rtx to input rtx.  */
    3261                 :      87584 :   unsigned ninout = inout_opnum.length();
    3262                 :      87584 :   for (i = 0; i < ninout; i++)
    3263                 :            :     {
    3264                 :          0 :       int j = inout_opnum[i];
    3265                 :          0 :       rtx o = output_rvec[j];
    3266                 :            : 
    3267                 :          0 :       input_rvec.safe_push (o);
    3268                 :          0 :       input_mode.safe_push (GET_MODE (o));
    3269                 :            : 
    3270                 :          0 :       char buffer[16];
    3271                 :          0 :       sprintf (buffer, "%d", j);
    3272                 :          0 :       constraints.safe_push (ggc_strdup (buffer));
    3273                 :            :     }
    3274                 :      87584 :   ninputs += ninout;
    3275                 :            : 
    3276                 :            :   /* Sometimes we wish to automatically clobber registers across an asm.
    3277                 :            :      Case in point is when the i386 backend moved from cc0 to a hard reg --
    3278                 :            :      maintaining source-level compatibility means automatically clobbering
    3279                 :            :      the flags register.  */
    3280                 :      87584 :   rtx_insn *after_md_seq = NULL;
    3281                 :      87584 :   if (targetm.md_asm_adjust)
    3282                 :      87584 :     after_md_seq = targetm.md_asm_adjust (output_rvec, input_rvec,
    3283                 :            :                                           constraints, clobber_rvec,
    3284                 :            :                                           clobbered_regs);
    3285                 :            : 
    3286                 :            :   /* Do not allow the hook to change the output and input count,
    3287                 :            :      lest it mess up the operand numbering.  */
    3288                 :     175168 :   gcc_assert (output_rvec.length() == noutputs);
    3289                 :     175168 :   gcc_assert (input_rvec.length() == ninputs);
    3290                 :     175168 :   gcc_assert (constraints.length() == noutputs + ninputs);
    3291                 :            : 
    3292                 :            :   /* But it certainly can adjust the clobbers.  */
    3293                 :      87584 :   unsigned nclobbers = clobber_rvec.length ();
    3294                 :            : 
    3295                 :            :   /* Third pass checks for easy conflicts.  */
    3296                 :            :   /* ??? Why are we doing this on trees instead of rtx.  */
    3297                 :            : 
    3298                 :      87584 :   bool clobber_conflict_found = 0;
    3299                 :     158584 :   for (i = 0; i < noutputs; ++i)
    3300                 :      71000 :     if (tree_conflicts_with_clobbers_p (output_tvec[i], &clobbered_regs))
    3301                 :         10 :         clobber_conflict_found = 1;
    3302                 :     132084 :   for (i = 0; i < ninputs - ninout; ++i)
    3303                 :      44500 :     if (tree_conflicts_with_clobbers_p (input_tvec[i], &clobbered_regs))
    3304                 :         11 :         clobber_conflict_found = 1;
    3305                 :            : 
    3306                 :            :   /* Make vectors for the expression-rtx, constraint strings,
    3307                 :            :      and named operands.  */
    3308                 :            : 
    3309                 :      87584 :   rtvec argvec = rtvec_alloc (ninputs);
    3310                 :      87584 :   rtvec constraintvec = rtvec_alloc (ninputs);
    3311                 :      87584 :   rtvec labelvec = rtvec_alloc (nlabels);
    3312                 :            : 
    3313                 :      87584 :   rtx body = gen_rtx_ASM_OPERANDS ((noutputs == 0 ? VOIDmode
    3314                 :            :                                     : GET_MODE (output_rvec[0])),
    3315                 :            :                                    ggc_strdup (gimple_asm_string (stmt)),
    3316                 :            :                                    "", 0, argvec, constraintvec,
    3317                 :            :                                    labelvec, locus);
    3318                 :      87584 :   MEM_VOLATILE_P (body) = gimple_asm_volatile_p (stmt);
    3319                 :            : 
    3320                 :     132084 :   for (i = 0; i < ninputs; ++i)
    3321                 :            :     {
    3322                 :      44500 :       ASM_OPERANDS_INPUT (body, i) = input_rvec[i];
    3323                 :      89000 :       ASM_OPERANDS_INPUT_CONSTRAINT_EXP (body, i)
    3324                 :      44500 :         = gen_rtx_ASM_INPUT_loc (input_mode[i],
    3325                 :            :                                  constraints[i + noutputs],
    3326                 :            :                                  locus);
    3327                 :            :     }
    3328                 :            : 
    3329                 :            :   /* Copy labels to the vector.  */
    3330                 :      87584 :   rtx_code_label *fallthru_label = NULL;
    3331                 :      87584 :   if (nlabels > 0)
    3332                 :            :     {
    3333                 :        250 :       basic_block fallthru_bb = NULL;
    3334                 :        250 :       edge fallthru = find_fallthru_edge (gimple_bb (stmt)->succs);
    3335                 :        250 :       if (fallthru)
    3336                 :        250 :         fallthru_bb = fallthru->dest;
    3337                 :            : 
    3338                 :        571 :       for (i = 0; i < nlabels; ++i)
    3339                 :            :         {
    3340                 :        321 :           tree label = TREE_VALUE (gimple_asm_label_op (stmt, i));
    3341                 :        321 :           rtx_insn *r;
    3342                 :            :           /* If asm goto has any labels in the fallthru basic block, use
    3343                 :            :              a label that we emit immediately after the asm goto.  Expansion
    3344                 :            :              may insert further instructions into the same basic block after
    3345                 :            :              asm goto and if we don't do this, insertion of instructions on
    3346                 :            :              the fallthru edge might misbehave.  See PR58670.  */
    3347                 :        321 :           if (fallthru_bb && label_to_block (cfun, label) == fallthru_bb)
    3348                 :            :             {
    3349                 :        135 :               if (fallthru_label == NULL_RTX)
    3350                 :        130 :                 fallthru_label = gen_label_rtx ();
    3351                 :            :               r = fallthru_label;
    3352                 :            :             }
    3353                 :            :           else
    3354                 :        186 :             r = label_rtx (label);
    3355                 :        321 :           ASM_OPERANDS_LABEL (body, i) = gen_rtx_LABEL_REF (Pmode, r);
    3356                 :            :         }
    3357                 :            :     }
    3358                 :            : 
    3359                 :            :   /* Now, for each output, construct an rtx
    3360                 :            :      (set OUTPUT (asm_operands INSN OUTPUTCONSTRAINT OUTPUTNUMBER
    3361                 :            :                                ARGVEC CONSTRAINTS OPNAMES))
    3362                 :            :      If there is more than one, put them inside a PARALLEL.  */
    3363                 :            : 
    3364                 :      87584 :   if (nlabels > 0 && nclobbers == 0)
    3365                 :            :     {
    3366                 :          0 :       gcc_assert (noutputs == 0);
    3367                 :          0 :       emit_jump_insn (body);
    3368                 :            :     }
    3369                 :      87584 :   else if (noutputs == 0 && nclobbers == 0)
    3370                 :            :     {
    3371                 :            :       /* No output operands: put in a raw ASM_OPERANDS rtx.  */
    3372                 :          0 :       emit_insn (body);
    3373                 :            :     }
    3374                 :      87584 :   else if (noutputs == 1 && nclobbers == 0)
    3375                 :            :     {
    3376                 :         61 :       ASM_OPERANDS_OUTPUT_CONSTRAINT (body) = constraints[0];
    3377                 :         61 :       emit_insn (gen_rtx_SET (output_rvec[0], body));
    3378                 :            :     }
    3379                 :            :   else
    3380                 :            :     {
    3381                 :      87523 :       rtx obody = body;
    3382                 :      87523 :       int num = noutputs;
    3383                 :            : 
    3384                 :      87523 :       if (num == 0)
    3385                 :      58906 :         num = 1;
    3386                 :            : 
    3387                 :      87523 :       body = gen_rtx_PARALLEL (VOIDmode, rtvec_alloc (num + nclobbers));
    3388                 :            : 
    3389                 :            :       /* For each output operand, store a SET.  */
    3390                 :     158462 :       for (i = 0; i < noutputs; ++i)
    3391                 :            :         {
    3392                 :      70939 :           rtx src, o = output_rvec[i];
    3393                 :      70939 :           if (i == 0)
    3394                 :            :             {
    3395                 :      28617 :               ASM_OPERANDS_OUTPUT_CONSTRAINT (obody) = constraints[0];
    3396                 :      28617 :               src = obody;
    3397                 :            :             }
    3398                 :            :           else
    3399                 :            :             {
    3400                 :      42322 :               src = gen_rtx_ASM_OPERANDS (GET_MODE (o),
    3401                 :            :                                           ASM_OPERANDS_TEMPLATE (obody),
    3402                 :            :                                           constraints[i], i, argvec,
    3403                 :            :                                           constraintvec, labelvec, locus);
    3404                 :      42322 :               MEM_VOLATILE_P (src) = gimple_asm_volatile_p (stmt);
    3405                 :            :             }
    3406                 :      70939 :           XVECEXP (body, 0, i) = gen_rtx_SET (o, src);
    3407                 :            :         }
    3408                 :            : 
    3409                 :            :       /* If there are no outputs (but there are some clobbers)
    3410                 :            :          store the bare ASM_OPERANDS into the PARALLEL.  */
    3411                 :      87523 :       if (i == 0)
    3412                 :      58906 :         XVECEXP (body, 0, i++) = obody;
    3413                 :            : 
    3414                 :            :       /* Store (clobber REG) for each clobbered register specified.  */
    3415                 :     242277 :       for (unsigned j = 0; j < nclobbers; ++j)
    3416                 :            :         {
    3417                 :     154754 :           rtx clobbered_reg = clobber_rvec[j];
    3418                 :            : 
    3419                 :            :           /* Do sanity check for overlap between clobbers and respectively
    3420                 :            :              input and outputs that hasn't been handled.  Such overlap
    3421                 :            :              should have been detected and reported above.  */
    3422                 :     154754 :           if (!clobber_conflict_found && REG_P (clobbered_reg))
    3423                 :            :             {
    3424                 :            :               /* We test the old body (obody) contents to avoid
    3425                 :            :                  tripping over the under-construction body.  */
    3426                 :     198082 :               for (unsigned k = 0; k < noutputs; ++k)
    3427                 :      71395 :                 if (reg_overlap_mentioned_p (clobbered_reg, output_rvec[k]))
    3428                 :          0 :                   internal_error ("%<asm%> clobber conflict with "
    3429                 :            :                                   "output operand");
    3430                 :            : 
    3431                 :     172964 :               for (unsigned k = 0; k < ninputs - ninout; ++k)
    3432                 :      46277 :                 if (reg_overlap_mentioned_p (clobbered_reg, input_rvec[k]))
    3433                 :          0 :                   internal_error ("%<asm%> clobber conflict with "
    3434                 :            :                                   "input operand");
    3435                 :            :             }
    3436                 :            : 
    3437                 :     154754 :           XVECEXP (body, 0, i++) = gen_rtx_CLOBBER (VOIDmode, clobbered_reg);
    3438                 :            :         }
    3439                 :            : 
    3440                 :      87523 :       if (nlabels > 0)
    3441                 :        250 :         emit_jump_insn (body);
    3442                 :            :       else
    3443                 :      87273 :         emit_insn (body);
    3444                 :            :     }
    3445                 :            : 
    3446                 :      87584 :   generating_concat_p = old_generating_concat_p;
    3447                 :            : 
    3448                 :      87584 :   if (fallthru_label)
    3449                 :        130 :     emit_label (fallthru_label);
    3450                 :            : 
    3451                 :      87584 :   if (after_md_seq)
    3452                 :         66 :     emit_insn (after_md_seq);
    3453                 :      87584 :   if (after_rtl_seq)
    3454                 :      27439 :     emit_insn (after_rtl_seq);
    3455                 :            : 
    3456                 :      87584 :   free_temp_slots ();
    3457                 :      87584 :   crtl->has_asm_statement = 1;
    3458                 :            : }
    3459                 :            : 
    3460                 :            : /* Emit code to jump to the address
    3461                 :            :    specified by the pointer expression EXP.  */
    3462                 :            : 
    3463                 :            : static void
    3464                 :        362 : expand_computed_goto (tree exp)
    3465                 :            : {
    3466                 :        362 :   rtx x = expand_normal (exp);
    3467                 :            : 
    3468                 :        362 :   do_pending_stack_adjust ();
    3469                 :        362 :   emit_indirect_jump (x);
    3470                 :        362 : }
    3471                 :            : 
    3472                 :            : /* Generate RTL code for a `goto' statement with target label LABEL.
    3473                 :            :    LABEL should be a LABEL_DECL tree node that was or will later be
    3474                 :            :    defined with `expand_label'.  */
    3475                 :            : 
    3476                 :            : static void
    3477                 :          0 : expand_goto (tree label)
    3478                 :            : {
    3479                 :          0 :   if (flag_checking)
    3480                 :            :     {
    3481                 :            :       /* Check for a nonlocal goto to a containing function.  Should have
    3482                 :            :          gotten translated to __builtin_nonlocal_goto.  */
    3483                 :          0 :       tree context = decl_function_context (label);
    3484                 :          0 :       gcc_assert (!context || context == current_function_decl);
    3485                 :            :     }
    3486                 :            : 
    3487                 :          0 :   emit_jump (jump_target_rtx (label));
    3488                 :          0 : }
    3489                 :            : 
    3490                 :            : /* Output a return with no value.  */
    3491                 :            : 
    3492                 :            : static void
    3493                 :     524721 : expand_null_return_1 (void)
    3494                 :            : {
    3495                 :     524721 :   clear_pending_stack_adjust ();
    3496                 :     524721 :   do_pending_stack_adjust ();
    3497                 :     524721 :   emit_jump (return_label);
    3498                 :     524721 : }
    3499                 :            : 
    3500                 :            : /* Generate RTL to return from the current function, with no value.
    3501                 :            :    (That is, we do not do anything about returning any value.)  */
    3502                 :            : 
    3503                 :            : void
    3504                 :      50848 : expand_null_return (void)
    3505                 :            : {
    3506                 :            :   /* If this function was declared to return a value, but we
    3507                 :            :      didn't, clobber the return registers so that they are not
    3508                 :            :      propagated live to the rest of the function.  */
    3509                 :      50848 :   clobber_return_register ();
    3510                 :            : 
    3511                 :      50848 :   expand_null_return_1 ();
    3512                 :      50848 : }
    3513                 :            : 
    3514                 :            : /* Generate RTL to return from the current function, with value VAL.  */
    3515                 :            : 
    3516                 :            : static void
    3517                 :     473873 : expand_value_return (rtx val)
    3518                 :            : {
    3519                 :            :   /* Copy the value to the return location unless it's already there.  */
    3520                 :            : 
    3521                 :     473873 :   tree decl = DECL_RESULT (current_function_decl);
    3522                 :     473873 :   rtx return_reg = DECL_RTL (decl);
    3523                 :     473873 :   if (return_reg != val)
    3524                 :            :     {
    3525                 :     285638 :       tree funtype = TREE_TYPE (current_function_decl);
    3526                 :     285638 :       tree type = TREE_TYPE (decl);
    3527                 :     285638 :       int unsignedp = TYPE_UNSIGNED (type);
    3528                 :     285638 :       machine_mode old_mode = DECL_MODE (decl);
    3529                 :     285638 :       machine_mode mode;
    3530                 :     571276 :       if (DECL_BY_REFERENCE (decl))
    3531                 :          0 :         mode = promote_function_mode (type, old_mode, &unsignedp, funtype, 2);
    3532                 :            :       else
    3533                 :     285638 :         mode = promote_function_mode (type, old_mode, &unsignedp, funtype, 1);
    3534                 :            : 
    3535                 :     285638 :       if (mode != old_mode)
    3536                 :          8 :         val = convert_modes (mode, old_mode, val, unsignedp);
    3537                 :            : 
    3538                 :     285638 :       if (GET_CODE (return_reg) == PARALLEL)
    3539                 :       1707 :         emit_group_load (return_reg, val, type, int_size_in_bytes (type));
    3540                 :            :       else
    3541                 :     283931 :         emit_move_insn (return_reg, val);
    3542                 :            :     }
    3543                 :            : 
    3544                 :     473873 :   expand_null_return_1 ();
    3545                 :     473873 : }
    3546                 :            : 
    3547                 :            : /* Generate RTL to evaluate the expression RETVAL and return it
    3548                 :            :    from the current function.  */
    3549                 :            : 
    3550                 :            : static void
    3551                 :     473971 : expand_return (tree retval)
    3552                 :            : {
    3553                 :     473971 :   rtx result_rtl;
    3554                 :     473971 :   rtx val = 0;
    3555                 :     473971 :   tree retval_rhs;
    3556                 :            : 
    3557                 :            :   /* If function wants no value, give it none.  */
    3558                 :     473971 :   if (TREE_CODE (TREE_TYPE (TREE_TYPE (current_function_decl))) == VOID_TYPE)
    3559                 :            :     {
    3560                 :          0 :       expand_normal (retval);
    3561                 :          0 :       expand_null_return ();
    3562                 :          0 :       return;
    3563                 :            :     }
    3564                 :            : 
    3565                 :     473971 :   if (retval == error_mark_node)
    3566                 :            :     {
    3567                 :            :       /* Treat this like a return of no value from a function that
    3568                 :            :          returns a value.  */
    3569                 :          0 :       expand_null_return ();
    3570                 :          0 :       return;
    3571                 :            :     }
    3572                 :     473971 :   else if ((TREE_CODE (retval) == MODIFY_EXPR
    3573                 :     473971 :             || TREE_CODE (retval) == INIT_EXPR)
    3574                 :     473971 :            && TREE_CODE (TREE_OPERAND (retval, 0)) == RESULT_DECL)
    3575                 :     428443 :     retval_rhs = TREE_OPERAND (retval, 1);
    3576                 :            :   else
    3577                 :            :     retval_rhs = retval;
    3578                 :            : 
    3579                 :     473971 :   result_rtl = DECL_RTL (DECL_RESULT (current_function_decl));
    3580                 :            : 
    3581                 :            :   /* If we are returning the RESULT_DECL, then the value has already
    3582                 :            :      been stored into it, so we don't have to do anything special.  */
    3583                 :     473971 :   if (TREE_CODE (retval_rhs) == RESULT_DECL)
    3584                 :      45528 :     expand_value_return (result_rtl);
    3585                 :            : 
    3586                 :            :   /* If the result is an aggregate that is being returned in one (or more)
    3587                 :            :      registers, load the registers here.  */
    3588                 :            : 
    3589                 :     428443 :   else if (retval_rhs != 0
    3590                 :     428443 :            && TYPE_MODE (TREE_TYPE (retval_rhs)) == BLKmode
    3591                 :       1018 :            && REG_P (result_rtl))
    3592                 :            :     {
    3593                 :        318 :       val = copy_blkmode_to_reg (GET_MODE (result_rtl), retval_rhs);
    3594                 :        318 :       if (val)
    3595                 :            :         {
    3596                 :            :           /* Use the mode of the result value on the return register.  */
    3597                 :        220 :           PUT_MODE (result_rtl, GET_MODE (val));
    3598                 :        220 :           expand_value_return (val);
    3599                 :            :         }
    3600                 :            :       else
    3601                 :         98 :         expand_null_return ();
    3602                 :            :     }
    3603                 :     428125 :   else if (retval_rhs != 0
    3604                 :     428125 :            && !VOID_TYPE_P (TREE_TYPE (retval_rhs))
    3605                 :     428125 :            && (REG_P (result_rtl)
    3606                 :       3898 :                || (GET_CODE (result_rtl) == PARALLEL)))
    3607                 :            :     {
    3608                 :            :       /* Compute the return value into a temporary (usually a pseudo reg).  */
    3609                 :     425934 :       val
    3610                 :     425934 :         = assign_temp (TREE_TYPE (DECL_RESULT (current_function_decl)), 0, 1);
    3611                 :     425934 :       val = expand_expr (retval_rhs, val, GET_MODE (val), EXPAND_NORMAL);
    3612                 :     425934 :       val = force_not_mem (val);
    3613                 :     425934 :       expand_value_return (val);
    3614                 :            :     }
    3615                 :            :   else
    3616                 :            :     {
    3617                 :            :       /* No hard reg used; calculate value into hard return reg.  */
    3618                 :       2191 :       expand_expr (retval, const0_rtx, VOIDmode, EXPAND_NORMAL);
    3619                 :       2191 :       expand_value_return (result_rtl);
    3620                 :            :     }
    3621                 :            : }
    3622                 :            : 
    3623                 :            : /* Expand a clobber of LHS.  If LHS is stored it in a multi-part
    3624                 :            :    register, tell the rtl optimizers that its value is no longer
    3625                 :            :    needed.  */
    3626                 :            : 
    3627                 :            : static void
    3628                 :     925294 : expand_clobber (tree lhs)
    3629                 :            : {
    3630                 :     925294 :   if (DECL_P (lhs))
    3631                 :            :     {
    3632                 :     759891 :       rtx decl_rtl = DECL_RTL_IF_SET (lhs);
    3633                 :     759891 :       if (decl_rtl && REG_P (decl_rtl))
    3634                 :            :         {
    3635                 :      97796 :           machine_mode decl_mode = GET_MODE (decl_rtl);
    3636                 :     195592 :           if (maybe_gt (GET_MODE_SIZE (decl_mode),
    3637                 :            :                         REGMODE_NATURAL_SIZE (decl_mode)))
    3638                 :      74386 :             emit_clobber (decl_rtl);
    3639                 :            :         }
    3640                 :            :     }
    3641                 :     925294 : }
    3642                 :            : 
    3643                 :            : /* A subroutine of expand_gimple_stmt, expanding one gimple statement
    3644                 :            :    STMT that doesn't require special handling for outgoing edges.  That
    3645                 :            :    is no tailcalls and no GIMPLE_COND.  */
    3646                 :            : 
    3647                 :            : static void
    3648                 :   20344100 : expand_gimple_stmt_1 (gimple *stmt)
    3649                 :            : {
    3650                 :   20344100 :   tree op0;
    3651                 :            : 
    3652                 :   20344100 :   set_curr_insn_location (gimple_location (stmt));
    3653                 :            : 
    3654                 :   20344100 :   switch (gimple_code (stmt))
    3655                 :            :     {
    3656                 :        362 :     case GIMPLE_GOTO:
    3657                 :        362 :       op0 = gimple_goto_dest (stmt);
    3658                 :        362 :       if (TREE_CODE (op0) == LABEL_DECL)
    3659                 :          0 :         expand_goto (op0);
    3660                 :            :       else
    3661                 :        362 :         expand_computed_goto (op0);
    3662                 :            :       break;
    3663                 :     376345 :     case GIMPLE_LABEL:
    3664                 :     376345 :       expand_label (gimple_label_label (as_a <glabel *> (stmt)));
    3665                 :     376345 :       break;
    3666                 :            :     case GIMPLE_NOP:
    3667                 :            :     case GIMPLE_PREDICT:
    3668                 :            :       break;
    3669                 :       9876 :     case GIMPLE_SWITCH:
    3670                 :       9876 :       {
    3671                 :       9876 :         gswitch *swtch = as_a <gswitch *> (stmt);
    3672                 :       9876 :         if (gimple_switch_num_labels (swtch) == 1)
    3673                 :          0 :           expand_goto (CASE_LABEL (gimple_switch_default_label (swtch)));
    3674                 :            :         else
    3675                 :       9876 :           expand_case (swtch);
    3676                 :            :       }
    3677                 :            :       break;
    3678                 :      89817 :     case GIMPLE_ASM:
    3679                 :      89817 :       expand_asm_stmt (as_a <gasm *> (stmt));
    3680                 :      89817 :       break;
    3681                 :    4559310 :     case GIMPLE_CALL:
    3682                 :    4559310 :       expand_call_stmt (as_a <gcall *> (stmt));
    3683                 :    4559310 :       break;
    3684                 :            : 
    3685                 :     524721 :     case GIMPLE_RETURN:
    3686                 :     524721 :       {
    3687                 :     524721 :         op0 = gimple_return_retval (as_a <greturn *> (stmt));
    3688                 :            : 
    3689                 :            :         /* If a return doesn't have a location, it very likely represents
    3690                 :            :            multiple user returns so we cannot let it inherit the location
    3691                 :            :            of the last statement of the previous basic block in RTL.  */
    3692                 :     899612 :         if (!gimple_has_location (stmt))
    3693                 :     158444 :           set_curr_insn_location (cfun->function_end_locus);
    3694                 :            : 
    3695                 :     524721 :         if (op0 && op0 != error_mark_node)
    3696                 :            :           {
    3697                 :     473971 :             tree result = DECL_RESULT (current_function_decl);
    3698                 :            : 
    3699                 :            :             /* If we are not returning the current function's RESULT_DECL,
    3700                 :            :                build an assignment to it.  */
    3701                 :     473971 :             if (op0 != result)
    3702                 :            :               {
    3703                 :            :                 /* I believe that a function's RESULT_DECL is unique.  */
    3704                 :     428443 :                 gcc_assert (TREE_CODE (op0) != RESULT_DECL);
    3705                 :            : 
    3706                 :            :                 /* ??? We'd like to use simply expand_assignment here,
    3707                 :            :                    but this fails if the value is of BLKmode but the return
    3708                 :            :                    decl is a register.  expand_return has special handling
    3709                 :            :                    for this combination, which eventually should move
    3710                 :            :                    to common code.  See comments there.  Until then, let's
    3711                 :            :                    build a modify expression :-/  */
    3712                 :     428443 :                 op0 = build2 (MODIFY_EXPR, TREE_TYPE (result),
    3713                 :            :                               result, op0);
    3714                 :            :               }
    3715                 :            :           }
    3716                 :            : 
    3717                 :     524721 :         if (!op0)
    3718                 :      50750 :           expand_null_return ();
    3719                 :            :         else
    3720                 :     473971 :           expand_return (op0);
    3721                 :            :       }
    3722                 :            :       break;
    3723                 :            : 
    3724                 :   14747300 :     case GIMPLE_ASSIGN:
    3725                 :   14747300 :       {
    3726                 :   14747300 :         gassign *assign_stmt = as_a <gassign *> (stmt);
    3727                 :   14747300 :         tree lhs = gimple_assign_lhs (assign_stmt);
    3728                 :            : 
    3729                 :            :         /* Tree expand used to fiddle with |= and &= of two bitfield
    3730                 :            :            COMPONENT_REFs here.  This can't happen with gimple, the LHS
    3731                 :            :            of binary assigns must be a gimple reg.  */
    3732                 :            : 
    3733                 :   14747300 :         if (TREE_CODE (lhs) != SSA_NAME
    3734                 :   14747300 :             || get_gimple_rhs_class (gimple_expr_code (stmt))
    3735                 :            :                == GIMPLE_SINGLE_RHS)
    3736                 :            :           {
    3737                 :   11514700 :             tree rhs = gimple_assign_rhs1 (assign_stmt);
    3738                 :   11514700 :             gcc_assert (get_gimple_rhs_class (gimple_expr_code (stmt))
    3739                 :            :                         == GIMPLE_SINGLE_RHS);
    3740                 :   22055300 :             if (gimple_has_location (stmt) && CAN_HAVE_LOCATION_P (rhs)
    3741                 :            :                 /* Do not put locations on possibly shared trees.  */
    3742                 :   15341300 :                 && !is_gimple_min_invariant (rhs))
    3743                 :    3024830 :               SET_EXPR_LOCATION (rhs, gimple_location (stmt));
    3744                 :   11514700 :             if (TREE_CLOBBER_P (rhs))
    3745                 :            :               /* This is a clobber to mark the going out of scope for
    3746                 :            :                  this LHS.  */
    3747                 :     925294 :               expand_clobber (lhs);
    3748                 :            :             else
    3749                 :   10589400 :               expand_assignment (lhs, rhs,
    3750                 :   10589400 :                                  gimple_assign_nontemporal_move_p (
    3751                 :            :                                    assign_stmt));
    3752                 :            :           }
    3753                 :            :         else
    3754                 :            :           {
    3755                 :    3232660 :             rtx target, temp;
    3756                 :    3232660 :             bool nontemporal = gimple_assign_nontemporal_move_p (assign_stmt);
    3757                 :    3232660 :             struct separate_ops ops;
    3758                 :    3232660 :             bool promoted = false;
    3759                 :            : 
    3760                 :    3232660 :             target = expand_expr (lhs, NULL_RTX, VOIDmode, EXPAND_WRITE);
    3761                 :    3232660 :             if (GET_CODE (target) == SUBREG && SUBREG_PROMOTED_VAR_P (target))
    3762                 :            :               promoted = true;
    3763                 :            : 
    3764                 :    3232660 :             ops.code = gimple_assign_rhs_code (assign_stmt);
    3765                 :    3232660 :             ops.type = TREE_TYPE (lhs);
    3766                 :    3232660 :             switch (get_gimple_rhs_class (ops.code))
    3767                 :            :               {
    3768                 :      18063 :                 case GIMPLE_TERNARY_RHS:
    3769                 :      36126 :                   ops.op2 = gimple_assign_rhs3 (assign_stmt);
    3770                 :            :                   /* Fallthru */
    3771                 :    2383020 :                 case GIMPLE_BINARY_RHS:
    3772                 :    4766050 :                   ops.op1 = gimple_assign_rhs2 (assign_stmt);
    3773                 :            :                   /* Fallthru */
    3774                 :    3232660 :                 case GIMPLE_UNARY_RHS:
    3775                 :    3232660 :                   ops.op0 = gimple_assign_rhs1 (assign_stmt);
    3776                 :    3232660 :                   break;
    3777                 :          0 :                 default:
    3778                 :          0 :                   gcc_unreachable ();
    3779                 :            :               }
    3780                 :    3232660 :             ops.location = gimple_location (stmt);
    3781                 :            : 
    3782                 :            :             /* If we want to use a nontemporal store, force the value to
    3783                 :            :                register first.  If we store into a promoted register,
    3784                 :            :                don't directly expand to target.  */
    3785                 :    3232660 :             temp = nontemporal || promoted ? NULL_RTX : target;
    3786                 :    3232660 :             temp = expand_expr_real_2 (&ops, temp, GET_MODE (target),
    3787                 :            :                                        EXPAND_NORMAL);
    3788                 :            : 
    3789                 :    3232660 :             if (temp == target)
    3790                 :            :               ;
    3791                 :     464638 :             else if (promoted)
    3792                 :            :               {
    3793                 :          3 :                 int unsignedp = SUBREG_PROMOTED_SIGN (target);
    3794                 :            :                 /* If TEMP is a VOIDmode constant, use convert_modes to make
    3795                 :            :                    sure that we properly convert it.  */
    3796                 :          3 :                 if (CONSTANT_P (temp) && GET_MODE (temp) == VOIDmode)
    3797                 :            :                   {
    3798                 :          0 :                     temp = convert_modes (GET_MODE (target),
    3799                 :          0 :                                           TYPE_MODE (ops.type),
    3800                 :            :                                           temp, unsignedp);
    3801                 :          0 :                     temp = convert_modes (GET_MODE (SUBREG_REG (target)),
    3802                 :          0 :                                           GET_MODE (target), temp, unsignedp);
    3803                 :            :                   }
    3804                 :            : 
    3805                 :          3 :                 convert_move (SUBREG_REG (target), temp, unsignedp);
    3806                 :            :               }
    3807                 :     464635 :             else if (nontemporal && emit_storent_insn (target, temp))
    3808                 :            :               ;
    3809                 :            :             else
    3810                 :            :               {
    3811                 :     464635 :                 temp = force_operand (temp, target);
    3812                 :     464635 :                 if (temp != target)
    3813                 :     464635 :                   emit_move_insn (target, temp);
    3814                 :            :               }
    3815                 :            :           }
    3816                 :            :       }
    3817                 :            :       break;
    3818                 :            : 
    3819                 :          0 :     default:
    3820                 :          0 :       gcc_unreachable ();
    3821                 :            :     }
    3822                 :   20344100 : }
    3823                 :            : 
    3824                 :            : /* Expand one gimple statement STMT and return the last RTL instruction
    3825                 :            :    before any of the newly generated ones.
    3826                 :            : 
    3827                 :            :    In addition to generating the necessary RTL instructions this also
    3828                 :            :    sets REG_EH_REGION notes if necessary and sets the current source
    3829                 :            :    location for diagnostics.  */
    3830                 :            : 
    3831                 :            : static rtx_insn *
    3832                 :   20344100 : expand_gimple_stmt (gimple *stmt)
    3833                 :            : {
    3834                 :   20344100 :   location_t saved_location = input_location;
    3835                 :   20344100 :   rtx_insn *last = get_last_insn ();
    3836                 :   20344100 :   int lp_nr;
    3837                 :            : 
    3838                 :   20344100 :   gcc_assert (cfun);
    3839                 :            : 
    3840                 :            :   /* We need to save and restore the current source location so that errors
    3841                 :            :      discovered during expansion are emitted with the right location.  But
    3842                 :            :      it would be better if the diagnostic routines used the source location
    3843                 :            :      embedded in the tree nodes rather than globals.  */
    3844                 :   38805200 :   if (gimple_has_location (stmt))
    3845                 :   17910200 :     input_location = gimple_location (stmt);
    3846                 :            : 
    3847                 :   20344100 :   expand_gimple_stmt_1 (stmt);
    3848                 :            : 
    3849                 :            :   /* Free any temporaries used to evaluate this statement.  */
    3850                 :   20344100 :   free_temp_slots ();
    3851                 :            : 
    3852                 :   20344100 :   input_location = saved_location;
    3853                 :            : 
    3854                 :            :   /* Mark all insns that may trap.  */
    3855                 :   20344100 :   lp_nr = lookup_stmt_eh_lp (stmt);
    3856                 :   20344100 :   if (lp_nr)
    3857                 :            :     {
    3858                 :     509652 :       rtx_insn *insn;
    3859                 :    2764740 :       for (insn = next_real_insn (last); insn;
    3860                 :    2255090 :            insn = next_real_insn (insn))
    3861                 :            :         {
    3862                 :    2255090 :           if (! find_reg_note (insn, REG_EH_REGION, NULL_RTX)
    3863                 :            :               /* If we want exceptions for non-call insns, any
    3864                 :            :                  may_trap_p instruction may throw.  */
    3865                 :    2255090 :               && GET_CODE (PATTERN (insn)) != CLOBBER
    3866                 :    2255090 :               && GET_CODE (PATTERN (insn)) != USE
    3867                 :    4510180 :               && insn_could_throw_p (insn))
    3868                 :     521095 :             make_reg_eh_region_note (insn, 0, lp_nr);
    3869                 :            :         }
    3870                 :            :     }
    3871                 :            : 
    3872                 :   20344100 :   return last;
    3873                 :            : }
    3874                 :            : 
    3875                 :            : /* A subroutine of expand_gimple_basic_block.  Expand one GIMPLE_CALL
    3876                 :            :    that has CALL_EXPR_TAILCALL set.  Returns non-null if we actually
    3877                 :            :    generated a tail call (something that might be denied by the ABI
    3878                 :            :    rules governing the call; see calls.c).
    3879                 :            : 
    3880                 :            :    Sets CAN_FALLTHRU if we generated a *conditional* tail call, and
    3881                 :            :    can still reach the rest of BB.  The case here is __builtin_sqrt,
    3882                 :            :    where the NaN result goes through the external function (with a
    3883                 :            :    tailcall) and the normal result happens via a sqrt instruction.  */
    3884                 :            : 
    3885                 :            : static basic_block
    3886                 :     123807 : expand_gimple_tailcall (basic_block bb, gcall *stmt, bool *can_fallthru)
    3887                 :            : {
    3888                 :     123807 :   rtx_insn *last2, *last;
    3889                 :     123807 :   edge e;
    3890                 :     123807 :   edge_iterator ei;
    3891                 :     123807 :   profile_probability probability;
    3892                 :            : 
    3893                 :     123807 :   last2 = last = expand_gimple_stmt (stmt);
    3894                 :            : 
    3895                 :     906485 :   for (last = NEXT_INSN (last); last; last = NEXT_INSN (last))
    3896                 :     482173 :     if (CALL_P (last) && SIBLING_CALL_P (last))
    3897                 :      90834 :       goto found;
    3898                 :            : 
    3899                 :      32973 :   maybe_dump_rtl_for_gimple_stmt (stmt, last2);
    3900                 :            : 
    3901                 :      32973 :   *can_fallthru = true;
    3902                 :      32973 :   return NULL;
    3903                 :            : 
    3904                 :      90834 :  found:
    3905                 :            :   /* ??? Wouldn't it be better to just reset any pending stack adjust?
    3906                 :            :      Any instructions emitted here are about to be deleted.  */
    3907                 :      90834 :   do_pending_stack_adjust ();
    3908                 :            : 
    3909                 :            :   /* Remove any non-eh, non-abnormal edges that don't go to exit.  */
    3910                 :            :   /* ??? I.e. the fallthrough edge.  HOWEVER!  If there were to be
    3911                 :            :      EH or abnormal edges, we shouldn't have created a tail call in
    3912                 :            :      the first place.  So it seems to me we should just be removing
    3913                 :            :      all edges here, or redirecting the existing fallthru edge to
    3914                 :            :      the exit block.  */
    3915                 :            : 
    3916                 :      90834 :   probability = profile_probability::never ();
    3917                 :            : 
    3918                 :     181668 :   for (ei = ei_start (bb->succs); (e = ei_safe_edge (ei)); )
    3919                 :            :     {
    3920                 :      90834 :       if (!(e->flags & (EDGE_ABNORMAL | EDGE_EH)))
    3921                 :            :         {
    3922                 :      90834 :           if (e->dest != EXIT_BLOCK_PTR_FOR_FN (cfun))
    3923                 :      42379 :             e->dest->count -= e->count ();
    3924                 :      90834 :           probability += e->probability;
    3925                 :      90834 :           remove_edge (e);
    3926                 :            :         }
    3927                 :            :       else
    3928                 :          0 :         ei_next (&ei);
    3929                 :            :     }
    3930                 :            : 
    3931                 :            :   /* This is somewhat ugly: the call_expr expander often emits instructions
    3932                 :            :      after the sibcall (to perform the function return).  These confuse the
    3933                 :            :      find_many_sub_basic_blocks code, so we need to get rid of these.  */
    3934                 :      90834 :   last = NEXT_INSN (last);
    3935                 :      90834 :   gcc_assert (BARRIER_P (last));
    3936                 :            : 
    3937                 :      90834 :   *can_fallthru = false;
    3938                 :     110784 :   while (NEXT_INSN (last))
    3939                 :            :     {
    3940                 :            :       /* For instance an sqrt builtin expander expands if with
    3941                 :            :          sibcall in the then and label for `else`.  */
    3942                 :      19950 :       if (LABEL_P (NEXT_INSN (last)))
    3943                 :            :         {
    3944                 :          0 :           *can_fallthru = true;
    3945                 :          0 :           break;
    3946                 :            :         }
    3947                 :      19950 :       delete_insn (NEXT_INSN (last));
    3948                 :            :     }
    3949                 :            : 
    3950                 :      90834 :   e = make_edge (bb, EXIT_BLOCK_PTR_FOR_FN (cfun), EDGE_ABNORMAL
    3951                 :            :                  | EDGE_SIBCALL);
    3952                 :      90834 :   e->probability = probability;
    3953                 :      90834 :   BB_END (bb) = last;
    3954                 :      90834 :   update_bb_for_insn (bb);
    3955                 :            : 
    3956                 :      90834 :   if (NEXT_INSN (last))
    3957                 :            :     {
    3958                 :          0 :       bb = create_basic_block (NEXT_INSN (last), get_last_insn (), bb);
    3959                 :            : 
    3960                 :          0 :       last = BB_END (bb);
    3961                 :          0 :       if (BARRIER_P (last))
    3962                 :          0 :         BB_END (bb) = PREV_INSN (last);
    3963                 :            :     }
    3964                 :            : 
    3965                 :      90834 :   maybe_dump_rtl_for_gimple_stmt (stmt, last2);
    3966                 :            : 
    3967                 :      90834 :   return bb;
    3968                 :            : }
    3969                 :            : 
    3970                 :            : /* Return the difference between the floor and the truncated result of
    3971                 :            :    a signed division by OP1 with remainder MOD.  */
    3972                 :            : static rtx
    3973                 :          2 : floor_sdiv_adjust (machine_mode mode, rtx mod, rtx op1)
    3974                 :            : {
    3975                 :            :   /* (mod != 0 ? (op1 / mod < 0 ? -1 : 0) : 0) */
    3976                 :          2 :   return gen_rtx_IF_THEN_ELSE
    3977                 :            :     (mode, gen_rtx_NE (BImode, mod, const0_rtx),
    3978                 :            :      gen_rtx_IF_THEN_ELSE
    3979                 :            :      (mode, gen_rtx_LT (BImode,
    3980                 :            :                         gen_rtx_DIV (mode, op1, mod),
    3981                 :            :                         const0_rtx),
    3982                 :            :       constm1_rtx, const0_rtx),
    3983                 :            :      const0_rtx);
    3984                 :            : }
    3985                 :            : 
    3986                 :            : /* Return the difference between the ceil and the truncated result of
    3987                 :            :    a signed division by OP1 with remainder MOD.  */
    3988                 :            : static rtx
    3989                 :          0 : ceil_sdiv_adjust (machine_mode mode, rtx mod, rtx op1)
    3990                 :            : {
    3991                 :            :   /* (mod != 0 ? (op1 / mod > 0 ? 1 : 0) : 0) */
    3992                 :          0 :   return gen_rtx_IF_THEN_ELSE
    3993                 :            :     (mode, gen_rtx_NE (BImode, mod, const0_rtx),
    3994                 :            :      gen_rtx_IF_THEN_ELSE
    3995                 :            :      (mode, gen_rtx_GT (BImode,
    3996                 :            :                         gen_rtx_DIV (mode, op1, mod),
    3997                 :            :                         const0_rtx),
    3998                 :            :       const1_rtx, const0_rtx),
    3999                 :            :      const0_rtx);
    4000                 :            : }
    4001                 :            : 
    4002                 :            : /* Return the difference between the ceil and the truncated result of
    4003                 :            :    an unsigned division by OP1 with remainder MOD.  */
    4004                 :            : static rtx
    4005                 :          0 : ceil_udiv_adjust (machine_mode mode, rtx mod, rtx op1 ATTRIBUTE_UNUSED)
    4006                 :            : {
    4007                 :            :   /* (mod != 0 ? 1 : 0) */
    4008                 :          0 :   return gen_rtx_IF_THEN_ELSE
    4009                 :            :     (mode, gen_rtx_NE (BImode, mod, const0_rtx),
    4010                 :            :      const1_rtx, const0_rtx);
    4011                 :            : }
    4012                 :            : 
    4013                 :            : /* Return the difference between the rounded and the truncated result
    4014                 :            :    of a signed division by OP1 with remainder MOD.  Halfway cases are
    4015                 :            :    rounded away from zero, rather than to the nearest even number.  */
    4016                 :            : static rtx
    4017                 :          0 : round_sdiv_adjust (machine_mode mode, rtx mod, rtx op1)
    4018                 :            : {
    4019                 :            :   /* (abs (mod) >= abs (op1) - abs (mod)
    4020                 :            :       ? (op1 / mod > 0 ? 1 : -1)
    4021                 :            :       : 0) */
    4022                 :          0 :   return gen_rtx_IF_THEN_ELSE
    4023                 :            :     (mode, gen_rtx_GE (BImode, gen_rtx_ABS (mode, mod),
    4024                 :            :                        gen_rtx_MINUS (mode,
    4025                 :            :                                       gen_rtx_ABS (mode, op1),
    4026                 :            :                                       gen_rtx_ABS (mode, mod))),
    4027                 :            :      gen_rtx_IF_THEN_ELSE
    4028                 :            :      (mode, gen_rtx_GT (BImode,
    4029                 :            :                         gen_rtx_DIV (mode, op1, mod),
    4030                 :            :                         const0_rtx),
    4031                 :            :       const1_rtx, constm1_rtx),
    4032                 :            :      const0_rtx);
    4033                 :            : }
    4034                 :            : 
    4035                 :            : /* Return the difference between the rounded and the truncated result
    4036                 :            :    of a unsigned division by OP1 with remainder MOD.  Halfway cases
    4037                 :            :    are rounded away from zero, rather than to the nearest even
    4038                 :            :    number.  */
    4039                 :            : static rtx
    4040                 :          0 : round_udiv_adjust (machine_mode mode, rtx mod, rtx op1)
    4041                 :            : {
    4042                 :            :   /* (mod >= op1 - mod ? 1 : 0) */
    4043                 :          0 :   return gen_rtx_IF_THEN_ELSE
    4044                 :            :     (mode, gen_rtx_GE (BImode, mod,
    4045                 :            :                        gen_rtx_MINUS (mode, op1, mod)),
    4046                 :            :      const1_rtx, const0_rtx);
    4047                 :            : }
    4048                 :            : 
    4049                 :            : /* Convert X to MODE, that must be Pmode or ptr_mode, without emitting
    4050                 :            :    any rtl.  */
    4051                 :            : 
    4052                 :            : static rtx
    4053                 :    3930920 : convert_debug_memory_address (scalar_int_mode mode, rtx x,
    4054                 :            :                               addr_space_t as)
    4055                 :            : {
    4056                 :            : #ifndef POINTERS_EXTEND_UNSIGNED
    4057                 :            :   gcc_assert (mode == Pmode
    4058                 :            :               || mode == targetm.addr_space.address_mode (as));
    4059                 :            :   gcc_assert (GET_MODE (x) == mode || GET_MODE (x) == VOIDmode);
    4060                 :            : #else
    4061                 :    3930920 :   rtx temp;
    4062                 :            : 
    4063                 :    3930920 :   gcc_assert (targetm.addr_space.valid_pointer_mode (mode, as));
    4064                 :            : 
    4065                 :    3930920 :   if (GET_MODE (x) == mode || GET_MODE (x) == VOIDmode)
    4066                 :            :     return x;
    4067                 :            : 
    4068                 :            :   /* X must have some form of address mode already.  */
    4069                 :          0 :   scalar_int_mode xmode = as_a <scalar_int_mode> (GET_MODE (x));
    4070                 :          0 :   if (GET_MODE_PRECISION (mode) < GET_MODE_PRECISION (xmode))
    4071                 :          0 :     x = lowpart_subreg (mode, x, xmode);
    4072                 :          0 :   else if (POINTERS_EXTEND_UNSIGNED > 0)
    4073                 :          0 :     x = gen_rtx_ZERO_EXTEND (mode, x);
    4074                 :            :   else if (!POINTERS_EXTEND_UNSIGNED)
    4075                 :            :     x = gen_rtx_SIGN_EXTEND (mode, x);
    4076                 :            :   else
    4077                 :            :     {
    4078                 :            :       switch (GET_CODE (x))
    4079                 :            :         {
    4080                 :            :         case SUBREG:
    4081                 :            :           if ((SUBREG_PROMOTED_VAR_P (x)
    4082                 :            :                || (REG_P (SUBREG_REG (x)) && REG_POINTER (SUBREG_REG (x)))
    4083                 :            :                || (GET_CODE (SUBREG_REG (x)) == PLUS
    4084                 :            :                    && REG_P (XEXP (SUBREG_REG (x), 0))
    4085                 :            :                    && REG_POINTER (XEXP (SUBREG_REG (x), 0))
    4086                 :            :                    && CONST_INT_P (XEXP (SUBREG_REG (x), 1))))
    4087                 :            :               && GET_MODE (SUBREG_REG (x)) == mode)
    4088                 :            :             return SUBREG_REG (x);
    4089                 :            :           break;
    4090                 :            :         case LABEL_REF:
    4091                 :            :           temp = gen_rtx_LABEL_REF (mode, label_ref_label (x));
    4092                 :            :           LABEL_REF_NONLOCAL_P (temp) = LABEL_REF_NONLOCAL_P (x);
    4093                 :            :           return temp;
    4094                 :            :         case SYMBOL_REF:
    4095                 :            :           temp = shallow_copy_rtx (x);
    4096                 :            :           PUT_MODE (temp, mode);
    4097                 :            :           return temp;
    4098                 :            :         case CONST:
    4099                 :            :           temp = convert_debug_memory_address (mode, XEXP (x, 0), as);
    4100                 :            :           if (temp)
    4101                 :            :             temp = gen_rtx_CONST (mode, temp);
    4102                 :            :           return temp;
    4103                 :            :         case PLUS:
    4104                 :            :         case MINUS:
    4105                 :            :           if (CONST_INT_P (XEXP (x, 1)))
    4106                 :            :             {
    4107                 :            :               temp = convert_debug_memory_address (mode, XEXP (x, 0), as);
    4108                 :            :               if (temp)
    4109                 :            :                 return gen_rtx_fmt_ee (GET_CODE (x), mode, temp, XEXP (x, 1));
    4110                 :            :             }
    4111                 :            :           break;
    4112                 :            :         default:
    4113                 :            :           break;
    4114                 :            :         }
    4115                 :            :       /* Don't know how to express ptr_extend as operation in debug info.  */
    4116                 :            :       return NULL;
    4117                 :            :     }
    4118                 :            : #endif /* POINTERS_EXTEND_UNSIGNED */
    4119                 :            : 
    4120                 :            :   return x;
    4121                 :            : }
    4122                 :            : 
    4123                 :            : /* Map from SSA_NAMEs to corresponding DEBUG_EXPR_DECLs created
    4124                 :            :    by avoid_deep_ter_for_debug.  */
    4125                 :            : 
    4126                 :            : static hash_map<tree, tree> *deep_ter_debug_map;
    4127                 :            : 
    4128                 :            : /* Split too deep TER chains for debug stmts using debug temporaries.  */
    4129                 :            : 
    4130                 :            : static void
    4131                 :   24329700 : avoid_deep_ter_for_debug (gimple *stmt, int depth)
    4132                 :            : {
    4133                 :   24329700 :   use_operand_p use_p;
    4134                 :   24329700 :   ssa_op_iter iter;
    4135                 :   29779900 :   FOR_EACH_SSA_USE_OPERAND (use_p, stmt, iter, SSA_OP_USE)
    4136                 :            :     {
    4137                 :    5450230 :       tree use = USE_FROM_PTR (use_p);
    4138                 :    5450230 :       if (TREE_CODE (use) != SSA_NAME || SSA_NAME_IS_DEFAULT_DEF (use))
    4139                 :    4726810 :         continue;
    4140                 :    4557620 :       gimple *g = get_gimple_for_ssa_name (use);
    4141                 :    4557620 :       if (g == NULL)
    4142                 :    3834140 :         continue;
    4143                 :     723478 :       if (depth > 6 && !stmt_ends_bb_p (g))
    4144                 :            :         {
    4145                 :       2041 :           if (deep_ter_debug_map == NULL)
    4146                 :        251 :             deep_ter_debug_map = new hash_map<tree, tree>;
    4147                 :            : 
    4148                 :       2041 :           tree &vexpr = deep_ter_debug_map->get_or_insert (use);
    4149                 :       2041 :           if (vexpr != NULL)
    4150                 :         52 :             continue;
    4151                 :       1989 :           vexpr = make_node (DEBUG_EXPR_DECL);
    4152                 :       1989 :           gimple *def_temp = gimple_build_debug_bind (vexpr, use, g);
    4153                 :       1989 :           DECL_ARTIFICIAL (vexpr) = 1;
    4154                 :       1989 :           TREE_TYPE (vexpr) = TREE_TYPE (use);
    4155                 :       1989 :           SET_DECL_MODE (vexpr, TYPE_MODE (TREE_TYPE (use)));
    4156                 :       1989 :           gimple_stmt_iterator gsi = gsi_for_stmt (g);
    4157                 :       1989 :           gsi_insert_after (&gsi, def_temp, GSI_NEW_STMT);
    4158                 :       1989 :           avoid_deep_ter_for_debug (def_temp, 0);
    4159                 :            :         }
    4160                 :            :       else
    4161                 :     721437 :         avoid_deep_ter_for_debug (g, depth + 1);
    4162                 :            :     }
    4163                 :   24329700 : }
    4164                 :            : 
    4165                 :            : /* Return an RTX equivalent to the value of the parameter DECL.  */
    4166                 :            : 
    4167                 :            : static rtx
    4168                 :      76441 : expand_debug_parm_decl (tree decl)
    4169                 :            : {
    4170                 :      76441 :   rtx incoming = DECL_INCOMING_RTL (decl);
    4171                 :            : 
    4172                 :      76441 :   if (incoming
    4173                 :      23183 :       && GET_MODE (incoming) != BLKmode
    4174                 :      99620 :       && ((REG_P (incoming) && HARD_REGISTER_P (incoming))
    4175                 :       2469 :           || (MEM_P (incoming)
    4176                 :       2382 :               && REG_P (XEXP (incoming, 0))
    4177                 :        940 :               && HARD_REGISTER_P (XEXP (incoming, 0)))))
    4178                 :            :     {
    4179                 :      20756 :       rtx rtl = gen_rtx_ENTRY_VALUE (GET_MODE (incoming));
    4180                 :            : 
    4181                 :            : #ifdef HAVE_window_save
    4182                 :            :       /* DECL_INCOMING_RTL uses the INCOMING_REGNO of parameter registers.
    4183                 :            :          If the target machine has an explicit window save instruction, the
    4184                 :            :          actual entry value is the corresponding OUTGOING_REGNO instead.  */
    4185                 :            :       if (REG_P (incoming)
    4186                 :            :           && OUTGOING_REGNO (REGNO (incoming)) != REGNO (incoming))
    4187                 :            :         incoming
    4188                 :            :           = gen_rtx_REG_offset (incoming, GET_MODE (incoming),
    4189                 :            :                                 OUTGOING_REGNO (REGNO (incoming)), 0);
    4190                 :            :       else if (MEM_P (incoming))
    4191                 :            :         {
    4192                 :            :           rtx reg = XEXP (incoming, 0);
    4193                 :            :           if (OUTGOING_REGNO (REGNO (reg)) != REGNO (reg))
    4194                 :            :             {
    4195                 :            :               reg = gen_raw_REG (GET_MODE (reg), OUTGOING_REGNO (REGNO (reg)));
    4196                 :            :               incoming = replace_equiv_address_nv (incoming, reg);
    4197                 :            :             }
    4198                 :            :           else
    4199                 :            :             incoming = copy_rtx (incoming);
    4200                 :            :         }
    4201                 :            : #endif
    4202                 :            : 
    4203                 :      20756 :       ENTRY_VALUE_EXP (rtl) = incoming;
    4204                 :      20756 :       return rtl;
    4205                 :            :     }
    4206                 :            : 
    4207                 :      55685 :   if (incoming
    4208                 :       2427 :       && GET_MODE (incoming) != BLKmode
    4209                 :       2423 :       && !TREE_ADDRESSABLE (decl)
    4210                 :       2423 :       && MEM_P (incoming)
    4211                 :       2336 :       && (XEXP (incoming, 0) == virtual_incoming_args_rtx
    4212                 :       1442 :           || (GET_CODE (XEXP (incoming, 0)) == PLUS
    4213                 :       1442 :               && XEXP (XEXP (incoming, 0), 0) == virtual_incoming_args_rtx
    4214                 :       1439 :               && CONST_INT_P (XEXP (XEXP (incoming, 0), 1)))))
    4215                 :       2333 :     return copy_rtx (incoming);
    4216                 :            : 
    4217                 :            :   return NULL_RTX;
    4218                 :            : }
    4219                 :            : 
    4220                 :            : /* Return an RTX equivalent to the value of the tree expression EXP.  */
    4221                 :            : 
    4222                 :            : static rtx
    4223                 :   22881300 : expand_debug_expr (tree exp)
    4224                 :            : {
    4225                 :   22881300 :   rtx op0 = NULL_RTX, op1 = NULL_RTX, op2 = NULL_RTX;
    4226                 :   22881300 :   machine_mode mode = TYPE_MODE (TREE_TYPE (exp));
    4227                 :   22881300 :   machine_mode inner_mode = VOIDmode;
    4228                 :   22881300 :   int unsignedp = TYPE_UNSIGNED (TREE_TYPE (exp));
    4229                 :   22881300 :   addr_space_t as;
    4230                 :   22881300 :   scalar_int_mode op0_mode, op1_mode, addr_mode;
    4231                 :            : 
    4232                 :   22881300 :   switch (TREE_CODE_CLASS (TREE_CODE (exp)))
    4233                 :            :     {
    4234                 :    3605160 :     case tcc_expression:
    4235                 :    3605160 :       switch (TREE_CODE (exp))
    4236                 :            :         {
    4237                 :        214 :         case COND_EXPR:
    4238                 :        214 :         case DOT_PROD_EXPR:
    4239                 :        214 :         case SAD_EXPR:
    4240                 :        214 :         case WIDEN_MULT_PLUS_EXPR:
    4241                 :        214 :         case WIDEN_MULT_MINUS_EXPR:
    4242                 :        214 :           goto ternary;
    4243                 :            : 
    4244                 :          0 :         case TRUTH_ANDIF_EXPR:
    4245                 :          0 :         case TRUTH_ORIF_EXPR:
    4246                 :          0 :         case TRUTH_AND_EXPR:
    4247                 :          0 :         case TRUTH_OR_EXPR:
    4248                 :          0 :         case TRUTH_XOR_EXPR:
    4249                 :          0 :           goto binary;
    4250                 :            : 
    4251                 :          0 :         case TRUTH_NOT_EXPR:
    4252                 :          0 :           goto unary;
    4253                 :            : 
    4254                 :            :         default:
    4255                 :            :           break;
    4256                 :            :         }
    4257                 :            :       break;
    4258                 :            : 
    4259                 :        214 :     ternary:
    4260                 :        214 :       op2 = expand_debug_expr (TREE_OPERAND (exp, 2));
    4261                 :        214 :       if (!op2)
    4262                 :            :         return NULL_RTX;
    4263                 :            :       /* Fall through.  */
    4264                 :            : 
    4265                 :        214 :     binary:
    4266                 :     610046 :     case tcc_binary:
    4267                 :     610046 :       if (mode == BLKmode)
    4268                 :            :         return NULL_RTX;
    4269                 :     610038 :       op1 = expand_debug_expr (TREE_OPERAND (exp, 1));
    4270                 :     610038 :       if (!op1)
    4271                 :            :         return NULL_RTX;
    4272                 :     609906 :       switch (TREE_CODE (exp))
    4273                 :            :         {
    4274                 :      28953 :         case LSHIFT_EXPR:
    4275                 :      28953 :         case RSHIFT_EXPR:
    4276                 :      28953 :         case LROTATE_EXPR:
    4277                 :      28953 :         case RROTATE_EXPR:
    4278                 :      28953 :         case WIDEN_LSHIFT_EXPR:
    4279                 :            :           /* Ensure second operand isn't wider than the first one.  */
    4280                 :      28953 :           inner_mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 1)));
    4281                 :      28953 :           if (is_a <scalar_int_mode> (inner_mode, &op1_mode)
    4282                 :      57898 :               && (GET_MODE_UNIT_PRECISION (mode)
    4283                 :      28945 :                   < GET_MODE_PRECISION (op1_mode)))
    4284                 :       2912 :             op1 = lowpart_subreg (GET_MODE_INNER (mode), op1, op1_mode);
    4285                 :            :           break;
    4286                 :            :         default:
    4287                 :            :           break;
    4288                 :            :         }
    4289                 :            :       /* Fall through.  */
    4290                 :            : 
    4291                 :     918223 :     unary:
    4292                 :     918223 :     case tcc_unary:
    4293                 :     918223 :       if (mode == BLKmode)
    4294                 :            :         return NULL_RTX;
    4295                 :     918221 :       inner_mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
    4296                 :     918221 :       op0 = expand_debug_expr (TREE_OPERAND (exp, 0));
    4297                 :     918221 :       if (!op0)
    4298                 :            :         return NULL_RTX;
    4299                 :            :       break;
    4300                 :            : 
    4301                 :      29140 :     case tcc_comparison:
    4302                 :      29140 :       unsignedp = TYPE_UNSIGNED (TREE_TYPE (TREE_OPERAND (exp, 0)));
    4303                 :      29140 :       goto binary;
    4304                 :            : 
    4305                 :          0 :     case tcc_type:
    4306                 :          0 :     case tcc_statement:
    4307                 :          0 :       gcc_unreachable ();
    4308                 :            : 
    4309                 :            :     case tcc_constant:
    4310                 :            :     case tcc_exceptional:
    4311                 :            :     case tcc_declaration:
    4312                 :            :     case tcc_reference:
    4313                 :            :     case tcc_vl_exp:
    4314                 :            :       break;
    4315                 :            :     }
    4316                 :            : 
    4317                 :   22880900 :   switch (TREE_CODE (exp))
    4318                 :            :     {
    4319                 :     147619 :     case STRING_CST:
    4320                 :     147619 :       if (!lookup_constant_def (exp))
    4321                 :            :         {
    4322                 :      52362 :           if (strlen (TREE_STRING_POINTER (exp)) + 1
    4323                 :      52362 :               != (size_t) TREE_STRING_LENGTH (exp))
    4324                 :            :             return NULL_RTX;
    4325                 :      52073 :           op0 = gen_rtx_CONST_STRING (Pmode, TREE_STRING_POINTER (exp));
    4326                 :      51871 :           op0 = gen_rtx_MEM (BLKmode, op0);
    4327                 :      51871 :           set_mem_attributes (op0, exp, 0);
    4328                 :      51871 :           return op0;
    4329                 :            :         }
    4330                 :            :       /* Fall through.  */
    4331                 :            : 
    4332                 :    3002560 :     case INTEGER_CST:
    4333                 :    3002560 :     case REAL_CST:
    4334                 :    3002560 :     case FIXED_CST:
    4335                 :    3002560 :       op0 = expand_expr (exp, NULL_RTX, mode, EXPAND_INITIALIZER);
    4336                 :    3002560 :       return op0;
    4337                 :            : 
    4338                 :          0 :     case POLY_INT_CST:
    4339                 :          0 :       return immed_wide_int_const (poly_int_cst_value (exp), mode);
    4340                 :            : 
    4341                 :       4299 :     case COMPLEX_CST:
    4342                 :       4299 :       gcc_assert (COMPLEX_MODE_P (mode));
    4343                 :       4299 :       op0 = expand_debug_expr (TREE_REALPART (exp));
    4344                 :       4299 :       op1 = expand_debug_expr (TREE_IMAGPART (exp));
    4345                 :       4299 :       return gen_rtx_CONCAT (mode, op0, op1);
    4346                 :            : 
    4347                 :    3854900 :     case DEBUG_EXPR_DECL:
    4348                 :    3854900 :       op0 = DECL_RTL_IF_SET (exp);
    4349                 :            : 
    4350                 :    2982240 :       if (op0)
    4351                 :            :         return op0;
    4352                 :            : 
    4353                 :     872658 :       op0 = gen_rtx_DEBUG_EXPR (mode);
    4354                 :     872658 :       DEBUG_EXPR_TREE_DECL (op0) = exp;
    4355                 :     872658 :       SET_DECL_RTL (exp, op0);
    4356                 :            : 
    4357                 :     872658 :       return op0;
    4358                 :            : 
    4359                 :    2817440 :     case VAR_DECL:
    4360                 :    2817440 :     case PARM_DECL:
    4361                 :    2817440 :     case FUNCTION_DECL:
    4362                 :    2817440 :     case LABEL_DECL:
    4363                 :    2817440 :     case CONST_DECL:
    4364                 :    2817440 :     case RESULT_DECL:
    4365                 :    2817440 :       op0 = DECL_RTL_IF_SET (exp);
    4366                 :            : 
    4367                 :            :       /* This decl was probably optimized away.  */
    4368                 :    2035040 :       if (!op0
    4369                 :            :           /* At least label RTXen are sometimes replaced by
    4370                 :            :              NOTE_INSN_DELETED_LABEL.  Any notes here are not
    4371                 :            :              handled by copy_rtx.  */
    4372                 :    2035040 :           || NOTE_P (op0))
    4373                 :            :         {
    4374                 :     782406 :           if (!VAR_P (exp)
    4375                 :     779421 :               || DECL_EXTERNAL (exp)
    4376                 :     777831 :               || !TREE_STATIC (exp)
    4377                 :      16409 :               || !DECL_NAME (exp)
    4378                 :      16409 :               || DECL_HARD_REGISTER (exp)
    4379                 :      16409 :               || DECL_IN_CONSTANT_POOL (exp)
    4380                 :     798815 :               || mode == VOIDmode)
    4381                 :            :             return NULL;
    4382                 :            : 
    4383                 :      16409 :           op0 = make_decl_rtl_for_debug (exp);
    4384                 :      16409 :           if (!MEM_P (op0)
    4385                 :      16409 :               || GET_CODE (XEXP (op0, 0)) != SYMBOL_REF
    4386                 :      32818 :               || SYMBOL_REF_DECL (XEXP (op0, 0)) != exp)
    4387                 :            :             return NULL;
    4388                 :            :         }
    4389                 :            :       else
    4390                 :    2035040 :         op0 = copy_rtx (op0);
    4391                 :            : 
    4392                 :    2051440 :       if (GET_MODE (op0) == BLKmode
    4393                 :            :           /* If op0 is not BLKmode, but mode is, adjust_mode
    4394                 :            :              below would ICE.  While it is likely a FE bug,
    4395                 :            :              try to be robust here.  See PR43166.  */
    4396                 :     300686 :           || mode == BLKmode
    4397                 :     300686 :           || (mode == VOIDmode && GET_MODE (op0) != VOIDmode))
    4398                 :            :         {
    4399                 :    1750760 :           gcc_assert (MEM_P (op0));
    4400                 :    1750760 :           op0 = adjust_address_nv (op0, mode, 0);
    4401                 :    1750760 :           return op0;
    4402                 :            :         }
    4403                 :            : 
    4404                 :            :       /* Fall through.  */
    4405                 :            : 
    4406                 :     300686 :     adjust_mode:
    4407                 :    5939170 :     case PAREN_EXPR:
    4408                 :    5939170 :     CASE_CONVERT:
    4409                 :    5939170 :       {
    4410                 :    5939170 :         inner_mode = GET_MODE (op0);
    4411                 :            : 
    4412                 :    5939170 :         if (mode == inner_mode)
    4413                 :            :           return op0;
    4414                 :            : 
    4415                 :      61568 :         if (inner_mode == VOIDmode)
    4416                 :            :           {
    4417                 :       2332 :             if (TREE_CODE (exp) == SSA_NAME)
    4418                 :         31 :               inner_mode = TYPE_MODE (TREE_TYPE (exp));
    4419                 :            :             else
    4420                 :       2301 :               inner_mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
    4421                 :       2332 :             if (mode == inner_mode)
    4422                 :            :               return op0;
    4423                 :            :           }
    4424                 :            : 
    4425                 :      60474 :         if (FLOAT_MODE_P (mode) && FLOAT_MODE_P (inner_mode))
    4426                 :            :           {
    4427                 :       4411 :             if (GET_MODE_UNIT_BITSIZE (mode)
    4428                 :       8822 :                 == GET_MODE_UNIT_BITSIZE (inner_mode))
    4429                 :          0 :               op0 = simplify_gen_subreg (mode, op0, inner_mode, 0);
    4430                 :       4411 :             else if (GET_MODE_UNIT_BITSIZE (mode)
    4431                 :       8822 :                      < GET_MODE_UNIT_BITSIZE (inner_mode))
    4432                 :       2288 :               op0 = simplify_gen_unary (FLOAT_TRUNCATE, mode, op0, inner_mode);
    4433                 :            :             else
    4434                 :       2123 :               op0 = simplify_gen_unary (FLOAT_EXTEND, mode, op0, inner_mode);
    4435                 :            :           }
    4436                 :      56063 :         else if (FLOAT_MODE_P (mode))
    4437                 :            :           {
    4438                 :          0 :             gcc_assert (TREE_CODE (exp) != SSA_NAME);
    4439                 :          0 :             if (TYPE_UNSIGNED (TREE_TYPE (TREE_OPERAND (exp, 0))))
    4440                 :          0 :               op0 = simplify_gen_unary (UNSIGNED_FLOAT, mode, op0, inner_mode);
    4441                 :            :             else
    4442                 :          0 :               op0 = simplify_gen_unary (FLOAT, mode, op0, inner_mode);
    4443                 :            :           }
    4444                 :      56063 :         else if (FLOAT_MODE_P (inner_mode))
    4445                 :            :           {
    4446                 :          0 :             if (unsignedp)
    4447                 :          0 :               op0 = simplify_gen_unary (UNSIGNED_FIX, mode, op0, inner_mode);
    4448                 :            :             else
    4449                 :          0 :               op0 = simplify_gen_unary (FIX, mode, op0, inner_mode);
    4450                 :            :           }
    4451                 :     112126 :         else if (GET_MODE_UNIT_PRECISION (mode)
    4452                 :      56063 :                  == GET_MODE_UNIT_PRECISION (inner_mode))
    4453                 :          0 :           op0 = lowpart_subreg (mode, op0, inner_mode);
    4454                 :     112126 :         else if (GET_MODE_UNIT_PRECISION (mode)
    4455                 :      56063 :                  < GET_MODE_UNIT_PRECISION (inner_mode))
    4456                 :      22683 :           op0 = simplify_gen_unary (TRUNCATE, mode, op0, inner_mode);
    4457                 :      33380 :         else if (UNARY_CLASS_P (exp)
    4458                 :      33380 :                  ? TYPE_UNSIGNED (TREE_TYPE (TREE_OPERAND (exp, 0)))
    4459                 :          0 :                  : unsignedp)
    4460                 :      22328 :           op0 = simplify_gen_unary (ZERO_EXTEND, mode, op0, inner_mode);
    4461                 :            :         else
    4462                 :      11052 :           op0 = simplify_gen_unary (SIGN_EXTEND, mode, op0, inner_mode);
    4463                 :            : 
    4464                 :            :         return op0;
    4465                 :            :       }
    4466                 :            : 
    4467                 :    1161590 :     case MEM_REF:
    4468                 :    1161590 :       if (!is_gimple_mem_ref_addr (TREE_OPERAND (exp, 0)))
    4469                 :            :         {
    4470                 :     467358 :           tree newexp = fold_binary (MEM_REF, TREE_TYPE (exp),
    4471                 :            :                                      TREE_OPERAND (exp, 0),
    4472                 :            :                                      TREE_OPERAND (exp, 1));
    4473                 :     467358 :           if (newexp)
    4474                 :          0 :             return expand_debug_expr (newexp);
    4475                 :            :         }
    4476                 :            :       /* FALLTHROUGH */
    4477                 :    1161590 :     case INDIRECT_REF:
    4478                 :    1161590 :       inner_mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
    4479                 :    1161590 :       op0 = expand_debug_expr (TREE_OPERAND (exp, 0));
    4480                 :    1161590 :       if (!op0)
    4481                 :            :         return NULL;
    4482                 :            : 
    4483                 :    1161350 :       if (TREE_CODE (exp) == MEM_REF)
    4484                 :            :         {
    4485                 :    1161350 :           if (GET_CODE (op0) == DEBUG_IMPLICIT_PTR
    4486                 :    1140830 :               || (GET_CODE (op0) == PLUS
    4487                 :      76410 :                   && GET_CODE (XEXP (op0, 0)) == DEBUG_IMPLICIT_PTR))
    4488                 :            :             /* (mem (debug_implicit_ptr)) might confuse aliasing.
    4489                 :            :                Instead just use get_inner_reference.  */
    4490                 :      20522 :             goto component_ref;
    4491                 :            : 
    4492                 :    1140830 :           op1 = expand_debug_expr (TREE_OPERAND (exp, 1));
    4493                 :    1140830 :           poly_int64 offset;
    4494                 :    1140830 :           if (!op1 || !poly_int_rtx_p (op1, &offset))
    4495                 :          0 :             return NULL;
    4496                 :            : 
    4497                 :    1140830 :           op0 = plus_constant (inner_mode, op0, offset);
    4498                 :            :         }
    4499                 :            : 
    4500                 :    1140830 :       as = TYPE_ADDR_SPACE (TREE_TYPE (TREE_TYPE (TREE_OPERAND (exp, 0))));
    4501                 :            : 
    4502                 :    1140830 :       op0 = convert_debug_memory_address (targetm.addr_space.address_mode (as),
    4503                 :            :                                           op0, as);
    4504                 :    1140830 :       if (op0 == NULL_RTX)
    4505                 :            :         return NULL;
    4506                 :            : 
    4507                 :    1140830 :       op0 = gen_rtx_MEM (mode, op0);
    4508                 :    1140830 :       set_mem_attributes (op0, exp, 0);
    4509                 :    1140830 :       if (TREE_CODE (exp) == MEM_REF
    4510                 :    1140830 :           && !is_gimple_mem_ref_addr (TREE_OPERAND (exp, 0)))
    4511                 :     467358 :         set_mem_expr (op0, NULL_TREE);
    4512                 :    1140830 :       set_mem_addr_space (op0, as);
    4513                 :            : 
    4514                 :    1140830 :       return op0;
    4515                 :            : 
    4516                 :      30372 :     case TARGET_MEM_REF:
    4517                 :      30372 :       if (TREE_CODE (TMR_BASE (exp)) == ADDR_EXPR
    4518                 :      30372 :           && !DECL_RTL_SET_P (TREE_OPERAND (TMR_BASE (exp), 0)))
    4519                 :            :         return NULL;
    4520                 :            : 
    4521                 :      30368 :       op0 = expand_debug_expr
    4522                 :      30368 :             (tree_mem_ref_addr (build_pointer_type (TREE_TYPE (exp)), exp));
    4523                 :      30368 :       if (!op0)
    4524                 :            :         return NULL;
    4525                 :            : 
    4526                 :      30368 :       as = TYPE_ADDR_SPACE (TREE_TYPE (TREE_TYPE (TREE_OPERAND (exp, 0))));
    4527                 :      30368 :       op0 = convert_debug_memory_address (targetm.addr_space.address_mode (as),
    4528                 :            :                                           op0, as);
    4529                 :      30368 :       if (op0 == NULL_RTX)
    4530                 :            :         return NULL;
    4531                 :            : 
    4532                 :      30368 :       op0 = gen_rtx_MEM (mode, op0);
    4533                 :            : 
    4534                 :      30368 :       set_mem_attributes (op0, exp, 0);
    4535                 :      30368 :       set_mem_addr_space (op0, as);
    4536                 :            : 
    4537                 :      30368 :       return op0;
    4538                 :            : 
    4539                 :    2104460 :     component_ref:
    4540                 :    2104460 :     case ARRAY_REF:
    4541                 :    2104460 :     case ARRAY_RANGE_REF:
    4542                 :    2104460 :     case COMPONENT_REF:
    4543                 :    2104460 :     case BIT_FIELD_REF:
    4544                 :    2104460 :     case REALPART_EXPR:
    4545                 :    2104460 :     case IMAGPART_EXPR:
    4546                 :    2104460 :     case VIEW_CONVERT_EXPR:
    4547                 :    2104460 :       {
    4548                 :    2104460 :         machine_mode mode1;
    4549                 :    2104460 :         poly_int64 bitsize, bitpos;
    4550                 :    2104460 :         tree offset;
    4551                 :    2104460 :         int reversep, volatilep = 0;
    4552                 :    2104460 :         tree tem
    4553                 :    2104460 :           = get_inner_reference (exp, &bitsize, &bitpos, &offset, &mode1,
    4554                 :            :                                  &unsignedp, &reversep, &volatilep);
    4555                 :    2104460 :         rtx orig_op0;
    4556                 :            : 
    4557                 :    2104460 :         if (known_eq (bitsize, 0))
    4558                 :            :           return NULL;
    4559                 :            : 
    4560                 :    2104410 :         orig_op0 = op0 = expand_debug_expr (tem);
    4561                 :            : 
    4562                 :    2104410 :         if (!op0)
    4563                 :            :           return NULL;
    4564                 :            : 
    4565                 :    1981390 :         if (offset)
    4566                 :            :           {
    4567                 :       6976 :             machine_mode addrmode, offmode;
    4568                 :            : 
    4569                 :       6976 :             if (!MEM_P (op0))
    4570                 :            :               return NULL;
    4571                 :            : 
    4572                 :       6976 :             op0 = XEXP (op0, 0);
    4573                 :       6976 :             addrmode = GET_MODE (op0);
    4574                 :       6976 :             if (addrmode == VOIDmode)
    4575                 :          0 :               addrmode = Pmode;
    4576                 :            : 
    4577                 :       6976 :             op1 = expand_debug_expr (offset);
    4578                 :       6976 :             if (!op1)
    4579                 :            :               return NULL;
    4580                 :            : 
    4581                 :       6974 :             offmode = GET_MODE (op1);
    4582                 :       6974 :             if (offmode == VOIDmode)
    4583                 :          0 :               offmode = TYPE_MODE (TREE_TYPE (offset));
    4584                 :            : 
    4585                 :       6974 :             if (addrmode != offmode)
    4586                 :          0 :               op1 = lowpart_subreg (addrmode, op1, offmode);
    4587                 :            : 
    4588                 :            :             /* Don't use offset_address here, we don't need a
    4589                 :            :                recognizable address, and we don't want to generate
    4590                 :            :                code.  */
    4591                 :       6974 :             op0 = gen_rtx_MEM (mode, simplify_gen_binary (PLUS, addrmode,
    4592                 :            :                                                           op0, op1));
    4593                 :            :           }
    4594                 :            : 
    4595                 :    1981390 :         if (MEM_P (op0))
    4596                 :            :           {
    4597                 :    1914650 :             if (mode1 == VOIDmode)
    4598                 :            :               {
    4599                 :        781 :                 if (maybe_gt (bitsize, MAX_BITSIZE_MODE_ANY_INT))
    4600                 :    2104460 :                   return NULL;
    4601                 :            :                 /* Bitfield.  */
    4602                 :        781 :                 mode1 = smallest_int_mode_for_size (bitsize);
    4603                 :            :               }
    4604                 :    1914650 :             poly_int64 bytepos = bits_to_bytes_round_down (bitpos);
    4605                 :    1914650 :             if (maybe_ne (bytepos, 0))
    4606                 :            :               {
    4607                 :     899702 :                 op0 = adjust_address_nv (op0, mode1, bytepos);
    4608                 :     899702 :                 bitpos = num_trailing_bits (bitpos);
    4609                 :            :               }
    4610                 :    1014940 :             else if (known_eq (bitpos, 0)
    4611                 :    2029770 :                      && known_eq (bitsize, GET_MODE_BITSIZE (mode)))
    4612                 :     246215 :               op0 = adjust_address_nv (op0, mode, 0);
    4613                 :     768729 :             else if (GET_MODE (op0) != mode1)
    4614                 :       4176 :               op0 = adjust_address_nv (op0, mode1, 0);
    4615                 :            :             else
    4616                 :     764553 :               op0 = copy_rtx (op0);
    4617                 :    1914650 :             if (op0 == orig_op0)
    4618                 :      53595 :               op0 = shallow_copy_rtx (op0);
    4619                 :    1914650 :             set_mem_attributes (op0, exp, 0);
    4620                 :            :           }
    4621                 :            : 
    4622                 :    1981390 :         if (known_eq (bitpos, 0) && mode == GET_MODE (op0))
    4623                 :            :           return op0;
    4624                 :            : 
    4625                 :      50538 :         if (maybe_lt (bitpos, 0))
    4626                 :            :           return NULL;
    4627                 :            : 
    4628                 :      50534 :         if (GET_MODE (op0) == BLKmode || mode == BLKmode)
    4629                 :            :           return NULL;
    4630                 :            : 
    4631                 :      50527 :         poly_int64 bytepos;
    4632                 :      50527 :         if (multiple_p (bitpos, BITS_PER_UNIT, &bytepos)
    4633                 :     100630 :             && known_eq (bitsize, GET_MODE_BITSIZE (mode1)))
    4634                 :            :           {
    4635                 :      49846 :             machine_mode opmode = GET_MODE (op0);
    4636                 :            : 
    4637                 :      49846 :             if (opmode == VOIDmode)
    4638                 :          0 :               opmode = TYPE_MODE (TREE_TYPE (tem));
    4639                 :            : 
    4640                 :            :             /* This condition may hold if we're expanding the address
    4641                 :            :                right past the end of an array that turned out not to
    4642                 :            :                be addressable (i.e., the address was only computed in
    4643                 :            :                debug stmts).  The gen_subreg below would rightfully
    4644                 :            :                crash, and the address doesn't really exist, so just
    4645                 :            :                drop it.  */
    4646                 :      99692 :             if (known_ge (bitpos, GET_MODE_BITSIZE (opmode)))
    4647                 :            :               return NULL;
    4648                 :            : 
    4649                 :      99578 :             if (multiple_p (bitpos, GET_MODE_BITSIZE (mode)))
    4650                 :      49749 :               return simplify_gen_subreg (mode, op0, opmode, bytepos);
    4651                 :            :           }
    4652                 :            : 
    4653                 :       1922 :         return simplify_gen_ternary (SCALAR_INT_MODE_P (GET_MODE (op0))
    4654                 :        480 :                                      && TYPE_UNSIGNED (TREE_TYPE (exp))
    4655                 :            :                                      ? SIGN_EXTRACT
    4656                 :            :                                      : ZERO_EXTRACT, mode,
    4657                 :        721 :                                      GET_MODE (op0) != VOIDmode
    4658                 :            :                                      ? GET_MODE (op0)
    4659                 :          0 :                                      : TYPE_MODE (TREE_TYPE (tem)),
    4660                 :            :                                      op0, gen_int_mode (bitsize, word_mode),
    4661                 :        721 :                                      gen_int_mode (bitpos, word_mode));
    4662                 :            :       }
    4663                 :            : 
    4664                 :        934 :     case ABS_EXPR:
    4665                 :        934 :     case ABSU_EXPR:
    4666                 :        934 :       return simplify_gen_unary (ABS, mode, op0, mode);
    4667                 :            : 
    4668                 :       9105 :     case NEGATE_EXPR:
    4669                 :       9105 :       return simplify_gen_unary (NEG, mode, op0, mode);
    4670                 :            : 
    4671                 :       1895 :     case BIT_NOT_EXPR:
    4672                 :       1895 :       return simplify_gen_unary (NOT, mode, op0, mode);
    4673                 :            : 
    4674                 :       3610 :     case FLOAT_EXPR:
    4675                 :       7220 :       return simplify_gen_unary (TYPE_UNSIGNED (TREE_TYPE (TREE_OPERAND (exp,
    4676                 :            :                                                                          0)))
    4677                 :       3610 :                                  ? UNSIGNED_FLOAT : FLOAT, mode, op0,
    4678                 :       3610 :                                  inner_mode);
    4679                 :            : 
    4680                 :        438 :     case FIX_TRUNC_EXPR:
    4681                 :        712 :       return simplify_gen_unary (unsignedp ? UNSIGNED_FIX : FIX, mode, op0,
    4682                 :        438 :                                  inner_mode);
    4683                 :            : 
    4684                 :     117364 :     case POINTER_PLUS_EXPR:
    4685                 :            :       /* For the rare target where pointers are not the same size as
    4686                 :            :          size_t, we need to check for mis-matched modes and correct
    4687                 :            :          the addend.  */
    4688                 :     117364 :       if (op0 && op1
    4689                 :     117364 :           && is_a <scalar_int_mode> (GET_MODE (op0), &op0_mode)
    4690                 :     117234 :           && is_a <scalar_int_mode> (GET_MODE (op1), &op1_mode)
    4691                 :     189834 :           && op0_mode != op1_mode)
    4692                 :            :         {
    4693                 :          0 :           if (GET_MODE_BITSIZE (op0_mode) < GET_MODE_BITSIZE (op1_mode)
    4694                 :            :               /* If OP0 is a partial mode, then we must truncate, even
    4695                 :            :                  if it has the same bitsize as OP1 as GCC's
    4696                 :            :                  representation of partial modes is opaque.  */
    4697                 :          0 :               || (GET_MODE_CLASS (op0_mode) == MODE_PARTIAL_INT
    4698                 :          0 :                   && (GET_MODE_BITSIZE (op0_mode)
    4699                 :          0 :                       == GET_MODE_BITSIZE (op1_mode))))
    4700                 :          0 :             op1 = simplify_gen_unary (TRUNCATE, op0_mode, op1, op1_mode);
    4701                 :            :           else
    4702                 :            :             /* We always sign-extend, regardless of the signedness of
    4703                 :            :                the operand, because the operand is always unsigned
    4704                 :            :                here even if the original C expression is signed.  */
    4705                 :          0 :             op1 = simplify_gen_unary (SIGN_EXTEND, op0_mode, op1, op1_mode);
    4706                 :            :         }
    4707                 :            :       /* Fall through.  */
    4708                 :     323571 :     case PLUS_EXPR:
    4709                 :     323571 :       return simplify_gen_binary (PLUS, mode, op0, op1);
    4710                 :            : 
    4711                 :      67326 :     case MINUS_EXPR:
    4712                 :      67326 :     case POINTER_DIFF_EXPR:
    4713                 :      67326 :       return simplify_gen_binary (MINUS, mode, op0, op1);
    4714                 :            : 
    4715                 :      69870 :     case MULT_EXPR:
    4716                 :      69870 :       return simplify_gen_binary (MULT, mode, op0, op1);
    4717                 :            : 
    4718                 :      39194 :     case RDIV_EXPR:
    4719                 :      39194 :     case TRUNC_DIV_EXPR:
    4720                 :      39194 :     case EXACT_DIV_EXPR:
    4721                 :      39194 :       if (unsignedp)
    4722                 :       4644 :         return simplify_gen_binary (UDIV, mode, op0, op1);
    4723                 :            :       else
    4724                 :      34550 :         return simplify_gen_binary (DIV, mode, op0, op1);
    4725                 :            : 
    4726                 :       1630 :     case TRUNC_MOD_EXPR:
    4727                 :       2223 :       return simplify_gen_binary (unsignedp ? UMOD : MOD, mode, op0, op1);
    4728                 :            : 
    4729                 :          2 :     case FLOOR_DIV_EXPR:
    4730                 :          2 :       if (unsignedp)
    4731                 :          0 :         return simplify_gen_binary (UDIV, mode, op0, op1);
    4732                 :            :       else
    4733                 :            :         {
    4734                 :          2 :           rtx div = simplify_gen_binary (DIV, mode, op0, op1);
    4735                 :          2 :           rtx mod = simplify_gen_binary (MOD, mode, op0, op1);
    4736                 :          2 :           rtx adj = floor_sdiv_adjust (mode, mod, op1);
    4737                 :          2 :           return simplify_gen_binary (PLUS, mode, div, adj);
    4738                 :            :         }
    4739                 :            : 
    4740                 :          0 :     case FLOOR_MOD_EXPR:
    4741                 :          0 :       if (unsignedp)
    4742                 :          0 :         return simplify_gen_binary (UMOD, mode, op0, op1);
    4743                 :            :       else
    4744                 :            :         {
    4745                 :          0 :           rtx mod = simplify_gen_binary (MOD, mode, op0, op1);
    4746                 :          0 :           rtx adj = floor_sdiv_adjust (mode, mod, op1);
    4747                 :          0 :           adj = simplify_gen_unary (NEG, mode,
    4748                 :            :                                     simplify_gen_binary (MULT, mode, adj, op1),
    4749                 :            :                                     mode);
    4750                 :          0 :           return simplify_gen_binary (PLUS, mode, mod, adj);
    4751                 :            :         }
    4752                 :            : 
    4753                 :          0 :     case CEIL_DIV_EXPR:
    4754                 :          0 :       if (unsignedp)
    4755                 :            :         {
    4756                 :          0 :           rtx div = simplify_gen_binary (UDIV, mode, op0, op1);
    4757                 :          0 :           rtx mod = simplify_gen_binary (UMOD, mode, op0, op1);
    4758                 :          0 :           rtx adj = ceil_udiv_adjust (mode, mod, op1);
    4759                 :          0 :           return simplify_gen_binary (PLUS, mode, div, adj);
    4760                 :            :         }
    4761                 :            :       else
    4762                 :            :         {
    4763                 :          0 :           rtx div = simplify_gen_binary (DIV, mode, op0, op1);
    4764                 :          0 :           rtx mod = simplify_gen_binary (MOD, mode, op0, op1);
    4765                 :          0 :           rtx adj = ceil_sdiv_adjust (mode, mod, op1);
    4766                 :          0 :           return simplify_gen_binary (PLUS, mode, div, adj);
    4767                 :            :         }
    4768                 :            : 
    4769                 :          0 :     case CEIL_MOD_EXPR:
    4770                 :          0 :       if (unsignedp)
    4771                 :            :         {
    4772                 :          0 :           rtx mod = simplify_gen_binary (UMOD, mode, op0, op1);
    4773                 :          0 :           rtx adj = ceil_udiv_adjust (mode, mod, op1);
    4774                 :          0 :           adj = simplify_gen_unary (NEG, mode,
    4775                 :            :                                     simplify_gen_binary (MULT, mode, adj, op1),
    4776                 :            :                                     mode);
    4777                 :          0 :           return simplify_gen_binary (PLUS, mode, mod, adj);
    4778                 :            :         }
    4779                 :            :       else
    4780                 :            :         {
    4781                 :          0 :           rtx mod = simplify_gen_binary (MOD, mode, op0, op1);
    4782                 :          0 :           rtx adj = ceil_sdiv_adjust (mode, mod, op1);
    4783                 :          0 :           adj = simplify_gen_unary (NEG, mode,
    4784                 :            :                                     simplify_gen_binary (MULT, mode, adj, op1),
    4785                 :            :                                     mode);
    4786                 :          0 :           return simplify_gen_binary (PLUS, mode, mod, adj);
    4787                 :            :         }
    4788                 :            : 
    4789                 :          0 :     case ROUND_DIV_EXPR:
    4790                 :          0 :       if (unsignedp)
    4791                 :            :         {
    4792                 :          0 :           rtx div = simplify_gen_binary (UDIV, mode, op0, op1);
    4793                 :          0 :           rtx mod = simplify_gen_binary (UMOD, mode, op0, op1);
    4794                 :          0 :           rtx adj = round_udiv_adjust (mode, mod, op1);
    4795                 :          0 :           return simplify_gen_binary (PLUS, mode, div, adj);
    4796                 :            :         }
    4797                 :            :       else
    4798                 :            :         {
    4799                 :          0 :           rtx div = simplify_gen_binary (DIV, mode, op0, op1);
    4800                 :          0 :           rtx mod = simplify_gen_binary (MOD, mode, op0, op1);
    4801                 :          0 :           rtx adj = round_sdiv_adjust (mode, mod, op1);
    4802                 :          0 :           return simplify_gen_binary (PLUS, mode, div, adj);
    4803                 :            :         }
    4804                 :            : 
    4805                 :          0 :     case ROUND_MOD_EXPR:
    4806                 :          0 :       if (unsignedp)
    4807                 :            :         {
    4808                 :          0 :           rtx mod = simplify_gen_binary (UMOD, mode, op0, op1);
    4809                 :          0 :           rtx adj = round_udiv_adjust (mode, mod, op1);
    4810                 :          0 :           adj = simplify_gen_unary (NEG, mode,
    4811                 :            :                                     simplify_gen_binary (MULT, mode, adj, op1),
    4812                 :            :                                     mode);
    4813                 :          0 :           return simplify_gen_binary (PLUS, mode, mod, adj);
    4814                 :            :         }
    4815                 :            :       else
    4816                 :            :         {
    4817                 :          0 :           rtx mod = simplify_gen_binary (MOD, mode, op0, op1);
    4818                 :          0 :           rtx adj = round_sdiv_adjust (mode, mod, op1);
    4819                 :          0 :           adj = simplify_gen_unary (NEG, mode,
    4820                 :            :                                     simplify_gen_binary (MULT, mode, adj, op1),
    4821                 :            :                                     mode);
    4822                 :          0 :           return simplify_gen_binary (PLUS, mode, mod, adj);
    4823                 :            :         }
    4824                 :            : 
    4825                 :       8541 :     case LSHIFT_EXPR:
    4826                 :       8541 :       return simplify_gen_binary (ASHIFT, mode, op0, op1);
    4827                 :            : 
    4828                 :      20144 :     case RSHIFT_EXPR:
    4829                 :      20144 :       if (unsignedp)
    4830                 :      18224 :         return simplify_gen_binary (LSHIFTRT, mode, op0, op1);
    4831                 :            :       else
    4832                 :       1920 :         return simplify_gen_binary (ASHIFTRT, mode, op0, op1);
    4833                 :            : 
    4834                 :          0 :     case LROTATE_EXPR:
    4835                 :          0 :       return simplify_gen_binary (ROTATE, mode, op0, op1);
    4836                 :            : 
    4837                 :        262 :     case RROTATE_EXPR:
    4838                 :        262 :       return simplify_gen_binary (ROTATERT, mode, op0, op1);
    4839                 :            : 
    4840                 :       2808 :     case MIN_EXPR:
    4841                 :       3845 :       return simplify_gen_binary (unsignedp ? UMIN : SMIN, mode, op0, op1);
    4842                 :            : 
    4843                 :       1696 :     case MAX_EXPR:
    4844                 :       3066 :       return simplify_gen_binary (unsignedp ? UMAX : SMAX, mode, op0, op1);
    4845                 :            : 
    4846                 :      21651 :     case BIT_AND_EXPR:
    4847                 :      21651 :     case TRUTH_AND_EXPR:
    4848                 :      21651 :       return simplify_gen_binary (AND, mode, op0, op1);
    4849                 :            : 
    4850                 :       9324 :     case BIT_IOR_EXPR:
    4851                 :       9324 :     case TRUTH_OR_EXPR:
    4852                 :       9324 :       return simplify_gen_binary (IOR, mode, op0, op1);
    4853                 :            : 
    4854                 :       4470 :     case BIT_XOR_EXPR:
    4855                 :       4470 :     case TRUTH_XOR_EXPR:
    4856                 :       4470 :       return simplify_gen_binary (XOR, mode, op0, op1);
    4857                 :            : 
    4858                 :          0 :     case TRUTH_ANDIF_EXPR:
    4859                 :          0 :       return gen_rtx_IF_THEN_ELSE (mode, op0, op1, const0_rtx);
    4860                 :            : 
    4861                 :          0 :     case TRUTH_ORIF_EXPR:
    4862                 :          0 :       return gen_rtx_IF_THEN_ELSE (mode, op0, const_true_rtx, op1);
    4863                 :            : 
    4864                 :          0 :     case TRUTH_NOT_EXPR:
    4865                 :          0 :       return simplify_gen_relational (EQ, mode, inner_mode, op0, const0_rtx);
    4866                 :            : 
    4867                 :       1538 :     case LT_EXPR:
    4868                 :       2512 :       return simplify_gen_relational (unsignedp ? LTU : LT, mode, inner_mode,
    4869                 :       1538 :                                       op0, op1);
    4870                 :            : 
    4871                 :       2664 :     case LE_EXPR:
    4872                 :       3093 :       return simplify_gen_relational (unsignedp ? LEU : LE, mode, inner_mode,
    4873                 :       2664 :                                       op0, op1);
    4874                 :            : 
    4875                 :       5928 :     case GT_EXPR:
    4876                 :       7347 :       return simplify_gen_relational (unsignedp ? GTU : GT, mode, inner_mode,
    4877                 :       5928 :                                       op0, op1);
    4878                 :            : 
    4879                 :       1173 :     case GE_EXPR:
    4880                 :       1982 :       return simplify_gen_relational (unsignedp ? GEU : GE, mode, inner_mode,
    4881                 :       1173 :                                       op0, op1);
    4882                 :            : 
    4883                 :      10655 :     case EQ_EXPR:
    4884                 :      10655 :       return simplify_gen_relational (EQ, mode, inner_mode, op0, op1);
    4885                 :            : 
    4886                 :       7172 :     case NE_EXPR:
    4887                 :       7172 :       return simplify_gen_relational (NE, mode, inner_mode, op0, op1);
    4888                 :            : 
    4889                 :          0 :     case UNORDERED_EXPR:
    4890                 :          0 :       return simplify_gen_relational (UNORDERED, mode, inner_mode, op0, op1);
    4891                 :            : 
    4892                 :          0 :     case ORDERED_EXPR:
    4893                 :          0 :       return simplify_gen_relational (ORDERED, mode, inner_mode, op0, op1);
    4894                 :            : 
    4895                 :          0 :     case UNLT_EXPR:
    4896                 :          0 :       return simplify_gen_relational (UNLT, mode, inner_mode, op0, op1);
    4897                 :            : 
    4898                 :          0 :     case UNLE_EXPR:
    4899                 :          0 :       return simplify_gen_relational (UNLE, mode, inner_mode, op0, op1);
    4900                 :            : 
    4901                 :          0 :     case UNGT_EXPR:
    4902                 :          0 :       return simplify_gen_relational (UNGT, mode, inner_mode, op0, op1);
    4903                 :            : 
    4904                 :          0 :     case UNGE_EXPR:
    4905                 :          0 :       return simplify_gen_relational (UNGE, mode, inner_mode, op0, op1);
    4906                 :            : 
    4907                 :          0 :     case UNEQ_EXPR:
    4908                 :          0 :       return simplify_gen_relational (UNEQ, mode, inner_mode, op0, op1);
    4909                 :            : 
    4910                 :          0 :     case LTGT_EXPR:
    4911                 :          0 :       return simplify_gen_relational (LTGT, mode, inner_mode, op0, op1);
    4912                 :            : 
    4913                 :        214 :     case COND_EXPR:
    4914                 :        214 :       return gen_rtx_IF_THEN_ELSE (mode, op0, op1, op2);
    4915                 :            : 
    4916                 :       9200 :     case COMPLEX_EXPR:
    4917                 :       9200 :       gcc_assert (COMPLEX_MODE_P (mode));
    4918                 :       9200 :       if (GET_MODE (op0) == VOIDmode)
    4919                 :         42 :         op0 = gen_rtx_CONST (GET_MODE_INNER (mode), op0);
    4920                 :       9200 :       if (GET_MODE (op1) == VOIDmode)
    4921                 :          2 :         op1 = gen_rtx_CONST (GET_MODE_INNER (mode), op1);
    4922                 :       9200 :       return gen_rtx_CONCAT (mode, op0, op1);
    4923                 :            : 
    4924                 :          0 :     case CONJ_EXPR:
    4925                 :          0 :       if (GET_CODE (op0) == CONCAT)
    4926                 :          0 :         return gen_rtx_CONCAT (mode, XEXP (op0, 0),
    4927                 :            :                                simplify_gen_unary (NEG, GET_MODE_INNER (mode),
    4928                 :            :                                                    XEXP (op0, 1),
    4929                 :            :                                                    GET_MODE_INNER (mode)));
    4930                 :            :       else
    4931                 :            :         {
    4932                 :          0 :           scalar_mode imode = GET_MODE_INNER (mode);
    4933                 :          0 :           rtx re, im;
    4934                 :            : 
    4935                 :          0 :           if (MEM_P (op0))
    4936                 :            :             {
    4937                 :          0 :               re = adjust_address_nv (op0, imode, 0);
    4938                 :          0 :               im = adjust_address_nv (op0, imode, GET_MODE_SIZE (imode));
    4939                 :            :             }
    4940                 :            :           else
    4941                 :            :             {
    4942                 :          0 :               scalar_int_mode ifmode;
    4943                 :          0 :               scalar_int_mode ihmode;
    4944                 :          0 :               rtx halfsize;
    4945                 :          0 :               if (!int_mode_for_mode (mode).exists (&ifmode)
    4946                 :          0 :                   || !int_mode_for_mode (imode).exists (&ihmode))
    4947                 :          0 :                 return NULL;
    4948                 :          0 :               halfsize = GEN_INT (GET_MODE_BITSIZE (ihmode));
    4949                 :          0 :               re = op0;
    4950                 :          0 :               if (mode != ifmode)
    4951                 :          0 :                 re = gen_rtx_SUBREG (ifmode, re, 0);
    4952                 :          0 :               re = gen_rtx_ZERO_EXTRACT (ihmode, re, halfsize, const0_rtx);
    4953                 :          0 :               if (imode != ihmode)
    4954                 :          0 :                 re = gen_rtx_SUBREG (imode, re, 0);
    4955                 :          0 :               im = copy_rtx (op0);
    4956                 :          0 :               if (mode != ifmode)
    4957                 :          0 :                 im = gen_rtx_SUBREG (ifmode, im, 0);
    4958                 :          0 :               im = gen_rtx_ZERO_EXTRACT (ihmode, im, halfsize, halfsize);
    4959                 :          0 :               if (imode != ihmode)
    4960                 :          0 :                 im = gen_rtx_SUBREG (imode, im, 0);
    4961                 :            :             }
    4962                 :          0 :           im = gen_rtx_NEG (imode, im);
    4963                 :          0 :           return gen_rtx_CONCAT (mode, re, im);
    4964                 :            :         }
    4965                 :            : 
    4966                 :    3604900 :     case ADDR_EXPR:
    4967                 :    3604900 :       op0 = expand_debug_expr (TREE_OPERAND (exp, 0));
    4968                 :    3604900 :       if (!op0 || !MEM_P (op0))
    4969                 :            :         {
    4970                 :     845181 :           if ((TREE_CODE (TREE_OPERAND (exp, 0)) == VAR_DECL
    4971                 :     170494 :                || TREE_CODE (TREE_OPERAND (exp, 0)) == PARM_DECL
    4972                 :     121517 :                || TREE_CODE (TREE_OPERAND (exp, 0)) == RESULT_DECL)
    4973                 :     894158 :               && (!TREE_ADDRESSABLE (TREE_OPERAND (exp, 0))
    4974                 :       6752 :                   || target_for_debug_bind (TREE_OPERAND (exp, 0))))
    4975                 :     718422 :             return gen_rtx_DEBUG_IMPLICIT_PTR (mode, TREE_OPERAND (exp, 0));
    4976                 :            : 
    4977                 :     126759 :           if (handled_component_p (TREE_OPERAND (exp, 0)))
    4978                 :            :             {
    4979                 :     107560 :               poly_int64 bitoffset, bitsize, maxsize, byteoffset;
    4980                 :     107560 :               bool reverse;
    4981                 :     107560 :               tree decl
    4982                 :     107560 :                 = get_ref_base_and_extent (TREE_OPERAND (exp, 0), &bitoffset,
    4983                 :            :                                            &bitsize, &maxsize, &reverse);
    4984                 :     107560 :               if ((VAR_P (decl)
    4985                 :       3872 :                    || TREE_CODE (decl) == PARM_DECL
    4986                 :         38 :                    || TREE_CODE (decl) == RESULT_DECL)
    4987                 :     107522 :                   && (!TREE_ADDRESSABLE (decl)
    4988                 :        920 :                       || target_for_debug_bind (decl))
    4989                 :     106602 :                   && multiple_p (bitoffset, BITS_PER_UNIT, &byteoffset)
    4990                 :     106602 :                   && known_gt (bitsize, 0)
    4991                 :     214146 :                   && known_eq (bitsize, maxsize))
    4992                 :            :                 {
    4993                 :     106579 :                   rtx base = gen_rtx_DEBUG_IMPLICIT_PTR (mode, decl);
    4994                 :     106579 :                   return plus_constant (mode, base, byteoffset);
    4995                 :            :                 }
    4996                 :            :             }
    4997                 :            : 
    4998                 :      20180 :           if (TREE_CODE (TREE_OPERAND (exp, 0)) == MEM_REF
    4999                 :      20180 :               && TREE_CODE (TREE_OPERAND (TREE_OPERAND (exp, 0), 0))
    5000                 :            :                  == ADDR_EXPR)
    5001                 :            :             {
    5002                 :       3839 :               op0 = expand_debug_expr (TREE_OPERAND (TREE_OPERAND (exp, 0),
    5003                 :            :                                                      0));
    5004                 :       3839 :               if (op0 != NULL
    5005                 :       3605 :                   && (GET_CODE (op0) == DEBUG_IMPLICIT_PTR
    5006                 :          0 :                       || (GET_CODE (op0) == PLUS
    5007                 :          0 :                           && GET_CODE (XEXP (op0, 0)) == DEBUG_IMPLICIT_PTR
    5008                 :          0 :                           && CONST_INT_P (XEXP (op0, 1)))))
    5009                 :            :                 {
    5010                 :       3605 :                   op1 = expand_debug_expr (TREE_OPERAND (TREE_OPERAND (exp, 0),
    5011                 :            :                                                          1));
    5012                 :       3605 :                   poly_int64 offset;
    5013                 :       3605 :                   if (!op1 || !poly_int_rtx_p (op1, &offset))
    5014                 :          0 :                     return NULL;
    5015                 :            : 
    5016                 :       3605 :                   return plus_constant (mode, op0, offset);
    5017                 :            :                 }
    5018                 :            :             }
    5019                 :            : 
    5020                 :      16575 :           return NULL;
    5021                 :            :         }
    5022                 :            : 
    5023                 :    2759720 :       as = TYPE_ADDR_SPACE (TREE_TYPE (TREE_TYPE (exp)));
    5024                 :    2759720 :       addr_mode = SCALAR_INT_TYPE_MODE (TREE_TYPE (exp));
    5025                 :    2759720 :       op0 = convert_debug_memory_address (addr_mode, XEXP (op0, 0), as);
    5026                 :            : 
    5027                 :    2759720 :       return op0;
    5028                 :            : 
    5029                 :        405 :     case VECTOR_CST:
    5030                 :        405 :       {
    5031                 :        405 :         unsigned HOST_WIDE_INT i, nelts;
    5032                 :            : 
    5033                 :        405 :         if (!VECTOR_CST_NELTS (exp).is_constant (&nelts))
    5034                 :            :           return NULL;
    5035                 :            : 
    5036                 :        405 :         op0 = gen_rtx_CONCATN (mode, rtvec_alloc (nelts));
    5037                 :            : 
    5038                 :       2021 :         for (i = 0; i < nelts; ++i)
    5039                 :            :           {
    5040                 :       1616 :             op1 = expand_debug_expr (VECTOR_CST_ELT (exp, i));
    5041                 :       1616 :             if (!op1)
    5042                 :            :               return NULL;
    5043                 :       1616 :             XVECEXP (op0, 0, i) = op1;
    5044                 :            :           }
    5045                 :            : 
    5046                 :            :         return op0;
    5047                 :            :       }
    5048                 :            : 
    5049                 :        125 :     case CONSTRUCTOR:
    5050                 :        125 :       if (TREE_CLOBBER_P (exp))
    5051                 :            :         return NULL;
    5052                 :        125 :       else if (TREE_CODE (TREE_TYPE (exp)) == VECTOR_TYPE)
    5053                 :            :         {
    5054                 :        125 :           unsigned i;
    5055                 :        125 :           unsigned HOST_WIDE_INT nelts;
    5056                 :        125 :           tree val;
    5057                 :            : 
    5058                 :        125 :           if (!TYPE_VECTOR_SUBPARTS (TREE_TYPE (exp)).is_constant (&nelts))
    5059                 :            :             goto flag_unsupported;
    5060                 :            : 
    5061                 :        125 :           op0 = gen_rtx_CONCATN (mode, rtvec_alloc (nelts));
    5062                 :            : 
    5063                 :        645 :           FOR_EACH_CONSTRUCTOR_VALUE (CONSTRUCTOR_ELTS (exp), i, val)
    5064                 :            :             {
    5065                 :        527 :               op1 = expand_debug_expr (val);
    5066                 :        527 :               if (!op1)
    5067                 :   22881300 :                 return NULL;
    5068                 :        520 :               XVECEXP (op0, 0, i) = op1;
    5069                 :            :             }
    5070                 :            : 
    5071                 :        118 :           if (i < nelts)
    5072                 :            :             {
    5073                 :         21 :               op1 = expand_debug_expr
    5074                 :         21 :                 (build_zero_cst (TREE_TYPE (TREE_TYPE (exp))));
    5075                 :            : 
    5076                 :         21 :               if (!op1)
    5077                 :            :                 return NULL;
    5078                 :            : 
    5079                 :        129 :               for (; i < nelts; i++)
    5080                 :        108 :                 XVECEXP (op0, 0, i) = op1;
    5081                 :            :             }
    5082                 :            : 
    5083                 :        118 :           return op0;
    5084                 :            :         }
    5085                 :            :       else
    5086                 :          0 :         goto flag_unsupported;
    5087                 :            : 
    5088                 :            :     case CALL_EXPR:
    5089                 :            :       /* ??? Maybe handle some builtins?  */
    5090                 :            :       return NULL;
    5091                 :            : 
    5092                 :    5349970 :     case SSA_NAME:
    5093                 :    5349970 :       {
    5094                 :    5349970 :         gimple *g = get_gimple_for_ssa_name (exp);
    5095                 :    5349970 :         if (g)
    5096                 :            :           {
    5097                 :     666926 :             tree t = NULL_TREE;
    5098                 :     666926 :             if (deep_ter_debug_map)
    5099                 :            :               {
    5100                 :      19475 :                 tree *slot = deep_ter_debug_map->get (exp);
    5101                 :      19475 :                 if (slot)
    5102                 :       5037 :                   t = *slot;
    5103                 :            :               }
    5104                 :       5037 :             if (t == NULL_TREE)
    5105                 :     663878 :               t = gimple_assign_rhs_to_tree (g);
    5106                 :     666926 :             op0 = expand_debug_expr (t);
    5107                 :     666926 :             if (!op0)
    5108                 :            :               return NULL;
    5109                 :            :           }
    5110                 :            :         else
    5111                 :            :           {
    5112                 :            :             /* If this is a reference to an incoming value of
    5113                 :            :                parameter that is never used in the code or where the
    5114                 :            :                incoming value is never used in the code, use
    5115                 :            :                PARM_DECL's DECL_RTL if set.  */
    5116                 :    4683040 :             if (SSA_NAME_IS_DEFAULT_DEF (exp)
    5117                 :     884319 :                 && SSA_NAME_VAR (exp)
    5118                 :    1768640 :                 && TREE_CODE (SSA_NAME_VAR (exp)) == PARM_DECL
    5119                 :    5537240 :                 && has_zero_uses (exp))
    5120                 :            :               {
    5121                 :      45682 :                 op0 = expand_debug_parm_decl (SSA_NAME_VAR (exp));
    5122                 :      22841 :                 if (op0)
    5123                 :      22750 :                   goto adjust_mode;
    5124                 :        182 :                 op0 = expand_debug_expr (SSA_NAME_VAR (exp));
    5125                 :         91 :                 if (op0)
    5126                 :         91 :                   goto adjust_mode;
    5127                 :            :               }
    5128                 :            : 
    5129                 :    4660200 :             int part = var_to_partition (SA.map, exp);
    5130                 :            : 
    5131                 :    4660200 :             if (part == NO_PARTITION)
    5132                 :            :               return NULL;
    5133                 :            : 
    5134                 :    4657480 :             gcc_assert (part >= 0 && (unsigned)part < SA.map->num_partitions);
    5135                 :            : 
    5136                 :    4657480 :             op0 = copy_rtx (SA.partition_to_pseudo[part]);
    5137                 :            :           }
    5138                 :    5323390 :         goto adjust_mode;
    5139                 :            :       }
    5140                 :            : 
    5141                 :            :     case ERROR_MARK:
    5142                 :            :       return NULL;
    5143                 :            : 
    5144                 :            :     /* Vector stuff.  For most of the codes we don't have rtl codes.  */
    5145                 :            :     case REALIGN_LOAD_EXPR:
    5146                 :            :     case VEC_COND_EXPR:
    5147                 :            :     case VEC_PACK_FIX_TRUNC_EXPR:
    5148                 :            :     case VEC_PACK_FLOAT_EXPR:
    5149                 :            :     case VEC_PACK_SAT_EXPR:
    5150                 :            :     case VEC_PACK_TRUNC_EXPR:
    5151                 :            :     case VEC_UNPACK_FIX_TRUNC_HI_EXPR:
    5152                 :            :     case VEC_UNPACK_FIX_TRUNC_LO_EXPR:
    5153                 :            :     case VEC_UNPACK_FLOAT_HI_EXPR:
    5154                 :            :     case VEC_UNPACK_FLOAT_LO_EXPR:
    5155                 :            :     case VEC_UNPACK_HI_EXPR:
    5156                 :            :     case VEC_UNPACK_LO_EXPR:
    5157                 :            :     case VEC_WIDEN_MULT_HI_EXPR:
    5158                 :            :     case VEC_WIDEN_MULT_LO_EXPR:
    5159                 :            :     case VEC_WIDEN_MULT_EVEN_EXPR:
    5160                 :            :     case VEC_WIDEN_MULT_ODD_EXPR:
    5161                 :            :     case VEC_WIDEN_LSHIFT_HI_EXPR:
    5162                 :            :     case VEC_WIDEN_LSHIFT_LO_EXPR:
    5163                 :            :     case VEC_PERM_EXPR:
    5164                 :            :     case VEC_DUPLICATE_EXPR:
    5165                 :            :     case VEC_SERIES_EXPR:
    5166                 :            :     case SAD_EXPR:
    5167                 :            :       return NULL;
    5168                 :            : 
    5169                 :            :     /* Misc codes.  */
    5170                 :            :     case ADDR_SPACE_CONVERT_EXPR:
    5171                 :            :     case FIXED_CONVERT_EXPR:
    5172                 :            :     case OBJ_TYPE_REF:
    5173                 :            :     case WITH_SIZE_EXPR:
    5174                 :            :     case BIT_INSERT_EXPR:
    5175                 :            :       return NULL;
    5176                 :            : 
    5177                 :          0 :     case DOT_PROD_EXPR:
    5178                 :          0 :       if (SCALAR_INT_MODE_P (GET_MODE (op0))
    5179                 :          0 :           && SCALAR_INT_MODE_P (mode))
    5180                 :            :         {
    5181                 :          0 :           op0
    5182                 :          0 :             = simplify_gen_unary (TYPE_UNSIGNED (TREE_TYPE (TREE_OPERAND (exp,
    5183                 :            :                                                                           0)))
    5184                 :          0 :                                   ? ZERO_EXTEND : SIGN_EXTEND, mode, op0,
    5185                 :            :                                   inner_mode);
    5186                 :          0 :           op1
    5187                 :          0 :             = simplify_gen_unary (TYPE_UNSIGNED (TREE_TYPE (TREE_OPERAND (exp,
    5188                 :            :                                                                           1)))
    5189                 :          0 :                                   ? ZERO_EXTEND : SIGN_EXTEND, mode, op1,
    5190                 :            :                                   inner_mode);
    5191                 :          0 :           op0 = simplify_gen_binary (MULT, mode, op0, op1);
    5192                 :          0 :           return simplify_gen_binary (PLUS, mode, op0, op2);
    5193                 :            :         }
    5194                 :            :       return NULL;
    5195                 :            : 
    5196                 :        747 :     case WIDEN_MULT_EXPR:
    5197                 :        747 :     case WIDEN_MULT_PLUS_EXPR:
    5198                 :        747 :     case WIDEN_MULT_MINUS_EXPR:
    5199                 :        747 :       if (SCALAR_INT_MODE_P (GET_MODE (op0))
    5200                 :        747 :           && SCALAR_INT_MODE_P (mode))
    5201                 :            :         {
    5202                 :        747 :           inner_mode = GET_MODE (op0);
    5203                 :        747 :           if (TYPE_UNSIGNED (TREE_TYPE (TREE_OPERAND (exp, 0))))
    5204                 :         17 :             op0 = simplify_gen_unary (ZERO_EXTEND, mode, op0, inner_mode);
    5205                 :            :           else
    5206                 :        730 :             op0 = simplify_gen_unary (SIGN_EXTEND, mode, op0, inner_mode);
    5207                 :        747 :           if (TYPE_UNSIGNED (TREE_TYPE (TREE_OPERAND (exp, 1))))
    5208                 :         17 :             op1 = simplify_gen_unary (ZERO_EXTEND, mode, op1, inner_mode);
    5209                 :            :           else
    5210                 :        730 :             op1 = simplify_gen_unary (SIGN_EXTEND, mode, op1, inner_mode);
    5211                 :        747 :           op0 = simplify_gen_binary (MULT, mode, op0, op1);
    5212                 :        747 :           if (TREE_CODE (exp) == WIDEN_MULT_EXPR)
    5213                 :            :             return op0;
    5214                 :          0 :           else if (TREE_CODE (exp) == WIDEN_MULT_PLUS_EXPR)
    5215                 :          0 :             return simplify_gen_binary (PLUS, mode, op0, op2);
    5216                 :            :           else
    5217                 :          0 :             return simplify_gen_binary (MINUS, mode, op2, op0);
    5218                 :            :         }
    5219                 :            :       return NULL;
    5220                 :            : 
    5221                 :            :     case MULT_HIGHPART_EXPR:
    5222                 :            :       /* ??? Similar to the above.  */
    5223                 :            :       return NULL;
    5224                 :            : 
    5225                 :          0 :     case WIDEN_SUM_EXPR:
    5226                 :          0 :     case WIDEN_LSHIFT_EXPR:
    5227                 :          0 :       if (SCALAR_INT_MODE_P (GET_MODE (op0))
    5228                 :          0 :           && SCALAR_INT_MODE_P (mode))
    5229                 :            :         {
    5230                 :          0 :           op0
    5231                 :          0 :             = simplify_gen_unary (TYPE_UNSIGNED (TREE_TYPE (TREE_OPERAND (exp,
    5232                 :            :                                                                           0)))
    5233                 :          0 :                                   ? ZERO_EXTEND : SIGN_EXTEND, mode, op0,
    5234                 :            :                                   inner_mode);
    5235                 :          0 :           return simplify_gen_binary (TREE_CODE (exp) == WIDEN_LSHIFT_EXPR
    5236                 :          0 :                                       ? ASHIFT : PLUS, mode, op0, op1);
    5237                 :            :         }
    5238                 :            :       return NULL;
    5239                 :            : 
    5240                 :          0 :     default:
    5241                 :          0 :     flag_unsupported:
    5242                 :          0 :       if (flag_checking)
    5243                 :            :         {
    5244                 :          0 :           debug_tree (exp);
    5245                 :          0 :           gcc_unreachable ();
    5246                 :            :         }
    5247                 :            :       return NULL;
    5248                 :            :     }
    5249                 :            : }
    5250                 :            : 
    5251                 :            : /* Return an RTX equivalent to the source bind value of the tree expression
    5252                 :            :    EXP.  */
    5253                 :            : 
    5254                 :            : static rtx
    5255                 :      53815 : expand_debug_source_expr (tree exp)
    5256                 :            : {
    5257                 :     101944 :   rtx op0 = NULL_RTX;
    5258                 :     101944 :   machine_mode mode = VOIDmode, inner_mode;
    5259                 :            : 
    5260                 :     101944 :   switch (TREE_CODE (exp))
    5261                 :            :     {
    5262                 :      48129 :     case VAR_DECL:
    5263                 :      48129 :       if (DECL_ABSTRACT_ORIGIN (exp))
    5264                 :     101944 :         return expand_debug_source_expr (DECL_ABSTRACT_ORIGIN (exp));
    5265                 :            :       break;
    5266                 :      53600 :     case PARM_DECL:
    5267                 :      53600 :       {
    5268                 :      53600 :         mode = DECL_MODE (exp);
    5269                 :      53600 :         op0 = expand_debug_parm_decl (exp);
    5270                 :      53600 :         if (op0)
    5271                 :            :            break;
    5272                 :            :         /* See if this isn't an argument that has been completely
    5273                 :            :            optimized out.  */
    5274                 :      53261 :         if (!DECL_RTL_SET_P (exp)
    5275                 :      53258 :             && !DECL_INCOMING_RTL (exp)
    5276                 :     106519 :             && DECL_ABSTRACT_ORIGIN (current_function_decl))
    5277                 :            :           {
    5278                 :      15638 :             tree aexp = DECL_ORIGIN (exp);
    5279                 :      15638 :             if (DECL_CONTEXT (aexp)
    5280                 :      15638 :                 == DECL_ABSTRACT_ORIGIN (current_function_decl))
    5281                 :            :               {
    5282                 :       6617 :                 vec<tree, va_gc> **debug_args;
    5283                 :       6617 :                 unsigned int ix;
    5284                 :       6617 :                 tree ddecl;
    5285                 :       6617 :                 debug_args = decl_debug_args_lookup (current_function_decl);
    5286                 :       6617 :                 if (debug_args != NULL)
    5287                 :            :                   {
    5288                 :       8107 :                     for (ix = 0; vec_safe_iterate (*debug_args, ix, &ddecl);
    5289                 :       1495 :                          ix += 2)
    5290                 :       8107 :                       if (ddecl == aexp)
    5291                 :       6612 :                         return gen_rtx_DEBUG_PARAMETER_REF (mode, aexp);
    5292                 :            :                   }
    5293                 :            :               }
    5294                 :            :           }
    5295                 :            :         break;
    5296                 :            :       }
    5297                 :            :     default:
    5298                 :            :       break;
    5299                 :            :     }
    5300                 :            : 
    5301                 :      46988 :   if (op0 == NULL_RTX)
    5302                 :      46864 :     return NULL_RTX;
    5303                 :            : 
    5304                 :        339 :   inner_mode = GET_MODE (op0);
    5305                 :        339 :   if (mode == inner_mode)
    5306                 :            :     return op0;
    5307                 :            : 
    5308                 :         21 :   if (FLOAT_MODE_P (mode) && FLOAT_MODE_P (inner_mode))
    5309                 :            :     {
    5310                 :          7 :       if (GET_MODE_UNIT_BITSIZE (mode)
    5311                 :         14 :           == GET_MODE_UNIT_BITSIZE (inner_mode))
    5312                 :          0 :         op0 = simplify_gen_subreg (mode, op0, inner_mode, 0);
    5313                 :          7 :       else if (GET_MODE_UNIT_BITSIZE (mode)
    5314                 :         14 :                < GET_MODE_UNIT_BITSIZE (inner_mode))
    5315                 :          7 :         op0 = simplify_gen_unary (FLOAT_TRUNCATE, mode, op0, inner_mode);
    5316                 :            :       else
    5317                 :          0 :         op0 = simplify_gen_unary (FLOAT_EXTEND, mode, op0, inner_mode);
    5318                 :            :     }
    5319                 :         14 :   else if (FLOAT_MODE_P (mode))
    5320                 :          0 :     gcc_unreachable ();
    5321                 :         14 :   else if (FLOAT_MODE_P (inner_mode))
    5322                 :            :     {
    5323                 :          0 :       if (TYPE_UNSIGNED (TREE_TYPE (exp)))
    5324                 :          0 :         op0 = simplify_gen_unary (UNSIGNED_FIX, mode, op0, inner_mode);
    5325                 :            :       else
    5326                 :          0 :         op0 = simplify_gen_unary (FIX, mode, op0, inner_mode);
    5327                 :            :     }
    5328                 :         28 :   else if (GET_MODE_UNIT_PRECISION (mode)
    5329                 :         14 :            == GET_MODE_UNIT_PRECISION (inner_mode))
    5330                 :          0 :     op0 = lowpart_subreg (mode, op0, inner_mode);
    5331                 :         28 :   else if (GET_MODE_UNIT_PRECISION (mode)
    5332                 :         14 :            < GET_MODE_UNIT_PRECISION (inner_mode))
    5333                 :         14 :     op0 = simplify_gen_unary (TRUNCATE, mode, op0, inner_mode);
    5334                 :          0 :   else if (TYPE_UNSIGNED (TREE_TYPE (exp)))
    5335                 :          0 :     op0 = simplify_gen_unary (ZERO_EXTEND, mode, op0, inner_mode);
    5336                 :            :   else
    5337                 :          0 :     op0 = simplify_gen_unary (SIGN_EXTEND, mode, op0, inner_mode);
    5338                 :            : 
    5339                 :            :   return op0;
    5340                 :            : }
    5341                 :            : 
    5342                 :            : /* Ensure INSN_VAR_LOCATION_LOC (insn) doesn't have unbound complexity.
    5343                 :            :    Allow 4 levels of rtl nesting for most rtl codes, and if we see anything
    5344                 :            :    deeper than that, create DEBUG_EXPRs and emit DEBUG_INSNs before INSN.  */
    5345                 :            : 
    5346                 :            : static void
    5347                 :   29830300 : avoid_complex_debug_insns (rtx_insn *insn, rtx *exp_p, int depth)
    5348                 :            : {
    5349                 :   29830300 :   rtx exp = *exp_p;
    5350                 :            : 
    5351                 :   29830300 :   if (exp == NULL_RTX)
    5352                 :            :     return;
    5353                 :            : 
    5354                 :   29830300 :   if ((OBJECT_P (exp) && !MEM_P (exp)) || GET_CODE (exp) == CLOBBER)
    5355                 :            :     return;
    5356                 :            : 
    5357                 :    3443030 :   if (depth == 4)
    5358                 :            :     {
    5359                 :            :       /* Create DEBUG_EXPR (and DEBUG_EXPR_DECL).  */
    5360                 :      11482 :       rtx dval = make_debug_expr_from_rtl (exp);
    5361                 :            : 
    5362                 :            :       /* Emit a debug bind insn before INSN.  */
    5363                 :      11482 :       rtx bind = gen_rtx_VAR_LOCATION (GET_MODE (exp),
    5364                 :            :                                        DEBUG_EXPR_TREE_DECL (dval), exp,
    5365                 :            :                                        VAR_INIT_STATUS_INITIALIZED);
    5366                 :            : 
    5367                 :      11482 :       emit_debug_insn_before (bind, insn);
    5368                 :      11482 :       *exp_p = dval;
    5369                 :      11482 :       return;
    5370                 :            :     }
    5371                 :            : 
    5372                 :    3431540 :   const char *format_ptr = GET_RTX_FORMAT (GET_CODE (exp));
    5373                 :    3431540 :   int i, j;
    5374                 :   10241700 :   for (i = 0; i < GET_RTX_LENGTH (GET_CODE (exp)); i++)
    5375                 :    6810130 :     switch (*format_ptr++)
    5376                 :            :       {
    5377                 :    6267590 :       case 'e':
    5378                 :    6267590 :         avoid_complex_debug_insns (insn, &XEXP (exp, i), depth + 1);
    5379                 :    6267590 :         break;
    5380                 :            : 
    5381                 :            :       case 'E':
    5382                 :            :       case 'V':
    5383                 :          0 :         for (j = 0; j < XVECLEN (exp, i); j++)
    5384                 :          0 :           avoid_complex_debug_insns (insn, &XVECEXP (exp, i, j), depth + 1);
    5385                 :            :         break;
    5386                 :            : 
    5387                 :            :       default:
    5388                 :            :         break;
    5389                 :            :       }
    5390                 :            : }
    5391                 :            : 
    5392                 :            : /* Expand the _LOCs in debug insns.  We run this after expanding all
    5393                 :            :    regular insns, so that any variables referenced in the function
    5394                 :            :    will have their DECL_RTLs set.  */
    5395                 :            : 
    5396                 :            : static void
    5397                 :     337862 : expand_debug_locations (void)
    5398                 :            : {
    5399                 :     337862 :   rtx_insn *insn;
    5400                 :     337862 :   rtx_insn *last = get_last_insn ();
    5401                 :     337862 :   int save_strict_alias = flag_strict_aliasing;
    5402                 :            : 
    5403                 :            :   /* New alias sets while setting up memory attributes cause
    5404                 :            :      -fcompare-debug failures, even though it doesn't bring about any
    5405                 :            :      codegen changes.  */
    5406                 :     337862 :   flag_strict_aliasing = 0;
    5407                 :            : 
    5408                 :  133732000 :   for (insn = get_insns (); insn; insn = NEXT_INSN (insn))
    5409                 :   66696900 :     if (DEBUG_BIND_INSN_P (insn))
    5410                 :            :       {
    5411                 :   23551200 :         tree value = (tree)INSN_VAR_LOCATION_LOC (insn);
    5412                 :   23551200 :         rtx val;
    5413                 :   23551200 :         rtx_insn *prev_insn, *insn2;
    5414                 :   23551200 :         machine_mode mode;
    5415                 :            : 
    5416                 :   23551200 :         if (value == NULL_TREE)
    5417                 :            :           val = NULL_RTX;
    5418                 :            :         else
    5419                 :            :           {
    5420                 :   12632500 :             if (INSN_VAR_LOCATION_STATUS (insn)
    5421                 :            :                 == VAR_INIT_STATUS_UNINITIALIZED)
    5422                 :      53815 :               val = expand_debug_source_expr (value);
    5423                 :            :             /* The avoid_deep_ter_for_debug function inserts
    5424                 :            :                debug bind stmts after SSA_NAME definition, with the
    5425                 :            :                SSA_NAME as the whole bind location.  Disable temporarily
    5426                 :            :                expansion of that SSA_NAME into the DEBUG_EXPR_DECL
    5427                 :            :                being defined in this DEBUG_INSN.  */
    5428                 :   12578700 :             else if (deep_ter_debug_map && TREE_CODE (value) == SSA_NAME)
    5429                 :            :               {
    5430                 :       9428 :                 tree *slot = deep_ter_debug_map->get (value);
    5431                 :       2174 :                 if (slot)
    5432                 :            :                   {
    5433                 :       2174 :                     if (*slot == INSN_VAR_LOCATION_DECL (insn))
    5434                 :       1989 :                       *slot = NULL_TREE;
    5435                 :            :                     else
    5436                 :            :                       slot = NULL;
    5437                 :            :                   }
    5438                 :       9428 :                 val = expand_debug_expr (value);
    5439                 :       9428 :                 if (slot)
    5440                 :       1989 :                   *slot = INSN_VAR_LOCATION_DECL (insn);
    5441                 :            :               }
    5442                 :            :             else
    5443                 :   12569200 :               val = expand_debug_expr (value);
    5444                 :   12632500 :             gcc_assert (last == get_last_insn ());
    5445                 :            :           }
    5446                 :            : 
    5447                 :   12632500 :         if (!val)
    5448                 :   11004000 :           val = gen_rtx_UNKNOWN_VAR_LOC ();
    5449                 :            :         else
    5450                 :            :           {
    5451                 :   12547200 :             mode = GET_MODE (INSN_VAR_LOCATION (insn));
    5452                 :            : 
    5453                 :   12547200 :             gcc_assert (mode == GET_MODE (val)
    5454                 :            :                         || (GET_MODE (val) == VOIDmode
    5455                 :            :                             && (CONST_SCALAR_INT_P (val)
    5456                 :            :                                 || GET_CODE (val) == CONST_FIXED
    5457                 :            :                                 || GET_CODE (val) == LABEL_REF)));
    5458                 :            :           }
    5459                 :            : 
    5460                 :   23551200 :         INSN_VAR_LOCATION_LOC (insn) = val;
    5461                 :   23551200 :         prev_insn = PREV_INSN (insn);
    5462                 :   70676500 :         for (insn2 = insn; insn2 != prev_insn; insn2 = PREV_INSN (insn2))
    5463                 :   23562700 :           avoid_complex_debug_insns (insn2, &INSN_VAR_LOCATION_LOC (insn2), 0);
    5464                 :            :       }
    5465                 :            : 
    5466                 :     337862 :   flag_strict_aliasing = save_strict_alias;
    5467                 :     337862 : }
    5468                 :            : 
    5469                 :            : /* Performs swapping operands of commutative operations to expand
    5470                 :            :    the expensive one first.  */
    5471                 :            : 
    5472                 :            : static void
    5473                 :    6022560 : reorder_operands (basic_block bb)
    5474                 :            : {
    5475                 :    6022560 :   unsigned int *lattice;  /* Hold cost of each statement.  */
    5476                 :    6022560 :   unsigned int i = 0, n = 0;
    5477                 :    6022560 :   gimple_stmt_iterator gsi;
    5478                 :    6022560 :   gimple_seq stmts;
    5479                 :    6022560 :   gimple *stmt;
    5480                 :    6022560 :   bool swap;
    5481                 :    6022560 :   tree op0, op1;
    5482                 :    6022560 :   ssa_op_iter iter;
    5483                 :    6022560 :   use_operand_p use_p;
    5484                 :    6022560 :   gimple *def0, *def1;
    5485                 :            : 
    5486                 :            :   /* Compute cost of each statement using estimate_num_insns.  */
    5487                 :    6022560 :   stmts = bb_seq (bb);
    5488                 :   59720000 :   for (gsi = gsi_start (stmts); !gsi_end_p (gsi); gsi_next (&gsi))
    5489                 :            :     {
    5490                 :   53697500 :       stmt = gsi_stmt (gsi);
    5491                 :   53697500 :       if (!is_gimple_debug (stmt))
    5492                 :   53697500 :         gimple_set_uid (stmt, n++);
    5493                 :            :     }
    5494                 :    6022560 :   lattice = XNEWVEC (unsigned int, n);
    5495                 :   59720000 :   for (gsi = gsi_start (stmts); !gsi_end_p (gsi); gsi_next (&gsi))
    5496                 :            :     {
    5497                 :   53697500 :       unsigned cost;
    5498                 :   53697500 :       stmt = gsi_stmt (gsi);
    5499                 :   53697500 :       if (is_gimple_debug (stmt))
    5500                 :   31422200 :         continue;
    5501                 :   22275300 :       cost = estimate_num_insns (stmt, &eni_size_weights);
    5502                 :   22275300 :       lattice[i] = cost;
    5503                 :   41054400 :       FOR_EACH_SSA_USE_OPERAND (use_p, stmt, iter, SSA_OP_USE)
    5504                 :            :         {
    5505                 :   18779200 :           tree use = USE_FROM_PTR (use_p);
    5506                 :   18779200 :           gimple *def_stmt;
    5507                 :   18779200 :           if (TREE_CODE (use) != SSA_NAME)
    5508                 :          0 :             continue;
    5509                 :   18779200 :           def_stmt = get_gimple_for_ssa_name (use);
    5510                 :   18779200 :           if (!def_stmt)
    5511                 :   13552600 :             continue;
    5512                 :    5226580 :           lattice[i] += lattice[gimple_uid (def_stmt)];
    5513                 :            :         }
    5514                 :   22275300 :       i++;
    5515                 :   22275300 :       if (!is_gimple_assign (stmt)
    5516                 :   22275300 :           || !commutative_tree_code (gimple_assign_rhs_code (stmt)))
    5517                 :   20001500 :         continue;
    5518                 :    2273770 :       op0 = gimple_op (stmt, 1);
    5519                 :    2273770 :       op1 = gimple_op (stmt, 2);
    5520                 :    2273770 :       if (TREE_CODE (op0) != SSA_NAME
    5521                 :    2272980 :           || TREE_CODE (op1) != SSA_NAME)
    5522                 :    1484930 :         continue;
    5523                 :            :       /* Swap operands if the second one is more expensive.  */
    5524                 :     788841 :       def0 = get_gimple_for_ssa_name (op0);
    5525                 :     788841 :       def1 = get_gimple_for_ssa_name (op1);
    5526                 :     788841 :       if (!def1)
    5527                 :     415251 :         continue;
    5528                 :     373590 :       swap = false;
    5529                 :     373590 :       if (!def0 || lattice[gimple_uid (def1)] > lattice[gimple_uid (def0)])
    5530                 :     175456 :         swap = true;
    5531                 :     175456 :       if (swap)
    5532                 :            :         {
    5533                 :     175456 :           if (dump_file && (dump_flags & TDF_DETAILS))
    5534                 :            :             {
    5535                 :          2 :               fprintf (dump_file, "Swap operands in stmt:\n");
    5536                 :          2 :               print_gimple_stmt (dump_file, stmt, 0, TDF_SLIM);
    5537                 :          2 :               fprintf (dump_file, "Cost left opnd=%d, right opnd=%d\n",
    5538                 :          1 :                        def0 ? lattice[gimple_uid (def0)] : 0,
    5539                 :          2 :                        lattice[gimple_uid (def1)]);
    5540                 :            :             }
    5541                 :     175456 :           swap_ssa_operands (stmt, gimple_assign_rhs1_ptr (stmt),
    5542                 :            :                              gimple_assign_rhs2_ptr (stmt));
    5543                 :            :         }
    5544                 :            :     }
    5545                 :    6022560 :   XDELETE (lattice);
    5546                 :    6022560 : }
    5547                 :            : 
    5548                 :            : /* Expand basic block BB from GIMPLE trees to RTL.  */
    5549                 :            : 
    5550                 :            : static basic_block
    5551                 :    7965930 : expand_gimple_basic_block (basic_block bb, bool disable_tail_calls)
    5552                 :            : {
    5553                 :    7965930 :   gimple_stmt_iterator gsi;
    5554                 :    7965930 :   gimple_seq stmts;
    5555                 :    7965930 :   gimple *stmt = NULL;
    5556                 :    7965930 :   rtx_note *note = NULL;
    5557                 :    7965930 :   rtx_insn *last;
    5558                 :    7965930 :   edge e;
    5559                 :    7965930 :   edge_iterator ei;
    5560                 :            : 
    5561                 :    7965930 :   if (dump_file)
    5562                 :        451 :     fprintf (dump_file, "\n;; Generating RTL for gimple basic block %d\n",
    5563                 :            :              bb->index);
    5564                 :            : 
    5565                 :            :   /* Note that since we are now transitioning from GIMPLE to RTL, we
    5566                 :            :      cannot use the gsi_*_bb() routines because they expect the basic
    5567                 :            :      block to be in GIMPLE, instead of RTL.  Therefore, we need to
    5568                 :            :      access the BB sequence directly.  */
    5569                 :    7965930 :   if (optimize)
    5570                 :    6022560 :     reorder_operands (bb);
    5571                 :    7965930 :   stmts = bb_seq (bb);
    5572                 :    7965930 :   bb->il.gimple.seq = NULL;
    5573                 :    7965930 :   bb->il.gimple.phi_nodes = NULL;
    5574                 :    7965930 :   rtl_profile_for_bb (bb);
    5575                 :    7965930 :   init_rtl_bb_info (bb);
    5576                 :    7965930 :   bb->flags |= BB_RTL;
    5577                 :            : 
    5578                 :            :   /* Remove the RETURN_EXPR if we may fall though to the exit
    5579                 :            :      instead.  */
    5580                 :    7965930 :   gsi = gsi_last (stmts);
    5581                 :    7965930 :   if (!gsi_end_p (gsi)
    5582                 :    7965930 :       && gimple_code (gsi_stmt (gsi)) == GIMPLE_RETURN)
    5583                 :            :     {
    5584                 :     923055 :       greturn *ret_stmt = as_a <greturn *> (gsi_stmt (gsi));
    5585                 :            : 
    5586                 :     923055 :       gcc_assert (single_succ_p (bb));
    5587                 :     923055 :       gcc_assert (single_succ (bb) == EXIT_BLOCK_PTR_FOR_FN (cfun));
    5588                 :            : 
    5589                 :     923055 :       if (bb->next_bb == EXIT_BLOCK_PTR_FOR_FN (cfun)
    5590                 :     923055 :           && !gimple_return_retval (ret_stmt))
    5591                 :            :         {
    5592                 :     386992 :           gsi_remove (&gsi, false);
    5593                 :     386992 :           single_succ_edge (bb)->flags |= EDGE_FALLTHRU;
    5594                 :            :         }
    5595                 :            :     }
    5596                 :            : 
    5597                 :    7965930 :   gsi = gsi_start (stmts);
    5598                 :    7965930 :   if (!gsi_end_p (gsi))
    5599                 :            :     {
    5600                 :    7642990 :       stmt = gsi_stmt (gsi);
    5601                 :    7642990 :       if (gimple_code (stmt) != GIMPLE_LABEL)
    5602                 :    7267170 :         stmt = NULL;
    5603                 :            :     }
    5604                 :            : 
    5605                 :    7965930 :   rtx_code_label **elt = lab_rtx_for_bb->get (bb);
    5606                 :            : 
    5607                 :    7965930 :   if (stmt || elt)
    5608                 :            :     {
    5609                 :    3339250 :       gcc_checking_assert (!note);
    5610                 :    3339250 :       last = get_last_insn ();
    5611                 :            : 
    5612                 :    3339250 :       if (stmt)
    5613                 :            :         {
    5614                 :     375825 :           expand_gimple_stmt (stmt);
    5615                 :     375825 :           gsi_next (&gsi);
    5616                 :            :         }
    5617                 :            : 
    5618                 :    3339250 :       if (elt)
    5619                 :    2963420 :         emit_label (*elt);
    5620                 :            : 
    5621                 :    3339250 :       BB_HEAD (bb) = NEXT_INSN (last);
    5622                 :    3339250 :       if (NOTE_P (BB_HEAD (bb)))
    5623                 :          0 :         BB_HEAD (bb) = NEXT_INSN (BB_HEAD (bb));
    5624                 :    3339250 :       gcc_assert (LABEL_P (BB_HEAD (bb)));
    5625                 :    3339250 :       note = emit_note_after (NOTE_INSN_BASIC_BLOCK, BB_HEAD (bb));
    5626                 :            : 
    5627                 :    3339250 :       maybe_dump_rtl_for_gimple_stmt (stmt, last);
    5628                 :            :     }
    5629                 :            :   else
    5630                 :    4626680 :     BB_HEAD (bb) = note = emit_note (NOTE_INSN_BASIC_BLOCK);
    5631                 :            : 
    5632                 :    7965930 :   if (note)
    5633                 :    7965930 :     NOTE_BASIC_BLOCK (note) = bb;
    5634                 :            : 
    5635                 :   41177200 :   for (; !gsi_end_p (gsi); gsi_next (&gsi))
    5636                 :            :     {
    5637                 :   33594300 :       basic_block new_bb;
    5638                 :            : 
    5639                 :   33594300 :       stmt = gsi_stmt (gsi);
    5640                 :            : 
    5641                 :            :       /* If this statement is a non-debug one, and we generate debug
    5642                 :            :          insns, then this one might be the last real use of a TERed
    5643                 :            :          SSA_NAME, but where there are still some debug uses further
    5644                 :            :          down.  Expanding the current SSA name in such further debug
    5645                 :            :          uses by their RHS might lead to wrong debug info, as coalescing
    5646                 :            :          might make the operands of such RHS be placed into the same
    5647                 :            :          pseudo as something else.  Like so:
    5648                 :            :            a_1 = a_0 + 1;   // Assume a_1 is TERed and a_0 is dead
    5649                 :            :            use(a_1);
    5650                 :            :            a_2 = ...
    5651                 :            :            #DEBUG ... => a_1
    5652                 :            :          As a_0 and a_2 don't overlap in lifetime, assume they are coalesced.
    5653                 :            :          If we now would expand a_1 by it's RHS (a_0 + 1) in the debug use,
    5654                 :            :          the write to a_2 would actually have clobbered the place which
    5655                 :            :          formerly held a_0.
    5656                 :            : 
    5657                 :            :          So, instead of that, we recognize the situation, and generate
    5658                 :            :          debug temporaries at the last real use of TERed SSA names:
    5659                 :            :            a_1 = a_0 + 1;
    5660                 :            :            #DEBUG #D1 => a_1
    5661                 :            :            use(a_1);
    5662                 :            :            a_2 = ...
    5663                 :            :            #DEBUG ... => #D1
    5664                 :            :          */
    5665                 :   33594300 :       if (MAY_HAVE_DEBUG_BIND_INSNS
    5666                 :   19268400 :           && SA.values
    5667                 :   52063700 :           && !is_gimple_debug (stmt))
    5668                 :            :         {
    5669                 :   13775300 :           ssa_op_iter iter;
    5670                 :   13775300 :           tree op;
    5671                 :   13775300 :           gimple *def;
    5672                 :            : 
    5673                 :   13775300 :           location_t sloc = curr_insn_location ();
    5674                 :            : 
    5675                 :            :           /* Look for SSA names that have their last use here (TERed
    5676                 :            :              names always have only one real use).  */
    5677                 :   25658400 :           FOR_EACH_SSA_TREE_OPERAND (op, stmt, iter, SSA_OP_USE)
    5678                 :   11883100 :             if ((def = get_gimple_for_ssa_name (op)))
    5679                 :            :               {
    5680                 :    3055100 :                 imm_use_iterator imm_iter;
    5681                 :    3055100 :                 use_operand_p use_p;
    5682                 :    3055100 :                 bool have_debug_uses = false;
    5683                 :            : 
    5684                 :    6093190 :                 FOR_EACH_IMM_USE_FAST (use_p, imm_iter, op)
    5685                 :            :                   {
    5686                 :    3065420 :                     if (gimple_debug_bind_p (USE_STMT (use_p)))
    5687                 :            :                       {
    5688                 :            :                         have_debug_uses = true;
    5689                 :            :                         break;
    5690                 :            :                       }
    5691                 :            :                   }
    5692                 :            : 
    5693                 :    3055100 :                 if (have_debug_uses)
    5694                 :            :                   {
    5695                 :            :                     /* OP is a TERed SSA name, with DEF its defining
    5696                 :            :                        statement, and where OP is used in further debug
    5697                 :            :                        instructions.  Generate a debug temporary, and
    5698                 :            :                        replace all uses of OP in debug insns with that
    5699                 :            :                        temporary.  */
    5700                 :      27335 :                     gimple *debugstmt;
    5701                 :      27335 :                     tree value = gimple_assign_rhs_to_tree (def);
    5702                 :      27335 :                     tree vexpr = make_node (DEBUG_EXPR_DECL);
    5703                 :      27335 :                     rtx val;
    5704                 :      27335 :                     machine_mode mode;
    5705                 :            : 
    5706                 :      27335 :                     set_curr_insn_location (gimple_location (def));
    5707                 :            : 
    5708                 :      27335 :                     DECL_ARTIFICIAL (vexpr) = 1;
    5709                 :      27335 :                     TREE_TYPE (vexpr) = TREE_TYPE (value);
    5710                 :      27335 :                     if (DECL_P (value))
    5711                 :        300 :                       mode = DECL_MODE (value);
    5712                 :            :                     else
    5713                 :      27035 :                       mode = TYPE_MODE (TREE_TYPE (value));
    5714                 :      27335 :                     SET_DECL_MODE (vexpr, mode);
    5715                 :            : 
    5716                 :      27335 :                     val = gen_rtx_VAR_LOCATION
    5717                 :      27335 :                         (mode, vexpr, (rtx)value, VAR_INIT_STATUS_INITIALIZED);
    5718                 :            : 
    5719                 :      27335 :                     emit_debug_insn (val);
    5720                 :            : 
    5721                 :     103746 :                     FOR_EACH_IMM_USE_STMT (debugstmt, imm_iter, op)
    5722                 :            :                       {
    5723                 :      76411 :                         if (!gimple_debug_bind_p (debugstmt))
    5724                 :      27335 :                           continue;
    5725                 :            : 
    5726                 :     147276 :                         FOR_EACH_IMM_USE_ON_STMT (use_p, imm_iter)
    5727                 :      49100 :                           SET_USE (use_p, vexpr);
    5728                 :            : 
    5729                 :     125487 :                         update_stmt (debugstmt);
    5730                 :            :                       }
    5731                 :            :                   }
    5732                 :            :               }
    5733                 :   13775300 :           set_curr_insn_location (sloc);
    5734                 :            :         }
    5735                 :            : 
    5736                 :   33594300 :       currently_expanding_gimple_stmt = stmt;
    5737                 :            : 
    5738                 :            :       /* Expand this statement, then evaluate the resulting RTL and
    5739                 :            :          fixup the CFG accordingly.  */
    5740                 :   33594300 :       if (gimple_code (stmt) == GIMPLE_COND)
    5741                 :            :         {
    5742                 :    3455060 :           new_bb = expand_gimple_cond (bb, as_a <gcond *> (stmt));
    5743                 :    3455060 :           if (new_bb)
    5744                 :     292194 :             return new_bb;
    5745                 :            :         }
    5746                 :   30139200 :       else if (is_gimple_debug (stmt))
    5747                 :            :         {
    5748                 :    4944400 :           location_t sloc = curr_insn_location ();
    5749                 :    4944400 :           gimple_stmt_iterator nsi = gsi;
    5750                 :            : 
    5751                 :   31357100 :           for (;;)
    5752                 :            :             {
    5753                 :   31357100 :               tree var;
    5754                 :   31357100 :               tree value = NULL_TREE;
    5755                 :   31357100 :               rtx val = NULL_RTX;
    5756                 :   31357100 :               machine_mode mode;
    5757                 :            : 
    5758                 :   31357100 :               if (!gimple_debug_nonbind_marker_p (stmt))
    5759                 :            :                 {
    5760                 :   23605000 :                   if (gimple_debug_bind_p (stmt))
    5761                 :            :                     {
    5762                 :   23551200 :                       var = gimple_debug_bind_get_var (stmt);
    5763                 :            : 
    5764                 :   23551200 :                       if (TREE_CODE (var) != DEBUG_EXPR_DECL
    5765                 :   21717900 :                           && TREE_CODE (var) != LABEL_DECL
    5766                 :   45266300 :                           && !target_for_debug_bind (var))
    5767                 :      81149 :                         goto delink_debug_stmt;
    5768                 :            : 
    5769                 :   23470000 :                       if (DECL_P (var))
    5770                 :   23470000 :                         mode = DECL_MODE (var);
    5771                 :            :                       else
    5772                 :          0 :                         mode = TYPE_MODE (TREE_TYPE (var));
    5773                 :            : 
    5774                 :   23470000 :                       if (gimple_debug_bind_has_value_p (stmt))
    5775                 :   12551300 :                         value = gimple_debug_bind_get_value (stmt);
    5776                 :            : 
    5777                 :   23470000 :                       val = gen_rtx_VAR_LOCATION
    5778                 :   23470000 :                         (mode, var, (rtx)value, VAR_INIT_STATUS_INITIALIZED);
    5779                 :            :                     }
    5780                 :      53815 :                   else if (gimple_debug_source_bind_p (stmt))
    5781                 :            :                     {
    5782                 :      53815 :                       var = gimple_debug_source_bind_get_var (stmt);
    5783                 :            : 
    5784                 :      53815 :                       value = gimple_debug_source_bind_get_value (stmt);
    5785                 :            : 
    5786                 :      53815 :                       mode = DECL_MODE (var);
    5787                 :            : 
    5788                 :      53815 :                       val = gen_rtx_VAR_LOCATION (mode, var, (rtx)value,
    5789                 :            :                                                   VAR_INIT_STATUS_UNINITIALIZED);
    5790                 :            :                     }
    5791                 :            :                   else
    5792                 :          0 :                     gcc_unreachable ();
    5793                 :            :                 }
    5794                 :            :               /* If this function was first compiled with markers
    5795                 :            :                  enabled, but they're now disable (e.g. LTO), drop
    5796                 :            :                  them on the floor.  */
    5797                 :    7752130 :               else if (gimple_debug_nonbind_marker_p (stmt)
    5798                 :    7752130 :                        && !MAY_HAVE_DEBUG_MARKER_INSNS)
    5799                 :          0 :                 goto delink_debug_stmt;
    5800                 :    7752130 :               else if (gimple_debug_begin_stmt_p (stmt))
    5801                 :    2602190 :                 val = GEN_RTX_DEBUG_MARKER_BEGIN_STMT_PAT ();
    5802                 :    5149940 :               else if (gimple_debug_inline_entry_p (stmt))
    5803                 :            :                 {
    5804                 :    5149940 :                   tree block = gimple_block (stmt);
    5805                 :            : 
    5806                 :    3558760 :                   if (block)
    5807                 :    3555930 :                     val = GEN_RTX_DEBUG_MARKER_INLINE_ENTRY_PAT ();
    5808                 :            :                   else
    5809                 :    1594000 :                     goto delink_debug_stmt;
    5810                 :            :                 }
    5811                 :            :               else
    5812                 :          0 :                 gcc_unreachable ();
    5813                 :            : 
    5814                 :   29682000 :               last = get_last_insn ();
    5815                 :            : 
    5816                 :   29682000 :               set_curr_insn_location (gimple_location (stmt));
    5817                 :            : 
    5818                 :   29682000 :               emit_debug_insn (val);
    5819                 :            : 
    5820                 :   29682000 :               if (dump_file && (dump_flags & TDF_DETAILS))
    5821                 :            :                 {
    5822                 :            :                   /* We can't dump the insn with a TREE where an RTX
    5823                 :            :                      is expected.  */
    5824                 :          0 :                   if (GET_CODE (val) == VAR_LOCATION)
    5825                 :            :                     {
    5826                 :          0 :                       gcc_checking_assert (PAT_VAR_LOCATION_LOC (val) == (rtx)value);
    5827                 :          0 :                       PAT_VAR_LOCATION_LOC (val) = const0_rtx;
    5828                 :            :                     }
    5829                 :          0 :                   maybe_dump_rtl_for_gimple_stmt (stmt, last);
    5830                 :          0 :                   if (GET_CODE (val) == VAR_LOCATION)
    5831                 :          0 :                     PAT_VAR_LOCATION_LOC (val) = (rtx)value;
    5832                 :            :                 }
    5833                 :            : 
    5834                 :   31357100 :             delink_debug_stmt:
    5835                 :            :               /* In order not to generate too many debug temporaries,
    5836                 :            :                  we delink all uses of debug statements we already expanded.
    5837                 :            :                  Therefore debug statements between definition and real
    5838                 :            :                  use of TERed SSA names will continue to use the SSA name,
    5839                 :            :                  and not be replaced with debug temps.  */
    5840                 :   31357100 :               delink_stmt_imm_use (stmt);
    5841                 :            : 
    5842                 :   31357100 :               gsi = nsi;
    5843                 :   31357100 :               gsi_next (&nsi);
    5844                 :   31357100 :               if (gsi_end_p (nsi))
    5845                 :            :                 break;
    5846                 :   31056100 :               stmt = gsi_stmt (nsi);
    5847                 :   31056100 :               if (!is_gimple_debug (stmt))
    5848                 :            :                 break;
    5849                 :            :             }
    5850                 :            : 
    5851                 :    4944400 :           set_curr_insn_location (sloc);
    5852                 :            :         }
    5853                 :            :       else
    5854                 :            :         {
    5855                 :   25194800 :           gcall *call_stmt = dyn_cast <gcall *> (stmt);
    5856                 :    4559310 :           if (call_stmt
    5857                 :    4559310 :               && gimple_call_tail_p (call_stmt)
    5858                 :     123807 :               && disable_tail_calls)
    5859                 :          0 :             gimple_call_set_tail (call_stmt, false);
    5860                 :            : 
    5861                 :   25194800 :           if (call_stmt && gimple_call_tail_p (call_stmt))
    5862                 :            :             {
    5863                 :     123807 :               bool can_fallthru;
    5864                 :     123807 :               new_bb = expand_gimple_tailcall (bb, call_stmt, &can_fallthru);
    5865                 :     123807 :               if (new_bb)
    5866                 :            :                 {
    5867                 :      90834 :                   if (can_fallthru)
    5868                 :          0 :                     bb = new_bb;
    5869                 :            :                   else
    5870                 :      90834 :                     return new_bb;
    5871                 :            :                 }
    5872                 :            :             }
    5873                 :            :           else
    5874                 :            :             {
    5875                 :   25071000 :               def_operand_p def_p;
    5876                 :   25071000 :               def_p = SINGLE_SSA_DEF_OPERAND (stmt, SSA_OP_DEF);
    5877                 :            : 
    5878                 :   25071000 :               if (def_p != NULL)
    5879                 :            :                 {
    5880                 :            :                   /* Ignore this stmt if it is in the list of
    5881                 :            :                      replaceable expressions.  */
    5882                 :   19785500 :                   if (SA.values
    5883                 :   24849100 :                       && bitmap_bit_p (SA.values,
    5884                 :   10290100 :                                        SSA_NAME_VERSION (DEF_FROM_PTR (def_p))))
    5885                 :    5226510 :                     continue;
    5886                 :            :                 }
    5887                 :   19844500 :               last = expand_gimple_stmt (stmt);
    5888                 :   19844500 :               maybe_dump_rtl_for_gimple_stmt (stmt, last);
    5889                 :            :             }
    5890                 :            :         }
    5891                 :            :     }
    5892                 :            : 
    5893                 :    7582900 :   currently_expanding_gimple_stmt = NULL;
    5894                 :            : 
    5895                 :            :   /* Expand implicit goto and convert goto_locus.  */
    5896                 :   18324700 :   FOR_EACH_EDGE (e, ei, bb->succs)
    5897                 :            :     {
    5898                 :   10741800 :       if (e->goto_locus != UNKNOWN_LOCATION)
    5899                 :    6998400 :         set_curr_insn_location (e->goto_locus);
    5900                 :   10741800 :       if ((e->flags & EDGE_FALLTHRU) && e->dest != bb->next_bb)
    5901                 :            :         {
    5902                 :    1015350 :           emit_jump (label_rtx_for_bb (e->dest));
    5903                 :    1015350 :           e->flags &= ~EDGE_FALLTHRU;
    5904                 :            :         }
    5905                 :            :     }
    5906                 :            : 
    5907                 :            :   /* Expanded RTL can create a jump in the last instruction of block.
    5908                 :            :      This later might be assumed to be a jump to successor and break edge insertion.
    5909                 :            :      We need to insert dummy move to prevent this. PR41440. */
    5910                 :    7582900 :   if (single_succ_p (bb)
    5911                 :    3464000 :       && (single_succ_edge (bb)->flags & EDGE_FALLTHRU)
    5912                 :    1970260 :       && (last = get_last_insn ())
    5913                 :    9449860 :       && (JUMP_P (last)
    5914                 :    1970220 :           || (DEBUG_INSN_P (last)
    5915                 :     179801 :               && JUMP_P (prev_nondebug_insn (last)))))
    5916                 :            :     {
    5917                 :         48 :       rtx dummy = gen_reg_rtx (SImode);
    5918                 :         48 :       emit_insn_after_noloc (gen_move_insn (dummy, dummy), last, NULL);
    5919                 :            :     }
    5920                 :            : 
    5921                 :    7582900 :   do_pending_stack_adjust ();
    5922                 :            : 
    5923                 :            :   /* Find the block tail.  The last insn in the block is the insn
    5924                 :            :      before a barrier and/or table jump insn.  */
    5925                 :    7582900 :   last = get_last_insn ();
    5926                 :    7582900 :   if (BARRIER_P (last))
    5927                 :    2093000 :     last = PREV_INSN (last);
    5928                 :    7582900 :   if (JUMP_TABLE_DATA_P (last))
    5929                 :       9876 :     last = PREV_INSN (PREV_INSN (last));
    5930                 :    7582900 :   if (BARRIER_P (last))
    5931                 :       8797 :     last = PREV_INSN (last);
    5932                 :    7582900 :   BB_END (bb) = last;
    5933                 :            : 
    5934                 :    7582900 :   update_bb_for_insn (bb);
    5935                 :            : 
    5936                 :    7582900 :   return bb;
    5937                 :            : }
    5938                 :            : 
    5939                 :            : 
    5940                 :            : /* Create a basic block for initialization code.  */
    5941                 :            : 
    5942                 :            : static basic_block
    5943                 :     943374 : construct_init_block (void)
    5944                 :            : {
    5945                 :     943374 :   basic_block init_block, first_block;
    5946                 :     943374 :   edge e = NULL;
    5947                 :     943374 :   int flags;
    5948                 :            : 
    5949                 :            :   /* Multiple entry points not supported yet.  */
    5950                 :     943374 :   gcc_assert (EDGE_COUNT (ENTRY_BLOCK_PTR_FOR_FN (cfun)->succs) == 1);
    5951                 :     943374 :   init_rtl_bb_info (ENTRY_BLOCK_PTR_FOR_FN (cfun));
    5952                 :     943374 :   init_rtl_bb_info (EXIT_BLOCK_PTR_FOR_FN (cfun));
    5953                 :     943374 :   ENTRY_BLOCK_PTR_FOR_FN (cfun)->flags |= BB_RTL;
    5954                 :     943374 :   EXIT_BLOCK_PTR_FOR_FN (cfun)->flags |= BB_RTL;
    5955                 :            : 
    5956                 :     943374 :   e = EDGE_SUCC (ENTRY_BLOCK_PTR_FOR_FN (cfun), 0);
    5957                 :            : 
    5958                 :            :   /* When entry edge points to first basic block, we don't need jump,
    5959                 :            :      otherwise we have to jump into proper target.  */
    5960                 :     943374 :   if (e && e->dest != ENTRY_BLOCK_PTR_FOR_FN (cfun)->next_bb)
    5961                 :            :     {
    5962                 :          1 :       tree label = gimple_block_label (e->dest);
    5963                 :            : 
    5964                 :          1 :       emit_jump (jump_target_rtx (label));
    5965                 :          1 :       flags = 0;
    5966                 :            :     }
    5967                 :            :   else
    5968                 :            :     flags = EDGE_FALLTHRU;
    5969                 :            : 
    5970                 :     943374 :   init_block = create_basic_block (NEXT_INSN (get_insns ()),
    5971                 :            :                                    get_last_insn (),
    5972                 :     943374 :                                    ENTRY_BLOCK_PTR_FOR_FN (cfun));
    5973                 :     943374 :   init_block->count = ENTRY_BLOCK_PTR_FOR_FN (cfun)->count;
    5974                 :     943374 :   add_bb_to_loop (init_block, ENTRY_BLOCK_PTR_FOR_FN (cfun)->loop_father);
    5975                 :     943374 :   if (e)
    5976                 :            :     {
    5977                 :     943374 :       first_block = e->dest;
    5978                 :     943374 :       redirect_edge_succ (e, init_block);
    5979                 :     943374 :       make_single_succ_edge (init_block, first_block, flags);
    5980                 :            :     }
    5981                 :            :   else
    5982                 :          0 :     make_single_succ_edge (init_block, EXIT_BLOCK_PTR_FOR_FN (cfun),
    5983                 :            :                            EDGE_FALLTHRU);
    5984                 :            : 
    5985                 :     943374 :   update_bb_for_insn (init_block);
    5986                 :     943374 :   return init_block;
    5987                 :            : }
    5988                 :            : 
    5989                 :            : /* For each lexical block, set BLOCK_NUMBER to the depth at which it is
    5990                 :            :    found in the block tree.  */
    5991                 :            : 
    5992                 :            : static void
    5993                 :   10079600 : set_block_levels (tree block, int level)
    5994                 :            : {
    5995                 :   19215900 :   while (block)
    5996                 :            :     {
    5997                 :    9136270 :       BLOCK_NUMBER (block) = level;
    5998                 :    9136270 :       set_block_levels (BLOCK_SUBBLOCKS (block), level + 1);
    5999                 :    9136270 :       block = BLOCK_CHAIN (block);
    6000                 :            :     }
    6001                 :   10079600 : }
    6002                 :            : 
    6003                 :            : /* Create a block containing landing pads and similar stuff.  */
    6004                 :            : 
    6005                 :            : static void
    6006                 :     943374 : construct_exit_block (void)
    6007                 :            : {
    6008                 :     943374 :   rtx_insn *head = get_last_insn ();
    6009                 :     943374 :   rtx_insn *end;
    6010                 :     943374 :   basic_block exit_block;
    6011                 :     943374 :   edge e, e2;
    6012                 :     943374 :   unsigned ix;
    6013                 :     943374 :   edge_iterator ei;
    6014                 :     943374 :   basic_block prev_bb = EXIT_BLOCK_PTR_FOR_FN (cfun)->prev_bb;
    6015                 :     943374 :   rtx_insn *orig_end = BB_END (prev_bb);
    6016                 :            : 
    6017                 :     943374 :   rtl_profile_for_bb (EXIT_BLOCK_PTR_FOR_FN (cfun));
    6018                 :            : 
    6019                 :            :   /* Make sure the locus is set to the end of the function, so that
    6020                 :            :      epilogue line numbers and warnings are set properly.  */
    6021                 :     943374 :   if (LOCATION_LOCUS (cfun->function_end_locus) != UNKNOWN_LOCATION)
    6022                 :     724886 :     input_location = cfun->function_end_locus;
    6023                 :            : 
    6024                 :            :   /* Generate rtl for function exit.  */
    6025                 :     943374 :   expand_function_end ();
    6026                 :            : 
    6027                 :     943374 :   end = get_last_insn ();
    6028                 :     943374 :   if (head == end)
    6029                 :          0 :     return;
    6030                 :            :   /* While emitting the function end we could move end of the last basic
    6031                 :            :      block.  */
    6032                 :     943374 :   BB_END (prev_bb) = orig_end;
    6033                 :     943374 :   while (NEXT_INSN (head) && NOTE_P (NEXT_INSN (head)))
    6034                 :     943374 :     head = NEXT_INSN (head);
    6035                 :            :   /* But make sure exit_block starts with RETURN_LABEL, otherwise the
    6036                 :            :      bb count counting will be confused.  Any instructions before that
    6037                 :            :      label are emitted for the case where PREV_BB falls through into the
    6038                 :            :      exit block, so append those instructions to prev_bb in that case.  */
    6039                 :     943374 :   if (NEXT_INSN (head) != return_label)
    6040                 :            :     {
    6041                 :      17265 :       while (NEXT_INSN (head) != return_label)
    6042                 :            :         {
    6043                 :      11499 :           if (!NOTE_P (NEXT_INSN (head)))
    6044                 :      11499 :             BB_END (prev_bb) = NEXT_INSN (head);
    6045                 :      11499 :           head = NEXT_INSN (head);
    6046                 :            :         }
    6047                 :            :     }
    6048                 :     943374 :   exit_block = create_basic_block (NEXT_INSN (head), end, prev_bb);
    6049                 :     943374 :   exit_block->count = EXIT_BLOCK_PTR_FOR_FN (cfun)->count;
    6050                 :     943374 :   add_bb_to_loop (exit_block, EXIT_BLOCK_PTR_FOR_FN (cfun)->loop_father);
    6051                 :            : 
    6052                 :     943374 :   ix = 0;
    6053                 :    3815870 :   while (ix < EDGE_COUNT (EXIT_BLOCK_PTR_FOR_FN (cfun)->preds))
    6054                 :            :     {
    6055                 :     965540 :       e = EDGE_PRED (EXIT_BLOCK_PTR_FOR_FN (cfun), ix);
    6056                 :     965540 :       if (!(e->flags & EDGE_ABNORMAL))
    6057                 :     874706 :         redirect_edge_succ (e, exit_block);
    6058                 :            :       else
    6059                 :      90834 :         ix++;
    6060                 :            :     }
    6061                 :            : 
    6062                 :     943374 :   e = make_single_succ_edge (exit_block, EXIT_BLOCK_PTR_FOR_FN (cfun),
    6063                 :            :                              EDGE_FALLTHRU);
    6064                 :    1977580 :   FOR_EACH_EDGE (e2, ei, EXIT_BLOCK_PTR_FOR_FN (cfun)->preds)
    6065                 :    1034210 :     if (e2 != e)
    6066                 :            :       {
    6067                 :      90834 :         exit_block->count -= e2->count ();
    6068                 :            :       }
    6069                 :     943374 :   update_bb_for_insn (exit_block);
    6070                 :            : }
    6071                 :            : 
    6072                 :            : /* Helper function for discover_nonconstant_array_refs.
    6073                 :            :    Look for ARRAY_REF nodes with non-constant indexes and mark them
    6074                 :            :    addressable.  */
    6075                 :            : 
    6076                 :            : static tree
    6077                 :  106058000 : discover_nonconstant_array_refs_r (tree * tp, int *walk_subtrees,
    6078                 :            :                                    void *data ATTRIBUTE_UNUSED)
    6079                 :            : {
    6080                 :  106058000 :   tree t = *tp;
    6081                 :            : 
    6082                 :  106058000 :   if (IS_TYPE_OR_DECL_P (t))
    6083                 :   24352800 :     *walk_subtrees = 0;
    6084                 :   81705300 :   else if (TREE_CODE (t) == ARRAY_REF || TREE_CODE (t) == ARRAY_RANGE_REF)
    6085                 :            :     {
    6086                 :    4113060 :       while (((TREE_CODE (t) == ARRAY_REF || TREE_CODE (t) == ARRAY_RANGE_REF)
    6087                 :    1981130 :               && is_gimple_min_invariant (TREE_OPERAND (t, 1))
    6088                 :    1693790 :               && (!TREE_OPERAND (t, 2)
    6089                 :        341 :                   || is_gimple_min_invariant (TREE_OPERAND (t, 2))))
    6090                 :    2419270 :              || (TREE_CODE (t) == COMPONENT_REF
    6091                 :     543848 :                  && (!TREE_OPERAND (t,2)
    6092                 :          0 :                      || is_gimple_min_invariant (TREE_OPERAND (t, 2))))
    6093                 :    1875420 :              || TREE_CODE (t) == BIT_FIELD_REF
    6094                 :    1875420 :              || TREE_CODE (t) == REALPART_EXPR
    6095                 :    1875420 :              || TREE_CODE (t) == IMAGPART_EXPR
    6096                 :    1875420 :              || TREE_CODE (t) == VIEW_CONVERT_EXPR
    6097                 :    5988430 :              || CONVERT_EXPR_P (t))
    6098                 :    2237690 :         t = TREE_OPERAND (t, 0);
    6099                 :            : 
    6100                 :    1875370 :       if (TREE_CODE (t) == ARRAY_REF || TREE_CODE (t) == ARRAY_RANGE_REF)
    6101                 :            :         {
    6102                 :     287338 :           t = get_base_address (t);
    6103                 :     287338 :           if (t && DECL_P (t)
    6104                 :     502669 :               && DECL_MODE (t) != BLKmode)
    6105                 :      11948 :             TREE_ADDRESSABLE (t) = 1;
    6106                 :            :         }
    6107                 :            : 
    6108                 :    1875370 :       *walk_subtrees = 0;
    6109                 :            :     }
    6110                 :            :   /* References of size POLY_INT_CST to a fixed-size object must go
    6111                 :            :      through memory.  It's more efficient to force that here than
    6112                 :            :      to create temporary slots on the fly.  */
    6113                 :   79829900 :   else if ((TREE_CODE (t) == MEM_REF || TREE_CODE (t) == TARGET_MEM_REF)
    6114                 :   85257600 :            && TYPE_SIZE (TREE_TYPE (t))
    6115                 :            :            && POLY_INT_CST_P (TYPE_SIZE (TREE_TYPE (t))))
    6116                 :            :     {
    6117                 :            :       tree base = get_base_address (t);
    6118                 :            :       if (base
    6119                 :            :           && DECL_P (base)
    6120                 :            :           && DECL_MODE (base) != BLKmode
    6121                 :            :           && GET_MODE_SIZE (DECL_MODE (base)).is_constant ())
    6122                 :            :         TREE_ADDRESSABLE (base) = 1;
    6123                 :            :       *walk_subtrees = 0;
    6124                 :            :     }
    6125                 :            : 
    6126                 :  106058000 :   return NULL_TREE;
    6127                 :            : }
    6128                 :            : 
    6129                 :            : /* RTL expansion is not able to compile array references with variable
    6130                 :            :    offsets for arrays stored in single register.  Discover such
    6131                 :            :    expressions and mark variables as addressable to avoid this
    6132                 :            :    scenario.  */
    6133                 :            : 
    6134                 :            : static void
    6135                 :     943374 : discover_nonconstant_array_refs (void)
    6136                 :            : {
    6137                 :     943374 :   basic_block bb;
    6138                 :     943374 :   gimple_stmt_iterator gsi;
    6139                 :            : 
    6140                 :    8897660 :   FOR_EACH_BB_FN (bb, cfun)
    6141                 :   76745800 :     for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
    6142                 :            :       {
    6143                 :   60837200 :         gimple *stmt = gsi_stmt (gsi);
    6144                 :   60837200 :         if (!is_gimple_debug (stmt))
    6145                 :            :           {
    6146                 :   29415000 :             walk_gimple_op (stmt, discover_nonconstant_array_refs_r, NULL);
    6147                 :   65396500 :             gcall *call = dyn_cast <gcall *> (stmt);
    6148                 :    4559310 :             if (call && gimple_call_internal_p (call))
    6149                 :     122733 :               switch (gimple_call_internal_fn (call))
    6150                 :            :                 {
    6151                 :          0 :                 case IFN_LOAD_LANES:
    6152                 :            :                   /* The source must be a MEM.  */
    6153                 :          0 :                   mark_addressable (gimple_call_arg (call, 0));
    6154                 :          0 :                   break;
    6155                 :          0 :                 case IFN_STORE_LANES:
    6156                 :            :                   /* The destination must be a MEM.  */
    6157                 :          0 :                   mark_addressable (gimple_call_lhs (call));
    6158                 :          0 :                   break;
    6159                 :            :                 default:
    6160                 :            :                   break;
    6161                 :            :                 }
    6162                 :            :           }
    6163                 :            :       }
    6164                 :     943374 : }
    6165                 :            : 
    6166                 :            : /* This function sets crtl->args.internal_arg_pointer to a virtual
    6167                 :            :    register if DRAP is needed.  Local register allocator will replace
    6168                 :            :    virtual_incoming_args_rtx with the virtual register.  */
    6169                 :            : 
    6170                 :            : static void
    6171                 :     943374 : expand_stack_alignment (void)
    6172                 :            : {
    6173                 :     943374 :   rtx drap_rtx;
    6174                 :     943374 :   unsigned int preferred_stack_boundary;
    6175                 :            : 
    6176                 :     943374 :   if (! SUPPORTS_STACK_ALIGNMENT)
    6177                 :            :     return;
    6178                 :            : 
    6179                 :     943374 :   if (cfun->calls_alloca
    6180                 :     943374 :       || cfun->has_nonlocal_label
    6181                 :     932957 :       || crtl->has_nonlocal_goto)
    6182                 :      10817 :     crtl->need_drap = true;
    6183                 :            : 
    6184                 :            :   /* Call update_stack_boundary here again to update incoming stack
    6185                 :            :      boundary.  It may set incoming stack alignment to a different
    6186                 :            :      value after RTL expansion.  TARGET_FUNCTION_OK_FOR_SIBCALL may
    6187                 :            :      use the minimum incoming stack alignment to check if it is OK
    6188                 :            :      to perform sibcall optimization since sibcall optimization will
    6189                 :            :      only align the outgoing stack to incoming stack boundary.  */
    6190                 :     943374 :   if (targetm.calls.update_stack_boundary)
    6191                 :     943374 :     targetm.calls.update_stack_boundary ();
    6192                 :            : 
    6193                 :            :   /* The incoming stack frame has to be aligned at least at
    6194                 :            :      parm_stack_boundary.  */
    6195                 :     943374 :   gcc_assert (crtl->parm_stack_boundary <= INCOMING_STACK_BOUNDARY);
    6196                 :            : 
    6197                 :            :   /* Update crtl->stack_alignment_estimated and use it later to align
    6198                 :            :      stack.  We check PREFERRED_STACK_BOUNDARY if there may be non-call
    6199                 :            :      exceptions since callgraph doesn't collect incoming stack alignment
    6200                 :            :      in this case.  */
    6201                 :     943374 :   if (cfun->can_throw_non_call_exceptions
    6202                 :     943374 :       && PREFERRED_STACK_BOUNDARY > crtl->preferred_stack_boundary)
    6203                 :            :     preferred_stack_boundary = PREFERRED_STACK_BOUNDARY;
    6204                 :            :   else
    6205                 :     926026 :     preferred_stack_boundary = crtl->preferred_stack_boundary;
    6206                 :     943374 :   if (preferred_stack_boundary > crtl->stack_alignment_estimated)
    6207                 :     496494 :     crtl->stack_alignment_estimated = preferred_stack_boundary;
    6208                 :     943374 :   if (preferred_stack_boundary > crtl->stack_alignment_needed)
    6209                 :     530893 :     crtl->stack_alignment_needed = preferred_stack_boundary;
    6210                 :            : 
    6211                 :     943374 :   gcc_assert (crtl->stack_alignment_needed
    6212                 :            :               <= crtl->stack_alignment_estimated);
    6213                 :            : 
    6214                 :     943374 :   crtl->stack_realign_needed
    6215                 :     943374 :     = INCOMING_STACK_BOUNDARY < crtl->stack_alignment_estimated;
    6216                 :     943374 :   crtl->stack_realign_tried = crtl->stack_realign_needed;
    6217                 :            : 
    6218                 :     943374 :   crtl->stack_realign_processed = true;
    6219                 :            : 
    6220                 :            :   /* Target has to redefine TARGET_GET_DRAP_RTX to support stack
    6221                 :            :      alignment.  */
    6222                 :     943374 :   gcc_assert (targetm.calls.get_drap_rtx != NULL);
    6223                 :     943374 :   drap_rtx = targetm.calls.get_drap_rtx ();
    6224                 :            : 
    6225                 :            :   /* stack_realign_drap and drap_rtx must match.  */
    6226                 :    1881130 :   gcc_assert ((stack_realign_drap != 0) == (drap_rtx != NULL));
    6227                 :            : 
    6228                 :            :   /* Do nothing if NULL is returned, which means DRAP is not needed.  */
    6229                 :     943374 :   if (drap_rtx != NULL)
    6230                 :            :     {
    6231                 :       5617 :       crtl->args.internal_arg_pointer = drap_rtx;
    6232                 :            : 
    6233                 :            :       /* Call fixup_tail_calls to clean up REG_EQUIV note if DRAP is
    6234                 :            :          needed. */
    6235                 :       5617 :       fixup_tail_calls ();
    6236                 :            :     }
    6237                 :            : }
    6238                 :            : 
    6239                 :            : 
    6240                 :            : static void
    6241                 :          0 : expand_main_function (void)
    6242                 :            : {
    6243                 :            : #if (defined(INVOKE__main)                              \
    6244                 :            :      || (!defined(HAS_INIT_SECTION)                     \
    6245                 :            :          && !defined(INIT_SECTION_ASM_OP)               \
    6246                 :            :          && !defined(INIT_ARRAY_SECTION_ASM_OP)))
    6247                 :            :   emit_library_call (init_one_libfunc (NAME__MAIN), LCT_NORMAL, VOIDmode);
    6248                 :            : #endif
    6249                 :          0 : }
    6250                 :            : 
    6251                 :            : 
    6252                 :            : /* Expand code to initialize the stack_protect_guard.  This is invoked at
    6253                 :            :    the beginning of a function to be protected.  */
    6254                 :            : 
    6255                 :            : static void
    6256                 :        163 : stack_protect_prologue (void)
    6257                 :            : {
    6258                 :        163 :   tree guard_decl = targetm.stack_protect_guard ();
    6259                 :        163 :   rtx x, y;
    6260                 :            : 
    6261                 :        163 :   crtl->stack_protect_guard_decl = guard_decl;
    6262                 :        163 :   x = expand_normal (crtl->stack_protect_guard);
    6263                 :            : 
    6264                 :        163 :   if (targetm.have_stack_protect_combined_set () && guard_decl)
    6265                 :            :     {
    6266                 :          0 :       gcc_assert (DECL_P (guard_decl));
    6267                 :          0 :       y = DECL_RTL (guard_decl);
    6268                 :            : 
    6269                 :            :       /* Allow the target to compute address of Y and copy it to X without
    6270                 :            :          leaking Y into a register.  This combined address + copy pattern
    6271                 :            :          allows the target to prevent spilling of any intermediate results by
    6272                 :            :          splitting it after register allocator.  */
    6273                 :          0 :       if (rtx_insn *insn = targetm.gen_stack_protect_combined_set (x, y))
    6274                 :            :         {
    6275                 :          0 :           emit_insn (insn);
    6276                 :          0 :           return;
    6277                 :            :         }
    6278                 :            :     }
    6279                 :            : 
    6280                 :        163 :   if (guard_decl)
    6281                 :        163 :     y = expand_normal (guard_decl);
    6282                 :            :   else
    6283                 :          0 :     y = const0_rtx;
    6284                 :            : 
    6285                 :            :   /* Allow the target to copy from Y to X without leaking Y into a
    6286                 :            :      register.  */
    6287                 :        163 :   if (targetm.have_stack_protect_set ())
    6288                 :        163 :     if (rtx_insn *insn = targetm.gen_stack_protect_set (x, y))
    6289                 :            :       {
    6290                 :        163 :         emit_insn (insn);
    6291                 :        163 :         return;
    6292                 :            :       }
    6293                 :            : 
    6294                 :            :   /* Otherwise do a straight move.  */
    6295                 :          0 :   emit_move_insn (x, y);
    6296                 :            : }
    6297                 :            : 
    6298                 :            : /* Translate the intermediate representation contained in the CFG
    6299                 :            :    from GIMPLE trees to RTL.
    6300                 :            : 
    6301                 :            :    We do conversion per basic block and preserve/update the tree CFG.
    6302                 :            :    This implies we have to do some magic as the CFG can simultaneously
    6303                 :            :    consist of basic blocks containing RTL and GIMPLE trees.  This can
    6304                 :            :    confuse the CFG hooks, so be careful to not manipulate CFG during
    6305                 :            :    the expansion.  */
    6306                 :            : 
    6307                 :            : namespace {
    6308                 :            : 
    6309                 :            : const pass_data pass_data_expand =
    6310                 :            : {
    6311                 :            :   RTL_PASS, /* type */
    6312                 :            :   "expand", /* name */
    6313                 :            :   OPTGROUP_NONE, /* optinfo_flags */
    6314                 :            :   TV_EXPAND, /* tv_id */
    6315                 :            :   ( PROP_ssa | PROP_gimple_leh | PROP_cfg
    6316                 :            :     | PROP_gimple_lcx
    6317                 :            :     | PROP_gimple_lvec
    6318                 :            :     | PROP_gimple_lva), /* properties_required */
    6319                 :            :   PROP_rtl, /* properties_provided */
    6320                 :            :   ( PROP_ssa | PROP_trees ), /* properties_destroyed */
    6321                 :            :   0, /* todo_flags_start */
    6322                 :            :   0, /* todo_flags_finish */
    6323                 :            : };
    6324                 :            : 
    6325                 :            : class pass_expand : public rtl_opt_pass
    6326                 :            : {
    6327                 :            : public:
    6328                 :     200542 :   pass_expand (gcc::context *ctxt)
    6329                 :     401084 :     : rtl_opt_pass (pass_data_expand, ctxt)
    6330                 :            :   {}
    6331                 :            : 
    6332                 :            :   /* opt_pass methods: */
    6333                 :            :   virtual unsigned int execute (function *);
    6334                 :            : 
    6335                 :            : }; // class pass_expand
    6336                 :            : 
    6337                 :            : unsigned int
    6338                 :     943374 : pass_expand::execute (function *fun)
    6339                 :            : {
    6340                 :     943374 :   basic_block bb, init_block;
    6341                 :     943374 :   edge_iterator ei;
    6342                 :     943374 :   edge e;
    6343                 :     943374 :   rtx_insn *var_seq, *var_ret_seq;
    6344                 :     943374 :   unsigned i;
    6345                 :            : 
    6346                 :     943374 :   timevar_push (TV_OUT_OF_SSA);
    6347                 :     943374 :   rewrite_out_of_ssa (&SA);
    6348                 :     943374 :   timevar_pop (TV_OUT_OF_SSA);
    6349                 :     943374 :   SA.partition_to_pseudo = XCNEWVEC (rtx, SA.map->num_partitions);
    6350                 :            : 
    6351                 :     943374 :   if (MAY_HAVE_DEBUG_BIND_STMTS && flag_tree_ter)
    6352                 :            :     {
    6353                 :     337833 :       gimple_stmt_iterator gsi;
    6354                 :    4481750 :       FOR_EACH_BB_FN (bb, cfun)
    6355                 :   54301600 :         for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
    6356                 :   69620000 :           if (gimple_debug_bind_p (gsi_stmt (gsi)))
    6357                 :   23606300 :             avoid_deep_ter_for_debug (gsi_stmt (gsi), 0);
    6358                 :            :     }
    6359                 :            : 
    6360                 :            :   /* Mark arrays indexed with non-constant indices with TREE_ADDRESSABLE.  */
    6361                 :     943374 :   discover_nonconstant_array_refs ();
    6362                 :            : 
    6363                 :            :   /* Make sure all values used by the optimization passes have sane
    6364                 :            :      defaults.  */
    6365                 :     943374 :   reg_renumber = 0;
    6366                 :            : 
    6367                 :            :   /* Some backends want to know that we are expanding to RTL.  */
    6368                 :     943374 :   currently_expanding_to_rtl = 1;
    6369                 :            :   /* Dominators are not kept up-to-date as we may create new basic-blocks.  */
    6370                 :     943374 :   free_dominance_info (CDI_DOMINATORS);
    6371                 :            : 
    6372                 :     943374 :   rtl_profile_for_bb (ENTRY_BLOCK_PTR_FOR_FN (fun));
    6373                 :            : 
    6374                 :     943374 :   insn_locations_init ();
    6375                 :     943374 :   if (!DECL_IS_BUILTIN (current_function_decl))
    6376                 :            :     {
    6377                 :            :       /* Eventually, all FEs should explicitly set function_start_locus.  */
    6378                 :     909435 :       if (LOCATION_LOCUS (fun->function_start_locus) == UNKNOWN_LOCATION)
    6379                 :     426063 :         set_curr_insn_location
    6380                 :     426063 :           (DECL_SOURCE_LOCATION (current_function_decl));
    6381                 :            :       else
    6382                 :     483372 :         set_curr_insn_location (fun->function_start_locus);
    6383                 :            :     }
    6384                 :            :   else
    6385                 :      33939 :     set_curr_insn_location (UNKNOWN_LOCATION);
    6386                 :     943374 :   prologue_location = curr_insn_location ();
    6387                 :            : 
    6388                 :            : #ifdef INSN_SCHEDULING
    6389                 :     943374 :   init_sched_attrs ();
    6390                 :            : #endif
    6391                 :            : 
    6392                 :            :   /* Make sure first insn is a note even if we don't want linenums.
    6393                 :            :      This makes sure the first insn will never be deleted.
    6394                 :            :      Also, final expects a note to appear there.  */
    6395                 :     943374 :   emit_note (NOTE_INSN_DELETED);
    6396                 :            : 
    6397                 :     943374 :   targetm.expand_to_rtl_hook ();
    6398                 :     943374 :   crtl->init_stack_alignment ();
    6399                 :     943374 :   fun->cfg->max_jumptable_ents = 0;
    6400                 :            : 
    6401                 :            :   /* Resovle the function section.  Some targets, like ARM EABI rely on knowledge
    6402                 :            :      of the function section at exapnsion time to predict distance of calls.  */
    6403                 :     943374 :   resolve_unique_section (current_function_decl, 0, flag_function_sections);
    6404                 :            : 
    6405                 :            :   /* Expand the variables recorded during gimple lowering.  */
    6406                 :     943374 :   timevar_push (TV_VAR_EXPAND);
    6407                 :     943374 :   start_sequence ();
    6408                 :            : 
    6409                 :     943374 :   var_ret_seq = expand_used_vars ();
    6410                 :            : 
    6411                 :     943374 :   var_seq = get_insns ();
    6412                 :     943374 :   end_sequence ();
    6413                 :     943374 :   timevar_pop (TV_VAR_EXPAND);
    6414                 :            : 
    6415                 :            :   /* Honor stack protection warnings.  */
    6416                 :     943374 :   if (warn_stack_protect)
    6417                 :            :     {
    6418                 :          0 :       if (fun->calls_alloca)
    6419                 :          0 :         warning (OPT_Wstack_protector,
    6420                 :            :                  "stack protector not protecting local variables: "
    6421                 :            :                  "variable length buffer");
    6422                 :          0 :       if (has_short_buffer && !crtl->stack_protect_guard)
    6423                 :          0 :         warning (OPT_Wstack_protector,
    6424                 :            :                  "stack protector not protecting function: "
    6425                 :            :                  "all local arrays are less than %d bytes long",
    6426                 :          0 :                  (int) param_ssp_buffer_size);
    6427                 :            :     }
    6428                 :            : 
    6429                 :            :   /* Set up parameters and prepare for return, for the function.  */
    6430                 :     943374 :   expand_function_start (current_function_decl);
    6431                 :            : 
    6432                 :            :   /* If we emitted any instructions for setting up the variables,
    6433                 :            :      emit them before the FUNCTION_START note.  */
    6434                 :     943374 :   if (var_seq)
    6435                 :            :     {
    6436                 :       1138 :       emit_insn_before (var_seq, parm_birth_insn);
    6437                 :            : 
    6438                 :            :       /* In expand_function_end we'll insert the alloca save/restore
    6439                 :            :          before parm_birth_insn.  We've just insertted an alloca call.
    6440                 :            :          Adjust the pointer to match.  */
    6441                 :       1138 :       parm_birth_insn = var_seq;
    6442                 :            :     }
    6443                 :            : 
    6444                 :            :   /* Now propagate the RTL assignment of each partition to the
    6445                 :            :      underlying var of each SSA_NAME.  */
    6446                 :            :   tree name;
    6447                 :            : 
    6448                 :   44506100 :   FOR_EACH_SSA_NAME (i, name, cfun)
    6449                 :            :     {
    6450                 :            :       /* We might have generated new SSA names in
    6451                 :            :          update_alias_info_with_stack_vars.  They will have a NULL
    6452                 :            :          defining statements, and won't be part of the partitioning,
    6453                 :            :          so ignore those.  */
    6454                 :   30781000 :       if (!SSA_NAME_DEF_STMT (name))
    6455                 :      45944 :         continue;
    6456                 :            : 
    6457                 :   30735100 :       adjust_one_expanded_partition_var (name);
    6458                 :            :     }
    6459                 :            : 
    6460                 :            :   /* Clean up RTL of variables that straddle across multiple
    6461                 :            :      partitions, and check that the rtl of any PARM_DECLs that are not
    6462                 :            :      cleaned up is that of their default defs.  */
    6463                 :   44506100 :   FOR_EACH_SSA_NAME (i, name, cfun)
    6464                 :            :     {
    6465                 :   30781000 :       int part;
    6466                 :            : 
    6467                 :            :       /* We might have generated new SSA names in
    6468                 :            :          update_alias_info_with_stack_vars.  They will have a NULL
    6469                 :            :          defining statements, and won't be part of the partitioning,
    6470                 :            :          so ignore those.  */
    6471                 :   30781000 :       if (!SSA_NAME_DEF_STMT (name))
    6472                 :      45944 :         continue;
    6473                 :   30735100 :       part = var_to_partition (SA.map, name);
    6474                 :   30735100 :       if (part == NO_PARTITION)
    6475                 :   12161500 :         continue;
    6476                 :            : 
    6477                 :            :       /* If this decl was marked as living in multiple places, reset
    6478                 :            :          this now to NULL.  */
    6479                 :   18573600 :       tree var = SSA_NAME_VAR (name);
    6480                 :   11642500 :       if (var && DECL_RTL_IF_SET (var) == pc_rtx)
    6481                 :     135254 :         SET_DECL_RTL (var, NULL);
    6482                 :            :       /* Check that the pseudos chosen by assign_parms are those of
    6483                 :            :          the corresponding default defs.  */
    6484                 :   18438300 :       else if (SSA_NAME_IS_DEFAULT_DEF (name)
    6485                 :   20749500 :                && (TREE_CODE (var) == PARM_DECL
    6486                 :   18438300 :                    || TREE_CODE (var) == RESULT_DECL))
    6487                 :            :         {
    6488                 :    2278010 :           rtx in = DECL_RTL_IF_SET (var);
    6489                 :          0 :           gcc_assert (in);
    6490                 :    2278010 :           rtx out = SA.partition_to_pseudo[part];
    6491                 :    2278010 :           gcc_assert (in == out);
    6492                 :            : 
    6493                 :            :           /* Now reset VAR's RTL to IN, so that the _EXPR attrs match
    6494                 :            :              those expected by debug backends for each parm and for
    6495                 :            :              the result.  This is particularly important for stabs,
    6496                 :            :              whose register elimination from parm's DECL_RTL may cause
    6497                 :            :              -fcompare-debug differences as SET_DECL_RTL changes reg's
    6498                 :            :              attrs.  So, make sure the RTL already has the parm as the
    6499                 :            :              EXPR, so that it won't change.  */
    6500                 :    2278010 :           SET_DECL_RTL (var, NULL_RTX);
    6501                 :    2278010 :           if (MEM_P (in))
    6502                 :     389487 :             set_mem_attributes (in, var, true);
    6503                 :    2278010 :           SET_DECL_RTL (var, in);
    6504                 :            :         }
    6505                 :            :     }
    6506                 :            : 
    6507                 :            :   /* If this function is `main', emit a call to `__main'
    6508                 :            :      to run global initializers, etc.  */
    6509                 :     943374 :   if (DECL_NAME (current_function_decl)
    6510                 :     943374 :       && MAIN_NAME_P (DECL_NAME (current_function_decl))
    6511                 :     943374 :       && DECL_FILE_SCOPE_P (current_function_decl))
    6512                 :            :     expand_main_function ();
    6513                 :            : 
    6514                 :            :   /* Initialize the stack_protect_guard field.  This must happen after the
    6515                 :            :      call to __main (if any) so that the external decl is initialized.  */
    6516                 :     943374 :   if (crtl->stack_protect_guard && targetm.stack_protect_runtime_enabled_p ())
    6517                 :        163 :     stack_protect_prologue ();
    6518                 :            : 
    6519                 :     943374 :   expand_phi_nodes (&SA);
    6520                 :            : 
    6521                 :            :   /* Release any stale SSA redirection data.  */
    6522                 :     943374 :   redirect_edge_var_map_empty ();
    6523                 :            : 
    6524                 :            :   /* Register rtl specific functions for cfg.  */
    6525                 :     943374 :   rtl_register_cfg_hooks ();
    6526                 :            : 
    6527                 :     943374 :   init_block = construct_init_block ();
    6528                 :            : 
    6529                 :            :   /* Clear EDGE_EXECUTABLE on the entry edge(s).  It is cleaned from the
    6530                 :            :      remaining edges later.  */
    6531                 :    1886750 :   FOR_EACH_EDGE (e, ei, ENTRY_BLOCK_PTR_FOR_FN (fun)->succs)
    6532                 :     943374 :     e->flags &= ~EDGE_EXECUTABLE;
    6533                 :            : 
    6534                 :            :   /* If the function has too many markers, drop them while expanding.  */
    6535                 :     943374 :   if (cfun->debug_marker_count
    6536                 :     943374 :       >= param_max_debug_marker_count)
    6537                 :          1 :     cfun->debug_nonbind_markers = false;
    6538                 :            : 
    6539                 :     943374 :   lab_rtx_for_bb = new hash_map<basic_block, rtx_code_label *>;
    6540                 :    8909300 :   FOR_BB_BETWEEN (bb, init_block->next_bb, EXIT_BLOCK_PTR_FOR_FN (fun),
    6541                 :            :                   next_bb)
    6542                 :    7965930 :     bb = expand_gimple_basic_block (bb, var_ret_seq != NULL_RTX);
    6543                 :            : 
    6544                 :     943374 :   if (MAY_HAVE_DEBUG_BIND_INSNS)
    6545                 :     337862 :     expand_debug_locations ();
    6546                 :            : 
    6547                 :     943374 :   if (deep_ter_debug_map)
    6548                 :            :     {
    6549                 :        251 :       delete deep_ter_debug_map;
    6550                 :        251 :       deep_ter_debug_map = NULL;
    6551                 :            :     }
    6552                 :            : 
    6553                 :            :   /* Free stuff we no longer need after GIMPLE optimizations.  */
    6554                 :     943374 :   free_dominance_info (CDI_DOMINATORS);
    6555                 :     943374 :   free_dominance_info (CDI_POST_DOMINATORS);
    6556                 :     943374 :   delete_tree_cfg_annotations (fun);
    6557                 :            : 
    6558                 :     943374 :   timevar_push (TV_OUT_OF_SSA);
    6559                 :     943374 :   finish_out_of_ssa (&SA);
    6560                 :     943374 :   timevar_pop (TV_OUT_OF_SSA);
    6561                 :            : 
    6562                 :     943374 :   timevar_push (TV_POST_EXPAND);
    6563                 :            :   /* We are no longer in SSA form.  */
    6564                 :     943374 :   fun->gimple_df->in_ssa_p = false;
    6565                 :     943374 :   loops_state_clear (LOOP_CLOSED_SSA);
    6566                 :            : 
    6567                 :            :   /* Expansion is used by optimization passes too, set maybe_hot_insn_p
    6568                 :            :      conservatively to true until they are all profile aware.  */
    6569                 :    1886750 :   delete lab_rtx_for_bb;
    6570                 :     943374 :   free_histograms (fun);
    6571                 :            : 
    6572                 :     943374 :   construct_exit_block ();
    6573                 :     943374 :   insn_locations_finalize ();
    6574                 :            : 
    6575                 :     943374 :   if (var_ret_seq)
    6576                 :            :     {
    6577                 :       1276 :       rtx_insn *after = return_label;
    6578                 :       1276 :       rtx_insn *next = NEXT_INSN (after);
    6579                 :       1276 :       if (next && NOTE_INSN_BASIC_BLOCK_P (next))
    6580                 :       1276 :         after = next;
    6581                 :       1276 :       emit_insn_after (var_ret_seq, after);
    6582                 :            :     }
    6583                 :            : 
    6584                 :            :   /* Zap the tree EH table.  */
    6585                 :     943374 :   set_eh_throw_stmt_table (fun, NULL);
    6586                 :            : 
    6587                 :            :   /* We need JUMP_LABEL be set in order to redirect jumps, and hence
    6588                 :            :      split edges which edge insertions might do.  */
    6589                 :     943374 :   rebuild_jump_labels (get_insns ());
    6590                 :            : 
    6591                 :            :   /* If we have a single successor to the entry block, put the pending insns
    6592                 :            :      after parm birth, but before NOTE_INSNS_FUNCTION_BEG.  */
    6593                 :     943374 :   if (single_succ_p (ENTRY_BLOCK_PTR_FOR_FN (fun)))
    6594                 :            :     {
    6595                 :     943374 :       edge e = single_succ_edge (ENTRY_BLOCK_PTR_FOR_FN (fun));
    6596                 :     943374 :       if (e->insns.r)
    6597                 :            :         {
    6598                 :          5 :           rtx_insn *insns = e->insns.r;
    6599                 :          5 :           e->insns.r = NULL;
    6600                 :          5 :           rebuild_jump_labels_chain (insns);
    6601                 :          5 :           if (NOTE_P (parm_birth_insn)
    6602                 :          5 :               && NOTE_KIND (parm_birth_insn) == NOTE_INSN_FUNCTION_BEG)
    6603                 :          5 :             emit_insn_before_noloc (insns, parm_birth_insn, e->dest);
    6604                 :            :           else
    6605                 :          0 :             emit_insn_after_noloc (insns, parm_birth_insn, e->dest);
    6606                 :            :         }
    6607                 :            :     }
    6608                 :            : 
    6609                 :            :   /* Otherwise, as well as for other edges, take the usual way.  */
    6610                 :     943374 :   commit_edge_insertions ();
    6611                 :            : 
    6612                 :            :   /* We're done expanding trees to RTL.  */
    6613                 :     943374 :   currently_expanding_to_rtl = 0;
    6614                 :            : 
    6615                 :     943374 :   flush_mark_addressable_queue ();
    6616                 :            : 
    6617                 :   11438000 :   FOR_BB_BETWEEN (bb, ENTRY_BLOCK_PTR_FOR_FN (fun)->next_bb,
    6618                 :            :                   EXIT_BLOCK_PTR_FOR_FN (fun), next_bb)
    6619                 :            :     {
    6620                 :   10494700 :       edge e;
    6621                 :   10494700 :       edge_iterator ei;
    6622                 :   24440400 :       for (ei = ei_start (bb->succs); (e = ei_safe_edge (ei)); )
    6623                 :            :         {
    6624                 :            :           /* Clear EDGE_EXECUTABLE.  This flag is never used in the backend.  */
    6625                 :   13945700 :           e->flags &= ~EDGE_EXECUTABLE;
    6626                 :            : 
    6627                 :            :           /* At the moment not all abnormal edges match the RTL
    6628                 :            :              representation.  It is safe to remove them here as
    6629                 :            :              find_many_sub_basic_blocks will rediscover them.
    6630                 :            :              In the future we should get this fixed properly.  */
    6631                 :   13945700 :           if ((e->flags & EDGE_ABNORMAL)
    6632                 :   13945700 :               && !(e->flags & EDGE_SIBCALL))
    6633                 :       9315 :             remove_edge (e);
    6634                 :            :           else
    6635                 :   13936400 :             ei_next (&ei);
    6636                 :            :         }
    6637                 :            :     }
    6638                 :            : 
    6639                 :     943374 :   auto_sbitmap blocks (last_basic_block_for_fn (fun));
    6640                 :     943374 :   bitmap_ones (blocks);
    6641                 :     943374 :   find_many_sub_basic_blocks (blocks);
    6642                 :     943374 :   purge_all_dead_edges ();
    6643                 :            : 
    6644                 :            :   /* After initial rtl generation, call back to finish generating
    6645                 :            :      exception support code.  We need to do this before cleaning up
    6646                 :            :      the CFG as the code does not expect dead landing pads.  */
    6647                 :     943374 :   if (fun->eh->region_tree != NULL)
    6648                 :      42934 :     finish_eh_generation ();
    6649                 :            : 
    6650                 :            :   /* Call expand_stack_alignment after finishing all
    6651                 :            :      updates to crtl->preferred_stack_boundary.  */
    6652                 :     943374 :   expand_stack_alignment ();
    6653                 :            : 
    6654                 :            :   /* Fixup REG_EQUIV notes in the prologue if there are tailcalls in this
    6655                 :            :      function.  */
    6656                 :     943374 :   if (crtl->tail_call_emit)
    6657                 :      84998 :     fixup_tail_calls ();
    6658                 :            : 
    6659                 :            :   /* BB subdivision may have created basic blocks that are only reachable
    6660                 :            :      from unlikely bbs but not marked as such in the profile.  */
    6661                 :     943374 :   if (optimize)
    6662                 :     687611 :     propagate_unlikely_bbs_forward ();
    6663                 :            : 
    6664                 :            :   /* Remove unreachable blocks, otherwise we cannot compute dominators
    6665                 :            :      which are needed for loop state verification.  As a side-effect
    6666                 :            :      this also compacts blocks.
    6667                 :            :      ???  We cannot remove trivially dead insns here as for example
    6668                 :            :      the DRAP reg on i?86 is not magically live at this point.
    6669                 :            :      gcc.c-torture/execute/ipa-sra-2.c execution, -Os -m32 fails otherwise.  */
    6670                 :     943374 :   cleanup_cfg (CLEANUP_NO_INSN_DEL);
    6671                 :            : 
    6672                 :     943374 :   checking_verify_flow_info ();
    6673                 :            : 
    6674                 :            :   /* Initialize pseudos allocated for hard registers.  */
    6675                 :     943374 :   emit_initial_value_sets ();
    6676                 :            : 
    6677                 :            :   /* And finally unshare all RTL.  */
    6678                 :     943374 :   unshare_all_rtl ();
    6679                 :            : 
    6680                 :            :   /* There's no need to defer outputting this function any more; we
    6681                 :            :      know we want to output it.  */
    6682                 :     943374 :   DECL_DEFER_OUTPUT (current_function_decl) = 0;
    6683                 :            : 
    6684                 :            :   /* Now that we're done expanding trees to RTL, we shouldn't have any
    6685                 :            :      more CONCATs anywhere.  */
    6686                 :     943374 :   generating_concat_p = 0;
    6687                 :            : 
    6688                 :     943374 :   if (dump_file)
    6689                 :            :     {
    6690                 :        172 :       fprintf (dump_file,
    6691                 :            :                "\n\n;;\n;; Full RTL generated for this function:\n;;\n");
    6692                 :            :       /* And the pass manager will dump RTL for us.  */
    6693                 :            :     }
    6694                 :            : 
    6695                 :            :   /* If we're emitting a nested function, make sure its parent gets
    6696                 :            :      emitted as well.  Doing otherwise confuses debug info.  */
    6697                 :     943374 :     {
    6698                 :     943374 :       tree parent;
    6699                 :     943374 :       for (parent = DECL_CONTEXT (current_function_decl);
    6700                 :    2020320 :            parent != NULL_TREE;
    6701                 :    1076940 :            parent = get_containing_scope (parent))
    6702                 :    1076940 :         if (TREE_CODE (parent) == FUNCTION_DECL)
    6703                 :      43900 :           TREE_SYMBOL_REFERENCED (DECL_ASSEMBLER_NAME (parent)) = 1;
    6704                 :            :     }
    6705                 :            : 
    6706                 :     943374 :   TREE_ASM_WRITTEN (current_function_decl) = 1;
    6707                 :            : 
    6708                 :            :   /* After expanding, the return labels are no longer needed. */
    6709                 :     943374 :   return_label = NULL;
    6710                 :     943374 :   naked_return_label = NULL;
    6711                 :            : 
    6712                 :            :   /* After expanding, the tm_restart map is no longer needed.  */
    6713                 :     943374 :   if (fun->gimple_df->tm_restart)
    6714                 :        302 :     fun->gimple_df->tm_restart = NULL;
    6715                 :            : 
    6716                 :            :   /* Tag the blocks with a depth number so that change_scope can find
    6717                 :            :      the common parent easily.  */
    6718                 :     943374 :   set_block_levels (DECL_INITIAL (fun->decl), 0);
    6719                 :     943374 :   default_rtl_profile ();
    6720                 :            : 
    6721                 :            :   /* For -dx discard loops now, otherwise IL verify in clean_state will
    6722                 :            :      ICE.  */
    6723                 :     943374 :   if (rtl_dump_and_exit)
    6724                 :            :     {
    6725                 :          1 :       cfun->curr_properties &= ~PROP_loops;
    6726                 :          1 :       loop_optimizer_finalize ();
    6727                 :            :     }
    6728                 :            : 
    6729                 :     943374 :   timevar_pop (TV_POST_EXPAND);
    6730                 :            : 
    6731                 :     943374 :   return 0;
    6732                 :            : }
    6733                 :            : 
    6734                 :            : } // anon namespace
    6735                 :            : 
    6736                 :            : rtl_opt_pass *
    6737                 :     200542 : make_pass_expand (gcc::context *ctxt)
    6738                 :            : {
    6739                 :     200542 :   return new pass_expand (ctxt);
    6740                 :            : }

Generated by: LCOV version 1.0

LCOV profile is generated on x86_64 machine using following configure options: configure --disable-bootstrap --enable-coverage=opt --enable-languages=c,c++,fortran,go,jit,lto --enable-host-shared. GCC test suite is run with the built compiler.