LCOV - code coverage report
Current view: top level - gcc - lra-remat.c (source / functions) Hit Total Coverage
Test: gcc.info Lines: 644 668 96.4 %
Date: 2020-04-04 11:58:09 Functions: 30 33 90.9 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : /* Rematerialize pseudos values.
       2                 :            :    Copyright (C) 2014-2020 Free Software Foundation, Inc.
       3                 :            :    Contributed by Vladimir Makarov <vmakarov@redhat.com>.
       4                 :            : 
       5                 :            : This file is part of GCC.
       6                 :            : 
       7                 :            : GCC is free software; you can redistribute it and/or modify it under
       8                 :            : the terms of the GNU General Public License as published by the Free
       9                 :            : Software Foundation; either version 3, or (at your option) any later
      10                 :            : version.
      11                 :            : 
      12                 :            : GCC is distributed in the hope that it will be useful, but WITHOUT ANY
      13                 :            : WARRANTY; without even the implied warranty of MERCHANTABILITY or
      14                 :            : FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
      15                 :            : for more details.
      16                 :            : 
      17                 :            : You should have received a copy of the GNU General Public License
      18                 :            : along with GCC; see the file COPYING3.  If not see
      19                 :            : <http://www.gnu.org/licenses/>.    */
      20                 :            : 
      21                 :            : /* This code objective is to rematerialize spilled pseudo values.  To
      22                 :            :    do this we calculate available insn candidates.  The candidate is
      23                 :            :    available at some point if there is dominated set of insns with the
      24                 :            :    same pattern, the insn inputs are not dying or modified on any path
      25                 :            :    from the set, the outputs are not modified.
      26                 :            : 
      27                 :            :    The insns containing memory or spilled pseudos (except for the
      28                 :            :    rematerialized pseudo) are not considered as such insns are not
      29                 :            :    profitable in comparison with regular loads of spilled pseudo
      30                 :            :    values.  That simplifies the implementation as we don't need to
      31                 :            :    deal with memory aliasing.
      32                 :            : 
      33                 :            :    To speed up available candidate calculation, we calculate partially
      34                 :            :    available candidates first and use them for initialization of the
      35                 :            :    availability.  That is because (partial) availability sets are
      36                 :            :    sparse.
      37                 :            : 
      38                 :            :    The rematerialization sub-pass could be improved further in the
      39                 :            :    following ways:
      40                 :            : 
      41                 :            :    o We could make longer live ranges of inputs in the
      42                 :            :      rematerialization candidates if their hard registers are not used
      43                 :            :      for other purposes.  This could be complicated if we need to
      44                 :            :      update BB live info information as LRA does not use
      45                 :            :      DF-infrastructure for compile-time reasons.  This problem could
      46                 :            :      be overcome if constrain making live ranges longer only in BB/EBB
      47                 :            :      scope.
      48                 :            :    o We could use cost-based decision to choose rematerialization insn
      49                 :            :      (currently all insns without memory is can be used).
      50                 :            :    o We could use other free hard regs for unused output pseudos in
      51                 :            :      rematerialization candidates although such cases probably will
      52                 :            :      be very rare.  */
      53                 :            : 
      54                 :            : 
      55                 :            : #include "config.h"
      56                 :            : #include "system.h"
      57                 :            : #include "coretypes.h"
      58                 :            : #include "backend.h"
      59                 :            : #include "rtl.h"
      60                 :            : #include "df.h"
      61                 :            : #include "insn-config.h"
      62                 :            : #include "regs.h"
      63                 :            : #include "memmodel.h"
      64                 :            : #include "ira.h"
      65                 :            : #include "recog.h"
      66                 :            : #include "lra.h"
      67                 :            : #include "lra-int.h"
      68                 :            : #include "function-abi.h"
      69                 :            : 
      70                 :            : /* Number of candidates for rematerialization.  */
      71                 :            : static unsigned int cands_num;
      72                 :            : 
      73                 :            : /* Bitmap used for different calculations.  */
      74                 :            : static bitmap_head temp_bitmap;
      75                 :            : 
      76                 :            : /* Registers accessed via subreg_p.  */
      77                 :            : static bitmap_head subreg_regs;
      78                 :            : 
      79                 :            : typedef struct cand *cand_t;
      80                 :            : typedef const struct cand *const_cand_t;
      81                 :            : 
      82                 :            : /* Insn candidates for rematerialization.  The candidate insn should
      83                 :            :    have the following properies:
      84                 :            :    o no any memory (as access to memory is non-profitable)
      85                 :            :    o no INOUT regs (it means no non-paradoxical subreg of output reg)
      86                 :            :    o one output spilled pseudo (or reload pseudo of a spilled pseudo)
      87                 :            :    o all other pseudos are with assigned hard regs.  */
      88                 :            : struct cand
      89                 :            : {
      90                 :            :   /* Index of the candidates in all_cands. */
      91                 :            :   int index;
      92                 :            :   /* Insn pseudo regno for rematerialization.  */
      93                 :            :   int regno;
      94                 :            :   /* The candidate insn.  */
      95                 :            :   rtx_insn *insn;
      96                 :            :   /* Non-negative if a reload pseudo is in the insn instead of the
      97                 :            :      pseudo for rematerialization.  */
      98                 :            :   int reload_regno;
      99                 :            :   /* Number of the operand containing the regno or its reload
     100                 :            :      regno.  */
     101                 :            :   int nop;
     102                 :            :   /* Next candidate for the same regno.  */
     103                 :            :   cand_t next_regno_cand;
     104                 :            : };
     105                 :            : 
     106                 :            : /* Vector containing all candidates.  */
     107                 :            : static vec<cand_t> all_cands;
     108                 :            : /* Map: insn -> candidate representing it.  It is null if the insn cannot
     109                 :            :    be used for rematerialization.  */
     110                 :            : static cand_t *insn_to_cand;
     111                 :            : /* A secondary map, for candidates that involve two insns, where the
     112                 :            :    second one makes the equivalence.  The candidate must not be used
     113                 :            :    before seeing this activation insn.  */
     114                 :            : static cand_t *insn_to_cand_activation;
     115                 :            : 
     116                 :            : /* Map regno -> candidates can be used for the regno
     117                 :            :    rematerialization.  */
     118                 :            : static cand_t *regno_cands;
     119                 :            : 
     120                 :            : /* Data about basic blocks used for the rematerialization
     121                 :            :    sub-pass.  */
     122                 :            : class remat_bb_data
     123                 :            : {
     124                 :            : public:
     125                 :            :   /* Basic block about which the below data are.  */
     126                 :            :   basic_block bb;
     127                 :            :   /* Registers changed in the basic block: */
     128                 :            :   bitmap_head changed_regs;
     129                 :            :   /* Registers becoming dead in the BB.  */
     130                 :            :   bitmap_head dead_regs;
     131                 :            :   /* Cands present in the BB whose in/out regs are not changed after
     132                 :            :      the cands occurence and are not dead (except the reload
     133                 :            :      regno).  */
     134                 :            :   bitmap_head gen_cands;
     135                 :            :   bitmap_head livein_cands; /* cands whose inputs live at the BB start.  */
     136                 :            :   bitmap_head pavin_cands; /* cands partially available at BB entry.  */
     137                 :            :   bitmap_head pavout_cands; /* cands partially available at BB exit.  */
     138                 :            :   bitmap_head avin_cands; /* cands available at the entry of the BB.  */
     139                 :            :   bitmap_head avout_cands; /* cands available at the exit of the BB.  */
     140                 :            : };
     141                 :            : 
     142                 :            : /* Array for all BB data.  Indexed by the corresponding BB index.  */
     143                 :            : typedef class remat_bb_data *remat_bb_data_t;
     144                 :            : 
     145                 :            : /* Basic blocks for data flow problems -- all bocks except the special
     146                 :            :    ones.  */
     147                 :            : static bitmap_head all_blocks;
     148                 :            : 
     149                 :            : /* All basic block data are referred through the following array.  */
     150                 :            : static remat_bb_data_t remat_bb_data;
     151                 :            : 
     152                 :            : /* Two small functions for access to the bb data.  */
     153                 :            : static inline remat_bb_data_t
     154                 :   77658900 : get_remat_bb_data (basic_block bb)
     155                 :            : {
     156                 :   77658900 :   return &remat_bb_data[(bb)->index];
     157                 :            : }
     158                 :            : 
     159                 :            : static inline remat_bb_data_t
     160                 :   14194700 : get_remat_bb_data_by_index (int index)
     161                 :            : {
     162                 :   14194700 :   return &remat_bb_data[index];
     163                 :            : }
     164                 :            : 
     165                 :            : 
     166                 :            : 
     167                 :            : /* Hash table for the candidates.  Different insns (e.g. structurally
     168                 :            :    the same insns or even insns with different unused output regs) can
     169                 :            :    be represented by the same candidate in the table.  */
     170                 :            : static htab_t cand_table;
     171                 :            : 
     172                 :            : /* Hash function for candidate CAND.  */
     173                 :            : static hashval_t
     174                 :     248358 : cand_hash (const void *cand)
     175                 :            : {
     176                 :     248358 :   const_cand_t c = (const_cand_t) cand;
     177                 :     248358 :   lra_insn_recog_data_t id = lra_get_insn_recog_data (c->insn);
     178                 :     248358 :   struct lra_static_insn_data *static_id = id->insn_static_data;
     179                 :     248358 :   int nops = static_id->n_operands;
     180                 :     248358 :   hashval_t hash = 0;
     181                 :            : 
     182                 :     754294 :   for (int i = 0; i < nops; i++)
     183                 :     505936 :     if (i == c->nop)
     184                 :     248358 :       hash = iterative_hash_object (c->regno, hash);
     185                 :     257578 :     else if (static_id->operand[i].type == OP_IN)
     186                 :     257564 :       hash = iterative_hash_object (*id->operand_loc[i], hash);
     187                 :     248358 :   return hash;
     188                 :            : }
     189                 :            : 
     190                 :            : /* Equal function for candidates CAND1 and CAND2.  They are equal if
     191                 :            :    the corresponding candidate insns have the same code, the same
     192                 :            :    regno for rematerialization, the same input operands.  */
     193                 :            : static int
     194                 :      28531 : cand_eq_p (const void *cand1, const void *cand2)
     195                 :            : {
     196                 :      28531 :   const_cand_t c1 = (const_cand_t) cand1;
     197                 :      28531 :   const_cand_t c2 = (const_cand_t) cand2;
     198                 :      28531 :   lra_insn_recog_data_t id1 = lra_get_insn_recog_data (c1->insn);
     199                 :      28531 :   lra_insn_recog_data_t id2 = lra_get_insn_recog_data (c2->insn);
     200                 :      28531 :   struct lra_static_insn_data *static_id1 = id1->insn_static_data;
     201                 :      28531 :   int nops = static_id1->n_operands;
     202                 :            : 
     203                 :      28531 :   if (c1->regno != c2->regno
     204                 :      27880 :       || INSN_CODE (c1->insn) < 0
     205                 :      27880 :       || INSN_CODE (c1->insn) != INSN_CODE (c2->insn))
     206                 :            :     return false;
     207                 :      27880 :   gcc_assert (c1->nop == c2->nop);
     208                 :      83720 :   for (int i = 0; i < nops; i++)
     209                 :      55847 :     if (i != c1->nop && static_id1->operand[i].type == OP_IN
     210                 :      27967 :         && *id1->operand_loc[i] != *id2->operand_loc[i])
     211                 :            :       return false;
     212                 :            :   return true;
     213                 :            : }
     214                 :            : 
     215                 :            : /* Insert candidate CAND into the table if it is not there yet.
     216                 :            :    Return candidate which is in the table.  */
     217                 :            : static cand_t
     218                 :     248358 : insert_cand (cand_t cand)
     219                 :            : {
     220                 :     248358 :   void **entry_ptr;
     221                 :            : 
     222                 :     248358 :   entry_ptr = htab_find_slot (cand_table, cand, INSERT);
     223                 :     248358 :   if (*entry_ptr == NULL)
     224                 :     220485 :     *entry_ptr = (void *) cand;
     225                 :     248358 :   return (cand_t) *entry_ptr;
     226                 :            : }
     227                 :            : 
     228                 :            : /* Free candidate CAND memory.  */
     229                 :            : static void
     230                 :     220485 : free_cand (void *cand)
     231                 :            : {
     232                 :     220485 :   free (cand);
     233                 :     220485 : }
     234                 :            : 
     235                 :            : /* Initiate the candidate table.  */
     236                 :            : static void
     237                 :      74545 : initiate_cand_table (void)
     238                 :            : {
     239                 :          0 :   cand_table = htab_create (8000, cand_hash, cand_eq_p,
     240                 :            :                             (htab_del) free_cand);
     241                 :          0 : }
     242                 :            : 
     243                 :            : /* Finish the candidate table.  */
     244                 :            : static void
     245                 :      74545 : finish_cand_table (void)
     246                 :            : {
     247                 :          0 :   htab_delete (cand_table);
     248                 :          0 : }
     249                 :            : 
     250                 :            : 
     251                 :            : 
     252                 :            : /* Return true if X contains memory or some UNSPEC.  We cannot just
     253                 :            :    check insn operands as memory or unspec might be not an operand
     254                 :            :    itself but contain an operand.  Insn with memory access is not
     255                 :            :    profitable for rematerialization.  Rematerialization of UNSPEC
     256                 :            :    might result in wrong code generation as the UNPEC effect is
     257                 :            :    unknown (e.g. generating a label).  */
     258                 :            : static bool
     259                 :   27337600 : bad_for_rematerialization_p (rtx x)
     260                 :            : {
     261                 :   27337600 :   int i, j;
     262                 :   27337600 :   const char *fmt;
     263                 :   27337600 :   enum rtx_code code;
     264                 :            : 
     265                 :   27337600 :   if (MEM_P (x) || GET_CODE (x) == UNSPEC || GET_CODE (x) == UNSPEC_VOLATILE)
     266                 :            :     return true;
     267                 :   25982800 :   code = GET_CODE (x);
     268                 :   25982800 :   fmt = GET_RTX_FORMAT (code);
     269                 :   58247600 :   for (i = GET_RTX_LENGTH (code) - 1; i >= 0; i--)
     270                 :            :     {
     271                 :   33881700 :       if (fmt[i] == 'e')
     272                 :            :         {
     273                 :   17816400 :           if (bad_for_rematerialization_p (XEXP (x, i)))
     274                 :            :             return true;
     275                 :            :         }
     276                 :   16065300 :       else if (fmt[i] == 'E')
     277                 :            :         {
     278                 :    2563410 :           for (j = XVECLEN (x, i) - 1; j >= 0; j--)
     279                 :    1806150 :             if (bad_for_rematerialization_p (XVECEXP (x, i, j)))
     280                 :            :               return true;
     281                 :            :         }
     282                 :            :     }
     283                 :            :   return false;
     284                 :            : }
     285                 :            : 
     286                 :            : /* If INSN cannot be used for rematerialization, return negative
     287                 :            :    value.  If INSN can be considered as a candidate for
     288                 :            :    rematerialization, return value which is the operand number of the
     289                 :            :    pseudo for which the insn can be used for rematerialization.  Here
     290                 :            :    we consider the insns without any memory, spilled pseudo (except
     291                 :            :    for the rematerialization pseudo), or dying or unused regs.  */
     292                 :            : static int
     293                 :   22938600 : operand_to_remat (rtx_insn *insn)
     294                 :            : {
     295                 :   22938600 :   lra_insn_recog_data_t id = lra_get_insn_recog_data (insn);
     296                 :   22938600 :   struct lra_static_insn_data *static_id = id->insn_static_data;
     297                 :   22938600 :   struct lra_insn_reg *reg, *found_reg = NULL;
     298                 :            : 
     299                 :            :   /* Don't rematerialize insns which can change PC.  */
     300                 :   22938600 :   if (JUMP_P (insn) || CALL_P (insn))
     301                 :            :     return -1;
     302                 :            :   /* First find a pseudo which can be rematerialized.  */
     303                 :   41818300 :   for (reg = id->regs; reg != NULL; reg = reg->next)
     304                 :            :     {
     305                 :            :       /* True FRAME_POINTER_NEEDED might be because we cannot follow
     306                 :            :          changing sp offsets, e.g. alloca is used.  If the insn contains
     307                 :            :          stack pointer in such case, we cannot rematerialize it as we
     308                 :            :          cannot know sp offset at a rematerialization place.  */
     309                 :   30850300 :       if (reg->regno == STACK_POINTER_REGNUM && frame_pointer_needed)
     310                 :            :         return -1;
     311                 :   30230100 :       else if (reg->type == OP_OUT && ! reg->subreg_p
     312                 :   30230100 :                && find_regno_note (insn, REG_UNUSED, reg->regno) == NULL)
     313                 :            :         {
     314                 :            :           /* We permits only one spilled reg.  */
     315                 :   12175200 :           if (found_reg != NULL)
     316                 :            :             return -1;
     317                 :            :           found_reg = reg;
     318                 :            :         }
     319                 :            :       /* IRA calculates conflicts separately for subregs of two words
     320                 :            :          pseudo.  Even if the pseudo lives, e.g. one its subreg can be
     321                 :            :          used lately, another subreg hard register can be already used
     322                 :            :          for something else.  In such case, it is not safe to
     323                 :            :          rematerialize the insn.  */
     324                 :   30227900 :       if (reg->regno >= FIRST_PSEUDO_REGISTER
     325                 :   30227900 :           && bitmap_bit_p (&subreg_regs, reg->regno))
     326                 :            :         return -1;
     327                 :            : 
     328                 :            :       /* Don't allow hard registers to be rematerialized.  */
     329                 :   29839600 :       if (reg->regno < FIRST_PSEUDO_REGISTER)
     330                 :            :         return -1;
     331                 :            :     }
     332                 :   10968000 :   if (found_reg == NULL)
     333                 :            :     return -1;
     334                 :    7715080 :   if (found_reg->regno < FIRST_PSEUDO_REGISTER)
     335                 :            :     return -1;
     336                 :    7715080 :   if (bad_for_rematerialization_p (PATTERN (insn)))
     337                 :            :     return -1;
     338                 :            :   /* Check the other regs are not spilled. */
     339                 :   13769500 :   for (reg = id->regs; reg != NULL; reg = reg->next)
     340                 :   12304200 :     if (found_reg == reg)
     341                 :    6360280 :       continue;
     342                 :    5943940 :     else if (reg->type == OP_INOUT)
     343                 :            :       return -1;
     344                 :    5936320 :     else if (reg->regno >= FIRST_PSEUDO_REGISTER
     345                 :    5936320 :              && reg_renumber[reg->regno] < 0)
     346                 :            :       /* Another spilled reg.  */
     347                 :            :       return -1;
     348                 :    5080660 :     else if (reg->type == OP_IN)
     349                 :            :       {
     350                 :    5077380 :         if (find_regno_note (insn, REG_DEAD, reg->regno) != NULL)
     351                 :            :           /* We don't want to make live ranges longer.  */
     352                 :            :           return -1;
     353                 :            :         /* Check that there is no output reg as the input one.  */
     354                 :    1047140 :         for (struct lra_insn_reg *reg2 = id->regs;
     355                 :    3261640 :              reg2 != NULL;
     356                 :    2214500 :              reg2 = reg2->next)
     357                 :    2216000 :           if (reg2->type == OP_OUT && reg->regno == reg2->regno)
     358                 :            :             return -1;
     359                 :    1045640 :         if (reg->regno < FIRST_PSEUDO_REGISTER)
     360                 :          0 :           for (struct lra_insn_reg *reg2 = static_id->hard_regs;
     361                 :          0 :                reg2 != NULL;
     362                 :          0 :                reg2 = reg2->next)
     363                 :          0 :             if (reg2->type == OP_OUT
     364                 :          0 :                 && reg->regno <= reg2->regno
     365                 :          0 :                 && (reg2->regno
     366                 :          0 :                     < (int) end_hard_regno (reg->biggest_mode, reg->regno)))
     367                 :            :               return -1;
     368                 :            :       }
     369                 :            :   /* Check hard coded insn registers.  */
     370                 :    1465280 :   for (struct lra_insn_reg *reg = static_id->hard_regs;
     371                 :    1633750 :        reg != NULL;
     372                 :     168474 :        reg = reg->next)
     373                 :     168474 :     if (reg->type == OP_INOUT)
     374                 :            :       return -1;
     375                 :     168474 :     else if (reg->type == OP_IN)
     376                 :            :       {
     377                 :            :         /* Check that there is no output hard reg as the input
     378                 :            :            one.  */
     379                 :          0 :           for (struct lra_insn_reg *reg2 = static_id->hard_regs;
     380                 :          0 :                reg2 != NULL;
     381                 :          0 :                reg2 = reg2->next)
     382                 :          0 :             if (reg2->type == OP_OUT && reg->regno == reg2->regno)
     383                 :            :                 return -1;
     384                 :            :       }
     385                 :            :   /* Find the rematerialization operand.  */
     386                 :    1465280 :   int nop = static_id->n_operands;
     387                 :    1478570 :   for (int i = 0; i < nop; i++)
     388                 :    1472510 :     if (REG_P (*id->operand_loc[i])
     389                 :    1472510 :         && (int) REGNO (*id->operand_loc[i]) == found_reg->regno)
     390                 :    1459220 :       return i;
     391                 :            :   return -1;
     392                 :            : }
     393                 :            : 
     394                 :            : /* Create candidate for INSN with rematerialization operand NOP and
     395                 :            :    REGNO.  Insert the candidate into the table and set up the
     396                 :            :    corresponding INSN_TO_CAND element.  */
     397                 :            : static void
     398                 :     248358 : create_cand (rtx_insn *insn, int nop, int regno, rtx_insn *activation = NULL)
     399                 :            : {
     400                 :     248358 :   lra_insn_recog_data_t id = lra_get_insn_recog_data (insn);
     401                 :     248358 :   rtx reg = *id->operand_loc[nop];
     402                 :     248358 :   gcc_assert (REG_P (reg));
     403                 :     248358 :   int op_regno = REGNO (reg);
     404                 :     248358 :   gcc_assert (op_regno >= FIRST_PSEUDO_REGISTER);
     405                 :     248358 :   cand_t cand = XNEW (struct cand);
     406                 :     248358 :   cand->insn = insn;
     407                 :     248358 :   cand->nop = nop;
     408                 :     248358 :   cand->regno = regno;
     409                 :     248358 :   cand->reload_regno = op_regno == regno ? -1 : op_regno;
     410                 :     248358 :   gcc_assert (cand->regno >= 0);
     411                 :     248358 :   cand_t cand_in_table = insert_cand (cand);
     412                 :     248358 :   insn_to_cand[INSN_UID (insn)] = cand_in_table;
     413                 :     248358 :   if (cand != cand_in_table)
     414                 :      27873 :     free (cand);
     415                 :            :   else
     416                 :            :     {
     417                 :            :       /* A new cand.  */
     418                 :     220485 :       cand->index = all_cands.length ();
     419                 :     220485 :       all_cands.safe_push (cand);
     420                 :     220485 :       cand->next_regno_cand = regno_cands[cand->regno];
     421                 :     220485 :       regno_cands[cand->regno] = cand;
     422                 :            :     }
     423                 :     248358 :   if (activation)
     424                 :      16866 :     insn_to_cand_activation[INSN_UID (activation)] = cand_in_table;
     425                 :     248358 : }
     426                 :            : 
     427                 :            : /* Create rematerialization candidates (inserting them into the
     428                 :            :    table).  */
     429                 :            : static void
     430                 :      74545 : create_cands (void)
     431                 :            : {
     432                 :      74545 :   rtx_insn *insn;
     433                 :      74545 :   struct potential_cand
     434                 :            :   {
     435                 :            :     rtx_insn *insn;
     436                 :            :     int nop;
     437                 :            :   };
     438                 :      74545 :   struct potential_cand *regno_potential_cand;
     439                 :            : 
     440                 :            :   /* Create candidates.  */
     441                 :      74545 :   regno_potential_cand = XCNEWVEC (struct potential_cand, max_reg_num ());
     442                 :   88662300 :   for (insn = get_insns (); insn; insn = NEXT_INSN (insn))
     443                 :   44293900 :     if (NONDEBUG_INSN_P (insn))
     444                 :            :       {
     445                 :   22955500 :         lra_insn_recog_data_t id = lra_get_insn_recog_data (insn);
     446                 :   22955500 :         int keep_regno = -1;
     447                 :   22955500 :         rtx set = single_set (insn);
     448                 :   22955500 :         int nop;
     449                 :            : 
     450                 :            :         /* See if this is an output reload for a previous insn.  */
     451                 :   22955500 :         if (set != NULL
     452                 :   21980100 :             && REG_P (SET_SRC (set)) && REG_P (SET_DEST (set)))
     453                 :            :           {
     454                 :    6647640 :             rtx dstreg = SET_DEST (set);
     455                 :    6647640 :             int src_regno = REGNO (SET_SRC (set));
     456                 :    6647640 :             int dst_regno = REGNO (dstreg);
     457                 :    6647640 :             rtx_insn *insn2 = regno_potential_cand[src_regno].insn;
     458                 :            : 
     459                 :    6647640 :             if (insn2 != NULL 
     460                 :    6647640 :                 && dst_regno >= FIRST_PSEUDO_REGISTER
     461                 :      29416 :                 && reg_renumber[dst_regno] < 0
     462                 :    6664520 :                 && BLOCK_FOR_INSN (insn2) == BLOCK_FOR_INSN (insn))
     463                 :            :               {
     464                 :      16866 :                 create_cand (insn2, regno_potential_cand[src_regno].nop,
     465                 :            :                              dst_regno, insn);
     466                 :      16866 :                 goto done;
     467                 :            :               }
     468                 :            :           }
     469                 :            : 
     470                 :   22938600 :         nop = operand_to_remat (insn);
     471                 :   22938600 :         if (nop >= 0)
     472                 :            :           {
     473                 :    1459220 :             gcc_assert (REG_P (*id->operand_loc[nop]));
     474                 :    1459220 :             int regno = REGNO (*id->operand_loc[nop]);
     475                 :    1459220 :             gcc_assert (regno >= FIRST_PSEUDO_REGISTER);
     476                 :            :             /* If we're setting an unrenumbered pseudo, make a candidate immediately.
     477                 :            :                If it's an output reload register, save it for later; the code above
     478                 :            :                looks for output reload insns later on.  */
     479                 :    1459220 :             if (reg_renumber[regno] < 0)
     480                 :     231492 :               create_cand (insn, nop, regno);
     481                 :    1227730 :             else if (regno >= lra_constraint_new_regno_start)
     482                 :            :               {
     483                 :     522355 :                 regno_potential_cand[regno].insn = insn;
     484                 :     522355 :                 regno_potential_cand[regno].nop = nop;
     485                 :     522355 :                 keep_regno = regno;
     486                 :            :               }
     487                 :            :           }
     488                 :            : 
     489                 :   21479400 :       done:
     490                 :   59380500 :         for (struct lra_insn_reg *reg = id->regs; reg != NULL; reg = reg->next)
     491                 :   36425100 :           if (reg->type != OP_IN && reg->regno != keep_regno
     492                 :   15425200 :               && reg->regno >= FIRST_PSEUDO_REGISTER)
     493                 :   10719500 :             regno_potential_cand[reg->regno].insn = NULL;
     494                 :            :       }
     495                 :      74545 :   cands_num = all_cands.length ();
     496                 :      74545 :   free (regno_potential_cand);
     497                 :      74545 : }
     498                 :            : 
     499                 :            : 
     500                 :            : 
     501                 :            : /* Create and initialize BB data.  */
     502                 :            : static void
     503                 :      74545 : create_remat_bb_data (void)
     504                 :            : {
     505                 :      74545 :   basic_block bb;
     506                 :      74545 :   remat_bb_data_t bb_info;
     507                 :            : 
     508                 :      74545 :   remat_bb_data = XNEWVEC (class remat_bb_data,
     509                 :            :                            last_basic_block_for_fn (cfun));
     510                 :    3511080 :   FOR_ALL_BB_FN (bb, cfun)
     511                 :            :     {
     512                 :    3436540 :       gcc_checking_assert (bb->index >= 0
     513                 :            :                            && bb->index < last_basic_block_for_fn (cfun));
     514                 :    3436540 :       bb_info = get_remat_bb_data (bb);
     515                 :    3436540 :       bb_info->bb = bb;
     516                 :    3436540 :       bitmap_initialize (&bb_info->changed_regs, &reg_obstack);
     517                 :    3436540 :       bitmap_initialize (&bb_info->dead_regs, &reg_obstack);
     518                 :    3436540 :       bitmap_initialize (&bb_info->gen_cands, &reg_obstack);
     519                 :    3436540 :       bitmap_initialize (&bb_info->livein_cands, &reg_obstack);
     520                 :    3436540 :       bitmap_initialize (&bb_info->pavin_cands, &reg_obstack);
     521                 :    3436540 :       bitmap_initialize (&bb_info->pavout_cands, &reg_obstack);
     522                 :    3436540 :       bitmap_initialize (&bb_info->avin_cands, &reg_obstack);
     523                 :    3436540 :       bitmap_initialize (&bb_info->avout_cands, &reg_obstack);
     524                 :            :     }
     525                 :      74545 : }
     526                 :            : 
     527                 :            : /* Dump all candidates to DUMP_FILE.  */
     528                 :            : static void
     529                 :          7 : dump_cands (FILE *dump_file)
     530                 :            : {
     531                 :          7 :   int i;
     532                 :          7 :   cand_t cand;
     533                 :            : 
     534                 :          7 :   fprintf (dump_file, "\nCands:\n");
     535                 :          7 :   for (i = 0; i < (int) cands_num; i++)
     536                 :            :     {
     537                 :          0 :       cand = all_cands[i];
     538                 :          0 :       fprintf (dump_file, "%d (nop=%d, remat_regno=%d, reload_regno=%d):\n",
     539                 :            :                i, cand->nop, cand->regno, cand->reload_regno);
     540                 :          0 :       print_inline_rtx (dump_file, cand->insn, 6);
     541                 :          0 :       fprintf (dump_file, "\n");
     542                 :            :     }
     543                 :          7 : }
     544                 :            : 
     545                 :            : /* Dump all candidates and BB data.  */
     546                 :            : static void
     547                 :      74545 : dump_candidates_and_remat_bb_data (void)
     548                 :            : {
     549                 :      74545 :   basic_block bb;
     550                 :            : 
     551                 :      74545 :   if (lra_dump_file == NULL)
     552                 :            :     return;
     553                 :          7 :   dump_cands (lra_dump_file);
     554                 :        308 :   FOR_EACH_BB_FN (bb, cfun)
     555                 :            :     {
     556                 :        301 :       fprintf (lra_dump_file, "\nBB %d:\n", bb->index);
     557                 :            :       /* Livein */
     558                 :        301 :       fprintf (lra_dump_file, "  register live in:");
     559                 :        301 :       dump_regset (df_get_live_in (bb), lra_dump_file);
     560                 :        301 :       putc ('\n', lra_dump_file);
     561                 :            :       /* Liveout */
     562                 :        301 :       fprintf (lra_dump_file, "  register live out:");
     563                 :        301 :       dump_regset (df_get_live_out (bb), lra_dump_file);
     564                 :        301 :       putc ('\n', lra_dump_file);
     565                 :            :       /* Changed/dead regs: */
     566                 :        301 :       fprintf (lra_dump_file, "  changed regs:");
     567                 :        301 :       dump_regset (&get_remat_bb_data (bb)->changed_regs, lra_dump_file);
     568                 :        301 :       putc ('\n', lra_dump_file);
     569                 :        301 :       fprintf (lra_dump_file, "  dead regs:");
     570                 :        301 :       dump_regset (&get_remat_bb_data (bb)->dead_regs, lra_dump_file);
     571                 :        301 :       putc ('\n', lra_dump_file);
     572                 :        301 :       lra_dump_bitmap_with_title ("cands generated in BB",
     573                 :        301 :                                   &get_remat_bb_data (bb)->gen_cands, bb->index);
     574                 :        301 :       lra_dump_bitmap_with_title ("livein cands in BB",
     575                 :        301 :                                   &get_remat_bb_data (bb)->livein_cands, bb->index);
     576                 :        301 :       lra_dump_bitmap_with_title ("pavin cands in BB",
     577                 :        301 :                                   &get_remat_bb_data (bb)->pavin_cands, bb->index);
     578                 :        301 :       lra_dump_bitmap_with_title ("pavout cands in BB",
     579                 :        301 :                                   &get_remat_bb_data (bb)->pavout_cands, bb->index);
     580                 :        301 :       lra_dump_bitmap_with_title ("avin cands in BB",
     581                 :        301 :                                   &get_remat_bb_data (bb)->avin_cands, bb->index);
     582                 :        301 :       lra_dump_bitmap_with_title ("avout cands in BB",
     583                 :        301 :                                   &get_remat_bb_data (bb)->avout_cands, bb->index);
     584                 :            :     }
     585                 :          7 :   fprintf (lra_dump_file, "subreg regs:");
     586                 :          7 :   dump_regset (&subreg_regs, lra_dump_file);
     587                 :          7 :   putc ('\n', lra_dump_file);
     588                 :            : }
     589                 :            : 
     590                 :            : /* Free all BB data.  */
     591                 :            : static void
     592                 :      74545 : finish_remat_bb_data (void)
     593                 :            : {
     594                 :      74545 :   basic_block bb;
     595                 :            : 
     596                 :    3361990 :   FOR_EACH_BB_FN (bb, cfun)
     597                 :            :     {
     598                 :    3287440 :       bitmap_clear (&get_remat_bb_data (bb)->avout_cands);
     599                 :    3287440 :       bitmap_clear (&get_remat_bb_data (bb)->avin_cands);
     600                 :    3287440 :       bitmap_clear (&get_remat_bb_data (bb)->pavout_cands);
     601                 :    3287440 :       bitmap_clear (&get_remat_bb_data (bb)->pavin_cands);
     602                 :    3287440 :       bitmap_clear (&get_remat_bb_data (bb)->livein_cands);
     603                 :    3287440 :       bitmap_clear (&get_remat_bb_data (bb)->gen_cands);
     604                 :    3287440 :       bitmap_clear (&get_remat_bb_data (bb)->dead_regs);
     605                 :    3287440 :       bitmap_clear (&get_remat_bb_data (bb)->changed_regs);
     606                 :            :     }
     607                 :      74545 :   free (remat_bb_data);
     608                 :      74545 : }
     609                 :            : 
     610                 :            : 
     611                 :            : 
     612                 :            : /* Update changed_regs, dead_regs, subreg_regs of BB from INSN.  */
     613                 :            : static void
     614                 :   22955500 : set_bb_regs (basic_block bb, rtx_insn *insn)
     615                 :            : {
     616                 :   22955500 :   lra_insn_recog_data_t id = lra_get_insn_recog_data (insn);
     617                 :   22955500 :   remat_bb_data_t bb_info = get_remat_bb_data (bb);
     618                 :   22955500 :   struct lra_insn_reg *reg;
     619                 :            : 
     620                 :   59380500 :   for (reg = id->regs; reg != NULL; reg = reg->next)
     621                 :            :     {
     622                 :   36425100 :       unsigned regno = reg->regno;
     623                 :   36425100 :       if (reg->type != OP_IN)
     624                 :   15947500 :         bitmap_set_bit (&bb_info->changed_regs, regno);
     625                 :   20477500 :       else if (find_regno_note (insn, REG_DEAD, regno) != NULL)
     626                 :   11413300 :         bitmap_set_bit (&bb_info->dead_regs, regno);
     627                 :   36425100 :       if (regno >= FIRST_PSEUDO_REGISTER && reg->subreg_p)
     628                 :     247132 :         bitmap_set_bit (&subreg_regs, regno);
     629                 :            :     }
     630                 :   22955500 :   if (CALL_P (insn))
     631                 :            :     {
     632                 :            :       /* Partially-clobbered registers might still be live.  */
     633                 :    1348060 :       HARD_REG_SET clobbers = insn_callee_abi (insn).full_reg_clobbers ();
     634                 :    1348060 :       bitmap_ior_into (&get_remat_bb_data (bb)->dead_regs,
     635                 :    1348060 :                        bitmap_view<HARD_REG_SET> (clobbers));
     636                 :            :     }
     637                 :   22955500 : }
     638                 :            : 
     639                 :            : /* Calculate changed_regs and dead_regs for each BB.  */
     640                 :            : static void
     641                 :      74545 : calculate_local_reg_remat_bb_data (void)
     642                 :            : {
     643                 :      74545 :   basic_block bb;
     644                 :      74545 :   rtx_insn *insn;
     645                 :            : 
     646                 :    3361990 :   FOR_EACH_BB_FN (bb, cfun)
     647                 :   89682700 :     FOR_BB_INSNS (bb, insn)
     648                 :   43197600 :       if (NONDEBUG_INSN_P (insn))
     649                 :   22955500 :         set_bb_regs (bb, insn);
     650                 :      74545 : }
     651                 :            : 
     652                 :            : 
     653                 :            : 
     654                 :            : /* Return true if REG overlaps an input operand of INSN.  */
     655                 :            : static bool
     656                 :    4368450 : reg_overlap_for_remat_p (lra_insn_reg *reg, rtx_insn *insn)
     657                 :            : {
     658                 :    4368450 :   int iter;
     659                 :    4368450 :   lra_insn_recog_data_t id = lra_get_insn_recog_data (insn);
     660                 :    4368450 :   struct lra_static_insn_data *static_id = id->insn_static_data;
     661                 :    4368450 :   unsigned regno = reg->regno;
     662                 :    4368450 :   int nregs;
     663                 :            : 
     664                 :    4368450 :   if (regno >= FIRST_PSEUDO_REGISTER && reg_renumber[regno] >= 0)
     665                 :    3078960 :     regno = reg_renumber[regno];
     666                 :    4368450 :   if (regno >= FIRST_PSEUDO_REGISTER)
     667                 :            :     nregs = 1;
     668                 :            :   else
     669                 :    3882150 :     nregs = hard_regno_nregs (regno, reg->biggest_mode);
     670                 :            : 
     671                 :    4368450 :   struct lra_insn_reg *reg2;
     672                 :            : 
     673                 :   12000900 :   for (iter = 0; iter < 2; iter++)
     674                 :    8184660 :     for (reg2 = (iter == 0 ? id->regs : static_id->hard_regs);
     675                 :   16006400 :          reg2 != NULL;
     676                 :    7821690 :          reg2 = reg2->next)
     677                 :            :       {
     678                 :    8373930 :         if (reg2->type != OP_IN)
     679                 :    4974340 :           continue;
     680                 :    3399590 :         unsigned regno2 = reg2->regno;
     681                 :    3399590 :         int nregs2;
     682                 :            : 
     683                 :    3399590 :         if (regno2 >= FIRST_PSEUDO_REGISTER && reg_renumber[regno2] >= 0)
     684                 :    3399590 :           regno2 = reg_renumber[regno2];
     685                 :    3399590 :         if (regno2 >= FIRST_PSEUDO_REGISTER)
     686                 :            :           nregs2 = 1;
     687                 :            :         else
     688                 :    3399590 :           nregs2 = hard_regno_nregs (regno2, reg->biggest_mode);
     689                 :            : 
     690                 :    3399590 :         if ((regno2 + nregs2 - 1 >= regno && regno2 < regno + nregs)
     691                 :    2847350 :             || (regno + nregs - 1 >= regno2 && regno < regno2 + nregs2))
     692                 :            :           return true;
     693                 :            :       }
     694                 :            :   return false;
     695                 :            : }
     696                 :            : 
     697                 :            : /* Return true if a call used register is an input operand of INSN.  */
     698                 :            : static bool
     699                 :      31617 : call_used_input_regno_present_p (const function_abi &abi, rtx_insn *insn)
     700                 :            : {
     701                 :      31617 :   int iter;
     702                 :      31617 :   lra_insn_recog_data_t id = lra_get_insn_recog_data (insn);
     703                 :      31617 :   struct lra_static_insn_data *static_id = id->insn_static_data;
     704                 :      31617 :   struct lra_insn_reg *reg;
     705                 :            : 
     706                 :      94851 :   for (iter = 0; iter < 2; iter++)
     707                 :      63234 :     for (reg = (iter == 0 ? id->regs : static_id->hard_regs);
     708                 :     131341 :          reg != NULL;
     709                 :      68107 :          reg = reg->next)
     710                 :      68107 :       if (reg->type == OP_IN
     711                 :      29031 :           && reg->regno < FIRST_PSEUDO_REGISTER
     712                 :      68107 :           && abi.clobbers_reg_p (reg->biggest_mode, reg->regno))
     713                 :            :         return true;
     714                 :            :   return false;
     715                 :            : }
     716                 :            : 
     717                 :            : /* Calculate livein_cands for each BB.  */
     718                 :            : static void
     719                 :      74545 : calculate_livein_cands (void)
     720                 :            : {
     721                 :      74545 :   basic_block bb;
     722                 :            : 
     723                 :    3361990 :   FOR_EACH_BB_FN (bb, cfun)
     724                 :            :     {
     725                 :    3287440 :       bitmap livein_regs = df_get_live_in (bb);
     726                 :    3287440 :       bitmap livein_cands = &get_remat_bb_data (bb)->livein_cands;
     727                 :   88406500 :       for (unsigned int i = 0; i < cands_num; i++)
     728                 :            :         {
     729                 :   85119000 :           cand_t cand = all_cands[i];
     730                 :   85119000 :           lra_insn_recog_data_t id = lra_get_insn_recog_data (cand->insn);
     731                 :   85119000 :           struct lra_insn_reg *reg;
     732                 :            : 
     733                 :  170643000 :           for (reg = id->regs; reg != NULL; reg = reg->next)
     734                 :  160402000 :             if (reg->type == OP_IN && ! bitmap_bit_p (livein_regs, reg->regno))
     735                 :            :               break;
     736                 :   85119000 :           if (reg == NULL)
     737                 :   10241400 :             bitmap_set_bit (livein_cands, i);
     738                 :            :         }
     739                 :            :     }
     740                 :      74545 : }
     741                 :            : 
     742                 :            : /* Calculate gen_cands for each BB.  */
     743                 :            : static void
     744                 :      74545 : calculate_gen_cands (void)
     745                 :            : {
     746                 :      74545 :   basic_block bb;
     747                 :      74545 :   bitmap gen_cands;
     748                 :      74545 :   rtx_insn *insn;
     749                 :            : 
     750                 :    3361990 :   FOR_EACH_BB_FN (bb, cfun)
     751                 :            :     {
     752                 :    3287440 :       gen_cands = &get_remat_bb_data (bb)->gen_cands;
     753                 :    6574890 :       auto_bitmap gen_insns (&reg_obstack);
     754                 :   89682700 :       FOR_BB_INSNS (bb, insn)
     755                 :   43197600 :         if (INSN_P (insn))
     756                 :            :           {
     757                 :   35964800 :             lra_insn_recog_data_t id = lra_get_insn_recog_data (insn);
     758                 :   35964800 :             struct lra_static_insn_data *static_id = id->insn_static_data;
     759                 :   35964800 :             struct lra_insn_reg *reg;
     760                 :   35964800 :             unsigned int uid;
     761                 :   35964800 :             bitmap_iterator bi;
     762                 :   35964800 :             cand_t cand;
     763                 :   35964800 :             rtx set;
     764                 :   35964800 :             int iter;
     765                 :   35964800 :             int src_regno = -1, dst_regno = -1;
     766                 :            : 
     767                 :   35964800 :             if ((set = single_set (insn)) != NULL
     768                 :   35964800 :                 && REG_P (SET_SRC (set)) && REG_P (SET_DEST (set)))
     769                 :            :               {
     770                 :    6647640 :                 src_regno = REGNO (SET_SRC (set));
     771                 :    6647640 :                 dst_regno = REGNO (SET_DEST (set));
     772                 :            :               }
     773                 :            : 
     774                 :            :             /* Update gen_cands:  */
     775                 :   35964800 :             bitmap_clear (&temp_bitmap);
     776                 :  107895000 :             for (iter = 0; iter < 2; iter++)
     777                 :   71929700 :               for (reg = (iter == 0 ? id->regs : static_id->hard_regs);
     778                 :  116945000 :                    reg != NULL;
     779                 :   45014900 :                    reg = reg->next)
     780                 :   45014900 :                 if (reg->type != OP_IN
     781                 :   45014900 :                     || find_regno_note (insn, REG_DEAD, reg->regno) != NULL)
     782                 :   34887300 :                   EXECUTE_IF_SET_IN_BITMAP (gen_insns, 0, uid, bi)
     783                 :            :                     {
     784                 :    1886680 :                       rtx_insn *insn2 = lra_insn_recog_data[uid]->insn;
     785                 :            :                       
     786                 :    1886680 :                       cand = insn_to_cand[INSN_UID (insn2)];
     787                 :    1886680 :                       gcc_assert (cand != NULL);
     788                 :            :                       /* Ignore the reload insn.  */
     789                 :    1886680 :                       if (src_regno == cand->reload_regno
     790                 :     650719 :                           && dst_regno == cand->regno)
     791                 :      32644 :                         continue;
     792                 :    1854040 :                       if (cand->regno == reg->regno
     793                 :    1854040 :                           || reg_overlap_for_remat_p (reg, insn2))
     794                 :            :                         {
     795                 :     255048 :                           bitmap_clear_bit (gen_cands, cand->index);
     796                 :     255048 :                           bitmap_set_bit (&temp_bitmap, uid);
     797                 :            :                         }
     798                 :            :                     }
     799                 :            :             
     800                 :   35964800 :             if (CALL_P (insn))
     801                 :            :               {
     802                 :    1348060 :                 function_abi callee_abi = insn_callee_abi (insn);
     803                 :    1356690 :                 EXECUTE_IF_SET_IN_BITMAP (gen_insns, 0, uid, bi)
     804                 :            :                   {
     805                 :       8632 :                     rtx_insn *insn2 = lra_insn_recog_data[uid]->insn;
     806                 :            :                   
     807                 :       8632 :                     cand = insn_to_cand[INSN_UID (insn2)];
     808                 :       8632 :                     gcc_assert (cand != NULL);
     809                 :       8632 :                     if (call_used_input_regno_present_p (callee_abi, insn2))
     810                 :            :                       {
     811                 :          0 :                         bitmap_clear_bit (gen_cands, cand->index);
     812                 :          0 :                         bitmap_set_bit (&temp_bitmap, uid);
     813                 :            :                       }
     814                 :            :                   }
     815                 :            :               }
     816                 :   35964800 :             bitmap_and_compl_into (gen_insns, &temp_bitmap);
     817                 :            : 
     818                 :   35964800 :             cand = insn_to_cand[INSN_UID (insn)];
     819                 :   35964800 :             if (cand != NULL)
     820                 :            :               {
     821                 :     248355 :                 bitmap_set_bit (gen_cands, cand->index);
     822                 :     248355 :                 bitmap_set_bit (gen_insns, INSN_UID (insn));
     823                 :            :               }
     824                 :            :           }
     825                 :            :     }  
     826                 :      74545 : }
     827                 :            : 
     828                 :            : 
     829                 :            : 
     830                 :            : /* The common transfer function used by the DF equation solver to
     831                 :            :    propagate (partial) availability info BB_IN to BB_OUT through block
     832                 :            :    with BB_INDEX according to the following equation:
     833                 :            : 
     834                 :            :       bb.out =  ((bb.in & bb.livein) - bb.killed) OR  bb.gen
     835                 :            : */
     836                 :            : static bool
     837                 :    7097350 : cand_trans_fun (int bb_index, bitmap bb_in, bitmap bb_out)
     838                 :            : {
     839                 :    7097350 :   remat_bb_data_t bb_info;
     840                 :    7097350 :   bitmap bb_livein, bb_changed_regs, bb_dead_regs;
     841                 :    7097350 :   unsigned int cid;
     842                 :    7097350 :   bitmap_iterator bi;
     843                 :            : 
     844                 :    7097350 :   bb_info = get_remat_bb_data_by_index (bb_index);
     845                 :    7097350 :   bb_livein = &bb_info->livein_cands;
     846                 :    7097350 :   bb_changed_regs = &bb_info->changed_regs;
     847                 :    7097350 :   bb_dead_regs = &bb_info->dead_regs;
     848                 :            :   /* Calculate killed avin cands -- cands whose regs are changed or
     849                 :            :      becoming dead in the BB.  We calculate it here as we hope that
     850                 :            :      repeated calculations are compensated by smaller size of BB_IN in
     851                 :            :      comparison with all candidates number.  */
     852                 :    7097350 :   bitmap_clear (&temp_bitmap);
     853                 :   10704200 :   EXECUTE_IF_SET_IN_BITMAP (bb_in, 0, cid, bi)
     854                 :            :     {
     855                 :    3606830 :       cand_t cand = all_cands[cid];
     856                 :    3606830 :       lra_insn_recog_data_t id = lra_get_insn_recog_data (cand->insn);
     857                 :    3606830 :       struct lra_insn_reg *reg;
     858                 :            : 
     859                 :    3606830 :       if (! bitmap_bit_p (bb_livein, cid))
     860                 :            :         {
     861                 :      88874 :           bitmap_set_bit (&temp_bitmap, cid);
     862                 :      88874 :           continue;
     863                 :            :         }
     864                 :    7139450 :       for (reg = id->regs; reg != NULL; reg = reg->next)
     865                 :            :         /* Ignore all outputs which are not the regno for
     866                 :            :            rematerialization.  */
     867                 :    3776780 :         if (reg->type == OP_OUT && reg->regno != cand->regno)
     868                 :     147128 :           continue;
     869                 :    3629660 :         else if (bitmap_bit_p (bb_changed_regs, reg->regno)
     870                 :    3629660 :                  || bitmap_bit_p (bb_dead_regs, reg->regno))
     871                 :            :           {
     872                 :     155291 :             bitmap_set_bit (&temp_bitmap, cid);
     873                 :     155291 :             break;
     874                 :            :           }
     875                 :            :       /* Check regno for rematerialization.  */
     876                 :    3517960 :       if (bitmap_bit_p (bb_changed_regs, cand->regno)
     877                 :    3517960 :           || bitmap_bit_p (bb_dead_regs, cand->regno))
     878                 :     104009 :         bitmap_set_bit (&temp_bitmap, cid);
     879                 :            :     }
     880                 :    7097350 :   return bitmap_ior_and_compl (bb_out,
     881                 :    7097350 :                                &bb_info->gen_cands, bb_in, &temp_bitmap);
     882                 :            : }
     883                 :            : 
     884                 :            : 
     885                 :            : 
     886                 :            : /* The transfer function used by the DF equation solver to propagate
     887                 :            :    partial candidate availability info through block with BB_INDEX
     888                 :            :    according to the following equation:
     889                 :            : 
     890                 :            :      bb.pavout = ((bb.pavin & bb.livein) - bb.killed) OR bb.gen
     891                 :            : */
     892                 :            : static bool
     893                 :    3660820 : cand_pav_trans_fun (int bb_index)
     894                 :            : {
     895                 :    3660820 :   remat_bb_data_t bb_info;
     896                 :            : 
     897                 :    3660820 :   bb_info = get_remat_bb_data_by_index (bb_index);
     898                 :    3660820 :   return cand_trans_fun (bb_index, &bb_info->pavin_cands,
     899                 :    3660820 :                          &bb_info->pavout_cands);
     900                 :            : }
     901                 :            : 
     902                 :            : /* The confluence function used by the DF equation solver to set up
     903                 :            :    cand_pav info for a block BB without predecessor.  */
     904                 :            : static void
     905                 :      75179 : cand_pav_con_fun_0 (basic_block bb)
     906                 :            : {
     907                 :      75179 :   bitmap_clear (&get_remat_bb_data (bb)->pavin_cands);
     908                 :      75179 : }
     909                 :            : 
     910                 :            : /* The confluence function used by the DF equation solver to propagate
     911                 :            :    partial candidate availability info from predecessor to successor
     912                 :            :    on edge E (pred->bb) according to the following equation:
     913                 :            : 
     914                 :            :       bb.pavin_cands = 0 for entry block | OR (pavout_cands of predecessors)
     915                 :            :  */
     916                 :            : static bool
     917                 :    5345270 : cand_pav_con_fun_n (edge e)
     918                 :            : {
     919                 :    5345270 :   basic_block pred = e->src;
     920                 :    5345270 :   basic_block bb = e->dest;
     921                 :    5345270 :   remat_bb_data_t bb_info;
     922                 :    5345270 :   bitmap bb_pavin, pred_pavout;
     923                 :            :   
     924                 :    5345270 :   bb_info = get_remat_bb_data (bb);
     925                 :    5345270 :   bb_pavin = &bb_info->pavin_cands;
     926                 :    5345270 :   pred_pavout = &get_remat_bb_data (pred)->pavout_cands;
     927                 :    5345270 :   return bitmap_ior_into (bb_pavin, pred_pavout);
     928                 :            : }
     929                 :            : 
     930                 :            : 
     931                 :            : 
     932                 :            : /* The transfer function used by the DF equation solver to propagate
     933                 :            :    candidate availability info through block with BB_INDEX according
     934                 :            :    to the following equation:
     935                 :            : 
     936                 :            :       bb.avout =  ((bb.avin & bb.livein) - bb.killed) OR  bb.gen
     937                 :            : */
     938                 :            : static bool
     939                 :    3436540 : cand_av_trans_fun (int bb_index)
     940                 :            : {
     941                 :    3436540 :   remat_bb_data_t bb_info;
     942                 :            : 
     943                 :    3436540 :   bb_info = get_remat_bb_data_by_index (bb_index);
     944                 :    3436540 :   return cand_trans_fun (bb_index, &bb_info->avin_cands,
     945                 :    3436540 :                          &bb_info->avout_cands);
     946                 :            : }
     947                 :            : 
     948                 :            : /* The confluence function used by the DF equation solver to set up
     949                 :            :    cand_av info for a block BB without predecessor.  */
     950                 :            : static void
     951                 :      75179 : cand_av_con_fun_0 (basic_block bb)
     952                 :            : {
     953                 :      75179 :   bitmap_clear (&get_remat_bb_data (bb)->avin_cands);
     954                 :      75179 : }
     955                 :            : 
     956                 :            : /* The confluence function used by the DF equation solver to propagate
     957                 :            :    cand_av info from predecessor to successor on edge E (pred->bb)
     958                 :            :    according to the following equation:
     959                 :            : 
     960                 :            :       bb.avin_cands = 0 for entry block | AND (avout_cands of predecessors)
     961                 :            :  */
     962                 :            : static bool
     963                 :    4971410 : cand_av_con_fun_n (edge e)
     964                 :            : {
     965                 :    4971410 :   basic_block pred = e->src;
     966                 :    4971410 :   basic_block bb = e->dest;
     967                 :    4971410 :   remat_bb_data_t bb_info;
     968                 :    4971410 :   bitmap bb_avin, pred_avout;
     969                 :            :   
     970                 :    4971410 :   bb_info = get_remat_bb_data (bb);
     971                 :    4971410 :   bb_avin = &bb_info->avin_cands;
     972                 :    4971410 :   pred_avout = &get_remat_bb_data (pred)->avout_cands;
     973                 :    4971410 :   return bitmap_and_into (bb_avin, pred_avout);
     974                 :            : }
     975                 :            : 
     976                 :            : /* Calculate available candidates for each BB.  */
     977                 :            : static void
     978                 :      74545 : calculate_global_remat_bb_data (void)
     979                 :            : {
     980                 :      74545 :   basic_block bb;
     981                 :            : 
     982                 :      74545 :   df_simple_dataflow
     983                 :      74545 :     (DF_FORWARD, NULL, cand_pav_con_fun_0, cand_pav_con_fun_n,
     984                 :            :      cand_pav_trans_fun, &all_blocks,
     985                 :            :      df_get_postorder (DF_FORWARD), df_get_n_blocks (DF_FORWARD));
     986                 :            :   /* Initialize avin by pavin.  */
     987                 :    3361990 :   FOR_EACH_BB_FN (bb, cfun)
     988                 :    3287440 :     bitmap_copy (&get_remat_bb_data (bb)->avin_cands,
     989                 :    3287440 :                  &get_remat_bb_data (bb)->pavin_cands);
     990                 :      74545 :   df_simple_dataflow
     991                 :      74545 :     (DF_FORWARD, NULL, cand_av_con_fun_0, cand_av_con_fun_n,
     992                 :            :      cand_av_trans_fun, &all_blocks,
     993                 :            :      df_get_postorder (DF_FORWARD), df_get_n_blocks (DF_FORWARD));
     994                 :      74545 : }
     995                 :            : 
     996                 :            : 
     997                 :            : 
     998                 :            : /* Setup sp offset attribute to SP_OFFSET for all INSNS.  */
     999                 :            : static void
    1000                 :        163 : change_sp_offset (rtx_insn *insns, poly_int64 sp_offset)
    1001                 :            : {
    1002                 :        489 :   for (rtx_insn *insn = insns; insn != NULL; insn = NEXT_INSN (insn))
    1003                 :        163 :     eliminate_regs_in_insn (insn, false, false, sp_offset);
    1004                 :        163 : }
    1005                 :            : 
    1006                 :            : /* Return start hard register of REG (can be a hard or a pseudo reg)
    1007                 :            :    or -1 (if it is a spilled pseudo).  Return number of hard registers
    1008                 :            :    occupied by REG through parameter NREGS if the start hard reg is
    1009                 :            :    not negative.  */
    1010                 :            : static int
    1011                 :   27132200 : get_hard_regs (struct lra_insn_reg *reg, int &nregs)
    1012                 :            : {
    1013                 :   27132200 :   int regno = reg->regno;
    1014                 :   20343400 :   int hard_regno = regno < FIRST_PSEUDO_REGISTER ? regno : reg_renumber[regno];
    1015                 :            : 
    1016                 :   27132200 :   if (hard_regno >= 0)
    1017                 :   25430700 :     nregs = hard_regno_nregs (hard_regno, reg->biggest_mode);
    1018                 :   27132200 :   return hard_regno;
    1019                 :            : }
    1020                 :            : 
    1021                 :            : /* Make copy of and register scratch pseudos in rematerialized insn
    1022                 :            :    REMAT_INSN.  */
    1023                 :            : static void
    1024                 :       2618 : update_scratch_ops (rtx_insn *remat_insn)
    1025                 :            : {
    1026                 :       2618 :   lra_insn_recog_data_t id = lra_get_insn_recog_data (remat_insn);
    1027                 :       2618 :   struct lra_static_insn_data *static_id = id->insn_static_data;
    1028                 :       9188 :   for (int i = 0; i < static_id->n_operands; i++)
    1029                 :            :     {
    1030                 :       6570 :       rtx *loc = id->operand_loc[i];
    1031                 :       6570 :       if (! REG_P (*loc))
    1032                 :       2392 :         continue;
    1033                 :       4178 :       int regno = REGNO (*loc);
    1034                 :       4178 :       if (! lra_former_scratch_p (regno))
    1035                 :       4176 :         continue;
    1036                 :          4 :       *loc = lra_create_new_reg (GET_MODE (*loc), *loc,
    1037                 :            :                                  lra_get_allocno_class (regno),
    1038                 :            :                                  "scratch pseudo copy");
    1039                 :          2 :       lra_register_new_scratch_op (remat_insn, i, id->icode);
    1040                 :            :     }
    1041                 :            :   
    1042                 :       2618 : }
    1043                 :            : 
    1044                 :            : /* Insert rematerialization insns using the data-flow data calculated
    1045                 :            :    earlier.  */
    1046                 :            : static bool
    1047                 :      74545 : do_remat (void)
    1048                 :            : {
    1049                 :      74545 :   unsigned regno;
    1050                 :      74545 :   rtx_insn *insn;
    1051                 :      74545 :   basic_block bb;
    1052                 :      74545 :   bool changed_p = false;
    1053                 :            :   /* Living hard regs and hard registers of living pseudos.  */
    1054                 :      74545 :   HARD_REG_SET live_hard_regs;
    1055                 :      74545 :   bitmap_iterator bi;
    1056                 :            : 
    1057                 :      74545 :   auto_bitmap avail_cands (&reg_obstack);
    1058                 :      74545 :   auto_bitmap active_cands (&reg_obstack);
    1059                 :    3361990 :   FOR_EACH_BB_FN (bb, cfun)
    1060                 :            :     {
    1061                 :    9862340 :       CLEAR_HARD_REG_SET (live_hard_regs);
    1062                 :   40904900 :       EXECUTE_IF_SET_IN_BITMAP (df_get_live_in (bb), 0, regno, bi)
    1063                 :            :         {
    1064                 :   75235000 :           int hard_regno = regno < FIRST_PSEUDO_REGISTER
    1065                 :   37617500 :                            ? regno
    1066                 :   33166300 :                            : reg_renumber[regno];
    1067                 :   37617500 :           if (hard_regno >= 0)
    1068                 :   37617500 :             SET_HARD_REG_BIT (live_hard_regs, hard_regno);
    1069                 :            :         }
    1070                 :    3287440 :       bitmap_and (avail_cands, &get_remat_bb_data (bb)->avin_cands,
    1071                 :    3287440 :                   &get_remat_bb_data (bb)->livein_cands);
    1072                 :            :       /* Activating insns are always in the same block as their corresponding
    1073                 :            :          remat insn, so at the start of a block the two bitsets are equal.  */
    1074                 :    3287440 :       bitmap_copy (active_cands, avail_cands);
    1075                 :   89682700 :       FOR_BB_INSNS (bb, insn)
    1076                 :            :         {
    1077                 :   43197600 :           if (!NONDEBUG_INSN_P (insn))
    1078                 :   20244800 :             continue;
    1079                 :            : 
    1080                 :   22955500 :           lra_insn_recog_data_t id = lra_get_insn_recog_data (insn);
    1081                 :   22955500 :           struct lra_static_insn_data *static_id = id->insn_static_data;
    1082                 :   22955500 :           struct lra_insn_reg *reg;
    1083                 :   22955500 :           cand_t cand;
    1084                 :   22955500 :           unsigned int cid;
    1085                 :   22955500 :           bitmap_iterator bi;
    1086                 :   22955500 :           rtx set;
    1087                 :   22955500 :           int iter;
    1088                 :   22955500 :           int src_regno = -1, dst_regno = -1;
    1089                 :            : 
    1090                 :   22955500 :           if ((set = single_set (insn)) != NULL
    1091                 :   22955500 :               && REG_P (SET_SRC (set)) && REG_P (SET_DEST (set)))
    1092                 :            :             {
    1093                 :    6647640 :               src_regno = REGNO (SET_SRC (set));
    1094                 :    6647640 :               dst_regno = REGNO (SET_DEST (set));
    1095                 :            :             }
    1096                 :            : 
    1097                 :   22955500 :           cand = NULL;
    1098                 :            :           /* Check possibility of rematerialization (hard reg or
    1099                 :            :              unpsilled pseudo <- spilled pseudo): */
    1100                 :   22955500 :           if (dst_regno >= 0 && src_regno >= FIRST_PSEUDO_REGISTER
    1101                 :    5958540 :               && reg_renumber[src_regno] < 0
    1102                 :     947548 :               && (dst_regno < FIRST_PSEUDO_REGISTER
    1103                 :     846990 :                   || reg_renumber[dst_regno] >= 0))
    1104                 :            :             {
    1105                 :     947548 :               for (cand = regno_cands[src_regno];
    1106                 :    1421250 :                    cand != NULL;
    1107                 :     473698 :                    cand = cand->next_regno_cand)
    1108                 :     476566 :                 if (bitmap_bit_p (avail_cands, cand->index)
    1109                 :     476566 :                     && bitmap_bit_p (active_cands, cand->index))
    1110                 :            :                   break;
    1111                 :            :             }
    1112                 :     947548 :           int i, hard_regno, nregs;
    1113                 :     947548 :           int dst_hard_regno, dst_nregs;
    1114                 :     947548 :           rtx_insn *remat_insn = NULL;
    1115                 :     947548 :           poly_int64 cand_sp_offset = 0;
    1116                 :     947548 :           if (cand != NULL)
    1117                 :            :             {
    1118                 :       2868 :               lra_insn_recog_data_t cand_id
    1119                 :       2868 :                 = lra_get_insn_recog_data (cand->insn);
    1120                 :       2868 :               struct lra_static_insn_data *static_cand_id
    1121                 :            :                 = cand_id->insn_static_data;
    1122                 :       2868 :               rtx saved_op = *cand_id->operand_loc[cand->nop];
    1123                 :            : 
    1124                 :            :               /* Check clobbers do not kill something living.  */
    1125                 :       2868 :               gcc_assert (REG_P (saved_op));
    1126                 :       2868 :               int ignore_regno = REGNO (saved_op); 
    1127                 :            : 
    1128                 :       5736 :               dst_hard_regno = dst_regno < FIRST_PSEUDO_REGISTER
    1129                 :       2868 :                 ? dst_regno : reg_renumber[dst_regno];
    1130                 :       2868 :               gcc_assert (dst_hard_regno >= 0);
    1131                 :       2868 :               machine_mode mode = GET_MODE (SET_DEST (set));
    1132                 :       2868 :               dst_nregs = hard_regno_nregs (dst_hard_regno, mode);
    1133                 :            : 
    1134                 :       7625 :               for (reg = cand_id->regs; reg != NULL; reg = reg->next)
    1135                 :       4757 :                 if (reg->type != OP_IN && reg->regno != ignore_regno)
    1136                 :            :                   {
    1137                 :          2 :                     hard_regno = get_hard_regs (reg, nregs);
    1138                 :          2 :                     gcc_assert (hard_regno >= 0);
    1139                 :          4 :                     for (i = 0; i < nregs; i++)
    1140                 :          2 :                       if (TEST_HARD_REG_BIT (live_hard_regs, hard_regno + i))
    1141                 :            :                         break;
    1142                 :          2 :                     if (i < nregs)
    1143                 :            :                       break;
    1144                 :            :                     /* Ensure the clobber also doesn't overlap dst_regno.  */
    1145                 :          2 :                     if (hard_regno + nregs > dst_hard_regno
    1146                 :          0 :                         && hard_regno < dst_hard_regno + dst_nregs)
    1147                 :            :                       break;
    1148                 :            :                   }
    1149                 :            : 
    1150                 :       2868 :               if (reg == NULL)
    1151                 :            :                 {
    1152                 :       2868 :                   for (reg = static_cand_id->hard_regs;
    1153                 :       4210 :                        reg != NULL;
    1154                 :       1342 :                        reg = reg->next)
    1155                 :       1342 :                     if (reg->type != OP_IN)
    1156                 :            :                       {
    1157                 :       1342 :                         if (TEST_HARD_REG_BIT (live_hard_regs, reg->regno))
    1158                 :            :                           break;
    1159                 :       1342 :                         if (reg->regno >= dst_hard_regno
    1160                 :       1301 :                             && reg->regno < dst_hard_regno + dst_nregs)
    1161                 :            :                           break;
    1162                 :            :                       }
    1163                 :            :                 }
    1164                 :            : 
    1165                 :       2868 :               if (reg == NULL)
    1166                 :            :                 {
    1167                 :       2868 :                   *cand_id->operand_loc[cand->nop] = SET_DEST (set);
    1168                 :       2868 :                   lra_update_insn_regno_info (cand->insn);
    1169                 :       2868 :                   bool ok_p = lra_constrain_insn (cand->insn);
    1170                 :       2868 :                   if (ok_p)
    1171                 :            :                     {
    1172                 :       2618 :                       rtx remat_pat = copy_insn (PATTERN (cand->insn));
    1173                 :            :                       
    1174                 :       2618 :                       start_sequence ();
    1175                 :       2618 :                       emit_insn (remat_pat);
    1176                 :       2618 :                       remat_insn = get_insns ();
    1177                 :       2618 :                       end_sequence ();
    1178                 :       5236 :                       if (recog_memoized (remat_insn) < 0)
    1179                 :          0 :                         remat_insn = NULL;
    1180                 :       2618 :                       cand_sp_offset = cand_id->sp_offset;
    1181                 :            :                     }
    1182                 :       2868 :                   *cand_id->operand_loc[cand->nop] = saved_op;
    1183                 :       2868 :                   lra_update_insn_regno_info (cand->insn);
    1184                 :            :                 }
    1185                 :            :             }
    1186                 :            : 
    1187                 :   22955500 :           bitmap_clear (&temp_bitmap);
    1188                 :            :           /* Update avail_cands (see analogous code for
    1189                 :            :              calculate_gen_cands).  */
    1190                 :   68866400 :           for (iter = 0; iter < 2; iter++)
    1191                 :   45910900 :             for (reg = (iter == 0 ? id->regs : static_id->hard_regs);
    1192                 :   88020600 :                  reg != NULL;
    1193                 :   42109700 :                  reg = reg->next)
    1194                 :   42109700 :               if (reg->type != OP_IN
    1195                 :   42109700 :                   || find_regno_note (insn, REG_DEAD, reg->regno) != NULL)
    1196                 :   35557200 :                 EXECUTE_IF_SET_IN_BITMAP (avail_cands, 0, cid, bi)
    1197                 :            :                   {
    1198                 :    2556500 :                     cand = all_cands[cid];
    1199                 :            :                     
    1200                 :            :                     /* Ignore the reload insn.  */
    1201                 :    2556500 :                     if (src_regno == cand->reload_regno
    1202                 :     947892 :                         && dst_regno == cand->regno)
    1203                 :      32645 :                       continue;
    1204                 :    2523860 :                     if (cand->regno == reg->regno
    1205                 :    2523860 :                         || reg_overlap_for_remat_p (reg, cand->insn))
    1206                 :     306638 :                       bitmap_set_bit (&temp_bitmap, cand->index);
    1207                 :            :                   }
    1208                 :            : 
    1209                 :   22955500 :           if (CALL_P (insn))
    1210                 :            :             {
    1211                 :    1348060 :               function_abi callee_abi = insn_callee_abi (insn);
    1212                 :    1371040 :               EXECUTE_IF_SET_IN_BITMAP (avail_cands, 0, cid, bi)
    1213                 :            :                 {
    1214                 :      22985 :                   cand = all_cands[cid];
    1215                 :            :                 
    1216                 :      22985 :                   if (call_used_input_regno_present_p (callee_abi, cand->insn))
    1217                 :          0 :                     bitmap_set_bit (&temp_bitmap, cand->index);
    1218                 :            :                 }
    1219                 :            :             }
    1220                 :            : 
    1221                 :   22955500 :           bitmap_and_compl_into (avail_cands, &temp_bitmap);
    1222                 :            : 
    1223                 :            :           /* Now see whether a candidate is made active or available
    1224                 :            :              by this insn.  */
    1225                 :   22955500 :           cand = insn_to_cand_activation[INSN_UID (insn)];
    1226                 :   22955500 :           if (cand)
    1227                 :      16866 :             bitmap_set_bit (active_cands, cand->index);
    1228                 :            : 
    1229                 :   22955500 :           cand = insn_to_cand[INSN_UID (insn)];
    1230                 :   22955500 :           if (cand != NULL)
    1231                 :            :             {
    1232                 :     248355 :               bitmap_set_bit (avail_cands, cand->index);
    1233                 :     248355 :               if (cand->reload_regno == -1)
    1234                 :     231483 :                 bitmap_set_bit (active_cands, cand->index);
    1235                 :            :               else
    1236                 :      16872 :                 bitmap_clear_bit (active_cands, cand->index);
    1237                 :            :             }
    1238                 :            : 
    1239                 :   22955500 :           if (remat_insn != NULL)
    1240                 :            :             {
    1241                 :       2618 :               poly_int64 sp_offset_change = cand_sp_offset - id->sp_offset;
    1242                 :       2618 :               if (maybe_ne (sp_offset_change, 0))
    1243                 :        163 :                 change_sp_offset (remat_insn, sp_offset_change);
    1244                 :       2618 :               update_scratch_ops (remat_insn);
    1245                 :       2618 :               lra_process_new_insns (insn, remat_insn, NULL,
    1246                 :            :                                      "Inserting rematerialization insn");
    1247                 :       2618 :               lra_set_insn_deleted (insn);
    1248                 :       2618 :               changed_p = true;
    1249                 :       2618 :               continue;
    1250                 :            :             }
    1251                 :            : 
    1252                 :            :           /* Update live hard regs: */
    1253                 :   59372700 :           for (reg = id->regs; reg != NULL; reg = reg->next)
    1254                 :   36419800 :             if (reg->type == OP_IN
    1255                 :   36419800 :                 && find_regno_note (insn, REG_DEAD, reg->regno) != NULL)
    1256                 :            :               {
    1257                 :   22823000 :                 if ((hard_regno = get_hard_regs (reg, nregs)) < 0)
    1258                 :     684680 :                   continue;
    1259                 :   21632700 :                 for (i = 0; i < nregs; i++)
    1260                 :   10905800 :                   CLEAR_HARD_REG_BIT (live_hard_regs, hard_regno + i);
    1261                 :            :               }
    1262                 :            :           /* Process also hard regs (e.g. CC register) which are part
    1263                 :            :              of insn definition.  */
    1264                 :   28637500 :           for (reg = static_id->hard_regs; reg != NULL; reg = reg->next)
    1265                 :    5684610 :             if (reg->type == OP_IN
    1266                 :    5684610 :                 && find_regno_note (insn, REG_DEAD, reg->regno) != NULL)
    1267                 :    5684610 :               CLEAR_HARD_REG_BIT (live_hard_regs, reg->regno);
    1268                 :            :           /* Inputs have been processed, now process outputs.  */
    1269                 :   59372700 :           for (reg = id->regs; reg != NULL; reg = reg->next)
    1270                 :   36419800 :             if (reg->type != OP_IN
    1271                 :   36419800 :                 && find_regno_note (insn, REG_UNUSED, reg->regno) == NULL)
    1272                 :            :               {
    1273                 :   31441400 :                 if ((hard_regno = get_hard_regs (reg, nregs)) < 0)
    1274                 :    1016850 :                   continue;
    1275                 :   29751800 :                 for (i = 0; i < nregs; i++)
    1276                 :   15047900 :                   SET_HARD_REG_BIT (live_hard_regs, hard_regno + i);
    1277                 :            :               }
    1278                 :   28637500 :           for (reg = static_id->hard_regs; reg != NULL; reg = reg->next)
    1279                 :    5684610 :             if (reg->type != OP_IN
    1280                 :    5684610 :                 && find_regno_note (insn, REG_UNUSED, reg->regno) == NULL)
    1281                 :    5684610 :               SET_HARD_REG_BIT (live_hard_regs, reg->regno);
    1282                 :            :         }
    1283                 :            :     }
    1284                 :      74545 :   return changed_p;
    1285                 :            : }
    1286                 :            : 
    1287                 :            : 
    1288                 :            : 
    1289                 :            : /* Current number of rematerialization iteration.  */
    1290                 :            : int lra_rematerialization_iter;
    1291                 :            : 
    1292                 :            : /* Entry point of the rematerialization sub-pass.  Return true if we
    1293                 :            :    did any rematerialization.  */
    1294                 :            : bool
    1295                 :      83724 : lra_remat (void)
    1296                 :            : {
    1297                 :      83724 :   basic_block bb;
    1298                 :      83724 :   bool result;
    1299                 :      83724 :   int max_regno = max_reg_num ();
    1300                 :            : 
    1301                 :      83724 :   if (! flag_lra_remat)
    1302                 :            :     return false;
    1303                 :      74545 :   lra_rematerialization_iter++;
    1304                 :      74545 :   if (lra_rematerialization_iter > LRA_MAX_REMATERIALIZATION_PASSES)
    1305                 :            :     return false;
    1306                 :      74545 :   if (lra_dump_file != NULL)
    1307                 :          7 :     fprintf (lra_dump_file,
    1308                 :            :              "\n******** Rematerialization #%d: ********\n\n",
    1309                 :            :              lra_rematerialization_iter);
    1310                 :      74545 :   timevar_push (TV_LRA_REMAT);
    1311                 :      74545 :   insn_to_cand = XCNEWVEC (cand_t, get_max_uid ());
    1312                 :      74545 :   insn_to_cand_activation = XCNEWVEC (cand_t, get_max_uid ());
    1313                 :      74545 :   regno_cands = XCNEWVEC (cand_t, max_regno);
    1314                 :      74545 :   all_cands.create (8000);
    1315                 :      74545 :   initiate_cand_table ();
    1316                 :      74545 :   create_remat_bb_data ();
    1317                 :      74545 :   bitmap_initialize (&temp_bitmap, &reg_obstack);
    1318                 :      74545 :   bitmap_initialize (&subreg_regs, &reg_obstack);
    1319                 :      74545 :   calculate_local_reg_remat_bb_data ();
    1320                 :      74545 :   create_cands ();
    1321                 :      74545 :   calculate_livein_cands ();
    1322                 :      74545 :   calculate_gen_cands ();
    1323                 :      74545 :   bitmap_initialize (&all_blocks, &reg_obstack);
    1324                 :    3511080 :   FOR_ALL_BB_FN (bb, cfun)
    1325                 :    3436540 :     bitmap_set_bit (&all_blocks, bb->index);
    1326                 :      74545 :   calculate_global_remat_bb_data ();
    1327                 :      74545 :   dump_candidates_and_remat_bb_data ();
    1328                 :      74545 :   result = do_remat ();
    1329                 :      74545 :   all_cands.release ();
    1330                 :      74545 :   bitmap_clear (&temp_bitmap);
    1331                 :      74545 :   bitmap_clear (&subreg_regs);
    1332                 :      74545 :   finish_remat_bb_data ();
    1333                 :      74545 :   finish_cand_table ();
    1334                 :      74545 :   bitmap_clear (&all_blocks);
    1335                 :      74545 :   free (regno_cands);
    1336                 :      74545 :   free (insn_to_cand);
    1337                 :      74545 :   free (insn_to_cand_activation);
    1338                 :      74545 :   timevar_pop (TV_LRA_REMAT);
    1339                 :            :   return result;
    1340                 :            : }

Generated by: LCOV version 1.0

LCOV profile is generated on x86_64 machine using following configure options: configure --disable-bootstrap --enable-coverage=opt --enable-languages=c,c++,fortran,go,jit,lto --enable-host-shared. GCC test suite is run with the built compiler.