LCOV - code coverage report
Current view: top level - gcc - ipa-cp.c (source / functions) Hit Total Coverage
Test: gcc.info Lines: 2392 2577 92.8 %
Date: 2020-03-28 11:57:23 Functions: 127 138 92.0 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : /* Interprocedural constant propagation
       2                 :            :    Copyright (C) 2005-2020 Free Software Foundation, Inc.
       3                 :            : 
       4                 :            :    Contributed by Razya Ladelsky <RAZYA@il.ibm.com> and Martin Jambor
       5                 :            :    <mjambor@suse.cz>
       6                 :            : 
       7                 :            : This file is part of GCC.
       8                 :            : 
       9                 :            : GCC is free software; you can redistribute it and/or modify it under
      10                 :            : the terms of the GNU General Public License as published by the Free
      11                 :            : Software Foundation; either version 3, or (at your option) any later
      12                 :            : version.
      13                 :            : 
      14                 :            : GCC is distributed in the hope that it will be useful, but WITHOUT ANY
      15                 :            : WARRANTY; without even the implied warranty of MERCHANTABILITY or
      16                 :            : FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
      17                 :            : for more details.
      18                 :            : 
      19                 :            : You should have received a copy of the GNU General Public License
      20                 :            : along with GCC; see the file COPYING3.  If not see
      21                 :            : <http://www.gnu.org/licenses/>.  */
      22                 :            : 
      23                 :            : /* Interprocedural constant propagation (IPA-CP).
      24                 :            : 
      25                 :            :    The goal of this transformation is to
      26                 :            : 
      27                 :            :    1) discover functions which are always invoked with some arguments with the
      28                 :            :       same known constant values and modify the functions so that the
      29                 :            :       subsequent optimizations can take advantage of the knowledge, and
      30                 :            : 
      31                 :            :    2) partial specialization - create specialized versions of functions
      32                 :            :       transformed in this way if some parameters are known constants only in
      33                 :            :       certain contexts but the estimated tradeoff between speedup and cost size
      34                 :            :       is deemed good.
      35                 :            : 
      36                 :            :    The algorithm also propagates types and attempts to perform type based
      37                 :            :    devirtualization.  Types are propagated much like constants.
      38                 :            : 
      39                 :            :    The algorithm basically consists of three stages.  In the first, functions
      40                 :            :    are analyzed one at a time and jump functions are constructed for all known
      41                 :            :    call-sites.  In the second phase, the pass propagates information from the
      42                 :            :    jump functions across the call to reveal what values are available at what
      43                 :            :    call sites, performs estimations of effects of known values on functions and
      44                 :            :    their callees, and finally decides what specialized extra versions should be
      45                 :            :    created.  In the third, the special versions materialize and appropriate
      46                 :            :    calls are redirected.
      47                 :            : 
      48                 :            :    The algorithm used is to a certain extent based on "Interprocedural Constant
      49                 :            :    Propagation", by David Callahan, Keith D Cooper, Ken Kennedy, Linda Torczon,
      50                 :            :    Comp86, pg 152-161 and "A Methodology for Procedure Cloning" by Keith D
      51                 :            :    Cooper, Mary W. Hall, and Ken Kennedy.
      52                 :            : 
      53                 :            : 
      54                 :            :    First stage - intraprocedural analysis
      55                 :            :    =======================================
      56                 :            : 
      57                 :            :    This phase computes jump_function and modification flags.
      58                 :            : 
      59                 :            :    A jump function for a call-site represents the values passed as an actual
      60                 :            :    arguments of a given call-site. In principle, there are three types of
      61                 :            :    values:
      62                 :            : 
      63                 :            :    Pass through - the caller's formal parameter is passed as an actual
      64                 :            :                   argument, plus an operation on it can be performed.
      65                 :            :    Constant - a constant is passed as an actual argument.
      66                 :            :    Unknown - neither of the above.
      67                 :            : 
      68                 :            :    All jump function types are described in detail in ipa-prop.h, together with
      69                 :            :    the data structures that represent them and methods of accessing them.
      70                 :            : 
      71                 :            :    ipcp_generate_summary() is the main function of the first stage.
      72                 :            : 
      73                 :            :    Second stage - interprocedural analysis
      74                 :            :    ========================================
      75                 :            : 
      76                 :            :    This stage is itself divided into two phases.  In the first, we propagate
      77                 :            :    known values over the call graph, in the second, we make cloning decisions.
      78                 :            :    It uses a different algorithm than the original Callahan's paper.
      79                 :            : 
      80                 :            :    First, we traverse the functions topologically from callers to callees and,
      81                 :            :    for each strongly connected component (SCC), we propagate constants
      82                 :            :    according to previously computed jump functions.  We also record what known
      83                 :            :    values depend on other known values and estimate local effects.  Finally, we
      84                 :            :    propagate cumulative information about these effects from dependent values
      85                 :            :    to those on which they depend.
      86                 :            : 
      87                 :            :    Second, we again traverse the call graph in the same topological order and
      88                 :            :    make clones for functions which we know are called with the same values in
      89                 :            :    all contexts and decide about extra specialized clones of functions just for
      90                 :            :    some contexts - these decisions are based on both local estimates and
      91                 :            :    cumulative estimates propagated from callees.
      92                 :            : 
      93                 :            :    ipcp_propagate_stage() and ipcp_decision_stage() together constitute the
      94                 :            :    third stage.
      95                 :            : 
      96                 :            :    Third phase - materialization of clones, call statement updates.
      97                 :            :    ============================================
      98                 :            : 
      99                 :            :    This stage is currently performed by call graph code (mainly in cgraphunit.c
     100                 :            :    and tree-inline.c) according to instructions inserted to the call graph by
     101                 :            :    the second stage.  */
     102                 :            : 
     103                 :            : #include "config.h"
     104                 :            : #include "system.h"
     105                 :            : #include "coretypes.h"
     106                 :            : #include "backend.h"
     107                 :            : #include "tree.h"
     108                 :            : #include "gimple-expr.h"
     109                 :            : #include "predict.h"
     110                 :            : #include "alloc-pool.h"
     111                 :            : #include "tree-pass.h"
     112                 :            : #include "cgraph.h"
     113                 :            : #include "diagnostic.h"
     114                 :            : #include "fold-const.h"
     115                 :            : #include "gimple-fold.h"
     116                 :            : #include "symbol-summary.h"
     117                 :            : #include "tree-vrp.h"
     118                 :            : #include "ipa-prop.h"
     119                 :            : #include "tree-pretty-print.h"
     120                 :            : #include "tree-inline.h"
     121                 :            : #include "ipa-fnsummary.h"
     122                 :            : #include "ipa-utils.h"
     123                 :            : #include "tree-ssa-ccp.h"
     124                 :            : #include "stringpool.h"
     125                 :            : #include "attribs.h"
     126                 :            : 
     127                 :            : template <typename valtype> class ipcp_value;
     128                 :            : 
     129                 :            : /* Describes a particular source for an IPA-CP value.  */
     130                 :            : 
     131                 :            : template <typename valtype>
     132                 :            : struct ipcp_value_source
     133                 :            : {
     134                 :            : public:
     135                 :            :   /* Aggregate offset of the source, negative if the source is scalar value of
     136                 :            :      the argument itself.  */
     137                 :            :   HOST_WIDE_INT offset;
     138                 :            :   /* The incoming edge that brought the value.  */
     139                 :            :   cgraph_edge *cs;
     140                 :            :   /* If the jump function that resulted into his value was a pass-through or an
     141                 :            :      ancestor, this is the ipcp_value of the caller from which the described
     142                 :            :      value has been derived.  Otherwise it is NULL.  */
     143                 :            :   ipcp_value<valtype> *val;
     144                 :            :   /* Next pointer in a linked list of sources of a value.  */
     145                 :            :   ipcp_value_source *next;
     146                 :            :   /* If the jump function that resulted into his value was a pass-through or an
     147                 :            :      ancestor, this is the index of the parameter of the caller the jump
     148                 :            :      function references.  */
     149                 :            :   int index;
     150                 :            : };
     151                 :            : 
     152                 :            : /* Common ancestor for all ipcp_value instantiations.  */
     153                 :            : 
     154                 :            : class ipcp_value_base
     155                 :            : {
     156                 :            : public:
     157                 :            :   /* Time benefit and size cost that specializing the function for this value
     158                 :            :      would bring about in this function alone.  */
     159                 :            :   int local_time_benefit, local_size_cost;
     160                 :            :   /* Time benefit and size cost that specializing the function for this value
     161                 :            :      can bring about in it's callees (transitively).  */
     162                 :            :   int prop_time_benefit, prop_size_cost;
     163                 :            : 
     164                 :     199584 :   ipcp_value_base ()
     165                 :     199584 :     : local_time_benefit (0), local_size_cost (0),
     166                 :     199584 :       prop_time_benefit (0), prop_size_cost (0) {}
     167                 :            : };
     168                 :            : 
     169                 :            : /* Describes one particular value stored in struct ipcp_lattice.  */
     170                 :            : 
     171                 :            : template <typename valtype>
     172                 :            : class ipcp_value : public ipcp_value_base
     173                 :            : {
     174                 :            : public:
     175                 :            :   /* The actual value for the given parameter.  */
     176                 :            :   valtype value;
     177                 :            :   /* The list of sources from which this value originates.  */
     178                 :            :   ipcp_value_source <valtype> *sources;
     179                 :            :   /* Next pointers in a linked list of all values in a lattice.  */
     180                 :            :   ipcp_value *next;
     181                 :            :   /* Next pointers in a linked list of values in a strongly connected component
     182                 :            :      of values. */
     183                 :            :   ipcp_value *scc_next;
     184                 :            :   /* Next pointers in a linked list of SCCs of values sorted topologically
     185                 :            :      according their sources.  */
     186                 :            :   ipcp_value  *topo_next;
     187                 :            :   /* A specialized node created for this value, NULL if none has been (so far)
     188                 :            :      created.  */
     189                 :            :   cgraph_node *spec_node;
     190                 :            :   /* Depth first search number and low link for topological sorting of
     191                 :            :      values.  */
     192                 :            :   int dfs, low_link;
     193                 :            :   /* True if this value is currently on the topo-sort stack.  */
     194                 :            :   bool on_stack;
     195                 :            : 
     196                 :     199584 :   ipcp_value()
     197                 :            :     : sources (0), next (0), scc_next (0), topo_next (0),
     198                 :     199584 :       spec_node (0), dfs (0), low_link (0), on_stack (false) {}
     199                 :            : 
     200                 :            :   void add_source (cgraph_edge *cs, ipcp_value *src_val, int src_idx,
     201                 :            :                    HOST_WIDE_INT offset);
     202                 :            : };
     203                 :            : 
     204                 :            : /* Lattice describing potential values of a formal parameter of a function, or
     205                 :            :    a part of an aggregate.  TOP is represented by a lattice with zero values
     206                 :            :    and with contains_variable and bottom flags cleared.  BOTTOM is represented
     207                 :            :    by a lattice with the bottom flag set.  In that case, values and
     208                 :            :    contains_variable flag should be disregarded.  */
     209                 :            : 
     210                 :            : template <typename valtype>
     211                 :            : struct ipcp_lattice
     212                 :            : {
     213                 :            : public:
     214                 :            :   /* The list of known values and types in this lattice.  Note that values are
     215                 :            :      not deallocated if a lattice is set to bottom because there may be value
     216                 :            :      sources referencing them.  */
     217                 :            :   ipcp_value<valtype> *values;
     218                 :            :   /* Number of known values and types in this lattice.  */
     219                 :            :   int values_count;
     220                 :            :   /* The lattice contains a variable component (in addition to values).  */
     221                 :            :   bool contains_variable;
     222                 :            :   /* The value of the lattice is bottom (i.e. variable and unusable for any
     223                 :            :      propagation).  */
     224                 :            :   bool bottom;
     225                 :            : 
     226                 :            :   inline bool is_single_const ();
     227                 :            :   inline bool set_to_bottom ();
     228                 :            :   inline bool set_contains_variable ();
     229                 :            :   bool add_value (valtype newval, cgraph_edge *cs,
     230                 :            :                   ipcp_value<valtype> *src_val = NULL,
     231                 :            :                   int src_idx = 0, HOST_WIDE_INT offset = -1,
     232                 :            :                   ipcp_value<valtype> **val_p = NULL,
     233                 :            :                   bool unlimited = false);
     234                 :            :   void print (FILE * f, bool dump_sources, bool dump_benefits);
     235                 :            : };
     236                 :            : 
     237                 :            : /* Lattice of tree values with an offset to describe a part of an
     238                 :            :    aggregate.  */
     239                 :            : 
     240                 :            : struct ipcp_agg_lattice : public ipcp_lattice<tree>
     241                 :            : {
     242                 :            : public:
     243                 :            :   /* Offset that is being described by this lattice. */
     244                 :            :   HOST_WIDE_INT offset;
     245                 :            :   /* Size so that we don't have to re-compute it every time we traverse the
     246                 :            :      list.  Must correspond to TYPE_SIZE of all lat values.  */
     247                 :            :   HOST_WIDE_INT size;
     248                 :            :   /* Next element of the linked list.  */
     249                 :            :   struct ipcp_agg_lattice *next;
     250                 :            : };
     251                 :            : 
     252                 :            : /* Lattice of known bits, only capable of holding one value.
     253                 :            :    Bitwise constant propagation propagates which bits of a
     254                 :            :    value are constant.
     255                 :            :    For eg:
     256                 :            :    int f(int x)
     257                 :            :    {
     258                 :            :      return some_op (x);
     259                 :            :    }
     260                 :            : 
     261                 :            :    int f1(int y)
     262                 :            :    {
     263                 :            :      if (cond)
     264                 :            :       return f (y & 0xff);
     265                 :            :      else
     266                 :            :       return f (y & 0xf);
     267                 :            :    }
     268                 :            : 
     269                 :            :    In the above case, the param 'x' will always have all
     270                 :            :    the bits (except the bits in lsb) set to 0.
     271                 :            :    Hence the mask of 'x' would be 0xff. The mask
     272                 :            :    reflects that the bits in lsb are unknown.
     273                 :            :    The actual propagated value is given by m_value & ~m_mask.  */
     274                 :            : 
     275                 :            : class ipcp_bits_lattice
     276                 :            : {
     277                 :            : public:
     278                 :    3895770 :   bool bottom_p () { return m_lattice_val == IPA_BITS_VARYING; }
     279                 :     308817 :   bool top_p () { return m_lattice_val == IPA_BITS_UNDEFINED; }
     280                 :    1964330 :   bool constant_p () { return m_lattice_val == IPA_BITS_CONSTANT; }
     281                 :            :   bool set_to_bottom ();
     282                 :            :   bool set_to_constant (widest_int, widest_int);
     283                 :            : 
     284                 :      99675 :   widest_int get_value () { return m_value; }
     285                 :      99675 :   widest_int get_mask () { return m_mask; }
     286                 :            : 
     287                 :            :   bool meet_with (ipcp_bits_lattice& other, unsigned, signop,
     288                 :            :                   enum tree_code, tree);
     289                 :            : 
     290                 :            :   bool meet_with (widest_int, widest_int, unsigned);
     291                 :            : 
     292                 :            :   void print (FILE *);
     293                 :            : 
     294                 :            : private:
     295                 :            :   enum { IPA_BITS_UNDEFINED, IPA_BITS_CONSTANT, IPA_BITS_VARYING } m_lattice_val;
     296                 :            : 
     297                 :            :   /* Similar to ccp_lattice_t, mask represents which bits of value are constant.
     298                 :            :      If a bit in mask is set to 0, then the corresponding bit in
     299                 :            :      value is known to be constant.  */
     300                 :            :   widest_int m_value, m_mask;
     301                 :            : 
     302                 :            :   bool meet_with_1 (widest_int, widest_int, unsigned);
     303                 :            :   void get_value_and_mask (tree, widest_int *, widest_int *);
     304                 :            : };
     305                 :            : 
     306                 :            : /* Lattice of value ranges.  */
     307                 :            : 
     308                 :            : class ipcp_vr_lattice
     309                 :            : {
     310                 :            : public:
     311                 :            :   value_range m_vr;
     312                 :            : 
     313                 :            :   inline bool bottom_p () const;
     314                 :            :   inline bool top_p () const;
     315                 :            :   inline bool set_to_bottom ();
     316                 :            :   bool meet_with (const value_range *p_vr);
     317                 :            :   bool meet_with (const ipcp_vr_lattice &other);
     318                 :          0 :   void init () { gcc_assert (m_vr.undefined_p ()); }
     319                 :            :   void print (FILE * f);
     320                 :            : 
     321                 :            : private:
     322                 :            :   bool meet_with_1 (const value_range *other_vr);
     323                 :            : };
     324                 :            : 
     325                 :            : /* Structure containing lattices for a parameter itself and for pieces of
     326                 :            :    aggregates that are passed in the parameter or by a reference in a parameter
     327                 :            :    plus some other useful flags.  */
     328                 :            : 
     329                 :            : class ipcp_param_lattices
     330                 :            : {
     331                 :            : public:
     332                 :            :   /* Lattice describing the value of the parameter itself.  */
     333                 :            :   ipcp_lattice<tree> itself;
     334                 :            :   /* Lattice describing the polymorphic contexts of a parameter.  */
     335                 :            :   ipcp_lattice<ipa_polymorphic_call_context> ctxlat;
     336                 :            :   /* Lattices describing aggregate parts.  */
     337                 :            :   ipcp_agg_lattice *aggs;
     338                 :            :   /* Lattice describing known bits.  */
     339                 :            :   ipcp_bits_lattice bits_lattice;
     340                 :            :   /* Lattice describing value range.  */
     341                 :            :   ipcp_vr_lattice m_value_range;
     342                 :            :   /* Number of aggregate lattices */
     343                 :            :   int aggs_count;
     344                 :            :   /* True if aggregate data were passed by reference (as opposed to by
     345                 :            :      value).  */
     346                 :            :   bool aggs_by_ref;
     347                 :            :   /* All aggregate lattices contain a variable component (in addition to
     348                 :            :      values).  */
     349                 :            :   bool aggs_contain_variable;
     350                 :            :   /* The value of all aggregate lattices is bottom (i.e. variable and unusable
     351                 :            :      for any propagation).  */
     352                 :            :   bool aggs_bottom;
     353                 :            : 
     354                 :            :   /* There is a virtual call based on this parameter.  */
     355                 :            :   bool virt_call;
     356                 :            : };
     357                 :            : 
     358                 :            : /* Allocation pools for values and their sources in ipa-cp.  */
     359                 :            : 
     360                 :            : object_allocator<ipcp_value<tree> > ipcp_cst_values_pool
     361                 :            :   ("IPA-CP constant values");
     362                 :            : 
     363                 :            : object_allocator<ipcp_value<ipa_polymorphic_call_context> >
     364                 :            :   ipcp_poly_ctx_values_pool ("IPA-CP polymorphic contexts");
     365                 :            : 
     366                 :            : object_allocator<ipcp_value_source<tree> > ipcp_sources_pool
     367                 :            :   ("IPA-CP value sources");
     368                 :            : 
     369                 :            : object_allocator<ipcp_agg_lattice> ipcp_agg_lattice_pool
     370                 :            :   ("IPA_CP aggregate lattices");
     371                 :            : 
     372                 :            : /* Maximal count found in program.  */
     373                 :            : 
     374                 :            : static profile_count max_count;
     375                 :            : 
     376                 :            : /* Original overall size of the program.  */
     377                 :            : 
     378                 :            : static long overall_size, orig_overall_size;
     379                 :            : 
     380                 :            : /* Node name to unique clone suffix number map.  */
     381                 :            : static hash_map<const char *, unsigned> *clone_num_suffixes;
     382                 :            : 
     383                 :            : /* Return the param lattices structure corresponding to the Ith formal
     384                 :            :    parameter of the function described by INFO.  */
     385                 :            : static inline class ipcp_param_lattices *
     386                 :   21593000 : ipa_get_parm_lattices (class ipa_node_params *info, int i)
     387                 :            : {
     388                 :   43186000 :   gcc_assert (i >= 0 && i < ipa_get_param_count (info));
     389                 :   21593000 :   gcc_checking_assert (!info->ipcp_orig_node);
     390                 :   21593000 :   gcc_checking_assert (info->lattices);
     391                 :   21593000 :   return &(info->lattices[i]);
     392                 :            : }
     393                 :            : 
     394                 :            : /* Return the lattice corresponding to the scalar value of the Ith formal
     395                 :            :    parameter of the function described by INFO.  */
     396                 :            : static inline ipcp_lattice<tree> *
     397                 :    2774870 : ipa_get_scalar_lat (class ipa_node_params *info, int i)
     398                 :            : {
     399                 :    5549740 :   class ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
     400                 :    2774870 :   return &plats->itself;
     401                 :            : }
     402                 :            : 
     403                 :            : /* Return the lattice corresponding to the scalar value of the Ith formal
     404                 :            :    parameter of the function described by INFO.  */
     405                 :            : static inline ipcp_lattice<ipa_polymorphic_call_context> *
     406                 :     164339 : ipa_get_poly_ctx_lat (class ipa_node_params *info, int i)
     407                 :            : {
     408                 :     328678 :   class ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
     409                 :     164339 :   return &plats->ctxlat;
     410                 :            : }
     411                 :            : 
     412                 :            : /* Return whether LAT is a lattice with a single constant and without an
     413                 :            :    undefined value.  */
     414                 :            : 
     415                 :            : template <typename valtype>
     416                 :            : inline bool
     417                 :    6167160 : ipcp_lattice<valtype>::is_single_const ()
     418                 :            : {
     419                 :     744696 :   if (bottom || contains_variable || values_count != 1)
     420                 :            :     return false;
     421                 :            :   else
     422                 :            :     return true;
     423                 :            : }
     424                 :            : 
     425                 :            : /* Print V which is extracted from a value in a lattice to F.  */
     426                 :            : 
     427                 :            : static void
     428                 :        521 : print_ipcp_constant_value (FILE * f, tree v)
     429                 :            : {
     430                 :        521 :   if (TREE_CODE (v) == ADDR_EXPR
     431                 :        521 :       && TREE_CODE (TREE_OPERAND (v, 0)) == CONST_DECL)
     432                 :            :     {
     433                 :          0 :       fprintf (f, "& ");
     434                 :          0 :       print_generic_expr (f, DECL_INITIAL (TREE_OPERAND (v, 0)));
     435                 :            :     }
     436                 :            :   else
     437                 :        521 :     print_generic_expr (f, v);
     438                 :        521 : }
     439                 :            : 
     440                 :            : /* Print V which is extracted from a value in a lattice to F.  */
     441                 :            : 
     442                 :            : static void
     443                 :        248 : print_ipcp_constant_value (FILE * f, ipa_polymorphic_call_context v)
     444                 :            : {
     445                 :        248 :   v.dump(f, false);
     446                 :          0 : }
     447                 :            : 
     448                 :            : /* Print a lattice LAT to F.  */
     449                 :            : 
     450                 :            : template <typename valtype>
     451                 :            : void
     452                 :       2252 : ipcp_lattice<valtype>::print (FILE * f, bool dump_sources, bool dump_benefits)
     453                 :            : {
     454                 :            :   ipcp_value<valtype> *val;
     455                 :       2252 :   bool prev = false;
     456                 :            : 
     457                 :       2252 :   if (bottom)
     458                 :            :     {
     459                 :       1166 :       fprintf (f, "BOTTOM\n");
     460                 :       1166 :       return;
     461                 :            :     }
     462                 :            : 
     463                 :       1086 :   if (!values_count && !contains_variable)
     464                 :            :     {
     465                 :          0 :       fprintf (f, "TOP\n");
     466                 :          0 :       return;
     467                 :            :     }
     468                 :            : 
     469                 :       1086 :   if (contains_variable)
     470                 :            :     {
     471                 :        840 :       fprintf (f, "VARIABLE");
     472                 :        840 :       prev = true;
     473                 :        840 :       if (dump_benefits)
     474                 :        840 :         fprintf (f, "\n");
     475                 :            :     }
     476                 :            : 
     477                 :       1657 :   for (val = values; val; val = val->next)
     478                 :            :     {
     479                 :        571 :       if (dump_benefits && prev)
     480                 :        325 :         fprintf (f, "               ");
     481                 :        246 :       else if (!dump_benefits && prev)
     482                 :          0 :         fprintf (f, ", ");
     483                 :            :       else
     484                 :            :         prev = true;
     485                 :            : 
     486                 :        571 :       print_ipcp_constant_value (f, val->value);
     487                 :            : 
     488                 :        571 :       if (dump_sources)
     489                 :            :         {
     490                 :            :           ipcp_value_source<valtype> *s;
     491                 :            : 
     492                 :        162 :           fprintf (f, " [from:");
     493                 :        339 :           for (s = val->sources; s; s = s->next)
     494                 :        177 :             fprintf (f, " %i(%f)", s->cs->caller->order,
     495                 :        354 :                      s->cs->sreal_frequency ().to_double ());
     496                 :        162 :           fprintf (f, "]");
     497                 :            :         }
     498                 :            : 
     499                 :        571 :       if (dump_benefits)
     500                 :        571 :         fprintf (f, " [loc_time: %i, loc_size: %i, "
     501                 :            :                  "prop_time: %i, prop_size: %i]\n",
     502                 :            :                  val->local_time_benefit, val->local_size_cost,
     503                 :            :                  val->prop_time_benefit, val->prop_size_cost);
     504                 :            :     }
     505                 :       1086 :   if (!dump_benefits)
     506                 :          0 :     fprintf (f, "\n");
     507                 :            : }
     508                 :            : 
     509                 :            : void
     510                 :       1067 : ipcp_bits_lattice::print (FILE *f)
     511                 :            : {
     512                 :       1067 :   if (top_p ())
     513                 :          0 :     fprintf (f, "         Bits unknown (TOP)\n");
     514                 :       1067 :   else if (bottom_p ())
     515                 :        922 :     fprintf (f, "         Bits unusable (BOTTOM)\n");
     516                 :            :   else
     517                 :            :     {
     518                 :        145 :       fprintf (f, "         Bits: value = "); print_hex (get_value (), f);
     519                 :        145 :       fprintf (f, ", mask = "); print_hex (get_mask (), f);
     520                 :        145 :       fprintf (f, "\n");
     521                 :            :     }
     522                 :       1067 : }
     523                 :            : 
     524                 :            : /* Print value range lattice to F.  */
     525                 :            : 
     526                 :            : void
     527                 :       1067 : ipcp_vr_lattice::print (FILE * f)
     528                 :            : {
     529                 :       1067 :   dump_value_range (f, &m_vr);
     530                 :       1067 : }
     531                 :            : 
     532                 :            : /* Print all ipcp_lattices of all functions to F.  */
     533                 :            : 
     534                 :            : static void
     535                 :        162 : print_all_lattices (FILE * f, bool dump_sources, bool dump_benefits)
     536                 :            : {
     537                 :        162 :   struct cgraph_node *node;
     538                 :        162 :   int i, count;
     539                 :            : 
     540                 :        162 :   fprintf (f, "\nLattices:\n");
     541                 :       1988 :   FOR_EACH_FUNCTION_WITH_GIMPLE_BODY (node)
     542                 :            :     {
     543                 :        832 :       class ipa_node_params *info;
     544                 :            : 
     545                 :        832 :       info = IPA_NODE_REF (node);
     546                 :            :       /* Skip unoptimized functions and constprop clones since we don't make
     547                 :            :          lattices for them.  */
     548                 :        832 :       if (!info || info->ipcp_orig_node)
     549                 :          0 :         continue;
     550                 :        832 :       fprintf (f, "  Node: %s:\n", node->dump_name ());
     551                 :        832 :       count = ipa_get_param_count (info);
     552                 :       1899 :       for (i = 0; i < count; i++)
     553                 :            :         {
     554                 :       1067 :           struct ipcp_agg_lattice *aglat;
     555                 :       1067 :           class ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
     556                 :       1067 :           fprintf (f, "    param [%d]: ", i);
     557                 :       1067 :           plats->itself.print (f, dump_sources, dump_benefits);
     558                 :       1067 :           fprintf (f, "         ctxs: ");
     559                 :       1067 :           plats->ctxlat.print (f, dump_sources, dump_benefits);
     560                 :       1067 :           plats->bits_lattice.print (f);
     561                 :       1067 :           fprintf (f, "         ");
     562                 :       1067 :           plats->m_value_range.print (f);
     563                 :       1067 :           fprintf (f, "\n");
     564                 :       1067 :           if (plats->virt_call)
     565                 :         97 :             fprintf (f, "        virt_call flag set\n");
     566                 :            : 
     567                 :       1067 :           if (plats->aggs_bottom)
     568                 :            :             {
     569                 :        626 :               fprintf (f, "        AGGS BOTTOM\n");
     570                 :        626 :               continue;
     571                 :            :             }
     572                 :        441 :           if (plats->aggs_contain_variable)
     573                 :        410 :             fprintf (f, "        AGGS VARIABLE\n");
     574                 :        559 :           for (aglat = plats->aggs; aglat; aglat = aglat->next)
     575                 :            :             {
     576                 :        118 :               fprintf (f, "        %soffset " HOST_WIDE_INT_PRINT_DEC ": ",
     577                 :        118 :                        plats->aggs_by_ref ? "ref " : "", aglat->offset);
     578                 :        118 :               aglat->print (f, dump_sources, dump_benefits);
     579                 :            :             }
     580                 :            :         }
     581                 :            :     }
     582                 :        162 : }
     583                 :            : 
     584                 :            : /* Determine whether it is at all technically possible to create clones of NODE
     585                 :            :    and store this information in the ipa_node_params structure associated
     586                 :            :    with NODE.  */
     587                 :            : 
     588                 :            : static void
     589                 :     816258 : determine_versionability (struct cgraph_node *node,
     590                 :            :                           class ipa_node_params *info)
     591                 :            : {
     592                 :     816258 :   const char *reason = NULL;
     593                 :            : 
     594                 :            :   /* There are a number of generic reasons functions cannot be versioned.  We
     595                 :            :      also cannot remove parameters if there are type attributes such as fnspec
     596                 :            :      present.  */
     597                 :     816258 :   if (node->alias || node->thunk.thunk_p)
     598                 :            :     reason = "alias or thunk";
     599                 :     816258 :   else if (!node->versionable)
     600                 :            :     reason = "not a tree_versionable_function";
     601                 :     716543 :   else if (node->get_availability () <= AVAIL_INTERPOSABLE)
     602                 :            :     reason = "insufficient body availability";
     603                 :     666499 :   else if (!opt_for_fn (node->decl, optimize)
     604                 :     666499 :            || !opt_for_fn (node->decl, flag_ipa_cp))
     605                 :            :     reason = "non-optimized function";
     606                 :     666499 :   else if (lookup_attribute ("omp declare simd", DECL_ATTRIBUTES (node->decl)))
     607                 :            :     {
     608                 :            :       /* Ideally we should clone the SIMD clones themselves and create
     609                 :            :          vector copies of them, so IPA-cp and SIMD clones can happily
     610                 :            :          coexist, but that may not be worth the effort.  */
     611                 :            :       reason = "function has SIMD clones";
     612                 :            :     }
     613                 :     666215 :   else if (lookup_attribute ("target_clones", DECL_ATTRIBUTES (node->decl)))
     614                 :            :     {
     615                 :            :       /* Ideally we should clone the target clones themselves and create
     616                 :            :          copies of them, so IPA-cp and target clones can happily
     617                 :            :          coexist, but that may not be worth the effort.  */
     618                 :            :       reason = "function target_clones attribute";
     619                 :            :     }
     620                 :            :   /* Don't clone decls local to a comdat group; it breaks and for C++
     621                 :            :      decloned constructors, inlining is always better anyway.  */
     622                 :     666176 :   else if (node->comdat_local_p ())
     623                 :            :     reason = "comdat-local function";
     624                 :     664915 :   else if (node->calls_comdat_local)
     625                 :            :     {
     626                 :            :       /* TODO: call is versionable if we make sure that all
     627                 :            :          callers are inside of a comdat group.  */
     628                 :       1378 :       reason = "calls comdat-local function";
     629                 :            :     }
     630                 :            : 
     631                 :            :   /* Functions calling BUILT_IN_VA_ARG_PACK and BUILT_IN_VA_ARG_PACK_LEN
     632                 :            :      work only when inlined.  Cloning them may still lead to better code
     633                 :            :      because ipa-cp will not give up on cloning further.  If the function is
     634                 :            :      external this however leads to wrong code because we may end up producing
     635                 :            :      offline copy of the function.  */
     636                 :     816258 :   if (DECL_EXTERNAL (node->decl))
     637                 :      81051 :     for (cgraph_edge *edge = node->callees; !reason && edge;
     638                 :      51687 :          edge = edge->next_callee)
     639                 :      51687 :       if (fndecl_built_in_p (edge->callee->decl, BUILT_IN_NORMAL))
     640                 :            :         {
     641                 :       4499 :           if (DECL_FUNCTION_CODE (edge->callee->decl) == BUILT_IN_VA_ARG_PACK)
     642                 :          0 :             reason = "external function which calls va_arg_pack";
     643                 :       4499 :           if (DECL_FUNCTION_CODE (edge->callee->decl)
     644                 :            :               == BUILT_IN_VA_ARG_PACK_LEN)
     645                 :          0 :             reason = "external function which calls va_arg_pack_len";
     646                 :            :         }
     647                 :            : 
     648                 :     816258 :   if (reason && dump_file && !node->alias && !node->thunk.thunk_p)
     649                 :         76 :     fprintf (dump_file, "Function %s is not versionable, reason: %s.\n",
     650                 :            :              node->dump_name (), reason);
     651                 :            : 
     652                 :     816258 :   info->versionable = (reason == NULL);
     653                 :     816258 : }
     654                 :            : 
     655                 :            : /* Return true if it is at all technically possible to create clones of a
     656                 :            :    NODE.  */
     657                 :            : 
     658                 :            : static bool
     659                 :    2236630 : ipcp_versionable_function_p (struct cgraph_node *node)
     660                 :            : {
     661                 :    6702440 :   return IPA_NODE_REF (node) && IPA_NODE_REF (node)->versionable;
     662                 :            : }
     663                 :            : 
     664                 :            : /* Structure holding accumulated information about callers of a node.  */
     665                 :            : 
     666                 :            : struct caller_statistics
     667                 :            : {
     668                 :            :   profile_count count_sum;
     669                 :            :   int n_calls, n_hot_calls, freq_sum;
     670                 :            : };
     671                 :            : 
     672                 :            : /* Initialize fields of STAT to zeroes.  */
     673                 :            : 
     674                 :            : static inline void
     675                 :     118532 : init_caller_stats (struct caller_statistics *stats)
     676                 :            : {
     677                 :     118532 :   stats->count_sum = profile_count::zero ();
     678                 :     118532 :   stats->n_calls = 0;
     679                 :     118532 :   stats->n_hot_calls = 0;
     680                 :     118532 :   stats->freq_sum = 0;
     681                 :     118532 : }
     682                 :            : 
     683                 :            : /* Worker callback of cgraph_for_node_and_aliases accumulating statistics of
     684                 :            :    non-thunk incoming edges to NODE.  */
     685                 :            : 
     686                 :            : static bool
     687                 :     126709 : gather_caller_stats (struct cgraph_node *node, void *data)
     688                 :            : {
     689                 :     126709 :   struct caller_statistics *stats = (struct caller_statistics *) data;
     690                 :     126709 :   struct cgraph_edge *cs;
     691                 :            : 
     692                 :     230776 :   for (cs = node->callers; cs; cs = cs->next_caller)
     693                 :     104067 :     if (!cs->caller->thunk.thunk_p)
     694                 :            :       {
     695                 :     103646 :         if (cs->count.ipa ().initialized_p ())
     696                 :       3761 :           stats->count_sum += cs->count.ipa ();
     697                 :     103646 :         stats->freq_sum += cs->frequency ();
     698                 :     103646 :         stats->n_calls++;
     699                 :     103646 :         if (cs->maybe_hot_p ())
     700                 :      70528 :           stats->n_hot_calls ++;
     701                 :            :       }
     702                 :     126709 :   return false;
     703                 :            : 
     704                 :            : }
     705                 :            : 
     706                 :            : /* Return true if this NODE is viable candidate for cloning.  */
     707                 :            : 
     708                 :            : static bool
     709                 :     477019 : ipcp_cloning_candidate_p (struct cgraph_node *node)
     710                 :            : {
     711                 :     477019 :   struct caller_statistics stats;
     712                 :            : 
     713                 :     477019 :   gcc_checking_assert (node->has_gimple_body_p ());
     714                 :            : 
     715                 :     477019 :   if (!opt_for_fn (node->decl, flag_ipa_cp_clone))
     716                 :            :     {
     717                 :     445730 :       if (dump_file)
     718                 :         26 :         fprintf (dump_file, "Not considering %s for cloning; "
     719                 :            :                  "-fipa-cp-clone disabled.\n",
     720                 :            :                  node->dump_name ());
     721                 :     445730 :       return false;
     722                 :            :     }
     723                 :            : 
     724                 :      31289 :   if (node->optimize_for_size_p ())
     725                 :            :     {
     726                 :        236 :       if (dump_file)
     727                 :         10 :         fprintf (dump_file, "Not considering %s for cloning; "
     728                 :            :                  "optimizing it for size.\n",
     729                 :            :                  node->dump_name ());
     730                 :        236 :       return false;
     731                 :            :     }
     732                 :            : 
     733                 :      31053 :   init_caller_stats (&stats);
     734                 :      31053 :   node->call_for_symbol_thunks_and_aliases (gather_caller_stats, &stats, false);
     735                 :            : 
     736                 :      31053 :   if (ipa_size_summaries->get (node)->self_size < stats.n_calls)
     737                 :            :     {
     738                 :         93 :       if (dump_file)
     739                 :          0 :         fprintf (dump_file, "Considering %s for cloning; code might shrink.\n",
     740                 :            :                  node->dump_name ());
     741                 :         93 :       return true;
     742                 :            :     }
     743                 :            : 
     744                 :            :   /* When profile is available and function is hot, propagate into it even if
     745                 :            :      calls seems cold; constant propagation can improve function's speed
     746                 :            :      significantly.  */
     747                 :      30960 :   if (max_count > profile_count::zero ())
     748                 :            :     {
     749                 :         65 :       if (stats.count_sum > node->count.ipa ().apply_scale (90, 100))
     750                 :            :         {
     751                 :         39 :           if (dump_file)
     752                 :          0 :             fprintf (dump_file, "Considering %s for cloning; "
     753                 :            :                      "usually called directly.\n",
     754                 :            :                      node->dump_name ());
     755                 :         39 :           return true;
     756                 :            :         }
     757                 :            :     }
     758                 :      30921 :   if (!stats.n_hot_calls)
     759                 :            :     {
     760                 :      27165 :       if (dump_file)
     761                 :        290 :         fprintf (dump_file, "Not considering %s for cloning; no hot calls.\n",
     762                 :            :                  node->dump_name ());
     763                 :      27165 :       return false;
     764                 :            :     }
     765                 :       3756 :   if (dump_file)
     766                 :        176 :     fprintf (dump_file, "Considering %s for cloning.\n",
     767                 :            :              node->dump_name ());
     768                 :            :   return true;
     769                 :            : }
     770                 :            : 
     771                 :            : template <typename valtype>
     772                 :            : class value_topo_info
     773                 :            : {
     774                 :            : public:
     775                 :            :   /* Head of the linked list of topologically sorted values. */
     776                 :            :   ipcp_value<valtype> *values_topo;
     777                 :            :   /* Stack for creating SCCs, represented by a linked list too.  */
     778                 :            :   ipcp_value<valtype> *stack;
     779                 :            :   /* Counter driving the algorithm in add_val_to_toposort.  */
     780                 :            :   int dfs_counter;
     781                 :            : 
     782                 :      94009 :   value_topo_info () : values_topo (NULL), stack (NULL), dfs_counter (0)
     783                 :            :   {}
     784                 :            :   void add_val (ipcp_value<valtype> *cur_val);
     785                 :            :   void propagate_effects ();
     786                 :            : };
     787                 :            : 
     788                 :            : /* Arrays representing a topological ordering of call graph nodes and a stack
     789                 :            :    of nodes used during constant propagation and also data required to perform
     790                 :            :    topological sort of values and propagation of benefits in the determined
     791                 :            :    order.  */
     792                 :            : 
     793                 :            : class ipa_topo_info
     794                 :            : {
     795                 :            : public:
     796                 :            :   /* Array with obtained topological order of cgraph nodes.  */
     797                 :            :   struct cgraph_node **order;
     798                 :            :   /* Stack of cgraph nodes used during propagation within SCC until all values
     799                 :            :      in the SCC stabilize.  */
     800                 :            :   struct cgraph_node **stack;
     801                 :            :   int nnodes, stack_top;
     802                 :            : 
     803                 :            :   value_topo_info<tree> constants;
     804                 :            :   value_topo_info<ipa_polymorphic_call_context> contexts;
     805                 :            : 
     806                 :      94009 :   ipa_topo_info () : order(NULL), stack(NULL), nnodes(0), stack_top(0),
     807                 :      94009 :     constants ()
     808                 :            :   {}
     809                 :            : };
     810                 :            : 
     811                 :            : /* Skip edges from and to nodes without ipa_cp enabled.
     812                 :            :    Ignore not available symbols.  */
     813                 :            : 
     814                 :            : static bool
     815                 :    3286200 : ignore_edge_p (cgraph_edge *e)
     816                 :            : {
     817                 :    3286200 :   enum availability avail;
     818                 :    3286200 :   cgraph_node *ultimate_target
     819                 :    3286200 :     = e->callee->function_or_virtual_thunk_symbol (&avail, e->caller);
     820                 :            : 
     821                 :    3286200 :   return (avail <= AVAIL_INTERPOSABLE
     822                 :    1024300 :           || !opt_for_fn (ultimate_target->decl, optimize)
     823                 :    4301340 :           || !opt_for_fn (ultimate_target->decl, flag_ipa_cp));
     824                 :            : }
     825                 :            : 
     826                 :            : /* Allocate the arrays in TOPO and topologically sort the nodes into order.  */
     827                 :            : 
     828                 :            : static void
     829                 :      94009 : build_toporder_info (class ipa_topo_info *topo)
     830                 :            : {
     831                 :      94009 :   topo->order = XCNEWVEC (struct cgraph_node *, symtab->cgraph_count);
     832                 :      94009 :   topo->stack = XCNEWVEC (struct cgraph_node *, symtab->cgraph_count);
     833                 :            : 
     834                 :      94009 :   gcc_checking_assert (topo->stack_top == 0);
     835                 :      94009 :   topo->nnodes = ipa_reduced_postorder (topo->order, true,
     836                 :            :                                         ignore_edge_p);
     837                 :      94009 : }
     838                 :            : 
     839                 :            : /* Free information about strongly connected components and the arrays in
     840                 :            :    TOPO.  */
     841                 :            : 
     842                 :            : static void
     843                 :      94009 : free_toporder_info (class ipa_topo_info *topo)
     844                 :            : {
     845                 :      94009 :   ipa_free_postorder_info ();
     846                 :      94009 :   free (topo->order);
     847                 :      94009 :   free (topo->stack);
     848                 :      94009 : }
     849                 :            : 
     850                 :            : /* Add NODE to the stack in TOPO, unless it is already there.  */
     851                 :            : 
     852                 :            : static inline void
     853                 :            : push_node_to_stack (class ipa_topo_info *topo, struct cgraph_node *node)
     854                 :            : {
     855                 :            :   class ipa_node_params *info = IPA_NODE_REF (node);
     856                 :            :   if (info->node_enqueued)
     857                 :            :     return;
     858                 :            :   info->node_enqueued = 1;
     859                 :            :   topo->stack[topo->stack_top++] = node;
     860                 :            : }
     861                 :            : 
     862                 :            : /* Pop a node from the stack in TOPO and return it or return NULL if the stack
     863                 :            :    is empty.  */
     864                 :            : 
     865                 :            : static struct cgraph_node *
     866                 :    1690000 : pop_node_from_stack (class ipa_topo_info *topo)
     867                 :            : {
     868                 :    1690000 :   if (topo->stack_top)
     869                 :            :     {
     870                 :     817959 :       struct cgraph_node *node;
     871                 :     817959 :       topo->stack_top--;
     872                 :     817959 :       node = topo->stack[topo->stack_top];
     873                 :     817959 :       IPA_NODE_REF (node)->node_enqueued = 0;
     874                 :     817959 :       return node;
     875                 :            :     }
     876                 :            :   else
     877                 :            :     return NULL;
     878                 :            : }
     879                 :            : 
     880                 :            : /* Set lattice LAT to bottom and return true if it previously was not set as
     881                 :            :    such.  */
     882                 :            : 
     883                 :            : template <typename valtype>
     884                 :            : inline bool
     885                 :    1599600 : ipcp_lattice<valtype>::set_to_bottom ()
     886                 :            : {
     887                 :    1599600 :   bool ret = !bottom;
     888                 :    1599600 :   bottom = true;
     889                 :            :   return ret;
     890                 :            : }
     891                 :            : 
     892                 :            : /* Mark lattice as containing an unknown value and return true if it previously
     893                 :            :    was not marked as such.  */
     894                 :            : 
     895                 :            : template <typename valtype>
     896                 :            : inline bool
     897                 :     807505 : ipcp_lattice<valtype>::set_contains_variable ()
     898                 :            : {
     899                 :     807505 :   bool ret = !contains_variable;
     900                 :     807505 :   contains_variable = true;
     901                 :            :   return ret;
     902                 :            : }
     903                 :            : 
     904                 :            : /* Set all aggregate lattices in PLATS to bottom and return true if they were
     905                 :            :    not previously set as such.  */
     906                 :            : 
     907                 :            : static inline bool
     908                 :    1599430 : set_agg_lats_to_bottom (class ipcp_param_lattices *plats)
     909                 :            : {
     910                 :    1599430 :   bool ret = !plats->aggs_bottom;
     911                 :    1599430 :   plats->aggs_bottom = true;
     912                 :    1599430 :   return ret;
     913                 :            : }
     914                 :            : 
     915                 :            : /* Mark all aggregate lattices in PLATS as containing an unknown value and
     916                 :            :    return true if they were not previously marked as such.  */
     917                 :            : 
     918                 :            : static inline bool
     919                 :     531985 : set_agg_lats_contain_variable (class ipcp_param_lattices *plats)
     920                 :            : {
     921                 :     531985 :   bool ret = !plats->aggs_contain_variable;
     922                 :     531985 :   plats->aggs_contain_variable = true;
     923                 :     531985 :   return ret;
     924                 :            : }
     925                 :            : 
     926                 :            : bool
     927                 :          0 : ipcp_vr_lattice::meet_with (const ipcp_vr_lattice &other)
     928                 :            : {
     929                 :          0 :   return meet_with_1 (&other.m_vr);
     930                 :            : }
     931                 :            : 
     932                 :            : /* Meet the current value of the lattice with value range described by VR
     933                 :            :    lattice.  */
     934                 :            : 
     935                 :            : bool
     936                 :     206656 : ipcp_vr_lattice::meet_with (const value_range *p_vr)
     937                 :            : {
     938                 :     206656 :   return meet_with_1 (p_vr);
     939                 :            : }
     940                 :            : 
     941                 :            : /* Meet the current value of the lattice with value range described by
     942                 :            :    OTHER_VR lattice.  Return TRUE if anything changed.  */
     943                 :            : 
     944                 :            : bool
     945                 :     206656 : ipcp_vr_lattice::meet_with_1 (const value_range *other_vr)
     946                 :            : {
     947                 :     206656 :   if (bottom_p ())
     948                 :            :     return false;
     949                 :            : 
     950                 :     206656 :   if (other_vr->varying_p ())
     951                 :          0 :     return set_to_bottom ();
     952                 :            : 
     953                 :     206656 :   value_range save (m_vr);
     954                 :     206656 :   m_vr.union_ (other_vr);
     955                 :     206656 :   return !m_vr.equal_p (save);
     956                 :            : }
     957                 :            : 
     958                 :            : /* Return true if value range information in the lattice is yet unknown.  */
     959                 :            : 
     960                 :            : bool
     961                 :     139237 : ipcp_vr_lattice::top_p () const
     962                 :            : {
     963                 :     139237 :   return m_vr.undefined_p ();
     964                 :            : }
     965                 :            : 
     966                 :            : /* Return true if value range information in the lattice is known to be
     967                 :            :    unusable.  */
     968                 :            : 
     969                 :            : bool
     970                 :    3898900 : ipcp_vr_lattice::bottom_p () const
     971                 :            : {
     972                 :     206656 :   return m_vr.varying_p ();
     973                 :            : }
     974                 :            : 
     975                 :            : /* Set value range information in the lattice to bottom.  Return true if it
     976                 :            :    previously was in a different state.  */
     977                 :            : 
     978                 :            : bool
     979                 :    1785530 : ipcp_vr_lattice::set_to_bottom ()
     980                 :            : {
     981                 :          0 :   if (m_vr.varying_p ())
     982                 :            :     return false;
     983                 :            :   /* ?? We create all sorts of VARYING ranges for floats, structures,
     984                 :            :      and other types which we cannot handle as ranges.  We should
     985                 :            :      probably avoid handling them throughout the pass, but it's easier
     986                 :            :      to create a sensible VARYING here and let the lattice
     987                 :            :      propagate.  */
     988                 :    1681190 :   m_vr.set_varying (integer_type_node);
     989                 :    1681190 :   return true;
     990                 :            : }
     991                 :            : 
     992                 :            : /* Set lattice value to bottom, if it already isn't the case.  */
     993                 :            : 
     994                 :            : bool
     995                 :    1788940 : ipcp_bits_lattice::set_to_bottom ()
     996                 :            : {
     997                 :    1788940 :   if (bottom_p ())
     998                 :            :     return false;
     999                 :    1685450 :   m_lattice_val = IPA_BITS_VARYING;
    1000                 :    1685450 :   m_value = 0;
    1001                 :    1685450 :   m_mask = -1;
    1002                 :    1685450 :   return true;
    1003                 :            : }
    1004                 :            : 
    1005                 :            : /* Set to constant if it isn't already. Only meant to be called
    1006                 :            :    when switching state from TOP.  */
    1007                 :            : 
    1008                 :            : bool
    1009                 :      58197 : ipcp_bits_lattice::set_to_constant (widest_int value, widest_int mask)
    1010                 :            : {
    1011                 :      58197 :   gcc_assert (top_p ());
    1012                 :      58197 :   m_lattice_val = IPA_BITS_CONSTANT;
    1013                 :      58197 :   m_value = value;
    1014                 :      58197 :   m_mask = mask;
    1015                 :      58197 :   return true;
    1016                 :            : }
    1017                 :            : 
    1018                 :            : /* Convert operand to value, mask form.  */
    1019                 :            : 
    1020                 :            : void
    1021                 :       1690 : ipcp_bits_lattice::get_value_and_mask (tree operand, widest_int *valuep, widest_int *maskp)
    1022                 :            : {
    1023                 :       1690 :   wide_int get_nonzero_bits (const_tree);
    1024                 :            : 
    1025                 :       1690 :   if (TREE_CODE (operand) == INTEGER_CST)
    1026                 :            :     {
    1027                 :       1690 :       *valuep = wi::to_widest (operand);
    1028                 :       1690 :       *maskp = 0;
    1029                 :            :     }
    1030                 :            :   else
    1031                 :            :     {
    1032                 :          0 :       *valuep = 0;
    1033                 :          0 :       *maskp = -1;
    1034                 :            :     }
    1035                 :       1690 : }
    1036                 :            : 
    1037                 :            : /* Meet operation, similar to ccp_lattice_meet, we xor values
    1038                 :            :    if this->value, value have different values at same bit positions, we want
    1039                 :            :    to drop that bit to varying. Return true if mask is changed.
    1040                 :            :    This function assumes that the lattice value is in CONSTANT state  */
    1041                 :            : 
    1042                 :            : bool
    1043                 :     120928 : ipcp_bits_lattice::meet_with_1 (widest_int value, widest_int mask,
    1044                 :            :                                 unsigned precision)
    1045                 :            : {
    1046                 :     120928 :   gcc_assert (constant_p ());
    1047                 :            : 
    1048                 :     120928 :   widest_int old_mask = m_mask;
    1049                 :     120928 :   m_mask = (m_mask | mask) | (m_value ^ value);
    1050                 :            : 
    1051                 :     237898 :   if (wi::sext (m_mask, precision) == -1)
    1052                 :       3697 :     return set_to_bottom ();
    1053                 :            : 
    1054                 :     234115 :   return m_mask != old_mask;
    1055                 :            : }
    1056                 :            : 
    1057                 :            : /* Meet the bits lattice with operand
    1058                 :            :    described by <value, mask, sgn, precision.  */
    1059                 :            : 
    1060                 :            : bool
    1061                 :     224227 : ipcp_bits_lattice::meet_with (widest_int value, widest_int mask,
    1062                 :            :                               unsigned precision)
    1063                 :            : {
    1064                 :     224227 :   if (bottom_p ())
    1065                 :            :     return false;
    1066                 :            : 
    1067                 :     224227 :   if (top_p ())
    1068                 :            :     {
    1069                 :     166931 :       if (wi::sext (mask, precision) == -1)
    1070                 :      56691 :         return set_to_bottom ();
    1071                 :      55120 :       return set_to_constant (value, mask);
    1072                 :            :     }
    1073                 :            : 
    1074                 :     112416 :   return meet_with_1 (value, mask, precision);
    1075                 :            : }
    1076                 :            : 
    1077                 :            : /* Meet bits lattice with the result of bit_value_binop (other, operand)
    1078                 :            :    if code is binary operation or bit_value_unop (other) if code is unary op.
    1079                 :            :    In the case when code is nop_expr, no adjustment is required. */
    1080                 :            : 
    1081                 :            : bool
    1082                 :      13738 : ipcp_bits_lattice::meet_with (ipcp_bits_lattice& other, unsigned precision,
    1083                 :            :                               signop sgn, enum tree_code code, tree operand)
    1084                 :            : {
    1085                 :      13738 :   if (other.bottom_p ())
    1086                 :          1 :     return set_to_bottom ();
    1087                 :            : 
    1088                 :      13737 :   if (bottom_p () || other.top_p ())
    1089                 :            :     return false;
    1090                 :            : 
    1091                 :      11695 :   widest_int adjusted_value, adjusted_mask;
    1092                 :            : 
    1093                 :      11695 :   if (TREE_CODE_CLASS (code) == tcc_binary)
    1094                 :            :     {
    1095                 :       1690 :       tree type = TREE_TYPE (operand);
    1096                 :       1690 :       widest_int o_value, o_mask;
    1097                 :       1690 :       get_value_and_mask (operand, &o_value, &o_mask);
    1098                 :            : 
    1099                 :       1690 :       bit_value_binop (code, sgn, precision, &adjusted_value, &adjusted_mask,
    1100                 :       1690 :                        sgn, precision, other.get_value (), other.get_mask (),
    1101                 :       1690 :                        TYPE_SIGN (type), TYPE_PRECISION (type), o_value, o_mask);
    1102                 :            : 
    1103                 :       3294 :       if (wi::sext (adjusted_mask, precision) == -1)
    1104                 :         86 :         return set_to_bottom ();
    1105                 :            :     }
    1106                 :            : 
    1107                 :      10005 :   else if (TREE_CODE_CLASS (code) == tcc_unary)
    1108                 :            :     {
    1109                 :       9989 :       bit_value_unop (code, sgn, precision, &adjusted_value,
    1110                 :      19978 :                       &adjusted_mask, sgn, precision, other.get_value (),
    1111                 :       9989 :                       other.get_mask ());
    1112                 :            : 
    1113                 :      19974 :       if (wi::sext (adjusted_mask, precision) == -1)
    1114                 :          4 :         return set_to_bottom ();
    1115                 :            :     }
    1116                 :            : 
    1117                 :            :   else
    1118                 :         16 :     return set_to_bottom ();
    1119                 :            : 
    1120                 :      11589 :   if (top_p ())
    1121                 :            :     {
    1122                 :       6154 :       if (wi::sext (adjusted_mask, precision) == -1)
    1123                 :          0 :         return set_to_bottom ();
    1124                 :       3077 :       return set_to_constant (adjusted_value, adjusted_mask);
    1125                 :            :     }
    1126                 :            :   else
    1127                 :       8512 :     return meet_with_1 (adjusted_value, adjusted_mask, precision);
    1128                 :            : }
    1129                 :            : 
    1130                 :            : /* Mark bot aggregate and scalar lattices as containing an unknown variable,
    1131                 :            :    return true is any of them has not been marked as such so far.  */
    1132                 :            : 
    1133                 :            : static inline bool
    1134                 :     113600 : set_all_contains_variable (class ipcp_param_lattices *plats)
    1135                 :            : {
    1136                 :     113600 :   bool ret;
    1137                 :     113600 :   ret = plats->itself.set_contains_variable ();
    1138                 :     113600 :   ret |= plats->ctxlat.set_contains_variable ();
    1139                 :     113600 :   ret |= set_agg_lats_contain_variable (plats);
    1140                 :     113600 :   ret |= plats->bits_lattice.set_to_bottom ();
    1141                 :     113600 :   ret |= plats->m_value_range.set_to_bottom ();
    1142                 :     113600 :   return ret;
    1143                 :            : }
    1144                 :            : 
    1145                 :            : /* Worker of call_for_symbol_thunks_and_aliases, increment the integer DATA
    1146                 :            :    points to by the number of callers to NODE.  */
    1147                 :            : 
    1148                 :            : static bool
    1149                 :      70063 : count_callers (cgraph_node *node, void *data)
    1150                 :            : {
    1151                 :      70063 :   int *caller_count = (int *) data;
    1152                 :            : 
    1153                 :     240878 :   for (cgraph_edge *cs = node->callers; cs; cs = cs->next_caller)
    1154                 :            :     /* Local thunks can be handled transparently, but if the thunk cannot
    1155                 :            :        be optimized out, count it as a real use.  */
    1156                 :     170815 :     if (!cs->caller->thunk.thunk_p || !cs->caller->local)
    1157                 :     170815 :       ++*caller_count;
    1158                 :      70063 :   return false;
    1159                 :            : }
    1160                 :            : 
    1161                 :            : /* Worker of call_for_symbol_thunks_and_aliases, it is supposed to be called on
    1162                 :            :    the one caller of some other node.  Set the caller's corresponding flag.  */
    1163                 :            : 
    1164                 :            : static bool
    1165                 :      39500 : set_single_call_flag (cgraph_node *node, void *)
    1166                 :            : {
    1167                 :      39500 :   cgraph_edge *cs = node->callers;
    1168                 :            :   /* Local thunks can be handled transparently, skip them.  */
    1169                 :      39500 :   while (cs && cs->caller->thunk.thunk_p && cs->caller->local)
    1170                 :          0 :     cs = cs->next_caller;
    1171                 :      78749 :   if (cs && IPA_NODE_REF (cs->caller))
    1172                 :            :     {
    1173                 :      39248 :       IPA_NODE_REF (cs->caller)->node_calling_single_call = true;
    1174                 :      39248 :       return true;
    1175                 :            :     }
    1176                 :            :   return false;
    1177                 :            : }
    1178                 :            : 
    1179                 :            : /* Initialize ipcp_lattices.  */
    1180                 :            : 
    1181                 :            : static void
    1182                 :     816258 : initialize_node_lattices (struct cgraph_node *node)
    1183                 :            : {
    1184                 :     816258 :   class ipa_node_params *info = IPA_NODE_REF (node);
    1185                 :     816258 :   struct cgraph_edge *ie;
    1186                 :     816258 :   bool disable = false, variable = false;
    1187                 :     816258 :   int i;
    1188                 :            : 
    1189                 :     816258 :   gcc_checking_assert (node->has_gimple_body_p ());
    1190                 :            : 
    1191                 :     816258 :   if (!ipa_get_param_count (info))
    1192                 :            :     disable = true;
    1193                 :     655808 :   else if (node->local)
    1194                 :            :     {
    1195                 :      60842 :       int caller_count = 0;
    1196                 :      60842 :       node->call_for_symbol_thunks_and_aliases (count_callers, &caller_count,
    1197                 :            :                                                 true);
    1198                 :      60842 :       gcc_checking_assert (caller_count > 0);
    1199                 :      60842 :       if (caller_count == 1)
    1200                 :      39249 :         node->call_for_symbol_thunks_and_aliases (set_single_call_flag,
    1201                 :            :                                                   NULL, true);
    1202                 :            :     }
    1203                 :            :   else
    1204                 :            :     {
    1205                 :            :       /* When cloning is allowed, we can assume that externally visible
    1206                 :            :          functions are not called.  We will compensate this by cloning
    1207                 :            :          later.  */
    1208                 :     594966 :       if (ipcp_versionable_function_p (node)
    1209                 :     594966 :           && ipcp_cloning_candidate_p (node))
    1210                 :            :         variable = true;
    1211                 :            :       else
    1212                 :            :         disable = true;
    1213                 :            :     }
    1214                 :            : 
    1215                 :        832 :   if (dump_file && (dump_flags & TDF_DETAILS)
    1216                 :     816387 :       && !node->alias && !node->thunk.thunk_p)
    1217                 :            :     {
    1218                 :        129 :       fprintf (dump_file, "Initializing lattices of %s\n",
    1219                 :            :                node->dump_name ());
    1220                 :        129 :       if (disable || variable)
    1221                 :         95 :         fprintf (dump_file, "  Marking all lattices as %s\n",
    1222                 :            :                  disable ? "BOTTOM" : "VARIABLE");
    1223                 :            :     }
    1224                 :            : 
    1225                 :     816258 :   auto_vec<bool, 16> surviving_params;
    1226                 :     816258 :   bool pre_modified = false;
    1227                 :     816258 :   if (!disable && node->clone.param_adjustments)
    1228                 :            :     {
    1229                 :            :       /* At the moment all IPA optimizations should use the number of
    1230                 :            :          parameters of the prevailing decl as the m_always_copy_start.
    1231                 :            :          Handling any other value would complicate the code below, so for the
    1232                 :            :          time bing let's only assert it is so.  */
    1233                 :          0 :       gcc_assert ((node->clone.param_adjustments->m_always_copy_start
    1234                 :            :                    == ipa_get_param_count (info))
    1235                 :            :                   || node->clone.param_adjustments->m_always_copy_start < 0);
    1236                 :            : 
    1237                 :          0 :       pre_modified = true;
    1238                 :          0 :       node->clone.param_adjustments->get_surviving_params (&surviving_params);
    1239                 :            : 
    1240                 :          0 :       if (dump_file && (dump_flags & TDF_DETAILS)
    1241                 :          0 :           && !node->alias && !node->thunk.thunk_p)
    1242                 :            :         {
    1243                 :            :           bool first = true;
    1244                 :          0 :           for (int j = 0; j < ipa_get_param_count (info); j++)
    1245                 :            :             {
    1246                 :          0 :               if (j < (int) surviving_params.length ()
    1247                 :          0 :                   && surviving_params[j])
    1248                 :          0 :                 continue;
    1249                 :          0 :               if (first)
    1250                 :            :                 {
    1251                 :          0 :                   fprintf (dump_file,
    1252                 :            :                            "  The following parameters are dead on arrival:");
    1253                 :          0 :                   first = false;
    1254                 :            :                 }
    1255                 :          0 :               fprintf (dump_file, " %u", j);
    1256                 :            :             }
    1257                 :          0 :           if (!first)
    1258                 :          0 :               fprintf (dump_file, "\n");
    1259                 :            :         }
    1260                 :            :     }
    1261                 :            : 
    1262                 :    4951780 :   for (i = 0; i < ipa_get_param_count (info); i++)
    1263                 :            :     {
    1264                 :    1739860 :       ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
    1265                 :    1739860 :       if (disable
    1266                 :    1739860 :           || (pre_modified && (surviving_params.length () <= (unsigned) i
    1267                 :          0 :                                || !surviving_params[i])))
    1268                 :            :         {
    1269                 :    1599030 :           plats->itself.set_to_bottom ();
    1270                 :    1599030 :           plats->ctxlat.set_to_bottom ();
    1271                 :    1599030 :           set_agg_lats_to_bottom (plats);
    1272                 :    1599030 :           plats->bits_lattice.set_to_bottom ();
    1273                 :    3338890 :           plats->m_value_range.set_to_bottom ();
    1274                 :            :         }
    1275                 :            :       else
    1276                 :            :         {
    1277                 :     140827 :           plats->m_value_range.init ();
    1278                 :     140827 :           if (variable)
    1279                 :      10073 :             set_all_contains_variable (plats);
    1280                 :            :         }
    1281                 :            :     }
    1282                 :            : 
    1283                 :     927746 :   for (ie = node->indirect_calls; ie; ie = ie->next_callee)
    1284                 :     111488 :     if (ie->indirect_info->polymorphic
    1285                 :     111488 :         && ie->indirect_info->param_index >= 0)
    1286                 :            :       {
    1287                 :       6727 :         gcc_checking_assert (ie->indirect_info->param_index >= 0);
    1288                 :       6727 :         ipa_get_parm_lattices (info,
    1289                 :       6727 :                                ie->indirect_info->param_index)->virt_call = 1;
    1290                 :            :       }
    1291                 :     816258 : }
    1292                 :            : 
    1293                 :            : /* Return the result of a (possibly arithmetic) operation on the constant
    1294                 :            :    value INPUT.  OPERAND is 2nd operand for binary operation.  RES_TYPE is
    1295                 :            :    the type of the parameter to which the result is passed.  Return
    1296                 :            :    NULL_TREE if that cannot be determined or be considered an
    1297                 :            :    interprocedural invariant.  */
    1298                 :            : 
    1299                 :            : static tree
    1300                 :      13385 : ipa_get_jf_arith_result (enum tree_code opcode, tree input, tree operand,
    1301                 :            :                          tree res_type)
    1302                 :            : {
    1303                 :      13385 :   tree res;
    1304                 :            : 
    1305                 :      13385 :   if (opcode == NOP_EXPR)
    1306                 :            :     return input;
    1307                 :       2215 :   if (!is_gimple_ip_invariant (input))
    1308                 :            :     return NULL_TREE;
    1309                 :            : 
    1310                 :       2215 :   if (!res_type)
    1311                 :            :     {
    1312                 :          0 :       if (TREE_CODE_CLASS (opcode) == tcc_comparison)
    1313                 :          0 :         res_type = boolean_type_node;
    1314                 :          0 :       else if (expr_type_first_operand_type_p (opcode))
    1315                 :          0 :         res_type = TREE_TYPE (input);
    1316                 :            :       else
    1317                 :            :         return NULL_TREE;
    1318                 :            :     }
    1319                 :            : 
    1320                 :       2215 :   if (TREE_CODE_CLASS (opcode) == tcc_unary)
    1321                 :         12 :     res = fold_unary (opcode, res_type, input);
    1322                 :            :   else
    1323                 :       2203 :     res = fold_binary (opcode, res_type, input, operand);
    1324                 :            : 
    1325                 :       2215 :   if (res && !is_gimple_ip_invariant (res))
    1326                 :          0 :     return NULL_TREE;
    1327                 :            : 
    1328                 :            :   return res;
    1329                 :            : }
    1330                 :            : 
    1331                 :            : /* Return the result of a (possibly arithmetic) pass through jump function
    1332                 :            :    JFUNC on the constant value INPUT.  RES_TYPE is the type of the parameter
    1333                 :            :    to which the result is passed.  Return NULL_TREE if that cannot be
    1334                 :            :    determined or be considered an interprocedural invariant.  */
    1335                 :            : 
    1336                 :            : static tree
    1337                 :       2720 : ipa_get_jf_pass_through_result (struct ipa_jump_func *jfunc, tree input,
    1338                 :            :                                 tree res_type)
    1339                 :            : {
    1340                 :       2720 :   return ipa_get_jf_arith_result (ipa_get_jf_pass_through_operation (jfunc),
    1341                 :            :                                   input,
    1342                 :            :                                   ipa_get_jf_pass_through_operand (jfunc),
    1343                 :       2720 :                                   res_type);
    1344                 :            : }
    1345                 :            : 
    1346                 :            : /* Return the result of an ancestor jump function JFUNC on the constant value
    1347                 :            :    INPUT.  Return NULL_TREE if that cannot be determined.  */
    1348                 :            : 
    1349                 :            : static tree
    1350                 :        234 : ipa_get_jf_ancestor_result (struct ipa_jump_func *jfunc, tree input)
    1351                 :            : {
    1352                 :        234 :   gcc_checking_assert (TREE_CODE (input) != TREE_BINFO);
    1353                 :        234 :   if (TREE_CODE (input) == ADDR_EXPR)
    1354                 :            :     {
    1355                 :        213 :       gcc_checking_assert (is_gimple_ip_invariant_address (input));
    1356                 :        213 :       poly_int64 off = ipa_get_jf_ancestor_offset (jfunc);
    1357                 :        213 :       if (known_eq (off, 0))
    1358                 :            :         return input;
    1359                 :        185 :       poly_int64 byte_offset = exact_div (off, BITS_PER_UNIT);
    1360                 :        370 :       return build1 (ADDR_EXPR, TREE_TYPE (input),
    1361                 :        185 :                      fold_build2 (MEM_REF, TREE_TYPE (TREE_TYPE (input)), input,
    1362                 :        185 :                                   build_int_cst (ptr_type_node, byte_offset)));
    1363                 :            :     }
    1364                 :            :   else
    1365                 :            :     return NULL_TREE;
    1366                 :            : }
    1367                 :            : 
    1368                 :            : /* Determine whether JFUNC evaluates to a single known constant value and if
    1369                 :            :    so, return it.  Otherwise return NULL.  INFO describes the caller node or
    1370                 :            :    the one it is inlined to, so that pass-through jump functions can be
    1371                 :            :    evaluated.  PARM_TYPE is the type of the parameter to which the result is
    1372                 :            :    passed.  */
    1373                 :            : 
    1374                 :            : tree
    1375                 :    4573640 : ipa_value_from_jfunc (class ipa_node_params *info, struct ipa_jump_func *jfunc,
    1376                 :            :                       tree parm_type)
    1377                 :            : {
    1378                 :    4573640 :   if (jfunc->type == IPA_JF_CONST)
    1379                 :     828347 :     return ipa_get_jf_constant (jfunc);
    1380                 :    3745300 :   else if (jfunc->type == IPA_JF_PASS_THROUGH
    1381                 :    2946370 :            || jfunc->type == IPA_JF_ANCESTOR)
    1382                 :            :     {
    1383                 :    1057360 :       tree input;
    1384                 :    1057360 :       int idx;
    1385                 :            : 
    1386                 :    1057360 :       if (jfunc->type == IPA_JF_PASS_THROUGH)
    1387                 :     798923 :         idx = ipa_get_jf_pass_through_formal_id (jfunc);
    1388                 :            :       else
    1389                 :     258442 :         idx = ipa_get_jf_ancestor_formal_id (jfunc);
    1390                 :            : 
    1391                 :    1057360 :       if (info->ipcp_orig_node)
    1392                 :      11367 :         input = info->known_csts[idx];
    1393                 :            :       else
    1394                 :            :         {
    1395                 :    1046000 :           ipcp_lattice<tree> *lat;
    1396                 :            : 
    1397                 :    1046000 :           if (!info->lattices
    1398                 :    1928910 :               || idx >= ipa_get_param_count (info))
    1399                 :            :             return NULL_TREE;
    1400                 :     882914 :           lat = ipa_get_scalar_lat (info, idx);
    1401                 :     882914 :           if (!lat->is_single_const ())
    1402                 :            :             return NULL_TREE;
    1403                 :         46 :           input = lat->values->value;
    1404                 :            :         }
    1405                 :            : 
    1406                 :      11413 :       if (!input)
    1407                 :            :         return NULL_TREE;
    1408                 :            : 
    1409                 :       2857 :       if (jfunc->type == IPA_JF_PASS_THROUGH)
    1410                 :       2720 :         return ipa_get_jf_pass_through_result (jfunc, input, parm_type);
    1411                 :            :       else
    1412                 :        137 :         return ipa_get_jf_ancestor_result (jfunc, input);
    1413                 :            :     }
    1414                 :            :   else
    1415                 :            :     return NULL_TREE;
    1416                 :            : }
    1417                 :            : 
    1418                 :            : /* Determine whether JFUNC evaluates to single known polymorphic context, given
    1419                 :            :    that INFO describes the caller node or the one it is inlined to, CS is the
    1420                 :            :    call graph edge corresponding to JFUNC and CSIDX index of the described
    1421                 :            :    parameter.  */
    1422                 :            : 
    1423                 :            : ipa_polymorphic_call_context
    1424                 :     148177 : ipa_context_from_jfunc (ipa_node_params *info, cgraph_edge *cs, int csidx,
    1425                 :            :                         ipa_jump_func *jfunc)
    1426                 :            : {
    1427                 :     148177 :   ipa_edge_args *args = IPA_EDGE_REF (cs);
    1428                 :     148177 :   ipa_polymorphic_call_context ctx;
    1429                 :     148177 :   ipa_polymorphic_call_context *edge_ctx
    1430                 :     148177 :     = cs ? ipa_get_ith_polymorhic_call_context (args, csidx) : NULL;
    1431                 :            : 
    1432                 :     104171 :   if (edge_ctx && !edge_ctx->useless_p ())
    1433                 :     103435 :     ctx = *edge_ctx;
    1434                 :            : 
    1435                 :     148177 :   if (jfunc->type == IPA_JF_PASS_THROUGH
    1436                 :     128713 :       || jfunc->type == IPA_JF_ANCESTOR)
    1437                 :            :     {
    1438                 :      22871 :       ipa_polymorphic_call_context srcctx;
    1439                 :      22871 :       int srcidx;
    1440                 :      22871 :       bool type_preserved = true;
    1441                 :      22871 :       if (jfunc->type == IPA_JF_PASS_THROUGH)
    1442                 :            :         {
    1443                 :      19464 :           if (ipa_get_jf_pass_through_operation (jfunc) != NOP_EXPR)
    1444                 :        141 :             return ctx;
    1445                 :      19323 :           type_preserved = ipa_get_jf_pass_through_type_preserved (jfunc);
    1446                 :      19323 :           srcidx = ipa_get_jf_pass_through_formal_id (jfunc);
    1447                 :            :         }
    1448                 :            :       else
    1449                 :            :         {
    1450                 :       3407 :           type_preserved = ipa_get_jf_ancestor_type_preserved (jfunc);
    1451                 :       3407 :           srcidx = ipa_get_jf_ancestor_formal_id (jfunc);
    1452                 :            :         }
    1453                 :      22730 :       if (info->ipcp_orig_node)
    1454                 :            :         {
    1455                 :       1859 :           if (info->known_contexts.exists ())
    1456                 :        525 :             srcctx = info->known_contexts[srcidx];
    1457                 :            :         }
    1458                 :            :       else
    1459                 :            :         {
    1460                 :      20871 :           if (!info->lattices
    1461                 :      39614 :               || srcidx >= ipa_get_param_count (info))
    1462                 :       2128 :             return ctx;
    1463                 :      18743 :           ipcp_lattice<ipa_polymorphic_call_context> *lat;
    1464                 :      18743 :           lat = ipa_get_poly_ctx_lat (info, srcidx);
    1465                 :      18743 :           if (!lat->is_single_const ())
    1466                 :      18025 :             return ctx;
    1467                 :        718 :           srcctx = lat->values->value;
    1468                 :            :         }
    1469                 :       2577 :       if (srcctx.useless_p ())
    1470                 :       1343 :         return ctx;
    1471                 :       1234 :       if (jfunc->type == IPA_JF_ANCESTOR)
    1472                 :         59 :         srcctx.offset_by (ipa_get_jf_ancestor_offset (jfunc));
    1473                 :       1234 :       if (!type_preserved)
    1474                 :        346 :         srcctx.possible_dynamic_type_change (cs->in_polymorphic_cdtor);
    1475                 :       1234 :       srcctx.combine_with (ctx);
    1476                 :       1234 :       return srcctx;
    1477                 :            :     }
    1478                 :            : 
    1479                 :     125306 :   return ctx;
    1480                 :            : }
    1481                 :            : 
    1482                 :            : /* Emulate effects of unary OPERATION and/or conversion from SRC_TYPE to
    1483                 :            :    DST_TYPE on value range in SRC_VR and store it to DST_VR.  Return true if
    1484                 :            :    the result is a range or an anti-range.  */
    1485                 :            : 
    1486                 :            : static bool
    1487                 :     104022 : ipa_vr_operation_and_type_effects (value_range *dst_vr,
    1488                 :            :                                    value_range *src_vr,
    1489                 :            :                                    enum tree_code operation,
    1490                 :            :                                    tree dst_type, tree src_type)
    1491                 :            : {
    1492                 :          0 :   range_fold_unary_expr (dst_vr, operation, dst_type, src_vr, src_type);
    1493                 :      96414 :   if (dst_vr->varying_p () || dst_vr->undefined_p ())
    1494                 :       7608 :     return false;
    1495                 :            :   return true;
    1496                 :            : }
    1497                 :            : 
    1498                 :            : /* Determine value_range of JFUNC given that INFO describes the caller node or
    1499                 :            :    the one it is inlined to, CS is the call graph edge corresponding to JFUNC
    1500                 :            :    and PARM_TYPE of the parameter.  */
    1501                 :            : 
    1502                 :            : value_range
    1503                 :    4026710 : ipa_value_range_from_jfunc (ipa_node_params *info, cgraph_edge *cs,
    1504                 :            :                             ipa_jump_func *jfunc, tree parm_type)
    1505                 :            : {
    1506                 :    4026710 :   value_range vr;
    1507                 :    4026710 :   return vr;
    1508                 :            :   if (jfunc->m_vr)
    1509                 :            :     ipa_vr_operation_and_type_effects (&vr,
    1510                 :            :                                        jfunc->m_vr,
    1511                 :            :                                        NOP_EXPR, parm_type,
    1512                 :            :                                        jfunc->m_vr->type ());
    1513                 :            :   if (vr.singleton_p ())
    1514                 :            :     return vr;
    1515                 :            :   if (jfunc->type == IPA_JF_PASS_THROUGH)
    1516                 :            :     {
    1517                 :            :       int idx;
    1518                 :            :       ipcp_transformation *sum
    1519                 :            :         = ipcp_get_transformation_summary (cs->caller->inlined_to
    1520                 :            :                                            ? cs->caller->inlined_to
    1521                 :            :                                            : cs->caller);
    1522                 :            :       if (!sum || !sum->m_vr)
    1523                 :            :         return vr;
    1524                 :            : 
    1525                 :            :       idx = ipa_get_jf_pass_through_formal_id (jfunc);
    1526                 :            : 
    1527                 :            :       if (!(*sum->m_vr)[idx].known)
    1528                 :            :         return vr;
    1529                 :            :       tree vr_type = ipa_get_type (info, idx);
    1530                 :            :       value_range srcvr (wide_int_to_tree (vr_type, (*sum->m_vr)[idx].min),
    1531                 :            :                          wide_int_to_tree (vr_type, (*sum->m_vr)[idx].max),
    1532                 :            :                          (*sum->m_vr)[idx].type);
    1533                 :            : 
    1534                 :            :       enum tree_code operation = ipa_get_jf_pass_through_operation (jfunc);
    1535                 :            : 
    1536                 :            :       if (TREE_CODE_CLASS (operation) == tcc_unary)
    1537                 :            :         {
    1538                 :            :           value_range res;
    1539                 :            : 
    1540                 :            :           if (ipa_vr_operation_and_type_effects (&res,
    1541                 :            :                                                  &srcvr,
    1542                 :            :                                                  operation, parm_type,
    1543                 :            :                                                  vr_type))
    1544                 :            :             vr.intersect (res);
    1545                 :            :         }
    1546                 :            :       else
    1547                 :            :         {
    1548                 :            :           value_range op_res, res;
    1549                 :            :           tree op = ipa_get_jf_pass_through_operand (jfunc);
    1550                 :            :           value_range op_vr (op, op);
    1551                 :            : 
    1552                 :            :           range_fold_binary_expr (&op_res, operation, vr_type, &srcvr, &op_vr);
    1553                 :            :           if (ipa_vr_operation_and_type_effects (&res,
    1554                 :            :                                                  &op_res,
    1555                 :            :                                                  NOP_EXPR, parm_type,
    1556                 :            :                                                  vr_type))
    1557                 :            :             vr.intersect (res);
    1558                 :            :         }
    1559                 :            :     }
    1560                 :            :   return vr;
    1561                 :            : }
    1562                 :            : 
    1563                 :            : /* See if NODE is a clone with a known aggregate value at a given OFFSET of a
    1564                 :            :    parameter with the given INDEX.  */
    1565                 :            : 
    1566                 :            : static tree
    1567                 :       2312 : get_clone_agg_value (struct cgraph_node *node, HOST_WIDE_INT offset,
    1568                 :            :                      int index)
    1569                 :            : {
    1570                 :       2312 :   struct ipa_agg_replacement_value *aggval;
    1571                 :            : 
    1572                 :       2312 :   aggval = ipa_get_agg_replacements_for_node (node);
    1573                 :       7049 :   while (aggval)
    1574                 :            :     {
    1575                 :       5555 :       if (aggval->offset == offset
    1576                 :       1337 :           && aggval->index == index)
    1577                 :        818 :         return aggval->value;
    1578                 :       4737 :       aggval = aggval->next;
    1579                 :            :     }
    1580                 :            :   return NULL_TREE;
    1581                 :            : }
    1582                 :            : 
    1583                 :            : /* Determine whether ITEM, jump function for an aggregate part, evaluates to a
    1584                 :            :    single known constant value and if so, return it.  Otherwise return NULL.
    1585                 :            :    NODE and INFO describes the caller node or the one it is inlined to, and
    1586                 :            :    its related info.  */
    1587                 :            : 
    1588                 :            : static tree
    1589                 :     644116 : ipa_agg_value_from_node (class ipa_node_params *info,
    1590                 :            :                          struct cgraph_node *node,
    1591                 :            :                          struct ipa_agg_jf_item *item)
    1592                 :            : {
    1593                 :     644116 :   tree value = NULL_TREE;
    1594                 :     644116 :   int src_idx;
    1595                 :            : 
    1596                 :     644116 :   if (item->offset < 0 || item->jftype == IPA_JF_UNKNOWN)
    1597                 :            :     return NULL_TREE;
    1598                 :            : 
    1599                 :     607799 :   if (item->jftype == IPA_JF_CONST)
    1600                 :     525314 :     return item->value.constant;
    1601                 :            : 
    1602                 :      82485 :   gcc_checking_assert (item->jftype == IPA_JF_PASS_THROUGH
    1603                 :            :                        || item->jftype == IPA_JF_LOAD_AGG);
    1604                 :            : 
    1605                 :      82485 :   src_idx = item->value.pass_through.formal_id;
    1606                 :            : 
    1607                 :      82485 :   if (info->ipcp_orig_node)
    1608                 :            :     {
    1609                 :       1637 :       if (item->jftype == IPA_JF_PASS_THROUGH)
    1610                 :        364 :         value = info->known_csts[src_idx];
    1611                 :            :       else
    1612                 :       1273 :         value = get_clone_agg_value (node, item->value.load_agg.offset,
    1613                 :            :                                      src_idx);
    1614                 :            :     }
    1615                 :      80848 :   else if (info->lattices)
    1616                 :            :     {
    1617                 :      56422 :       class ipcp_param_lattices *src_plats
    1618                 :      56422 :         = ipa_get_parm_lattices (info, src_idx);
    1619                 :            : 
    1620                 :      56422 :       if (item->jftype == IPA_JF_PASS_THROUGH)
    1621                 :            :         {
    1622                 :      19324 :           struct ipcp_lattice<tree> *lat = &src_plats->itself;
    1623                 :            : 
    1624                 :      19324 :           if (!lat->is_single_const ())
    1625                 :            :             return NULL_TREE;
    1626                 :            : 
    1627                 :          0 :           value = lat->values->value;
    1628                 :            :         }
    1629                 :      37098 :       else if (src_plats->aggs
    1630                 :       1819 :                && !src_plats->aggs_bottom
    1631                 :       1819 :                && !src_plats->aggs_contain_variable
    1632                 :        783 :                && src_plats->aggs_by_ref == item->value.load_agg.by_ref)
    1633                 :            :         {
    1634                 :            :           struct ipcp_agg_lattice *aglat;
    1635                 :            : 
    1636                 :       1315 :           for (aglat = src_plats->aggs; aglat; aglat = aglat->next)
    1637                 :            :             {
    1638                 :       1315 :               if (aglat->offset > item->value.load_agg.offset)
    1639                 :            :                 break;
    1640                 :            : 
    1641                 :       1315 :               if (aglat->offset == item->value.load_agg.offset)
    1642                 :            :                 {
    1643                 :        783 :                   if (aglat->is_single_const ())
    1644                 :          0 :                     value = aglat->values->value;
    1645                 :            :                   break;
    1646                 :            :                 }
    1647                 :            :             }
    1648                 :            :         }
    1649                 :            :     }
    1650                 :            : 
    1651                 :       1637 :   if (!value)
    1652                 :      62630 :     return NULL_TREE;
    1653                 :            : 
    1654                 :        531 :   if (item->jftype == IPA_JF_LOAD_AGG)
    1655                 :            :     {
    1656                 :        296 :       tree load_type = item->value.load_agg.type;
    1657                 :        296 :       tree value_type = TREE_TYPE (value);
    1658                 :            : 
    1659                 :            :       /* Ensure value type is compatible with load type.  */
    1660                 :        296 :       if (!useless_type_conversion_p (load_type, value_type))
    1661                 :            :         return NULL_TREE;
    1662                 :            :     }
    1663                 :            : 
    1664                 :        531 :   return ipa_get_jf_arith_result (item->value.pass_through.operation,
    1665                 :            :                                   value,
    1666                 :            :                                   item->value.pass_through.operand,
    1667                 :        531 :                                   item->type);
    1668                 :            : }
    1669                 :            : 
    1670                 :            : /* Determine whether AGG_JFUNC evaluates to a set of known constant value for
    1671                 :            :    an aggregate and if so, return it.  Otherwise return an empty set.  NODE
    1672                 :            :    and INFO describes the caller node or the one it is inlined to, and its
    1673                 :            :    related info.  */
    1674                 :            : 
    1675                 :            : struct ipa_agg_value_set
    1676                 :    4564380 : ipa_agg_value_set_from_jfunc (class ipa_node_params *info, cgraph_node *node,
    1677                 :            :                               struct ipa_agg_jump_function *agg_jfunc)
    1678                 :            : {
    1679                 :    4564380 :   struct ipa_agg_value_set agg;
    1680                 :    4564380 :   struct ipa_agg_jf_item *item;
    1681                 :    4564380 :   int i;
    1682                 :            : 
    1683                 :    4564380 :   agg.items = vNULL;
    1684                 :    4564380 :   agg.by_ref = agg_jfunc->by_ref;
    1685                 :            : 
    1686                 :    5179330 :   FOR_EACH_VEC_SAFE_ELT (agg_jfunc->items, i, item)
    1687                 :            :     {
    1688                 :     614953 :       tree value = ipa_agg_value_from_node (info, node, item);
    1689                 :            : 
    1690                 :     614953 :       if (value)
    1691                 :            :         {
    1692                 :     497027 :           struct ipa_agg_value value_item;
    1693                 :            : 
    1694                 :     497027 :           value_item.offset = item->offset;
    1695                 :     497027 :           value_item.value = value;
    1696                 :            : 
    1697                 :     497027 :           agg.items.safe_push (value_item);
    1698                 :            :         }
    1699                 :            :     }
    1700                 :    4564380 :   return agg;
    1701                 :            : }
    1702                 :            : 
    1703                 :            : /* If checking is enabled, verify that no lattice is in the TOP state, i.e. not
    1704                 :            :    bottom, not containing a variable component and without any known value at
    1705                 :            :    the same time.  */
    1706                 :            : 
    1707                 :            : DEBUG_FUNCTION void
    1708                 :      94004 : ipcp_verify_propagated_values (void)
    1709                 :            : {
    1710                 :      94004 :   struct cgraph_node *node;
    1711                 :            : 
    1712                 :    1836030 :   FOR_EACH_FUNCTION_WITH_GIMPLE_BODY (node)
    1713                 :            :     {
    1714                 :     824013 :       class ipa_node_params *info = IPA_NODE_REF (node);
    1715                 :     824013 :       if (!opt_for_fn (node->decl, flag_ipa_cp)
    1716                 :     824013 :           || !opt_for_fn (node->decl, optimize))
    1717                 :       7760 :         continue;
    1718                 :     816253 :       int i, count = ipa_get_param_count (info);
    1719                 :            : 
    1720                 :    2556100 :       for (i = 0; i < count; i++)
    1721                 :            :         {
    1722                 :    1739850 :           ipcp_lattice<tree> *lat = ipa_get_scalar_lat (info, i);
    1723                 :            : 
    1724                 :    1739850 :           if (!lat->bottom
    1725                 :     140396 :               && !lat->contains_variable
    1726                 :      37579 :               && lat->values_count == 0)
    1727                 :            :             {
    1728                 :          0 :               if (dump_file)
    1729                 :            :                 {
    1730                 :          0 :                   symtab->dump (dump_file);
    1731                 :          0 :                   fprintf (dump_file, "\nIPA lattices after constant "
    1732                 :            :                            "propagation, before gcc_unreachable:\n");
    1733                 :          0 :                   print_all_lattices (dump_file, true, false);
    1734                 :            :                 }
    1735                 :            : 
    1736                 :          0 :               gcc_unreachable ();
    1737                 :            :             }
    1738                 :            :         }
    1739                 :            :     }
    1740                 :      94004 : }
    1741                 :            : 
    1742                 :            : /* Return true iff X and Y should be considered equal values by IPA-CP.  */
    1743                 :            : 
    1744                 :            : static bool
    1745                 :     251873 : values_equal_for_ipcp_p (tree x, tree y)
    1746                 :            : {
    1747                 :     251873 :   gcc_checking_assert (x != NULL_TREE && y != NULL_TREE);
    1748                 :            : 
    1749                 :     251873 :   if (x == y)
    1750                 :            :     return true;
    1751                 :            : 
    1752                 :     153900 :   if (TREE_CODE (x) ==  ADDR_EXPR
    1753                 :      40159 :       && TREE_CODE (y) ==  ADDR_EXPR
    1754                 :      39964 :       && TREE_CODE (TREE_OPERAND (x, 0)) == CONST_DECL
    1755                 :     166324 :       && TREE_CODE (TREE_OPERAND (y, 0)) == CONST_DECL)
    1756                 :      12421 :     return operand_equal_p (DECL_INITIAL (TREE_OPERAND (x, 0)),
    1757                 :      24842 :                             DECL_INITIAL (TREE_OPERAND (y, 0)), 0);
    1758                 :            :   else
    1759                 :     141479 :     return operand_equal_p (x, y, 0);
    1760                 :            : }
    1761                 :            : 
    1762                 :            : /* Return true iff X and Y should be considered equal contexts by IPA-CP.  */
    1763                 :            : 
    1764                 :            : static bool
    1765                 :       2986 : values_equal_for_ipcp_p (ipa_polymorphic_call_context x,
    1766                 :            :                          ipa_polymorphic_call_context y)
    1767                 :            : {
    1768                 :       2813 :   return x.equal_to (y);
    1769                 :            : }
    1770                 :            : 
    1771                 :            : 
    1772                 :            : /* Add a new value source to the value represented by THIS, marking that a
    1773                 :            :    value comes from edge CS and (if the underlying jump function is a
    1774                 :            :    pass-through or an ancestor one) from a caller value SRC_VAL of a caller
    1775                 :            :    parameter described by SRC_INDEX.  OFFSET is negative if the source was the
    1776                 :            :    scalar value of the parameter itself or the offset within an aggregate.  */
    1777                 :            : 
    1778                 :            : template <typename valtype>
    1779                 :            : void
    1780                 :     195774 : ipcp_value<valtype>::add_source (cgraph_edge *cs, ipcp_value *src_val,
    1781                 :            :                                  int src_idx, HOST_WIDE_INT offset)
    1782                 :            : {
    1783                 :            :   ipcp_value_source<valtype> *src;
    1784                 :            : 
    1785                 :     195774 :   src = new (ipcp_sources_pool.allocate ()) ipcp_value_source<valtype>;
    1786                 :     195774 :   src->offset = offset;
    1787                 :     195774 :   src->cs = cs;
    1788                 :     195774 :   src->val = src_val;
    1789                 :     195774 :   src->index = src_idx;
    1790                 :            : 
    1791                 :     195774 :   src->next = sources;
    1792                 :     195774 :   sources = src;
    1793                 :            : }
    1794                 :            : 
    1795                 :            : /* Allocate a new ipcp_value holding a tree constant, initialize its value to
    1796                 :            :    SOURCE and clear all other fields.  */
    1797                 :            : 
    1798                 :            : static ipcp_value<tree> *
    1799                 :      95066 : allocate_and_init_ipcp_value (tree source)
    1800                 :            : {
    1801                 :      95066 :   ipcp_value<tree> *val;
    1802                 :            : 
    1803                 :      95066 :   val = new (ipcp_cst_values_pool.allocate ()) ipcp_value<tree>();
    1804                 :      95066 :   val->value = source;
    1805                 :      95066 :   return val;
    1806                 :            : }
    1807                 :            : 
    1808                 :            : /* Allocate a new ipcp_value holding a polymorphic context, initialize its
    1809                 :            :    value to SOURCE and clear all other fields.  */
    1810                 :            : 
    1811                 :            : static ipcp_value<ipa_polymorphic_call_context> *
    1812                 :       4726 : allocate_and_init_ipcp_value (ipa_polymorphic_call_context source)
    1813                 :            : {
    1814                 :       4726 :   ipcp_value<ipa_polymorphic_call_context> *val;
    1815                 :            : 
    1816                 :            :   // TODO
    1817                 :       4726 :   val = new (ipcp_poly_ctx_values_pool.allocate ())
    1818                 :       4726 :     ipcp_value<ipa_polymorphic_call_context>();
    1819                 :       4726 :   val->value = source;
    1820                 :       4726 :   return val;
    1821                 :            : }
    1822                 :            : 
    1823                 :            : /* Try to add NEWVAL to LAT, potentially creating a new ipcp_value for it.  CS,
    1824                 :            :    SRC_VAL SRC_INDEX and OFFSET are meant for add_source and have the same
    1825                 :            :    meaning.  OFFSET -1 means the source is scalar and not a part of an
    1826                 :            :    aggregate.  If non-NULL, VAL_P records address of existing or newly added
    1827                 :            :    ipcp_value.  UNLIMITED means whether value count should not exceed the limit
    1828                 :            :    given by PARAM_IPA_CP_VALUE_LIST_SIZE.  */
    1829                 :            : 
    1830                 :            : template <typename valtype>
    1831                 :            : bool
    1832                 :     201665 : ipcp_lattice<valtype>::add_value (valtype newval, cgraph_edge *cs,
    1833                 :            :                                   ipcp_value<valtype> *src_val,
    1834                 :            :                                   int src_idx, HOST_WIDE_INT offset,
    1835                 :            :                                   ipcp_value<valtype> **val_p,
    1836                 :            :                                   bool unlimited)
    1837                 :            : {
    1838                 :     201665 :   ipcp_value<valtype> *val, *last_val = NULL;
    1839                 :            : 
    1840                 :     201665 :   if (val_p)
    1841                 :       1575 :     *val_p = NULL;
    1842                 :            : 
    1843                 :     201665 :   if (bottom)
    1844                 :            :     return false;
    1845                 :            : 
    1846                 :     340646 :   for (val = values; val; last_val = val, val = val->next)
    1847                 :     240287 :     if (values_equal_for_ipcp_p (val->value, newval))
    1848                 :            :       {
    1849                 :      99160 :         if (val_p)
    1850                 :        866 :           *val_p = val;
    1851                 :            : 
    1852                 :      99160 :         if (ipa_edge_within_scc (cs))
    1853                 :            :           {
    1854                 :            :             ipcp_value_source<valtype> *s;
    1855                 :      37869 :             for (s = val->sources; s; s = s->next)
    1856                 :      34551 :               if (s->cs == cs && s->val == src_val)
    1857                 :            :                 break;
    1858                 :       6496 :             if (s)
    1859                 :            :               return false;
    1860                 :            :           }
    1861                 :            : 
    1862                 :      95982 :         val->add_source (cs, src_val, src_idx, offset);
    1863                 :      95982 :         return false;
    1864                 :            :       }
    1865                 :            : 
    1866                 :     100359 :   if (!unlimited && values_count == opt_for_fn (cs->caller->decl,
    1867                 :            :                                                 param_ipa_cp_value_list_size))
    1868                 :            :     {
    1869                 :            :       /* We can only free sources, not the values themselves, because sources
    1870                 :            :          of other values in this SCC might point to them.   */
    1871                 :       5071 :       for (val = values; val; val = val->next)
    1872                 :            :         {
    1873                 :      14265 :           while (val->sources)
    1874                 :            :             {
    1875                 :       9761 :               ipcp_value_source<valtype> *src = val->sources;
    1876                 :       9761 :               val->sources = src->next;
    1877                 :      14265 :               ipcp_sources_pool.remove ((ipcp_value_source<tree>*)src);
    1878                 :            :             }
    1879                 :            :         }
    1880                 :        567 :       values = NULL;
    1881                 :        567 :       return set_to_bottom ();
    1882                 :            :     }
    1883                 :            : 
    1884                 :      99792 :   values_count++;
    1885                 :      99792 :   val = allocate_and_init_ipcp_value (newval);
    1886                 :      99792 :   val->add_source (cs, src_val, src_idx, offset);
    1887                 :      99792 :   val->next = NULL;
    1888                 :            : 
    1889                 :            :   /* Add the new value to end of value list, which can reduce iterations
    1890                 :            :      of propagation stage for recursive function.  */
    1891                 :      99792 :   if (last_val)
    1892                 :      24402 :     last_val->next = val;
    1893                 :            :   else
    1894                 :      75390 :     values = val;
    1895                 :            : 
    1896                 :      99792 :   if (val_p)
    1897                 :        709 :     *val_p = val;
    1898                 :            : 
    1899                 :            :   return true;
    1900                 :            : }
    1901                 :            : 
    1902                 :            : /* Return true, if a ipcp_value VAL is orginated from parameter value of
    1903                 :            :    self-feeding recursive function via some kind of pass-through jump
    1904                 :            :    function.  */
    1905                 :            : 
    1906                 :            : static bool
    1907                 :      12815 : self_recursively_generated_p (ipcp_value<tree> *val)
    1908                 :            : {
    1909                 :      12815 :   class ipa_node_params *info = NULL;
    1910                 :            : 
    1911                 :      34271 :   for (ipcp_value_source<tree> *src = val->sources; src; src = src->next)
    1912                 :            :     {
    1913                 :      31179 :       cgraph_edge *cs = src->cs;
    1914                 :            : 
    1915                 :      31179 :       if (!src->val || cs->caller != cs->callee->function_symbol ())
    1916                 :       8413 :         return false;
    1917                 :            : 
    1918                 :      22766 :       if (src->val == val)
    1919                 :       4293 :         continue;
    1920                 :            : 
    1921                 :      18473 :       if (!info)
    1922                 :       4409 :         info = IPA_NODE_REF (cs->caller);
    1923                 :            : 
    1924                 :      18473 :       class ipcp_param_lattices *plats = ipa_get_parm_lattices (info,
    1925                 :            :                                                                 src->index);
    1926                 :      18473 :       ipcp_lattice<tree> *src_lat;
    1927                 :      18473 :       ipcp_value<tree> *src_val;
    1928                 :            : 
    1929                 :      18473 :       if (src->offset == -1)
    1930                 :      18456 :         src_lat = &plats->itself;
    1931                 :            :       else
    1932                 :            :         {
    1933                 :         17 :           struct ipcp_agg_lattice *src_aglat;
    1934                 :            : 
    1935                 :         18 :           for (src_aglat = plats->aggs; src_aglat; src_aglat = src_aglat->next)
    1936                 :         18 :             if (src_aglat->offset == src->offset)
    1937                 :            :               break;
    1938                 :            : 
    1939                 :         17 :           if (!src_aglat)
    1940                 :            :             return false;
    1941                 :            : 
    1942                 :            :           src_lat = src_aglat;
    1943                 :            :         }
    1944                 :            : 
    1945                 :      73880 :       for (src_val = src_lat->values; src_val; src_val = src_val->next)
    1946                 :      72570 :         if (src_val == val)
    1947                 :            :           break;
    1948                 :            : 
    1949                 :      18473 :       if (!src_val)
    1950                 :            :         return false;
    1951                 :            :     }
    1952                 :            : 
    1953                 :            :   return true;
    1954                 :            : }
    1955                 :            : 
    1956                 :            : /* A helper function that returns result of operation specified by OPCODE on
    1957                 :            :    the value of SRC_VAL.  If non-NULL, OPND1_TYPE is expected type for the
    1958                 :            :    value of SRC_VAL.  If the operation is binary, OPND2 is a constant value
    1959                 :            :    acting as its second operand.  If non-NULL, RES_TYPE is expected type of
    1960                 :            :    the result.  */
    1961                 :            : 
    1962                 :            : static tree
    1963                 :       9930 : get_val_across_arith_op (enum tree_code opcode,
    1964                 :            :                          tree opnd1_type,
    1965                 :            :                          tree opnd2,
    1966                 :            :                          ipcp_value<tree> *src_val,
    1967                 :            :                          tree res_type)
    1968                 :            : {
    1969                 :       9930 :   tree opnd1 = src_val->value;
    1970                 :            : 
    1971                 :            :   /* Skip source values that is incompatible with specified type.  */
    1972                 :       9930 :   if (opnd1_type
    1973                 :      10117 :       && !useless_type_conversion_p (opnd1_type, TREE_TYPE (opnd1)))
    1974                 :            :     return NULL_TREE;
    1975                 :            : 
    1976                 :       9930 :   return ipa_get_jf_arith_result (opcode, opnd1, opnd2, res_type);
    1977                 :            : }
    1978                 :            : 
    1979                 :            : /* Propagate values through an arithmetic transformation described by a jump
    1980                 :            :    function associated with edge CS, taking values from SRC_LAT and putting
    1981                 :            :    them into DEST_LAT.  OPND1_TYPE is expected type for the values in SRC_LAT.
    1982                 :            :    OPND2 is a constant value if transformation is a binary operation.
    1983                 :            :    SRC_OFFSET specifies offset in an aggregate if SRC_LAT describes lattice of
    1984                 :            :    a part of the aggregate.  SRC_IDX is the index of the source parameter.
    1985                 :            :    RES_TYPE is the value type of result being propagated into.  Return true if
    1986                 :            :    DEST_LAT changed.  */
    1987                 :            : 
    1988                 :            : static bool
    1989                 :      43749 : propagate_vals_across_arith_jfunc (cgraph_edge *cs,
    1990                 :            :                                    enum tree_code opcode,
    1991                 :            :                                    tree opnd1_type,
    1992                 :            :                                    tree opnd2,
    1993                 :            :                                    ipcp_lattice<tree> *src_lat,
    1994                 :            :                                    ipcp_lattice<tree> *dest_lat,
    1995                 :            :                                    HOST_WIDE_INT src_offset,
    1996                 :            :                                    int src_idx,
    1997                 :            :                                    tree res_type)
    1998                 :            : {
    1999                 :      43749 :   ipcp_value<tree> *src_val;
    2000                 :      43749 :   bool ret = false;
    2001                 :            : 
    2002                 :            :   /* Due to circular dependencies, propagating within an SCC through arithmetic
    2003                 :            :      transformation would create infinite number of values.  But for
    2004                 :            :      self-feeding recursive function, we could allow propagation in a limited
    2005                 :            :      count, and this can enable a simple kind of recursive function versioning.
    2006                 :            :      For other scenario, we would just make lattices bottom.  */
    2007                 :      43749 :   if (opcode != NOP_EXPR && ipa_edge_within_scc (cs))
    2008                 :            :     {
    2009                 :       2157 :       int i;
    2010                 :            : 
    2011                 :       2157 :       int max_recursive_depth = opt_for_fn(cs->caller->decl,
    2012                 :            :                                            param_ipa_cp_max_recursive_depth);
    2013                 :       2157 :       if (src_lat != dest_lat || max_recursive_depth < 1)
    2014                 :        454 :         return dest_lat->set_contains_variable ();
    2015                 :            : 
    2016                 :            :       /* No benefit if recursive execution is in low probability.  */
    2017                 :       1703 :       if (cs->sreal_frequency () * 100
    2018                 :       3406 :           <= ((sreal) 1) * opt_for_fn (cs->caller->decl,
    2019                 :            :                                        param_ipa_cp_min_recursive_probability))
    2020                 :        154 :         return dest_lat->set_contains_variable ();
    2021                 :            : 
    2022                 :       1966 :       auto_vec<ipcp_value<tree> *, 8> val_seeds;
    2023                 :            : 
    2024                 :       3675 :       for (src_val = src_lat->values; src_val; src_val = src_val->next)
    2025                 :            :         {
    2026                 :            :           /* Now we do not use self-recursively generated value as propagation
    2027                 :            :              source, this is absolutely conservative, but could avoid explosion
    2028                 :            :              of lattice's value space, especially when one recursive function
    2029                 :            :              calls another recursive.  */
    2030                 :       3258 :           if (self_recursively_generated_p (src_val))
    2031                 :            :             {
    2032                 :       1888 :               ipcp_value_source<tree> *s;
    2033                 :            : 
    2034                 :            :               /* If the lattice has already been propagated for the call site,
    2035                 :            :                  no need to do that again.  */
    2036                 :       6823 :               for (s = src_val->sources; s; s = s->next)
    2037                 :       6067 :                 if (s->cs == cs)
    2038                 :       2872 :                   return dest_lat->set_contains_variable ();
    2039                 :            :             }
    2040                 :            :           else
    2041                 :       1370 :             val_seeds.safe_push (src_val);
    2042                 :            :         }
    2043                 :            : 
    2044                 :        834 :       gcc_assert ((int) val_seeds.length () <= param_ipa_cp_value_list_size);
    2045                 :            : 
    2046                 :            :       /* Recursively generate lattice values with a limited count.  */
    2047                 :       1288 :       FOR_EACH_VEC_ELT (val_seeds, i, src_val)
    2048                 :            :         {
    2049                 :       1802 :           for (int j = 1; j < max_recursive_depth; j++)
    2050                 :            :             {
    2051                 :       1577 :               tree cstval = get_val_across_arith_op (opcode, opnd1_type, opnd2,
    2052                 :            :                                                      src_val, res_type);
    2053                 :       1577 :               if (!cstval)
    2054                 :            :                 break;
    2055                 :            : 
    2056                 :       1575 :               ret |= dest_lat->add_value (cstval, cs, src_val, src_idx,
    2057                 :            :                                           src_offset, &src_val, true);
    2058                 :       1575 :               gcc_checking_assert (src_val);
    2059                 :            :             }
    2060                 :            :         }
    2061                 :        417 :       ret |= dest_lat->set_contains_variable ();
    2062                 :            :     }
    2063                 :            :   else
    2064                 :      51149 :     for (src_val = src_lat->values; src_val; src_val = src_val->next)
    2065                 :            :       {
    2066                 :            :         /* Now we do not use self-recursively generated value as propagation
    2067                 :            :            source, otherwise it is easy to make value space of normal lattice
    2068                 :            :            overflow.  */
    2069                 :       9557 :         if (self_recursively_generated_p (src_val))
    2070                 :            :           {
    2071                 :       1204 :             ret |= dest_lat->set_contains_variable ();
    2072                 :       1204 :             continue;
    2073                 :            :           }
    2074                 :            : 
    2075                 :       8353 :         tree cstval = get_val_across_arith_op (opcode, opnd1_type, opnd2,
    2076                 :            :                                                src_val, res_type);
    2077                 :       8353 :         if (cstval)
    2078                 :       8349 :           ret |= dest_lat->add_value (cstval, cs, src_val, src_idx,
    2079                 :            :                                       src_offset);
    2080                 :            :         else
    2081                 :          4 :           ret |= dest_lat->set_contains_variable ();
    2082                 :            :       }
    2083                 :            : 
    2084                 :            :   return ret;
    2085                 :            : }
    2086                 :            : 
    2087                 :            : /* Propagate values through a pass-through jump function JFUNC associated with
    2088                 :            :    edge CS, taking values from SRC_LAT and putting them into DEST_LAT.  SRC_IDX
    2089                 :            :    is the index of the source parameter.  PARM_TYPE is the type of the
    2090                 :            :    parameter to which the result is passed.  */
    2091                 :            : 
    2092                 :            : static bool
    2093                 :      42109 : propagate_vals_across_pass_through (cgraph_edge *cs, ipa_jump_func *jfunc,
    2094                 :            :                                     ipcp_lattice<tree> *src_lat,
    2095                 :            :                                     ipcp_lattice<tree> *dest_lat, int src_idx,
    2096                 :            :                                     tree parm_type)
    2097                 :            : {
    2098                 :      42109 :   return propagate_vals_across_arith_jfunc (cs,
    2099                 :            :                                 ipa_get_jf_pass_through_operation (jfunc),
    2100                 :            :                                 NULL_TREE,
    2101                 :            :                                 ipa_get_jf_pass_through_operand (jfunc),
    2102                 :      42109 :                                 src_lat, dest_lat, -1, src_idx, parm_type);
    2103                 :            : }
    2104                 :            : 
    2105                 :            : /* Propagate values through an ancestor jump function JFUNC associated with
    2106                 :            :    edge CS, taking values from SRC_LAT and putting them into DEST_LAT.  SRC_IDX
    2107                 :            :    is the index of the source parameter.  */
    2108                 :            : 
    2109                 :            : static bool
    2110                 :        867 : propagate_vals_across_ancestor (struct cgraph_edge *cs,
    2111                 :            :                                 struct ipa_jump_func *jfunc,
    2112                 :            :                                 ipcp_lattice<tree> *src_lat,
    2113                 :            :                                 ipcp_lattice<tree> *dest_lat, int src_idx)
    2114                 :            : {
    2115                 :        867 :   ipcp_value<tree> *src_val;
    2116                 :        867 :   bool ret = false;
    2117                 :            : 
    2118                 :        867 :   if (ipa_edge_within_scc (cs))
    2119                 :          7 :     return dest_lat->set_contains_variable ();
    2120                 :            : 
    2121                 :        957 :   for (src_val = src_lat->values; src_val; src_val = src_val->next)
    2122                 :            :     {
    2123                 :         97 :       tree t = ipa_get_jf_ancestor_result (jfunc, src_val->value);
    2124                 :            : 
    2125                 :         97 :       if (t)
    2126                 :         89 :         ret |= dest_lat->add_value (t, cs, src_val, src_idx);
    2127                 :            :       else
    2128                 :          8 :         ret |= dest_lat->set_contains_variable ();
    2129                 :            :     }
    2130                 :            : 
    2131                 :            :   return ret;
    2132                 :            : }
    2133                 :            : 
    2134                 :            : /* Propagate scalar values across jump function JFUNC that is associated with
    2135                 :            :    edge CS and put the values into DEST_LAT.  PARM_TYPE is the type of the
    2136                 :            :    parameter to which the result is passed.  */
    2137                 :            : 
    2138                 :            : static bool
    2139                 :    1803210 : propagate_scalar_across_jump_function (struct cgraph_edge *cs,
    2140                 :            :                                        struct ipa_jump_func *jfunc,
    2141                 :            :                                        ipcp_lattice<tree> *dest_lat,
    2142                 :            :                                        tree param_type)
    2143                 :            : {
    2144                 :    1803210 :   if (dest_lat->bottom)
    2145                 :            :     return false;
    2146                 :            : 
    2147                 :     392550 :   if (jfunc->type == IPA_JF_CONST)
    2148                 :            :     {
    2149                 :     132915 :       tree val = ipa_get_jf_constant (jfunc);
    2150                 :     132915 :       return dest_lat->add_value (val, cs, NULL, 0);
    2151                 :            :     }
    2152                 :     259635 :   else if (jfunc->type == IPA_JF_PASS_THROUGH
    2153                 :     156127 :            || jfunc->type == IPA_JF_ANCESTOR)
    2154                 :            :     {
    2155                 :     105109 :       class ipa_node_params *caller_info = IPA_NODE_REF (cs->caller);
    2156                 :     105109 :       ipcp_lattice<tree> *src_lat;
    2157                 :     105109 :       int src_idx;
    2158                 :     105109 :       bool ret;
    2159                 :            : 
    2160                 :     105109 :       if (jfunc->type == IPA_JF_PASS_THROUGH)
    2161                 :     103508 :         src_idx = ipa_get_jf_pass_through_formal_id (jfunc);
    2162                 :            :       else
    2163                 :       1601 :         src_idx = ipa_get_jf_ancestor_formal_id (jfunc);
    2164                 :            : 
    2165                 :     105109 :       src_lat = ipa_get_scalar_lat (caller_info, src_idx);
    2166                 :     105109 :       if (src_lat->bottom)
    2167                 :      61944 :         return dest_lat->set_contains_variable ();
    2168                 :            : 
    2169                 :            :       /* If we would need to clone the caller and cannot, do not propagate.  */
    2170                 :      43165 :       if (!ipcp_versionable_function_p (cs->caller)
    2171                 :      43165 :           && (src_lat->contains_variable
    2172                 :        122 :               || (src_lat->values_count > 1)))
    2173                 :        189 :         return dest_lat->set_contains_variable ();
    2174                 :            : 
    2175                 :      42976 :       if (jfunc->type == IPA_JF_PASS_THROUGH)
    2176                 :      42109 :         ret = propagate_vals_across_pass_through (cs, jfunc, src_lat,
    2177                 :            :                                                   dest_lat, src_idx, param_type);
    2178                 :            :       else
    2179                 :        867 :         ret = propagate_vals_across_ancestor (cs, jfunc, src_lat, dest_lat,
    2180                 :            :                                               src_idx);
    2181                 :            : 
    2182                 :      42976 :       if (src_lat->contains_variable)
    2183                 :      37718 :         ret |= dest_lat->set_contains_variable ();
    2184                 :            : 
    2185                 :      42976 :       return ret;
    2186                 :            :     }
    2187                 :            : 
    2188                 :            :   /* TODO: We currently do not handle member method pointers in IPA-CP (we only
    2189                 :            :      use it for indirect inlining), we should propagate them too.  */
    2190                 :     154526 :   return dest_lat->set_contains_variable ();
    2191                 :            : }
    2192                 :            : 
    2193                 :            : /* Propagate scalar values across jump function JFUNC that is associated with
    2194                 :            :    edge CS and describes argument IDX and put the values into DEST_LAT.  */
    2195                 :            : 
    2196                 :            : static bool
    2197                 :    1803210 : propagate_context_across_jump_function (cgraph_edge *cs,
    2198                 :            :                           ipa_jump_func *jfunc, int idx,
    2199                 :            :                           ipcp_lattice<ipa_polymorphic_call_context> *dest_lat)
    2200                 :            : {
    2201                 :    1803210 :   ipa_edge_args *args = IPA_EDGE_REF (cs);
    2202                 :    1803210 :   if (dest_lat->bottom)
    2203                 :            :     return false;
    2204                 :     436277 :   bool ret = false;
    2205                 :     436277 :   bool added_sth = false;
    2206                 :     436277 :   bool type_preserved = true;
    2207                 :            : 
    2208                 :     436277 :   ipa_polymorphic_call_context edge_ctx, *edge_ctx_ptr
    2209                 :     436277 :     = ipa_get_ith_polymorhic_call_context (args, idx);
    2210                 :            : 
    2211                 :       9614 :   if (edge_ctx_ptr)
    2212                 :       9614 :     edge_ctx = *edge_ctx_ptr;
    2213                 :            : 
    2214                 :     436277 :   if (jfunc->type == IPA_JF_PASS_THROUGH
    2215                 :     332598 :       || jfunc->type == IPA_JF_ANCESTOR)
    2216                 :            :     {
    2217                 :     105279 :       class ipa_node_params *caller_info = IPA_NODE_REF (cs->caller);
    2218                 :     105279 :       int src_idx;
    2219                 :     105279 :       ipcp_lattice<ipa_polymorphic_call_context> *src_lat;
    2220                 :            : 
    2221                 :            :       /* TODO: Once we figure out how to propagate speculations, it will
    2222                 :            :          probably be a good idea to switch to speculation if type_preserved is
    2223                 :            :          not set instead of punting.  */
    2224                 :     105279 :       if (jfunc->type == IPA_JF_PASS_THROUGH)
    2225                 :            :         {
    2226                 :     103679 :           if (ipa_get_jf_pass_through_operation (jfunc) != NOP_EXPR)
    2227                 :       6672 :             goto prop_fail;
    2228                 :      97007 :           type_preserved = ipa_get_jf_pass_through_type_preserved (jfunc);
    2229                 :      97007 :           src_idx = ipa_get_jf_pass_through_formal_id (jfunc);
    2230                 :            :         }
    2231                 :            :       else
    2232                 :            :         {
    2233                 :       1600 :           type_preserved = ipa_get_jf_ancestor_type_preserved (jfunc);
    2234                 :       1600 :           src_idx = ipa_get_jf_ancestor_formal_id (jfunc);
    2235                 :            :         }
    2236                 :            : 
    2237                 :      98607 :       src_lat = ipa_get_poly_ctx_lat (caller_info, src_idx);
    2238                 :            :       /* If we would need to clone the caller and cannot, do not propagate.  */
    2239                 :      98607 :       if (!ipcp_versionable_function_p (cs->caller)
    2240                 :      98607 :           && (src_lat->contains_variable
    2241                 :       9773 :               || (src_lat->values_count > 1)))
    2242                 :       1821 :         goto prop_fail;
    2243                 :            : 
    2244                 :      96786 :       ipcp_value<ipa_polymorphic_call_context> *src_val;
    2245                 :      97522 :       for (src_val = src_lat->values; src_val; src_val = src_val->next)
    2246                 :            :         {
    2247                 :        736 :           ipa_polymorphic_call_context cur = src_val->value;
    2248                 :            : 
    2249                 :        736 :           if (!type_preserved)
    2250                 :        565 :             cur.possible_dynamic_type_change (cs->in_polymorphic_cdtor);
    2251                 :        736 :           if (jfunc->type == IPA_JF_ANCESTOR)
    2252                 :        282 :             cur.offset_by (ipa_get_jf_ancestor_offset (jfunc));
    2253                 :            :           /* TODO: In cases we know how the context is going to be used,
    2254                 :            :              we can improve the result by passing proper OTR_TYPE.  */
    2255                 :        736 :           cur.combine_with (edge_ctx);
    2256                 :        736 :           if (!cur.useless_p ())
    2257                 :            :             {
    2258                 :        525 :               if (src_lat->contains_variable
    2259                 :        525 :                   && !edge_ctx.equal_to (cur))
    2260                 :        176 :                 ret |= dest_lat->set_contains_variable ();
    2261                 :        525 :               ret |= dest_lat->add_value (cur, cs, src_val, src_idx);
    2262                 :        525 :               added_sth = true;
    2263                 :            :             }
    2264                 :            :         }
    2265                 :            :     }
    2266                 :            : 
    2267                 :     427784 :  prop_fail:
    2268                 :     436277 :   if (!added_sth)
    2269                 :            :     {
    2270                 :     435789 :       if (!edge_ctx.useless_p ())
    2271                 :       6290 :         ret |= dest_lat->add_value (edge_ctx, cs);
    2272                 :            :       else
    2273                 :     429499 :         ret |= dest_lat->set_contains_variable ();
    2274                 :            :     }
    2275                 :            : 
    2276                 :            :   return ret;
    2277                 :            : }
    2278                 :            : 
    2279                 :            : /* Propagate bits across jfunc that is associated with
    2280                 :            :    edge cs and update dest_lattice accordingly.  */
    2281                 :            : 
    2282                 :            : bool
    2283                 :    1803210 : propagate_bits_across_jump_function (cgraph_edge *cs, int idx,
    2284                 :            :                                      ipa_jump_func *jfunc,
    2285                 :            :                                      ipcp_bits_lattice *dest_lattice)
    2286                 :            : {
    2287                 :    1803210 :   if (dest_lattice->bottom_p ())
    2288                 :            :     return false;
    2289                 :            : 
    2290                 :     253776 :   enum availability availability;
    2291                 :     253776 :   cgraph_node *callee = cs->callee->function_symbol (&availability);
    2292                 :     253776 :   class ipa_node_params *callee_info = IPA_NODE_REF (callee);
    2293                 :     253776 :   tree parm_type = ipa_get_type (callee_info, idx);
    2294                 :            : 
    2295                 :            :   /* For K&R C programs, ipa_get_type() could return NULL_TREE.  Avoid the
    2296                 :            :      transform for these cases.  Similarly, we can have bad type mismatches
    2297                 :            :      with LTO, avoid doing anything with those too.  */
    2298                 :     253776 :   if (!parm_type
    2299                 :     253776 :       || (!INTEGRAL_TYPE_P (parm_type) && !POINTER_TYPE_P (parm_type)))
    2300                 :            :     {
    2301                 :      15811 :       if (dump_file && (dump_flags & TDF_DETAILS))
    2302                 :          7 :         fprintf (dump_file, "Setting dest_lattice to bottom, because type of "
    2303                 :            :                  "param %i of %s is NULL or unsuitable for bits propagation\n",
    2304                 :          7 :                  idx, cs->callee->dump_name ());
    2305                 :            : 
    2306                 :      15811 :       return dest_lattice->set_to_bottom ();
    2307                 :            :     }
    2308                 :            : 
    2309                 :     237965 :   unsigned precision = TYPE_PRECISION (parm_type);
    2310                 :     237965 :   signop sgn = TYPE_SIGN (parm_type);
    2311                 :            : 
    2312                 :     237965 :   if (jfunc->type == IPA_JF_PASS_THROUGH
    2313                 :     187843 :       || jfunc->type == IPA_JF_ANCESTOR)
    2314                 :            :     {
    2315                 :      50861 :       class ipa_node_params *caller_info = IPA_NODE_REF (cs->caller);
    2316                 :      50861 :       tree operand = NULL_TREE;
    2317                 :      50861 :       enum tree_code code;
    2318                 :      50861 :       unsigned src_idx;
    2319                 :            : 
    2320                 :      50861 :       if (jfunc->type == IPA_JF_PASS_THROUGH)
    2321                 :            :         {
    2322                 :      50122 :           code = ipa_get_jf_pass_through_operation (jfunc);
    2323                 :      50122 :           src_idx = ipa_get_jf_pass_through_formal_id (jfunc);
    2324                 :      50122 :           if (code != NOP_EXPR)
    2325                 :       1677 :             operand = ipa_get_jf_pass_through_operand (jfunc);
    2326                 :            :         }
    2327                 :            :       else
    2328                 :            :         {
    2329                 :        739 :           code = POINTER_PLUS_EXPR;
    2330                 :        739 :           src_idx = ipa_get_jf_ancestor_formal_id (jfunc);
    2331                 :        739 :           unsigned HOST_WIDE_INT offset = ipa_get_jf_ancestor_offset (jfunc) / BITS_PER_UNIT;
    2332                 :        739 :           operand = build_int_cstu (size_type_node, offset);
    2333                 :            :         }
    2334                 :            : 
    2335                 :      50861 :       class ipcp_param_lattices *src_lats
    2336                 :      50861 :         = ipa_get_parm_lattices (caller_info, src_idx);
    2337                 :            : 
    2338                 :            :       /* Try to propagate bits if src_lattice is bottom, but jfunc is known.
    2339                 :            :          for eg consider:
    2340                 :            :          int f(int x)
    2341                 :            :          {
    2342                 :            :            g (x & 0xff);
    2343                 :            :          }
    2344                 :            :          Assume lattice for x is bottom, however we can still propagate
    2345                 :            :          result of x & 0xff == 0xff, which gets computed during ccp1 pass
    2346                 :            :          and we store it in jump function during analysis stage.  */
    2347                 :            : 
    2348                 :      50861 :       if (src_lats->bits_lattice.bottom_p ()
    2349                 :      50861 :           && jfunc->bits)
    2350                 :      37123 :         return dest_lattice->meet_with (jfunc->bits->value, jfunc->bits->mask,
    2351                 :      37123 :                                         precision);
    2352                 :            :       else
    2353                 :      13738 :         return dest_lattice->meet_with (src_lats->bits_lattice, precision, sgn,
    2354                 :      13738 :                                         code, operand);
    2355                 :            :     }
    2356                 :            : 
    2357                 :     187104 :   else if (jfunc->type == IPA_JF_ANCESTOR)
    2358                 :            :     return dest_lattice->set_to_bottom ();
    2359                 :     187104 :   else if (jfunc->bits)
    2360                 :     187104 :     return dest_lattice->meet_with (jfunc->bits->value, jfunc->bits->mask,
    2361                 :     187104 :                                     precision);
    2362                 :            :   else
    2363                 :          0 :     return dest_lattice->set_to_bottom ();
    2364                 :            : }
    2365                 :            : 
    2366                 :            : /* Propagate value range across jump function JFUNC that is associated with
    2367                 :            :    edge CS with param of callee of PARAM_TYPE and update DEST_PLATS
    2368                 :            :    accordingly.  */
    2369                 :            : 
    2370                 :            : static bool
    2371                 :    1802270 : propagate_vr_across_jump_function (cgraph_edge *cs, ipa_jump_func *jfunc,
    2372                 :            :                                    class ipcp_param_lattices *dest_plats,
    2373                 :            :                                    tree param_type)
    2374                 :            : {
    2375                 :    1802270 :   ipcp_vr_lattice *dest_lat = &dest_plats->m_value_range;
    2376                 :            : 
    2377                 :    1802270 :   if (dest_lat->bottom_p ())
    2378                 :            :     return false;
    2379                 :            : 
    2380                 :     278617 :   if (!param_type
    2381                 :     278617 :       || (!INTEGRAL_TYPE_P (param_type)
    2382                 :     149844 :           && !POINTER_TYPE_P (param_type)))
    2383                 :      15807 :     return dest_lat->set_to_bottom ();
    2384                 :            : 
    2385                 :     262810 :   if (jfunc->type == IPA_JF_PASS_THROUGH)
    2386                 :            :     {
    2387                 :      45014 :       enum tree_code operation = ipa_get_jf_pass_through_operation (jfunc);
    2388                 :      45014 :       class ipa_node_params *caller_info = IPA_NODE_REF (cs->caller);
    2389                 :      45014 :       int src_idx = ipa_get_jf_pass_through_formal_id (jfunc);
    2390                 :      45014 :       class ipcp_param_lattices *src_lats
    2391                 :      45014 :         = ipa_get_parm_lattices (caller_info, src_idx);
    2392                 :      45014 :       tree operand_type = ipa_get_type (caller_info, src_idx);
    2393                 :            : 
    2394                 :      45014 :       if (src_lats->m_value_range.bottom_p ())
    2395                 :      81063 :         return dest_lat->set_to_bottom ();
    2396                 :            : 
    2397                 :       8241 :       value_range vr;
    2398                 :       8241 :       if (TREE_CODE_CLASS (operation) == tcc_unary)
    2399                 :       7608 :         ipa_vr_operation_and_type_effects (&vr,
    2400                 :            :                                            &src_lats->m_value_range.m_vr,
    2401                 :            :                                            operation, param_type,
    2402                 :            :                                            operand_type);
    2403                 :            :       /* A crude way to prevent unbounded number of value range updates
    2404                 :            :          in SCC components.  We should allow limited number of updates within
    2405                 :            :          SCC, too.  */
    2406                 :        633 :       else if (!ipa_edge_within_scc (cs))
    2407                 :            :         {
    2408                 :        113 :           tree op = ipa_get_jf_pass_through_operand (jfunc);
    2409                 :        113 :           value_range op_vr (op, op);
    2410                 :        113 :           value_range op_res,res;
    2411                 :            : 
    2412                 :        113 :           range_fold_binary_expr (&op_res, operation, operand_type,
    2413                 :        113 :                                   &src_lats->m_value_range.m_vr, &op_vr);
    2414                 :        113 :           ipa_vr_operation_and_type_effects (&vr,
    2415                 :            :                                              &op_res,
    2416                 :            :                                              NOP_EXPR, param_type,
    2417                 :            :                                              operand_type);
    2418                 :            :         }
    2419                 :       8241 :       if (!vr.undefined_p () && !vr.varying_p ())
    2420                 :            :         {
    2421                 :       7517 :           if (jfunc->m_vr)
    2422                 :            :             {
    2423                 :        102 :               value_range jvr;
    2424                 :        204 :               if (ipa_vr_operation_and_type_effects (&jvr, jfunc->m_vr,
    2425                 :            :                                                      NOP_EXPR,
    2426                 :            :                                                      param_type,
    2427                 :            :                                                      jfunc->m_vr->type ()))
    2428                 :        102 :                 vr.intersect (jvr);
    2429                 :            :             }
    2430                 :       7517 :           return dest_lat->meet_with (&vr);
    2431                 :            :         }
    2432                 :            :     }
    2433                 :     217796 :   else if (jfunc->type == IPA_JF_CONST)
    2434                 :            :     {
    2435                 :     151285 :       tree val = ipa_get_jf_constant (jfunc);
    2436                 :     151285 :       if (TREE_CODE (val) == INTEGER_CST)
    2437                 :            :         {
    2438                 :     102952 :           val = fold_convert (param_type, val);
    2439                 :     102952 :           if (TREE_OVERFLOW_P (val))
    2440                 :          1 :             val = drop_tree_overflow (val);
    2441                 :            : 
    2442                 :     102952 :           value_range tmpvr (val, val);
    2443                 :     102952 :           return dest_lat->meet_with (&tmpvr);
    2444                 :            :         }
    2445                 :            :     }
    2446                 :            : 
    2447                 :     115568 :   value_range vr;
    2448                 :     115568 :   if (jfunc->m_vr
    2449                 :     115568 :       && ipa_vr_operation_and_type_effects (&vr, jfunc->m_vr, NOP_EXPR,
    2450                 :            :                                             param_type,
    2451                 :            :                                             jfunc->m_vr->type ()))
    2452                 :      96187 :     return dest_lat->meet_with (&vr);
    2453                 :            :   else
    2454                 :      19381 :     return dest_lat->set_to_bottom ();
    2455                 :            : }
    2456                 :            : 
    2457                 :            : /* If DEST_PLATS already has aggregate items, check that aggs_by_ref matches
    2458                 :            :    NEW_AGGS_BY_REF and if not, mark all aggs as bottoms and return true (in all
    2459                 :            :    other cases, return false).  If there are no aggregate items, set
    2460                 :            :    aggs_by_ref to NEW_AGGS_BY_REF.  */
    2461                 :            : 
    2462                 :            : static bool
    2463                 :      17987 : set_check_aggs_by_ref (class ipcp_param_lattices *dest_plats,
    2464                 :            :                        bool new_aggs_by_ref)
    2465                 :            : {
    2466                 :          0 :   if (dest_plats->aggs)
    2467                 :            :     {
    2468                 :       9197 :       if (dest_plats->aggs_by_ref != new_aggs_by_ref)
    2469                 :            :         {
    2470                 :          0 :           set_agg_lats_to_bottom (dest_plats);
    2471                 :          0 :           return true;
    2472                 :            :         }
    2473                 :            :     }
    2474                 :            :   else
    2475                 :          0 :     dest_plats->aggs_by_ref = new_aggs_by_ref;
    2476                 :            :   return false;
    2477                 :            : }
    2478                 :            : 
    2479                 :            : /* Walk aggregate lattices in DEST_PLATS from ***AGLAT on, until ***aglat is an
    2480                 :            :    already existing lattice for the given OFFSET and SIZE, marking all skipped
    2481                 :            :    lattices as containing variable and checking for overlaps.  If there is no
    2482                 :            :    already existing lattice for the OFFSET and VAL_SIZE, create one, initialize
    2483                 :            :    it with offset, size and contains_variable to PRE_EXISTING, and return true,
    2484                 :            :    unless there are too many already.  If there are two many, return false.  If
    2485                 :            :    there are overlaps turn whole DEST_PLATS to bottom and return false.  If any
    2486                 :            :    skipped lattices were newly marked as containing variable, set *CHANGE to
    2487                 :            :    true.  MAX_AGG_ITEMS is the maximum number of lattices.  */
    2488                 :            : 
    2489                 :            : static bool
    2490                 :      56907 : merge_agg_lats_step (class ipcp_param_lattices *dest_plats,
    2491                 :            :                      HOST_WIDE_INT offset, HOST_WIDE_INT val_size,
    2492                 :            :                      struct ipcp_agg_lattice ***aglat,
    2493                 :            :                      bool pre_existing, bool *change, int max_agg_items)
    2494                 :            : {
    2495                 :      56907 :   gcc_checking_assert (offset >= 0);
    2496                 :            : 
    2497                 :      57844 :   while (**aglat && (**aglat)->offset < offset)
    2498                 :            :     {
    2499                 :        937 :       if ((**aglat)->offset + (**aglat)->size > offset)
    2500                 :            :         {
    2501                 :          0 :           set_agg_lats_to_bottom (dest_plats);
    2502                 :          0 :           return false;
    2503                 :            :         }
    2504                 :        937 :       *change |= (**aglat)->set_contains_variable ();
    2505                 :        937 :       *aglat = &(**aglat)->next;
    2506                 :            :     }
    2507                 :            : 
    2508                 :      56907 :   if (**aglat && (**aglat)->offset == offset)
    2509                 :            :     {
    2510                 :      26750 :       if ((**aglat)->size != val_size)
    2511                 :            :         {
    2512                 :          3 :           set_agg_lats_to_bottom (dest_plats);
    2513                 :          3 :           return false;
    2514                 :            :         }
    2515                 :      26747 :       gcc_assert (!(**aglat)->next
    2516                 :            :                   || (**aglat)->next->offset >= offset + val_size);
    2517                 :            :       return true;
    2518                 :            :     }
    2519                 :            :   else
    2520                 :            :     {
    2521                 :      30157 :       struct ipcp_agg_lattice *new_al;
    2522                 :            : 
    2523                 :      30157 :       if (**aglat && (**aglat)->offset < offset + val_size)
    2524                 :            :         {
    2525                 :          0 :           set_agg_lats_to_bottom (dest_plats);
    2526                 :          0 :           return false;
    2527                 :            :         }
    2528                 :      30157 :       if (dest_plats->aggs_count == max_agg_items)
    2529                 :            :         return false;
    2530                 :      30155 :       dest_plats->aggs_count++;
    2531                 :      30155 :       new_al = ipcp_agg_lattice_pool.allocate ();
    2532                 :      30155 :       memset (new_al, 0, sizeof (*new_al));
    2533                 :            : 
    2534                 :      30155 :       new_al->offset = offset;
    2535                 :      30155 :       new_al->size = val_size;
    2536                 :      30155 :       new_al->contains_variable = pre_existing;
    2537                 :            : 
    2538                 :      30155 :       new_al->next = **aglat;
    2539                 :      30155 :       **aglat = new_al;
    2540                 :      30155 :       return true;
    2541                 :            :     }
    2542                 :            : }
    2543                 :            : 
    2544                 :            : /* Set all AGLAT and all other aggregate lattices reachable by next pointers as
    2545                 :            :    containing an unknown value.  */
    2546                 :            : 
    2547                 :            : static bool
    2548                 :      17982 : set_chain_of_aglats_contains_variable (struct ipcp_agg_lattice *aglat)
    2549                 :            : {
    2550                 :          0 :   bool ret = false;
    2551                 :      18684 :   while (aglat)
    2552                 :            :     {
    2553                 :        702 :       ret |= aglat->set_contains_variable ();
    2554                 :        702 :       aglat = aglat->next;
    2555                 :            :     }
    2556                 :      17982 :   return ret;
    2557                 :            : }
    2558                 :            : 
    2559                 :            : /* Merge existing aggregate lattices in SRC_PLATS to DEST_PLATS, subtracting
    2560                 :            :    DELTA_OFFSET.  CS is the call graph edge and SRC_IDX the index of the source
    2561                 :            :    parameter used for lattice value sources.  Return true if DEST_PLATS changed
    2562                 :            :    in any way.  */
    2563                 :            : 
    2564                 :            : static bool
    2565                 :       1607 : merge_aggregate_lattices (struct cgraph_edge *cs,
    2566                 :            :                           class ipcp_param_lattices *dest_plats,
    2567                 :            :                           class ipcp_param_lattices *src_plats,
    2568                 :            :                           int src_idx, HOST_WIDE_INT offset_delta)
    2569                 :            : {
    2570                 :       1607 :   bool pre_existing = dest_plats->aggs != NULL;
    2571                 :       1607 :   struct ipcp_agg_lattice **dst_aglat;
    2572                 :       1607 :   bool ret = false;
    2573                 :            : 
    2574                 :       1607 :   if (set_check_aggs_by_ref (dest_plats, src_plats->aggs_by_ref))
    2575                 :          0 :     return true;
    2576                 :       1607 :   if (src_plats->aggs_bottom)
    2577                 :          2 :     return set_agg_lats_contain_variable (dest_plats);
    2578                 :       1605 :   if (src_plats->aggs_contain_variable)
    2579                 :        808 :     ret |= set_agg_lats_contain_variable (dest_plats);
    2580                 :       1605 :   dst_aglat = &dest_plats->aggs;
    2581                 :            : 
    2582                 :       1605 :   int max_agg_items = opt_for_fn (cs->callee->function_symbol ()->decl,
    2583                 :            :                                   param_ipa_max_agg_items);
    2584                 :       1605 :   for (struct ipcp_agg_lattice *src_aglat = src_plats->aggs;
    2585                 :       5908 :        src_aglat;
    2586                 :       4303 :        src_aglat = src_aglat->next)
    2587                 :            :     {
    2588                 :       4303 :       HOST_WIDE_INT new_offset = src_aglat->offset - offset_delta;
    2589                 :            : 
    2590                 :       4303 :       if (new_offset < 0)
    2591                 :          1 :         continue;
    2592                 :       4302 :       if (merge_agg_lats_step (dest_plats, new_offset, src_aglat->size,
    2593                 :            :                                &dst_aglat, pre_existing, &ret, max_agg_items))
    2594                 :            :         {
    2595                 :       4302 :           struct ipcp_agg_lattice *new_al = *dst_aglat;
    2596                 :            : 
    2597                 :       4302 :           dst_aglat = &(*dst_aglat)->next;
    2598                 :       4302 :           if (src_aglat->bottom)
    2599                 :            :             {
    2600                 :          1 :               ret |= new_al->set_contains_variable ();
    2601                 :          1 :               continue;
    2602                 :            :             }
    2603                 :       4301 :           if (src_aglat->contains_variable)
    2604                 :       1571 :             ret |= new_al->set_contains_variable ();
    2605                 :       4301 :           for (ipcp_value<tree> *val = src_aglat->values;
    2606                 :       7791 :                val;
    2607                 :       3490 :                val = val->next)
    2608                 :       3490 :             ret |= new_al->add_value (val->value, cs, val, src_idx,
    2609                 :            :                                       src_aglat->offset);
    2610                 :            :         }
    2611                 :          0 :       else if (dest_plats->aggs_bottom)
    2612                 :            :         return true;
    2613                 :            :     }
    2614                 :       1605 :   ret |= set_chain_of_aglats_contains_variable (*dst_aglat);
    2615                 :       1605 :   return ret;
    2616                 :            : }
    2617                 :            : 
    2618                 :            : /* Determine whether there is anything to propagate FROM SRC_PLATS through a
    2619                 :            :    pass-through JFUNC and if so, whether it has conform and conforms to the
    2620                 :            :    rules about propagating values passed by reference.  */
    2621                 :            : 
    2622                 :            : static bool
    2623                 :     100188 : agg_pass_through_permissible_p (class ipcp_param_lattices *src_plats,
    2624                 :            :                                 struct ipa_jump_func *jfunc)
    2625                 :            : {
    2626                 :     100188 :   return src_plats->aggs
    2627                 :     100188 :     && (!src_plats->aggs_by_ref
    2628                 :       1972 :         || ipa_get_jf_pass_through_agg_preserved (jfunc));
    2629                 :            : }
    2630                 :            : 
    2631                 :            : /* Propagate values through ITEM, jump function for a part of an aggregate,
    2632                 :            :    into corresponding aggregate lattice AGLAT.  CS is the call graph edge
    2633                 :            :    associated with the jump function.  Return true if AGLAT changed in any
    2634                 :            :    way.  */
    2635                 :            : 
    2636                 :            : static bool
    2637                 :      52600 : propagate_aggregate_lattice (struct cgraph_edge *cs,
    2638                 :            :                              struct ipa_agg_jf_item *item,
    2639                 :            :                              struct ipcp_agg_lattice *aglat)
    2640                 :            : {
    2641                 :      52600 :   class ipa_node_params *caller_info;
    2642                 :      52600 :   class ipcp_param_lattices *src_plats;
    2643                 :      52600 :   struct ipcp_lattice<tree> *src_lat;
    2644                 :      52600 :   HOST_WIDE_INT src_offset;
    2645                 :      52600 :   int src_idx;
    2646                 :      52600 :   tree load_type;
    2647                 :      52600 :   bool ret;
    2648                 :            : 
    2649                 :      52600 :   if (item->jftype == IPA_JF_CONST)
    2650                 :            :     {
    2651                 :      48432 :       tree value = item->value.constant;
    2652                 :            : 
    2653                 :      48432 :       gcc_checking_assert (is_gimple_ip_invariant (value));
    2654                 :      48432 :       return aglat->add_value (value, cs, NULL, 0);
    2655                 :            :     }
    2656                 :            : 
    2657                 :       4168 :   gcc_checking_assert (item->jftype == IPA_JF_PASS_THROUGH
    2658                 :            :                        || item->jftype == IPA_JF_LOAD_AGG);
    2659                 :            : 
    2660                 :       4168 :   caller_info = IPA_NODE_REF (cs->caller);
    2661                 :       4168 :   src_idx = item->value.pass_through.formal_id;
    2662                 :       4168 :   src_plats = ipa_get_parm_lattices (caller_info, src_idx);
    2663                 :            : 
    2664                 :       4168 :   if (item->jftype == IPA_JF_PASS_THROUGH)
    2665                 :            :     {
    2666                 :       1310 :       load_type = NULL_TREE;
    2667                 :       1310 :       src_lat = &src_plats->itself;
    2668                 :       1310 :       src_offset = -1;
    2669                 :            :     }
    2670                 :            :   else
    2671                 :            :     {
    2672                 :       2858 :       HOST_WIDE_INT load_offset = item->value.load_agg.offset;
    2673                 :       2858 :       struct ipcp_agg_lattice *src_aglat;
    2674                 :            : 
    2675                 :       3749 :       for (src_aglat = src_plats->aggs; src_aglat; src_aglat = src_aglat->next)
    2676                 :       2218 :         if (src_aglat->offset >= load_offset)
    2677                 :            :           break;
    2678                 :            : 
    2679                 :       2858 :       load_type = item->value.load_agg.type;
    2680                 :       2858 :       if (!src_aglat
    2681                 :       1327 :           || src_aglat->offset > load_offset
    2682                 :       1315 :           || src_aglat->size != tree_to_shwi (TYPE_SIZE (load_type))
    2683                 :       4173 :           || src_plats->aggs_by_ref != item->value.load_agg.by_ref)
    2684                 :       1543 :         return aglat->set_contains_variable ();
    2685                 :            : 
    2686                 :            :       src_lat = src_aglat;
    2687                 :            :       src_offset = load_offset;
    2688                 :            :     }
    2689                 :            : 
    2690                 :       2625 :   if (src_lat->bottom
    2691                 :       2625 :       || (!ipcp_versionable_function_p (cs->caller)
    2692                 :       2625 :           && !src_lat->is_single_const ()))
    2693                 :        985 :     return aglat->set_contains_variable ();
    2694                 :            : 
    2695                 :       1640 :   ret = propagate_vals_across_arith_jfunc (cs,
    2696                 :            :                                            item->value.pass_through.operation,
    2697                 :            :                                            load_type,
    2698                 :            :                                            item->value.pass_through.operand,
    2699                 :            :                                            src_lat, aglat,
    2700                 :            :                                            src_offset,
    2701                 :            :                                            src_idx,
    2702                 :            :                                            item->type);
    2703                 :            : 
    2704                 :       1640 :   if (src_lat->contains_variable)
    2705                 :        734 :     ret |= aglat->set_contains_variable ();
    2706                 :            : 
    2707                 :            :   return ret;
    2708                 :            : }
    2709                 :            : 
    2710                 :            : /* Propagate scalar values across jump function JFUNC that is associated with
    2711                 :            :    edge CS and put the values into DEST_LAT.  */
    2712                 :            : 
    2713                 :            : static bool
    2714                 :    1803210 : propagate_aggs_across_jump_function (struct cgraph_edge *cs,
    2715                 :            :                                      struct ipa_jump_func *jfunc,
    2716                 :            :                                      class ipcp_param_lattices *dest_plats)
    2717                 :            : {
    2718                 :    1803210 :   bool ret = false;
    2719                 :            : 
    2720                 :    1803210 :   if (dest_plats->aggs_bottom)
    2721                 :            :     return false;
    2722                 :            : 
    2723                 :     435959 :   if (jfunc->type == IPA_JF_PASS_THROUGH
    2724                 :     435959 :       && ipa_get_jf_pass_through_operation (jfunc) == NOP_EXPR)
    2725                 :            :     {
    2726                 :      96948 :       class ipa_node_params *caller_info = IPA_NODE_REF (cs->caller);
    2727                 :      96948 :       int src_idx = ipa_get_jf_pass_through_formal_id (jfunc);
    2728                 :      96948 :       class ipcp_param_lattices *src_plats;
    2729                 :            : 
    2730                 :      96948 :       src_plats = ipa_get_parm_lattices (caller_info, src_idx);
    2731                 :      96948 :       if (agg_pass_through_permissible_p (src_plats, jfunc))
    2732                 :            :         {
    2733                 :            :           /* Currently we do not produce clobber aggregate jump
    2734                 :            :              functions, replace with merging when we do.  */
    2735                 :       1574 :           gcc_assert (!jfunc->agg.items);
    2736                 :       1574 :           ret |= merge_aggregate_lattices (cs, dest_plats, src_plats,
    2737                 :            :                                            src_idx, 0);
    2738                 :            :         }
    2739                 :            :       else
    2740                 :      95374 :         ret |= set_agg_lats_contain_variable (dest_plats);
    2741                 :            :     }
    2742                 :     339011 :   else if (jfunc->type == IPA_JF_ANCESTOR
    2743                 :     339011 :            && ipa_get_jf_ancestor_agg_preserved (jfunc))
    2744                 :            :     {
    2745                 :        430 :       class ipa_node_params *caller_info = IPA_NODE_REF (cs->caller);
    2746                 :        430 :       int src_idx = ipa_get_jf_ancestor_formal_id (jfunc);
    2747                 :        430 :       class ipcp_param_lattices *src_plats;
    2748                 :            : 
    2749                 :        430 :       src_plats = ipa_get_parm_lattices (caller_info, src_idx);
    2750                 :        430 :       if (src_plats->aggs && src_plats->aggs_by_ref)
    2751                 :            :         {
    2752                 :            :           /* Currently we do not produce clobber aggregate jump
    2753                 :            :              functions, replace with merging when we do.  */
    2754                 :         33 :           gcc_assert (!jfunc->agg.items);
    2755                 :         33 :           ret |= merge_aggregate_lattices (cs, dest_plats, src_plats, src_idx,
    2756                 :            :                                            ipa_get_jf_ancestor_offset (jfunc));
    2757                 :            :         }
    2758                 :        397 :       else if (!src_plats->aggs_by_ref)
    2759                 :        397 :         ret |= set_agg_lats_to_bottom (dest_plats);
    2760                 :            :       else
    2761                 :          0 :         ret |= set_agg_lats_contain_variable (dest_plats);
    2762                 :            :     }
    2763                 :     338581 :   else if (jfunc->agg.items)
    2764                 :            :     {
    2765                 :      16380 :       bool pre_existing = dest_plats->aggs != NULL;
    2766                 :      16380 :       struct ipcp_agg_lattice **aglat = &dest_plats->aggs;
    2767                 :      16380 :       struct ipa_agg_jf_item *item;
    2768                 :      16380 :       int i;
    2769                 :            : 
    2770                 :      16380 :       if (set_check_aggs_by_ref (dest_plats, jfunc->agg.by_ref))
    2771                 :          3 :         return true;
    2772                 :            : 
    2773                 :      16380 :       int max_agg_items = opt_for_fn (cs->callee->function_symbol ()->decl,
    2774                 :            :                                       param_ipa_max_agg_items);
    2775                 :      69244 :       FOR_EACH_VEC_ELT (*jfunc->agg.items, i, item)
    2776                 :            :         {
    2777                 :      52867 :           HOST_WIDE_INT val_size;
    2778                 :            : 
    2779                 :      52867 :           if (item->offset < 0 || item->jftype == IPA_JF_UNKNOWN)
    2780                 :        262 :             continue;
    2781                 :      52605 :           val_size = tree_to_shwi (TYPE_SIZE (item->type));
    2782                 :            : 
    2783                 :      52605 :           if (merge_agg_lats_step (dest_plats, item->offset, val_size,
    2784                 :            :                                    &aglat, pre_existing, &ret, max_agg_items))
    2785                 :            :             {
    2786                 :      52600 :               ret |= propagate_aggregate_lattice (cs, item, *aglat);
    2787                 :      52600 :               aglat = &(*aglat)->next;
    2788                 :            :             }
    2789                 :          5 :           else if (dest_plats->aggs_bottom)
    2790                 :            :             return true;
    2791                 :            :         }
    2792                 :            : 
    2793                 :      32754 :       ret |= set_chain_of_aglats_contains_variable (*aglat);
    2794                 :            :     }
    2795                 :            :   else
    2796                 :     322201 :     ret |= set_agg_lats_contain_variable (dest_plats);
    2797                 :            : 
    2798                 :     435956 :   return ret;
    2799                 :            : }
    2800                 :            : 
    2801                 :            : /* Return true if on the way cfrom CS->caller to the final (non-alias and
    2802                 :            :    non-thunk) destination, the call passes through a thunk.  */
    2803                 :            : 
    2804                 :            : static bool
    2805                 :     933261 : call_passes_through_thunk_p (cgraph_edge *cs)
    2806                 :            : {
    2807                 :     933261 :   cgraph_node *alias_or_thunk = cs->callee;
    2808                 :    1021970 :   while (alias_or_thunk->alias)
    2809                 :    1021970 :     alias_or_thunk = alias_or_thunk->get_alias_target ();
    2810                 :     933261 :   return alias_or_thunk->thunk.thunk_p;
    2811                 :            : }
    2812                 :            : 
    2813                 :            : /* Propagate constants from the caller to the callee of CS.  INFO describes the
    2814                 :            :    caller.  */
    2815                 :            : 
    2816                 :            : static bool
    2817                 :    3289230 : propagate_constants_across_call (struct cgraph_edge *cs)
    2818                 :            : {
    2819                 :    3289230 :   class ipa_node_params *callee_info;
    2820                 :    3289230 :   enum availability availability;
    2821                 :    3289230 :   cgraph_node *callee;
    2822                 :    3289230 :   class ipa_edge_args *args;
    2823                 :    3289230 :   bool ret = false;
    2824                 :    3289230 :   int i, args_count, parms_count;
    2825                 :            : 
    2826                 :    3289230 :   callee = cs->callee->function_symbol (&availability);
    2827                 :    3289230 :   if (!callee->definition)
    2828                 :            :     return false;
    2829                 :    1080540 :   gcc_checking_assert (callee->has_gimple_body_p ());
    2830                 :    1080540 :   callee_info = IPA_NODE_REF (callee);
    2831                 :    1080540 :   if (!callee_info)
    2832                 :       9129 :     return false;
    2833                 :            : 
    2834                 :    1071410 :   args = IPA_EDGE_REF (cs);
    2835                 :    1071410 :   parms_count = ipa_get_param_count (callee_info);
    2836                 :    1071410 :   if (parms_count == 0)
    2837                 :            :     return false;
    2838                 :     925275 :   if (!args
    2839                 :     925221 :       || !opt_for_fn (cs->caller->decl, flag_ipa_cp)
    2840                 :    1850500 :       || !opt_for_fn (cs->caller->decl, optimize))
    2841                 :            :     {
    2842                 :        125 :       for (i = 0; i < parms_count; i++)
    2843                 :         71 :         ret |= set_all_contains_variable (ipa_get_parm_lattices (callee_info,
    2844                 :            :                                                                  i));
    2845                 :         54 :       return ret;
    2846                 :            :     }
    2847                 :     925221 :   args_count = ipa_get_cs_argument_count (args);
    2848                 :            : 
    2849                 :            :   /* If this call goes through a thunk we must not propagate to the first (0th)
    2850                 :            :      parameter.  However, we might need to uncover a thunk from below a series
    2851                 :            :      of aliases first.  */
    2852                 :     925221 :   if (call_passes_through_thunk_p (cs))
    2853                 :            :     {
    2854                 :        213 :       ret |= set_all_contains_variable (ipa_get_parm_lattices (callee_info,
    2855                 :            :                                                                0));
    2856                 :        213 :       i = 1;
    2857                 :            :     }
    2858                 :            :   else
    2859                 :            :     i = 0;
    2860                 :            : 
    2861                 :    2831560 :   for (; (i < args_count) && (i < parms_count); i++)
    2862                 :            :     {
    2863                 :    1906340 :       struct ipa_jump_func *jump_func = ipa_get_ith_jump_func (args, i);
    2864                 :    1906340 :       class ipcp_param_lattices *dest_plats;
    2865                 :    1906340 :       tree param_type = ipa_get_type (callee_info, i);
    2866                 :            : 
    2867                 :    1906340 :       dest_plats = ipa_get_parm_lattices (callee_info, i);
    2868                 :    1906340 :       if (availability == AVAIL_INTERPOSABLE)
    2869                 :     103131 :         ret |= set_all_contains_variable (dest_plats);
    2870                 :            :       else
    2871                 :            :         {
    2872                 :    1803210 :           ret |= propagate_scalar_across_jump_function (cs, jump_func,
    2873                 :            :                                                         &dest_plats->itself,
    2874                 :            :                                                         param_type);
    2875                 :    1803210 :           ret |= propagate_context_across_jump_function (cs, jump_func, i,
    2876                 :            :                                                          &dest_plats->ctxlat);
    2877                 :    1803210 :           ret
    2878                 :    1803210 :             |= propagate_bits_across_jump_function (cs, i, jump_func,
    2879                 :            :                                                     &dest_plats->bits_lattice);
    2880                 :    1803210 :           ret |= propagate_aggs_across_jump_function (cs, jump_func,
    2881                 :            :                                                       dest_plats);
    2882                 :    1803210 :           if (opt_for_fn (callee->decl, flag_ipa_vrp))
    2883                 :    1802270 :             ret |= propagate_vr_across_jump_function (cs, jump_func,
    2884                 :            :                                                       dest_plats, param_type);
    2885                 :            :           else
    2886                 :       1022 :             ret |= dest_plats->m_value_range.set_to_bottom ();
    2887                 :            :         }
    2888                 :            :     }
    2889                 :     925333 :   for (; i < parms_count; i++)
    2890                 :        112 :     ret |= set_all_contains_variable (ipa_get_parm_lattices (callee_info, i));
    2891                 :            : 
    2892                 :            :   return ret;
    2893                 :            : }
    2894                 :            : 
    2895                 :            : /* If an indirect edge IE can be turned into a direct one based on KNOWN_VALS
    2896                 :            :    KNOWN_CONTEXTS, KNOWN_AGGS or AGG_REPS return the destination.  The latter
    2897                 :            :    three can be NULL.  If AGG_REPS is not NULL, KNOWN_AGGS is ignored.  */
    2898                 :            : 
    2899                 :            : static tree
    2900                 :     185214 : ipa_get_indirect_edge_target_1 (struct cgraph_edge *ie,
    2901                 :            :                                 vec<tree> known_csts,
    2902                 :            :                                 vec<ipa_polymorphic_call_context> known_contexts,
    2903                 :            :                                 vec<ipa_agg_value_set> known_aggs,
    2904                 :            :                                 struct ipa_agg_replacement_value *agg_reps,
    2905                 :            :                                 bool *speculative)
    2906                 :            : {
    2907                 :     185214 :   int param_index = ie->indirect_info->param_index;
    2908                 :     185214 :   HOST_WIDE_INT anc_offset;
    2909                 :     185214 :   tree t = NULL;
    2910                 :     185214 :   tree target = NULL;
    2911                 :            : 
    2912                 :     185214 :   *speculative = false;
    2913                 :            : 
    2914                 :     185214 :   if (param_index == -1)
    2915                 :            :     return NULL_TREE;
    2916                 :            : 
    2917                 :     103695 :   if (!ie->indirect_info->polymorphic)
    2918                 :            :     {
    2919                 :      47552 :       tree t = NULL;
    2920                 :            : 
    2921                 :      47552 :       if (ie->indirect_info->agg_contents)
    2922                 :            :         {
    2923                 :      41583 :           t = NULL;
    2924                 :      41583 :           if (agg_reps && ie->indirect_info->guaranteed_unmodified)
    2925                 :            :             {
    2926                 :         35 :               while (agg_reps)
    2927                 :            :                 {
    2928                 :         35 :                   if (agg_reps->index == param_index
    2929                 :         35 :                       && agg_reps->offset == ie->indirect_info->offset
    2930                 :         27 :                       && agg_reps->by_ref == ie->indirect_info->by_ref)
    2931                 :            :                     {
    2932                 :         27 :                       t = agg_reps->value;
    2933                 :         27 :                       break;
    2934                 :            :                     }
    2935                 :          8 :                   agg_reps = agg_reps->next;
    2936                 :            :                 }
    2937                 :            :             }
    2938                 :         27 :           if (!t)
    2939                 :            :             {
    2940                 :      41556 :               struct ipa_agg_value_set *agg;
    2941                 :      83083 :               if (known_aggs.length () > (unsigned int) param_index)
    2942                 :       2368 :                 agg = &known_aggs[param_index];
    2943                 :            :               else
    2944                 :            :                 agg = NULL;
    2945                 :      41556 :               bool from_global_constant;
    2946                 :      83112 :               t = ipa_find_agg_cst_for_param (agg,
    2947                 :            :                                               (unsigned) param_index
    2948                 :      41556 :                                                  < known_csts.length ()
    2949                 :      41556 :                                               ? known_csts[param_index]
    2950                 :            :                                               : NULL,
    2951                 :            :                                               ie->indirect_info->offset,
    2952                 :            :                                               ie->indirect_info->by_ref,
    2953                 :            :                                               &from_global_constant);
    2954                 :      41556 :               if (t
    2955                 :        433 :                   && !from_global_constant
    2956                 :        374 :                   && !ie->indirect_info->guaranteed_unmodified)
    2957                 :         84 :                 t = NULL_TREE;
    2958                 :            :             }
    2959                 :            :         }
    2960                 :      11938 :       else if ((unsigned) param_index < known_csts.length ())
    2961                 :       5969 :         t = known_csts[param_index];
    2962                 :            : 
    2963                 :         84 :       if (t
    2964                 :       3273 :           && TREE_CODE (t) == ADDR_EXPR
    2965                 :      50692 :           && TREE_CODE (TREE_OPERAND (t, 0)) == FUNCTION_DECL)
    2966                 :       3224 :         return TREE_OPERAND (t, 0);
    2967                 :            :       else
    2968                 :      44328 :         return NULL_TREE;
    2969                 :            :     }
    2970                 :            : 
    2971                 :      56143 :   if (!opt_for_fn (ie->caller->decl, flag_devirtualize))
    2972                 :            :     return NULL_TREE;
    2973                 :            : 
    2974                 :      56143 :   gcc_assert (!ie->indirect_info->agg_contents);
    2975                 :      56143 :   anc_offset = ie->indirect_info->offset;
    2976                 :            : 
    2977                 :      56143 :   t = NULL;
    2978                 :            : 
    2979                 :            :   /* Try to work out value of virtual table pointer value in replacements.  */
    2980                 :      56143 :   if (!t && agg_reps && !ie->indirect_info->by_ref)
    2981                 :            :     {
    2982                 :         38 :       while (agg_reps)
    2983                 :            :         {
    2984                 :         33 :           if (agg_reps->index == param_index
    2985                 :         28 :               && agg_reps->offset == ie->indirect_info->offset
    2986                 :         28 :               && agg_reps->by_ref)
    2987                 :            :             {
    2988                 :         28 :               t = agg_reps->value;
    2989                 :         28 :               break;
    2990                 :            :             }
    2991                 :          5 :           agg_reps = agg_reps->next;
    2992                 :            :         }
    2993                 :            :     }
    2994                 :            : 
    2995                 :            :   /* Try to work out value of virtual table pointer value in known
    2996                 :            :      aggregate values.  */
    2997                 :     112103 :   if (!t && known_aggs.length () > (unsigned int) param_index
    2998                 :      10699 :       && !ie->indirect_info->by_ref)
    2999                 :            :     {
    3000                 :      10666 :       struct ipa_agg_value_set *agg = &known_aggs[param_index];
    3001                 :      20170 :       t = ipa_find_agg_cst_for_param (agg,
    3002                 :            :                                       (unsigned) param_index
    3003                 :      10666 :                                          < known_csts.length ()
    3004                 :       9504 :                                       ? known_csts[param_index] : NULL,
    3005                 :            :                                       ie->indirect_info->offset, true);
    3006                 :            :     }
    3007                 :            : 
    3008                 :            :   /* If we found the virtual table pointer, lookup the target.  */
    3009                 :      56143 :   if (t)
    3010                 :            :     {
    3011                 :       1870 :       tree vtable;
    3012                 :       1870 :       unsigned HOST_WIDE_INT offset;
    3013                 :       1870 :       if (vtable_pointer_value_to_vtable (t, &vtable, &offset))
    3014                 :            :         {
    3015                 :       1870 :           bool can_refer;
    3016                 :       1870 :           target = gimple_get_virt_method_for_vtable (ie->indirect_info->otr_token,
    3017                 :            :                                                       vtable, offset, &can_refer);
    3018                 :       1870 :           if (can_refer)
    3019                 :            :             {
    3020                 :       1864 :               if (!target
    3021                 :       1864 :                   || fndecl_built_in_p (target, BUILT_IN_UNREACHABLE)
    3022                 :       3572 :                   || !possible_polymorphic_call_target_p
    3023                 :       1708 :                        (ie, cgraph_node::get (target)))
    3024                 :            :                 {
    3025                 :            :                   /* Do not speculate builtin_unreachable, it is stupid!  */
    3026                 :        312 :                   if (ie->indirect_info->vptr_changed)
    3027                 :        967 :                     return NULL;
    3028                 :        312 :                   target = ipa_impossible_devirt_target (ie, target);
    3029                 :            :                 }
    3030                 :       1864 :               *speculative = ie->indirect_info->vptr_changed;
    3031                 :       1864 :               if (!*speculative)
    3032                 :            :                 return target;
    3033                 :            :             }
    3034                 :            :         }
    3035                 :            :     }
    3036                 :            : 
    3037                 :            :   /* Do we know the constant value of pointer?  */
    3038                 :     109449 :   if (!t && (unsigned) param_index < known_csts.length ())
    3039                 :      17968 :     t = known_csts[param_index];
    3040                 :            : 
    3041                 :      55176 :   gcc_checking_assert (!t || TREE_CODE (t) != TREE_BINFO);
    3042                 :            : 
    3043                 :      55176 :   ipa_polymorphic_call_context context;
    3044                 :     110346 :   if (known_contexts.length () > (unsigned int) param_index)
    3045                 :            :     {
    3046                 :      55090 :       context = known_contexts[param_index];
    3047                 :      55090 :       context.offset_by (anc_offset);
    3048                 :      55090 :       if (ie->indirect_info->vptr_changed)
    3049                 :      12510 :         context.possible_dynamic_type_change (ie->in_polymorphic_cdtor,
    3050                 :      12510 :                                               ie->indirect_info->otr_type);
    3051                 :      55090 :       if (t)
    3052                 :            :         {
    3053                 :       6981 :           ipa_polymorphic_call_context ctx2 = ipa_polymorphic_call_context
    3054                 :       6981 :             (t, ie->indirect_info->otr_type, anc_offset);
    3055                 :       6981 :           if (!ctx2.useless_p ())
    3056                 :       6074 :             context.combine_with (ctx2, ie->indirect_info->otr_type);
    3057                 :            :         }
    3058                 :            :     }
    3059                 :         86 :   else if (t)
    3060                 :            :     {
    3061                 :         80 :       context = ipa_polymorphic_call_context (t, ie->indirect_info->otr_type,
    3062                 :            :                                               anc_offset);
    3063                 :         80 :       if (ie->indirect_info->vptr_changed)
    3064                 :          0 :         context.possible_dynamic_type_change (ie->in_polymorphic_cdtor,
    3065                 :          0 :                                               ie->indirect_info->otr_type);
    3066                 :            :     }
    3067                 :            :   else
    3068                 :            :     return NULL_TREE;
    3069                 :            : 
    3070                 :      55170 :   vec <cgraph_node *>targets;
    3071                 :      55170 :   bool final;
    3072                 :            : 
    3073                 :      55170 :   targets = possible_polymorphic_call_targets
    3074                 :            :     (ie->indirect_info->otr_type,
    3075                 :      55170 :      ie->indirect_info->otr_token,
    3076                 :      55170 :      context, &final);
    3077                 :      55170 :   if (!final || targets.length () > 1)
    3078                 :            :     {
    3079                 :      47334 :       struct cgraph_node *node;
    3080                 :      47334 :       if (*speculative)
    3081                 :            :         return target;
    3082                 :      47328 :       if (!opt_for_fn (ie->caller->decl, flag_devirtualize_speculatively)
    3083                 :      47328 :           || ie->speculative || !ie->maybe_hot_p ())
    3084                 :      18646 :         return NULL;
    3085                 :      57364 :       node = try_speculative_devirtualization (ie->indirect_info->otr_type,
    3086                 :      28682 :                                                ie->indirect_info->otr_token,
    3087                 :            :                                                context);
    3088                 :      28682 :       if (node)
    3089                 :            :         {
    3090                 :        116 :           *speculative = true;
    3091                 :        116 :           target = node->decl;
    3092                 :            :         }
    3093                 :            :       else
    3094                 :            :         return NULL;
    3095                 :            :     }
    3096                 :            :   else
    3097                 :            :     {
    3098                 :       7836 :       *speculative = false;
    3099                 :       7836 :       if (targets.length () == 1)
    3100                 :       7812 :         target = targets[0]->decl;
    3101                 :            :       else
    3102                 :         24 :         target = ipa_impossible_devirt_target (ie, NULL_TREE);
    3103                 :            :     }
    3104                 :            : 
    3105                 :       7952 :   if (target && !possible_polymorphic_call_target_p (ie,
    3106                 :            :                                                      cgraph_node::get (target)))
    3107                 :            :     {
    3108                 :         38 :       if (*speculative)
    3109                 :            :         return NULL;
    3110                 :         38 :       target = ipa_impossible_devirt_target (ie, target);
    3111                 :            :     }
    3112                 :            : 
    3113                 :            :   return target;
    3114                 :            : }
    3115                 :            : 
    3116                 :            : 
    3117                 :            : /* If an indirect edge IE can be turned into a direct one based on KNOWN_CSTS,
    3118                 :            :    KNOWN_CONTEXTS (which can be vNULL) or KNOWN_AGGS (which also can be vNULL)
    3119                 :            :    return the destination.  */
    3120                 :            : 
    3121                 :            : tree
    3122                 :     183937 : ipa_get_indirect_edge_target (struct cgraph_edge *ie,
    3123                 :            :                               vec<tree> known_csts,
    3124                 :            :                               vec<ipa_polymorphic_call_context> known_contexts,
    3125                 :            :                               vec<ipa_agg_value_set> known_aggs,
    3126                 :            :                               bool *speculative)
    3127                 :            : {
    3128                 :     183937 :   return ipa_get_indirect_edge_target_1 (ie, known_csts, known_contexts,
    3129                 :     183937 :                                          known_aggs, NULL, speculative);
    3130                 :            : }
    3131                 :            : 
    3132                 :            : /* Calculate devirtualization time bonus for NODE, assuming we know KNOWN_CSTS
    3133                 :            :    and KNOWN_CONTEXTS.  */
    3134                 :            : 
    3135                 :            : static int
    3136                 :     566869 : devirtualization_time_bonus (struct cgraph_node *node,
    3137                 :            :                              vec<tree> known_csts,
    3138                 :            :                              vec<ipa_polymorphic_call_context> known_contexts,
    3139                 :            :                              vec<ipa_agg_value_set> known_aggs)
    3140                 :            : {
    3141                 :     566869 :   struct cgraph_edge *ie;
    3142                 :     566869 :   int res = 0;
    3143                 :            : 
    3144                 :     654463 :   for (ie = node->indirect_calls; ie; ie = ie->next_callee)
    3145                 :            :     {
    3146                 :      87594 :       struct cgraph_node *callee;
    3147                 :      87594 :       class ipa_fn_summary *isummary;
    3148                 :      87594 :       enum availability avail;
    3149                 :      87594 :       tree target;
    3150                 :      87594 :       bool speculative;
    3151                 :            : 
    3152                 :      87594 :       target = ipa_get_indirect_edge_target (ie, known_csts, known_contexts,
    3153                 :            :                                              known_aggs, &speculative);
    3154                 :      87594 :       if (!target)
    3155                 :      87074 :         continue;
    3156                 :            : 
    3157                 :            :       /* Only bare minimum benefit for clearly un-inlineable targets.  */
    3158                 :        688 :       res += 1;
    3159                 :        688 :       callee = cgraph_node::get (target);
    3160                 :        688 :       if (!callee || !callee->definition)
    3161                 :        105 :         continue;
    3162                 :        583 :       callee = callee->function_symbol (&avail);
    3163                 :        583 :       if (avail < AVAIL_AVAILABLE)
    3164                 :          0 :         continue;
    3165                 :        583 :       isummary = ipa_fn_summaries->get (callee);
    3166                 :        581 :       if (!isummary || !isummary->inlinable)
    3167                 :         63 :         continue;
    3168                 :            : 
    3169                 :        520 :       int size = ipa_size_summaries->get (callee)->size;
    3170                 :            :       /* FIXME: The values below need re-considering and perhaps also
    3171                 :            :          integrating into the cost metrics, at lest in some very basic way.  */
    3172                 :        520 :       int max_inline_insns_auto
    3173                 :        520 :         = opt_for_fn (callee->decl, param_max_inline_insns_auto);
    3174                 :        520 :       if (size <= max_inline_insns_auto / 4)
    3175                 :        205 :         res += 31 / ((int)speculative + 1);
    3176                 :        315 :       else if (size <= max_inline_insns_auto / 2)
    3177                 :        162 :         res += 15 / ((int)speculative + 1);
    3178                 :        153 :       else if (size <= max_inline_insns_auto
    3179                 :        153 :                || DECL_DECLARED_INLINE_P (callee->decl))
    3180                 :         26 :         res += 7 / ((int)speculative + 1);
    3181                 :            :     }
    3182                 :            : 
    3183                 :     566869 :   return res;
    3184                 :            : }
    3185                 :            : 
    3186                 :            : /* Return time bonus incurred because of HINTS.  */
    3187                 :            : 
    3188                 :            : static int
    3189                 :     123583 : hint_time_bonus (cgraph_node *node, ipa_hints hints)
    3190                 :            : {
    3191                 :     123583 :   int result = 0;
    3192                 :          0 :   if (hints & (INLINE_HINT_loop_iterations | INLINE_HINT_loop_stride))
    3193                 :       5625 :     result += opt_for_fn (node->decl, param_ipa_cp_loop_hint_bonus);
    3194                 :     123583 :   return result;
    3195                 :            : }
    3196                 :            : 
    3197                 :            : /* If there is a reason to penalize the function described by INFO in the
    3198                 :            :    cloning goodness evaluation, do so.  */
    3199                 :            : 
    3200                 :            : static inline int64_t
    3201                 :            : incorporate_penalties (cgraph_node *node, ipa_node_params *info,
    3202                 :            :                        int64_t evaluation)
    3203                 :            : {
    3204                 :            :   if (info->node_within_scc && !info->node_is_self_scc)
    3205                 :            :     evaluation = (evaluation
    3206                 :            :                   * (100 - opt_for_fn (node->decl,
    3207                 :            :                                        param_ipa_cp_recursion_penalty))) / 100;
    3208                 :            : 
    3209                 :            :   if (info->node_calling_single_call)
    3210                 :            :     evaluation = (evaluation
    3211                 :            :                   * (100 - opt_for_fn (node->decl,
    3212                 :            :                                        param_ipa_cp_single_call_penalty)))
    3213                 :            :       / 100;
    3214                 :            : 
    3215                 :            :   return evaluation;
    3216                 :            : }
    3217                 :            : 
    3218                 :            : /* Return true if cloning NODE is a good idea, given the estimated TIME_BENEFIT
    3219                 :            :    and SIZE_COST and with the sum of frequencies of incoming edges to the
    3220                 :            :    potential new clone in FREQUENCIES.  */
    3221                 :            : 
    3222                 :            : static bool
    3223                 :     101655 : good_cloning_opportunity_p (struct cgraph_node *node, int time_benefit,
    3224                 :            :                             int freq_sum, profile_count count_sum, int size_cost)
    3225                 :            : {
    3226                 :     101655 :   if (time_benefit == 0
    3227                 :      91972 :       || !opt_for_fn (node->decl, flag_ipa_cp_clone)
    3228                 :     101655 :       || node->optimize_for_size_p ())
    3229                 :            :     return false;
    3230                 :            : 
    3231                 :       9118 :   gcc_assert (size_cost > 0);
    3232                 :            : 
    3233                 :       9118 :   class ipa_node_params *info = IPA_NODE_REF (node);
    3234                 :       9118 :   int eval_threshold = opt_for_fn (node->decl, param_ipa_cp_eval_threshold);
    3235                 :       9118 :   if (max_count > profile_count::zero ())
    3236                 :            :     {
    3237                 :         56 :       int factor = RDIV (count_sum.probability_in
    3238                 :            :                                  (max_count).to_reg_br_prob_base ()
    3239                 :            :                          * 1000, REG_BR_PROB_BASE);
    3240                 :         56 :       int64_t evaluation = (((int64_t) time_benefit * factor)
    3241                 :         56 :                                     / size_cost);
    3242                 :         56 :       evaluation = incorporate_penalties (node, info, evaluation);
    3243                 :            : 
    3244                 :         56 :       if (dump_file && (dump_flags & TDF_DETAILS))
    3245                 :            :         {
    3246                 :          0 :           fprintf (dump_file, "     good_cloning_opportunity_p (time: %i, "
    3247                 :            :                    "size: %i, count_sum: ", time_benefit, size_cost);
    3248                 :          0 :           count_sum.dump (dump_file);
    3249                 :          0 :           fprintf (dump_file, "%s%s) -> evaluation: " "%" PRId64
    3250                 :            :                  ", threshold: %i\n",
    3251                 :            :                  info->node_within_scc
    3252                 :          0 :                    ? (info->node_is_self_scc ? ", self_scc" : ", scc") : "",
    3253                 :          0 :                  info->node_calling_single_call ? ", single_call" : "",
    3254                 :            :                  evaluation, eval_threshold);
    3255                 :            :         }
    3256                 :            : 
    3257                 :         56 :       return evaluation >= eval_threshold;
    3258                 :            :     }
    3259                 :            :   else
    3260                 :            :     {
    3261                 :       9062 :       int64_t evaluation = (((int64_t) time_benefit * freq_sum)
    3262                 :       9062 :                                     / size_cost);
    3263                 :       9062 :       evaluation = incorporate_penalties (node, info, evaluation);
    3264                 :            : 
    3265                 :       9062 :       if (dump_file && (dump_flags & TDF_DETAILS))
    3266                 :        101 :         fprintf (dump_file, "     good_cloning_opportunity_p (time: %i, "
    3267                 :            :                  "size: %i, freq_sum: %i%s%s) -> evaluation: "
    3268                 :            :                  "%" PRId64 ", threshold: %i\n",
    3269                 :            :                  time_benefit, size_cost, freq_sum,
    3270                 :            :                  info->node_within_scc
    3271                 :        101 :                    ? (info->node_is_self_scc ? ", self_scc" : ", scc") : "",
    3272                 :        101 :                  info->node_calling_single_call ? ", single_call" : "",
    3273                 :            :                  evaluation, eval_threshold);
    3274                 :            : 
    3275                 :       9062 :       return evaluation >= eval_threshold;
    3276                 :            :     }
    3277                 :            : }
    3278                 :            : 
    3279                 :            : /* Return all context independent values from aggregate lattices in PLATS in a
    3280                 :            :    vector.  Return NULL if there are none.  */
    3281                 :            : 
    3282                 :            : static vec<ipa_agg_value>
    3283                 :    1011910 : context_independent_aggregate_values (class ipcp_param_lattices *plats)
    3284                 :            : {
    3285                 :    1011910 :   vec<ipa_agg_value> res = vNULL;
    3286                 :            : 
    3287                 :    1011910 :   if (plats->aggs_bottom
    3288                 :     121896 :       || plats->aggs_contain_variable
    3289                 :       5293 :       || plats->aggs_count == 0)
    3290                 :    1006640 :     return vNULL;
    3291                 :            : 
    3292                 :       5273 :   for (struct ipcp_agg_lattice *aglat = plats->aggs;
    3293                 :      25677 :        aglat;
    3294                 :      20404 :        aglat = aglat->next)
    3295                 :      40692 :     if (aglat->is_single_const ())
    3296                 :            :       {
    3297                 :      17043 :         struct ipa_agg_value item;
    3298                 :      17043 :         item.offset = aglat->offset;
    3299                 :      17043 :         item.value = aglat->values->value;
    3300                 :      17043 :         res.safe_push (item);
    3301                 :            :       }
    3302                 :       5273 :   return res;
    3303                 :            : }
    3304                 :            : 
    3305                 :            : /* Allocate KNOWN_CSTS, KNOWN_CONTEXTS and, if non-NULL, KNOWN_AGGS and
    3306                 :            :    populate them with values of parameters that are known independent of the
    3307                 :            :    context.  INFO describes the function.  If REMOVABLE_PARAMS_COST is
    3308                 :            :    non-NULL, the movement cost of all removable parameters will be stored in
    3309                 :            :    it.  */
    3310                 :            : 
    3311                 :            : static bool
    3312                 :    1079880 : gather_context_independent_values (class ipa_node_params *info,
    3313                 :            :                                    vec<tree> *known_csts,
    3314                 :            :                                    vec<ipa_polymorphic_call_context>
    3315                 :            :                                    *known_contexts,
    3316                 :            :                                    vec<ipa_agg_value_set> *known_aggs,
    3317                 :            :                                    int *removable_params_cost)
    3318                 :            : {
    3319                 :    1079880 :   int i, count = ipa_get_param_count (info);
    3320                 :    1079880 :   bool ret = false;
    3321                 :            : 
    3322                 :    1079880 :   known_csts->create (0);
    3323                 :    1079880 :   known_contexts->create (0);
    3324                 :    1079880 :   known_csts->safe_grow_cleared (count);
    3325                 :    1079880 :   known_contexts->safe_grow_cleared (count);
    3326                 :    1079880 :   if (known_aggs)
    3327                 :            :     {
    3328                 :     530737 :       known_aggs->create (0);
    3329                 :     530737 :       known_aggs->safe_grow_cleared (count);
    3330                 :            :     }
    3331                 :            : 
    3332                 :    1079880 :   if (removable_params_cost)
    3333                 :     530737 :     *removable_params_cost = 0;
    3334                 :            : 
    3335                 :    4175330 :   for (i = 0; i < count; i++)
    3336                 :            :     {
    3337                 :    3095450 :       class ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
    3338                 :    3095450 :       ipcp_lattice<tree> *lat = &plats->itself;
    3339                 :            : 
    3340                 :    3095450 :       if (lat->is_single_const ())
    3341                 :            :         {
    3342                 :      78172 :           ipcp_value<tree> *val = lat->values;
    3343                 :      78172 :           gcc_checking_assert (TREE_CODE (val->value) != TREE_BINFO);
    3344                 :      78172 :           (*known_csts)[i] = val->value;
    3345                 :      78172 :           if (removable_params_cost)
    3346                 :      26071 :             *removable_params_cost
    3347                 :      26071 :               += estimate_move_cost (TREE_TYPE (val->value), false);
    3348                 :            :           ret = true;
    3349                 :            :         }
    3350                 :    3017280 :       else if (removable_params_cost
    3351                 :    3017280 :                && !ipa_is_param_used (info, i))
    3352                 :     510679 :         *removable_params_cost
    3353                 :     510679 :           += ipa_get_param_move_cost (info, i);
    3354                 :            : 
    3355                 :    3095450 :       if (!ipa_is_param_used (info, i))
    3356                 :    1030440 :         continue;
    3357                 :            : 
    3358                 :    2065000 :       ipcp_lattice<ipa_polymorphic_call_context> *ctxlat = &plats->ctxlat;
    3359                 :            :       /* Do not account known context as reason for cloning.  We can see
    3360                 :            :          if it permits devirtualization.  */
    3361                 :    2065000 :       if (ctxlat->is_single_const ())
    3362                 :       7165 :         (*known_contexts)[i] = ctxlat->values->value;
    3363                 :            : 
    3364                 :    2065000 :       if (known_aggs)
    3365                 :            :         {
    3366                 :    1011910 :           vec<ipa_agg_value> agg_items;
    3367                 :    1011910 :           struct ipa_agg_value_set *agg;
    3368                 :            : 
    3369                 :    1011910 :           agg_items = context_independent_aggregate_values (plats);
    3370                 :    1011910 :           agg = &(*known_aggs)[i];
    3371                 :    1011910 :           agg->items = agg_items;
    3372                 :    1011910 :           agg->by_ref = plats->aggs_by_ref;
    3373                 :    1015900 :           ret |= !agg_items.is_empty ();
    3374                 :            :         }
    3375                 :            :     }
    3376                 :            : 
    3377                 :    1079880 :   return ret;
    3378                 :            : }
    3379                 :            : 
    3380                 :            : /* Perform time and size measurement of NODE with the context given in
    3381                 :            :    KNOWN_CSTS, KNOWN_CONTEXTS and KNOWN_AGGS, calculate the benefit and cost
    3382                 :            :    given BASE_TIME of the node without specialization, REMOVABLE_PARAMS_COST of
    3383                 :            :    all context-independent removable parameters and EST_MOVE_COST of estimated
    3384                 :            :    movement of the considered parameter and store it into VAL.  */
    3385                 :            : 
    3386                 :            : static void
    3387                 :      36194 : perform_estimation_of_a_value (cgraph_node *node, vec<tree> known_csts,
    3388                 :            :                                vec<ipa_polymorphic_call_context> known_contexts,
    3389                 :            :                                vec<ipa_agg_value_set> known_aggs,
    3390                 :            :                                int removable_params_cost,
    3391                 :            :                                int est_move_cost, ipcp_value_base *val)
    3392                 :            : {
    3393                 :      36194 :   int size, time_benefit;
    3394                 :      36194 :   sreal time, base_time;
    3395                 :      36194 :   ipa_hints hints;
    3396                 :            : 
    3397                 :      36194 :   estimate_ipcp_clone_size_and_time (node, known_csts, known_contexts,
    3398                 :            :                                      known_aggs, &size, &time,
    3399                 :            :                                      &base_time, &hints);
    3400                 :      36194 :   base_time -= time;
    3401                 :      36194 :   if (base_time > 65535)
    3402                 :          0 :     base_time = 65535;
    3403                 :            : 
    3404                 :            :   /* Extern inline functions have no cloning local time benefits because they
    3405                 :            :      will be inlined anyway.  The only reason to clone them is if it enables
    3406                 :            :      optimization in any of the functions they call.  */
    3407                 :      36194 :   if (DECL_EXTERNAL (node->decl) && DECL_DECLARED_INLINE_P (node->decl))
    3408                 :            :     time_benefit = 0;
    3409                 :            :   else
    3410                 :      36132 :     time_benefit = base_time.to_int ()
    3411                 :      36132 :       + devirtualization_time_bonus (node, known_csts, known_contexts,
    3412                 :            :                                      known_aggs)
    3413                 :      36132 :       + hint_time_bonus (node, hints)
    3414                 :      36132 :       + removable_params_cost + est_move_cost;
    3415                 :            : 
    3416                 :      36194 :   gcc_checking_assert (size >=0);
    3417                 :            :   /* The inliner-heuristics based estimates may think that in certain
    3418                 :            :      contexts some functions do not have any size at all but we want
    3419                 :            :      all specializations to have at least a tiny cost, not least not to
    3420                 :            :      divide by zero.  */
    3421                 :      36194 :   if (size == 0)
    3422                 :          0 :     size = 1;
    3423                 :            : 
    3424                 :      36194 :   val->local_time_benefit = time_benefit;
    3425                 :      36194 :   val->local_size_cost = size;
    3426                 :      36194 : }
    3427                 :            : 
    3428                 :            : /* Get the overall limit oof growth based on parameters extracted from growth.
    3429                 :            :    it does not really make sense to mix functions with different overall growth
    3430                 :            :    limits but it is possible and if it happens, we do not want to select one
    3431                 :            :    limit at random.  */
    3432                 :            : 
    3433                 :            : static long
    3434                 :      45783 : get_max_overall_size (cgraph_node *node)
    3435                 :            : {
    3436                 :      45783 :   long max_new_size = orig_overall_size;
    3437                 :      45783 :   long large_unit = opt_for_fn (node->decl, param_large_unit_insns);
    3438                 :      45783 :   if (max_new_size < large_unit)
    3439                 :            :     max_new_size = large_unit;
    3440                 :      45783 :   int unit_growth = opt_for_fn (node->decl, param_ipa_cp_unit_growth);
    3441                 :      45783 :   max_new_size += max_new_size * unit_growth / 100 + 1;
    3442                 :      45783 :   return max_new_size;
    3443                 :            : }
    3444                 :            : 
    3445                 :            : /* Iterate over known values of parameters of NODE and estimate the local
    3446                 :            :    effects in terms of time and size they have.  */
    3447                 :            : 
    3448                 :            : static void
    3449                 :     816258 : estimate_local_effects (struct cgraph_node *node)
    3450                 :            : {
    3451                 :     816258 :   class ipa_node_params *info = IPA_NODE_REF (node);
    3452                 :     816258 :   int i, count = ipa_get_param_count (info);
    3453                 :     816258 :   vec<tree> known_csts;
    3454                 :     816258 :   vec<ipa_polymorphic_call_context> known_contexts;
    3455                 :     816258 :   vec<ipa_agg_value_set> known_aggs;
    3456                 :     816258 :   bool always_const;
    3457                 :     816258 :   int removable_params_cost;
    3458                 :            : 
    3459                 :     816258 :   if (!count || !ipcp_versionable_function_p (node))
    3460                 :     285521 :     return;
    3461                 :            : 
    3462                 :     530737 :   if (dump_file && (dump_flags & TDF_DETAILS))
    3463                 :         90 :     fprintf (dump_file, "\nEstimating effects for %s.\n", node->dump_name ());
    3464                 :            : 
    3465                 :     530737 :   always_const = gather_context_independent_values (info, &known_csts,
    3466                 :            :                                                     &known_contexts, &known_aggs,
    3467                 :            :                                                     &removable_params_cost);
    3468                 :     530737 :   int devirt_bonus = devirtualization_time_bonus (node, known_csts,
    3469                 :            :                                            known_contexts, known_aggs);
    3470                 :     530737 :   if (always_const || devirt_bonus
    3471                 :     514342 :       || (removable_params_cost && node->can_change_signature))
    3472                 :            :     {
    3473                 :      87451 :       struct caller_statistics stats;
    3474                 :      87451 :       ipa_hints hints;
    3475                 :      87451 :       sreal time, base_time;
    3476                 :      87451 :       int size;
    3477                 :            : 
    3478                 :      87451 :       init_caller_stats (&stats);
    3479                 :      87451 :       node->call_for_symbol_thunks_and_aliases (gather_caller_stats, &stats,
    3480                 :            :                                               false);
    3481                 :      87451 :       estimate_ipcp_clone_size_and_time (node, known_csts, known_contexts,
    3482                 :            :                                          known_aggs, &size, &time,
    3483                 :            :                                          &base_time, &hints);
    3484                 :      87451 :       time -= devirt_bonus;
    3485                 :      89359 :       time -= hint_time_bonus (node, hints);
    3486                 :      87451 :       time -= removable_params_cost;
    3487                 :      87451 :       size -= stats.n_calls * removable_params_cost;
    3488                 :            : 
    3489                 :      87451 :       if (dump_file)
    3490                 :        315 :         fprintf (dump_file, " - context independent values, size: %i, "
    3491                 :        630 :                  "time_benefit: %f\n", size, (base_time - time).to_double ());
    3492                 :            : 
    3493                 :      87451 :       if (size <= 0 || node->local)
    3494                 :            :         {
    3495                 :      17750 :           info->do_clone_for_all_contexts = true;
    3496                 :            : 
    3497                 :      17750 :           if (dump_file)
    3498                 :         93 :             fprintf (dump_file, "     Decided to specialize for all "
    3499                 :            :                      "known contexts, code not going to grow.\n");
    3500                 :            :         }
    3501                 :     139398 :       else if (good_cloning_opportunity_p (node,
    3502                 :     209099 :                                            MIN ((base_time - time).to_int (),
    3503                 :            :                                                 65536),
    3504                 :            :                                            stats.freq_sum, stats.count_sum,
    3505                 :            :                                            size))
    3506                 :            :         {
    3507                 :        259 :           if (size + overall_size <= get_max_overall_size (node))
    3508                 :            :             {
    3509                 :        259 :               info->do_clone_for_all_contexts = true;
    3510                 :        259 :               overall_size += size;
    3511                 :            : 
    3512                 :        259 :               if (dump_file)
    3513                 :         12 :                 fprintf (dump_file, "     Decided to specialize for all "
    3514                 :            :                          "known contexts, growth deemed beneficial.\n");
    3515                 :            :             }
    3516                 :          0 :           else if (dump_file && (dump_flags & TDF_DETAILS))
    3517                 :          0 :             fprintf (dump_file, "  Not cloning for all contexts because "
    3518                 :            :                      "maximum unit size would be reached with %li.\n",
    3519                 :            :                      size + overall_size);
    3520                 :            :         }
    3521                 :      69442 :       else if (dump_file && (dump_flags & TDF_DETAILS))
    3522                 :          4 :         fprintf (dump_file, "   Not cloning for all contexts because "
    3523                 :            :                  "!good_cloning_opportunity_p.\n");
    3524                 :            : 
    3525                 :            :     }
    3526                 :            : 
    3527                 :    2055180 :   for (i = 0; i < count; i++)
    3528                 :            :     {
    3529                 :    1524440 :       class ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
    3530                 :    1524440 :       ipcp_lattice<tree> *lat = &plats->itself;
    3531                 :    1524440 :       ipcp_value<tree> *val;
    3532                 :            : 
    3533                 :    3038550 :       if (lat->bottom
    3534                 :     130236 :           || !lat->values
    3535                 :    1560840 :           || known_csts[i])
    3536                 :    1514110 :         continue;
    3537                 :            : 
    3538                 :      32539 :       for (val = lat->values; val; val = val->next)
    3539                 :            :         {
    3540                 :      22210 :           gcc_checking_assert (TREE_CODE (val->value) != TREE_BINFO);
    3541                 :      22210 :           known_csts[i] = val->value;
    3542                 :            : 
    3543                 :      22210 :           int emc = estimate_move_cost (TREE_TYPE (val->value), true);
    3544                 :      22210 :           perform_estimation_of_a_value (node, known_csts, known_contexts,
    3545                 :            :                                          known_aggs,
    3546                 :            :                                          removable_params_cost, emc, val);
    3547                 :            : 
    3548                 :      22210 :           if (dump_file && (dump_flags & TDF_DETAILS))
    3549                 :            :             {
    3550                 :         37 :               fprintf (dump_file, " - estimates for value ");
    3551                 :         37 :               print_ipcp_constant_value (dump_file, val->value);
    3552                 :         37 :               fprintf (dump_file, " for ");
    3553                 :         37 :               ipa_dump_param (dump_file, info, i);
    3554                 :         37 :               fprintf (dump_file, ": time_benefit: %i, size: %i\n",
    3555                 :            :                        val->local_time_benefit, val->local_size_cost);
    3556                 :            :             }
    3557                 :            :         }
    3558                 :      10329 :       known_csts[i] = NULL_TREE;
    3559                 :            :     }
    3560                 :            : 
    3561                 :    2055180 :   for (i = 0; i < count; i++)
    3562                 :            :     {
    3563                 :    1524440 :       class ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
    3564                 :            : 
    3565                 :    1524440 :       if (!plats->virt_call)
    3566                 :    1518590 :         continue;
    3567                 :            : 
    3568                 :       5848 :       ipcp_lattice<ipa_polymorphic_call_context> *ctxlat = &plats->ctxlat;
    3569                 :       5848 :       ipcp_value<ipa_polymorphic_call_context> *val;
    3570                 :            : 
    3571                 :      11511 :       if (ctxlat->bottom
    3572                 :       1896 :           || !ctxlat->values
    3573                 :       7743 :           || !known_contexts[i].useless_p ())
    3574                 :       5663 :         continue;
    3575                 :            : 
    3576                 :        477 :       for (val = ctxlat->values; val; val = val->next)
    3577                 :            :         {
    3578                 :        292 :           known_contexts[i] = val->value;
    3579                 :        292 :           perform_estimation_of_a_value (node, known_csts, known_contexts,
    3580                 :            :                                          known_aggs,
    3581                 :            :                                          removable_params_cost, 0, val);
    3582                 :            : 
    3583                 :        292 :           if (dump_file && (dump_flags & TDF_DETAILS))
    3584                 :            :             {
    3585                 :          0 :               fprintf (dump_file, " - estimates for polymorphic context ");
    3586                 :          0 :               print_ipcp_constant_value (dump_file, val->value);
    3587                 :          0 :               fprintf (dump_file, " for ");
    3588                 :          0 :               ipa_dump_param (dump_file, info, i);
    3589                 :          0 :               fprintf (dump_file, ": time_benefit: %i, size: %i\n",
    3590                 :            :                        val->local_time_benefit, val->local_size_cost);
    3591                 :            :             }
    3592                 :            :         }
    3593                 :        185 :       known_contexts[i] = ipa_polymorphic_call_context ();
    3594                 :            :     }
    3595                 :            : 
    3596                 :    2055180 :   for (i = 0; i < count; i++)
    3597                 :            :     {
    3598                 :    1524440 :       class ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
    3599                 :    1524440 :       struct ipa_agg_value_set *agg;
    3600                 :    1524440 :       struct ipcp_agg_lattice *aglat;
    3601                 :            : 
    3602                 :    1524440 :       if (plats->aggs_bottom || !plats->aggs)
    3603                 :    1515810 :         continue;
    3604                 :            : 
    3605                 :       8634 :       agg = &known_aggs[i];
    3606                 :      38479 :       for (aglat = plats->aggs; aglat; aglat = aglat->next)
    3607                 :            :         {
    3608                 :      29845 :           ipcp_value<tree> *val;
    3609                 :      29714 :           if (aglat->bottom || !aglat->values
    3610                 :            :               /* If the following is true, the one value is in known_aggs.  */
    3611                 :      56795 :               || (!plats->aggs_contain_variable
    3612                 :      19562 :                   && aglat->is_single_const ()))
    3613                 :      20322 :             continue;
    3614                 :            : 
    3615                 :      23215 :           for (val = aglat->values; val; val = val->next)
    3616                 :            :             {
    3617                 :      13692 :               struct ipa_agg_value item;
    3618                 :            : 
    3619                 :      13692 :               item.offset = aglat->offset;
    3620                 :      13692 :               item.value = val->value;
    3621                 :      13692 :               agg->items.safe_push (item);
    3622                 :            : 
    3623                 :      13692 :               perform_estimation_of_a_value (node, known_csts, known_contexts,
    3624                 :            :                                              known_aggs,
    3625                 :            :                                              removable_params_cost, 0, val);
    3626                 :            : 
    3627                 :      13692 :               if (dump_file && (dump_flags & TDF_DETAILS))
    3628                 :            :                 {
    3629                 :         72 :                   fprintf (dump_file, " - estimates for value ");
    3630                 :         72 :                   print_ipcp_constant_value (dump_file, val->value);
    3631                 :         72 :                   fprintf (dump_file, " for ");
    3632                 :         72 :                   ipa_dump_param (dump_file, info, i);
    3633                 :         72 :                   fprintf (dump_file, "[%soffset: " HOST_WIDE_INT_PRINT_DEC
    3634                 :            :                            "]: time_benefit: %i, size: %i\n",
    3635                 :         72 :                            plats->aggs_by_ref ? "ref " : "",
    3636                 :            :                            aglat->offset,
    3637                 :            :                            val->local_time_benefit, val->local_size_cost);
    3638                 :            :                 }
    3639                 :            : 
    3640                 :      13692 :               agg->items.pop ();
    3641                 :            :             }
    3642                 :            :         }
    3643                 :            :     }
    3644                 :            : 
    3645                 :     530737 :   known_csts.release ();
    3646                 :     530737 :   known_contexts.release ();
    3647                 :     530737 :   ipa_release_agg_values (known_aggs);
    3648                 :            : }
    3649                 :            : 
    3650                 :            : 
    3651                 :            : /* Add value CUR_VAL and all yet-unsorted values it is dependent on to the
    3652                 :            :    topological sort of values.  */
    3653                 :            : 
    3654                 :            : template <typename valtype>
    3655                 :            : void
    3656                 :      95390 : value_topo_info<valtype>::add_val (ipcp_value<valtype> *cur_val)
    3657                 :            : {
    3658                 :            :   ipcp_value_source<valtype> *src;
    3659                 :            : 
    3660                 :      95390 :   if (cur_val->dfs)
    3661                 :            :     return;
    3662                 :            : 
    3663                 :      95256 :   dfs_counter++;
    3664                 :      95256 :   cur_val->dfs = dfs_counter;
    3665                 :      95256 :   cur_val->low_link = dfs_counter;
    3666                 :            : 
    3667                 :      95256 :   cur_val->topo_next = stack;
    3668                 :      95256 :   stack = cur_val;
    3669                 :      95256 :   cur_val->on_stack = true;
    3670                 :            : 
    3671                 :     281237 :   for (src = cur_val->sources; src; src = src->next)
    3672                 :     185981 :     if (src->val)
    3673                 :            :       {
    3674                 :      12095 :         if (src->val->dfs == 0)
    3675                 :            :           {
    3676                 :        134 :             add_val (src->val);
    3677                 :        134 :             if (src->val->low_link < cur_val->low_link)
    3678                 :         10 :               cur_val->low_link = src->val->low_link;
    3679                 :            :           }
    3680                 :      11961 :         else if (src->val->on_stack
    3681                 :       1126 :                  && src->val->dfs < cur_val->low_link)
    3682                 :         52 :           cur_val->low_link = src->val->dfs;
    3683                 :            :       }
    3684                 :            : 
    3685                 :      95256 :   if (cur_val->dfs == cur_val->low_link)
    3686                 :            :     {
    3687                 :            :       ipcp_value<valtype> *v, *scc_list = NULL;
    3688                 :            : 
    3689                 :            :       do
    3690                 :            :         {
    3691                 :      95256 :           v = stack;
    3692                 :      95256 :           stack = v->topo_next;
    3693                 :      95256 :           v->on_stack = false;
    3694                 :            : 
    3695                 :      95256 :           v->scc_next = scc_list;
    3696                 :      95256 :           scc_list = v;
    3697                 :            :         }
    3698                 :      95256 :       while (v != cur_val);
    3699                 :            : 
    3700                 :      95196 :       cur_val->topo_next = values_topo;
    3701                 :      95196 :       values_topo = cur_val;
    3702                 :            :     }
    3703                 :            : }
    3704                 :            : 
    3705                 :            : /* Add all values in lattices associated with NODE to the topological sort if
    3706                 :            :    they are not there yet.  */
    3707                 :            : 
    3708                 :            : static void
    3709                 :     816258 : add_all_node_vals_to_toposort (cgraph_node *node, ipa_topo_info *topo)
    3710                 :            : {
    3711                 :     816258 :   class ipa_node_params *info = IPA_NODE_REF (node);
    3712                 :     816258 :   int i, count = ipa_get_param_count (info);
    3713                 :            : 
    3714                 :    2556120 :   for (i = 0; i < count; i++)
    3715                 :            :     {
    3716                 :    1739860 :       class ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
    3717                 :    1739860 :       ipcp_lattice<tree> *lat = &plats->itself;
    3718                 :    1739860 :       struct ipcp_agg_lattice *aglat;
    3719                 :            : 
    3720                 :    1739860 :       if (!lat->bottom)
    3721                 :            :         {
    3722                 :     140396 :           ipcp_value<tree> *val;
    3723                 :     199562 :           for (val = lat->values; val; val = val->next)
    3724                 :      59166 :             topo->constants.add_val (val);
    3725                 :            :         }
    3726                 :            : 
    3727                 :    1739860 :       if (!plats->aggs_bottom)
    3728                 :     170550 :         for (aglat = plats->aggs; aglat; aglat = aglat->next)
    3729                 :      30123 :           if (!aglat->bottom)
    3730                 :            :             {
    3731                 :      29992 :               ipcp_value<tree> *val;
    3732                 :      61396 :               for (val = aglat->values; val; val = val->next)
    3733                 :      31404 :                 topo->constants.add_val (val);
    3734                 :            :             }
    3735                 :            : 
    3736                 :    1739860 :       ipcp_lattice<ipa_polymorphic_call_context> *ctxlat = &plats->ctxlat;
    3737                 :    1739860 :       if (!ctxlat->bottom)
    3738                 :            :         {
    3739                 :     140822 :           ipcp_value<ipa_polymorphic_call_context> *ctxval;
    3740                 :     145508 :           for (ctxval = ctxlat->values; ctxval; ctxval = ctxval->next)
    3741                 :       4686 :             topo->contexts.add_val (ctxval);
    3742                 :            :         }
    3743                 :            :     }
    3744                 :     816258 : }
    3745                 :            : 
    3746                 :            : /* One pass of constants propagation along the call graph edges, from callers
    3747                 :            :    to callees (requires topological ordering in TOPO), iterate over strongly
    3748                 :            :    connected components.  */
    3749                 :            : 
    3750                 :            : static void
    3751                 :      94009 : propagate_constants_topo (class ipa_topo_info *topo)
    3752                 :            : {
    3753                 :      94009 :   int i;
    3754                 :            : 
    3755                 :     966047 :   for (i = topo->nnodes - 1; i >= 0; i--)
    3756                 :            :     {
    3757                 :     872038 :       unsigned j;
    3758                 :     872038 :       struct cgraph_node *v, *node = topo->order[i];
    3759                 :     872038 :       vec<cgraph_node *> cycle_nodes = ipa_get_nodes_in_cycle (node);
    3760                 :            : 
    3761                 :            :       /* First, iteratively propagate within the strongly connected component
    3762                 :            :          until all lattices stabilize.  */
    3763                 :    1748650 :       FOR_EACH_VEC_ELT (cycle_nodes, j, v)
    3764                 :    1753230 :         if (v->has_gimple_body_p ())
    3765                 :            :           {
    3766                 :     824018 :             if (opt_for_fn (v->decl, flag_ipa_cp)
    3767                 :     824018 :                 && opt_for_fn (v->decl, optimize))
    3768                 :     816258 :               push_node_to_stack (topo, v);
    3769                 :            :             /* When V is not optimized, we can not push it to stack, but
    3770                 :            :                still we need to set all its callees lattices to bottom.  */
    3771                 :            :             else
    3772                 :            :               {
    3773                 :      20490 :                 for (cgraph_edge *cs = v->callees; cs; cs = cs->next_callee)
    3774                 :      12730 :                    propagate_constants_across_call (cs);
    3775                 :            :               }
    3776                 :            :           }
    3777                 :            : 
    3778                 :     872038 :       v = pop_node_from_stack (topo);
    3779                 :    1690000 :       while (v)
    3780                 :            :         {
    3781                 :     817959 :           struct cgraph_edge *cs;
    3782                 :     817959 :           class ipa_node_params *info = NULL;
    3783                 :     817959 :           bool self_scc = true;
    3784                 :            : 
    3785                 :    4111430 :           for (cs = v->callees; cs; cs = cs->next_callee)
    3786                 :    3293480 :             if (ipa_edge_within_scc (cs))
    3787                 :            :               {
    3788                 :      22380 :                 cgraph_node *callee = cs->callee->function_symbol ();
    3789                 :            : 
    3790                 :      22380 :                 if (v != callee)
    3791                 :      14123 :                   self_scc = false;
    3792                 :            : 
    3793                 :      22380 :                 if (!info)
    3794                 :            :                   {
    3795                 :      10311 :                     info = IPA_NODE_REF (v);
    3796                 :      10311 :                     info->node_within_scc = true;
    3797                 :            :                   }
    3798                 :            : 
    3799                 :      22380 :                 if (propagate_constants_across_call (cs))
    3800                 :       2531 :                   push_node_to_stack (topo, callee);
    3801                 :            :               }
    3802                 :            : 
    3803                 :     817959 :           if (info)
    3804                 :      10311 :             info->node_is_self_scc = self_scc;
    3805                 :            : 
    3806                 :     817959 :           v = pop_node_from_stack (topo);
    3807                 :            :         }
    3808                 :            : 
    3809                 :            :       /* Afterwards, propagate along edges leading out of the SCC, calculates
    3810                 :            :          the local effects of the discovered constants and all valid values to
    3811                 :            :          their topological sort.  */
    3812                 :    1748650 :       FOR_EACH_VEC_ELT (cycle_nodes, j, v)
    3813                 :    1753230 :         if (v->has_gimple_body_p ()
    3814                 :     824018 :             && opt_for_fn (v->decl, flag_ipa_cp)
    3815                 :     816258 :             && opt_for_fn (v->decl, optimize))
    3816                 :            :           {
    3817                 :     816258 :             struct cgraph_edge *cs;
    3818                 :            : 
    3819                 :     816258 :             estimate_local_effects (v);
    3820                 :     816258 :             add_all_node_vals_to_toposort (v, topo);
    3821                 :    4088760 :             for (cs = v->callees; cs; cs = cs->next_callee)
    3822                 :    3272500 :               if (!ipa_edge_within_scc (cs))
    3823                 :    3254120 :                 propagate_constants_across_call (cs);
    3824                 :            :           }
    3825                 :    1744080 :       cycle_nodes.release ();
    3826                 :            :     }
    3827                 :      94009 : }
    3828                 :            : 
    3829                 :            : 
    3830                 :            : /* Return the sum of A and B if none of them is bigger than INT_MAX/2, return
    3831                 :            :    the bigger one if otherwise.  */
    3832                 :            : 
    3833                 :            : static int
    3834                 :     205514 : safe_add (int a, int b)
    3835                 :            : {
    3836                 :          0 :   if (a > INT_MAX/2 || b > INT_MAX/2)
    3837                 :       1120 :     return a > b ? a : b;
    3838                 :            :   else
    3839                 :     204394 :     return a + b;
    3840                 :            : }
    3841                 :            : 
    3842                 :            : 
    3843                 :            : /* Propagate the estimated effects of individual values along the topological
    3844                 :            :    from the dependent values to those they depend on.  */
    3845                 :            : 
    3846                 :            : template <typename valtype>
    3847                 :            : void
    3848                 :     188018 : value_topo_info<valtype>::propagate_effects ()
    3849                 :            : {
    3850                 :            :   ipcp_value<valtype> *base;
    3851                 :            : 
    3852                 :     283214 :   for (base = values_topo; base; base = base->topo_next)
    3853                 :            :     {
    3854                 :            :       ipcp_value_source<valtype> *src;
    3855                 :            :       ipcp_value<valtype> *val;
    3856                 :            :       int time = 0, size = 0;
    3857                 :            : 
    3858                 :     190452 :       for (val = base; val; val = val->scc_next)
    3859                 :            :         {
    3860                 :     190512 :           time = safe_add (time,
    3861                 :      95256 :                            val->local_time_benefit + val->prop_time_benefit);
    3862                 :     190512 :           size = safe_add (size, val->local_size_cost + val->prop_size_cost);
    3863                 :            :         }
    3864                 :            : 
    3865                 :     190452 :       for (val = base; val; val = val->scc_next)
    3866                 :     281237 :         for (src = val->sources; src; src = src->next)
    3867                 :     185981 :           if (src->val
    3868                 :     185981 :               && src->cs->maybe_hot_p ())
    3869                 :            :             {
    3870                 :      15002 :               src->val->prop_time_benefit = safe_add (time,
    3871                 :       7501 :                                                 src->val->prop_time_benefit);
    3872                 :      15002 :               src->val->prop_size_cost = safe_add (size,
    3873                 :            :                                                    src->val->prop_size_cost);
    3874                 :            :             }
    3875                 :            :     }
    3876                 :     188018 : }
    3877                 :            : 
    3878                 :            : 
    3879                 :            : /* Propagate constants, polymorphic contexts and their effects from the
    3880                 :            :    summaries interprocedurally.  */
    3881                 :            : 
    3882                 :            : static void
    3883                 :      94009 : ipcp_propagate_stage (class ipa_topo_info *topo)
    3884                 :            : {
    3885                 :      94009 :   struct cgraph_node *node;
    3886                 :            : 
    3887                 :      94009 :   if (dump_file)
    3888                 :        162 :     fprintf (dump_file, "\n Propagating constants:\n\n");
    3889                 :            : 
    3890                 :      94009 :   max_count = profile_count::uninitialized ();
    3891                 :            : 
    3892                 :    1941280 :   FOR_EACH_DEFINED_FUNCTION (node)
    3893                 :            :   {
    3894                 :     876633 :     if (node->has_gimple_body_p ()
    3895                 :     824018 :         && opt_for_fn (node->decl, flag_ipa_cp)
    3896                 :     816258 :         && opt_for_fn (node->decl, optimize))
    3897                 :            :       {
    3898                 :     816258 :         class ipa_node_params *info = IPA_NODE_REF (node);
    3899                 :     816258 :         determine_versionability (node, info);
    3900                 :    1472070 :         info->lattices = XCNEWVEC (class ipcp_param_lattices,
    3901                 :            :                                    ipa_get_param_count (info));
    3902                 :     816258 :         initialize_node_lattices (node);
    3903                 :            :       }
    3904                 :     876633 :     ipa_size_summary *s = ipa_size_summaries->get (node);
    3905                 :     876633 :     if (node->definition && !node->alias && s != NULL)
    3906                 :     824953 :       overall_size += s->self_size;
    3907                 :     876633 :     max_count = max_count.max (node->count.ipa ());
    3908                 :            :   }
    3909                 :            : 
    3910                 :      94009 :   orig_overall_size = overall_size;
    3911                 :            : 
    3912                 :      94009 :   if (dump_file)
    3913                 :        162 :     fprintf (dump_file, "\noverall_size: %li\n", overall_size);
    3914                 :            : 
    3915                 :      94009 :   propagate_constants_topo (topo);
    3916                 :      94009 :   if (flag_checking)
    3917                 :      94004 :     ipcp_verify_propagated_values ();
    3918                 :      94009 :   topo->constants.propagate_effects ();
    3919                 :      94009 :   topo->contexts.propagate_effects ();
    3920                 :            : 
    3921                 :      94009 :   if (dump_file)
    3922                 :            :     {
    3923                 :        162 :       fprintf (dump_file, "\nIPA lattices after all propagation:\n");
    3924                 :        162 :       print_all_lattices (dump_file, (dump_flags & TDF_DETAILS), true);
    3925                 :            :     }
    3926                 :      94009 : }
    3927                 :            : 
    3928                 :            : /* Discover newly direct outgoing edges from NODE which is a new clone with
    3929                 :            :    known KNOWN_CSTS and make them direct.  */
    3930                 :            : 
    3931                 :            : static void
    3932                 :      18593 : ipcp_discover_new_direct_edges (struct cgraph_node *node,
    3933                 :            :                                 vec<tree> known_csts,
    3934                 :            :                                 vec<ipa_polymorphic_call_context>
    3935                 :            :                                 known_contexts,
    3936                 :            :                                 struct ipa_agg_replacement_value *aggvals)
    3937                 :            : {
    3938                 :      18593 :   struct cgraph_edge *ie, *next_ie;
    3939                 :      18593 :   bool found = false;
    3940                 :            : 
    3941                 :      19870 :   for (ie = node->indirect_calls; ie; ie = next_ie)
    3942                 :            :     {
    3943                 :       1277 :       tree target;
    3944                 :       1277 :       bool speculative;
    3945                 :            : 
    3946                 :       1277 :       next_ie = ie->next_callee;
    3947                 :       1277 :       target = ipa_get_indirect_edge_target_1 (ie, known_csts, known_contexts,
    3948                 :            :                                                vNULL, aggvals, &speculative);
    3949                 :       1277 :       if (target)
    3950                 :            :         {
    3951                 :        330 :           bool agg_contents = ie->indirect_info->agg_contents;
    3952                 :        330 :           bool polymorphic = ie->indirect_info->polymorphic;
    3953                 :        330 :           int param_index = ie->indirect_info->param_index;
    3954                 :        330 :           struct cgraph_edge *cs = ipa_make_edge_direct_to_target (ie, target,
    3955                 :            :                                                                    speculative);
    3956                 :        330 :           found = true;
    3957                 :            : 
    3958                 :        330 :           if (cs && !agg_contents && !polymorphic)
    3959                 :            :             {
    3960                 :        148 :               class ipa_node_params *info = IPA_NODE_REF (node);
    3961                 :        148 :               int c = ipa_get_controlled_uses (info, param_index);
    3962                 :        148 :               if (c != IPA_UNDESCRIBED_USE)
    3963                 :            :                 {
    3964                 :        148 :                   struct ipa_ref *to_del;
    3965                 :            : 
    3966                 :        148 :                   c--;
    3967                 :        148 :                   ipa_set_controlled_uses (info, param_index, c);
    3968                 :        148 :                   if (dump_file && (dump_flags & TDF_DETAILS))
    3969                 :          3 :                     fprintf (dump_file, "     controlled uses count of param "
    3970                 :            :                              "%i bumped down to %i\n", param_index, c);
    3971                 :        148 :                   if (c == 0
    3972                 :        148 :                       && (to_del = node->find_reference (cs->callee, NULL, 0)))
    3973                 :            :                     {
    3974                 :        110 :                       if (dump_file && (dump_flags & TDF_DETAILS))
    3975                 :          3 :                         fprintf (dump_file, "       and even removing its "
    3976                 :            :                                  "cloning-created reference\n");
    3977                 :        110 :                       to_del->remove_reference ();
    3978                 :            :                     }
    3979                 :            :                 }
    3980                 :            :             }
    3981                 :            :         }
    3982                 :            :     }
    3983                 :            :   /* Turning calls to direct calls will improve overall summary.  */
    3984                 :      18593 :   if (found)
    3985                 :        289 :     ipa_update_overall_fn_summary (node);
    3986                 :      18593 : }
    3987                 :            : 
    3988                 :            : class edge_clone_summary;
    3989                 :            : static call_summary <edge_clone_summary *> *edge_clone_summaries = NULL;
    3990                 :            : 
    3991                 :            : /* Edge clone summary.  */
    3992                 :            : 
    3993                 :            : class edge_clone_summary
    3994                 :            : {
    3995                 :            : public:
    3996                 :            :   /* Default constructor.  */
    3997                 :     116414 :   edge_clone_summary (): prev_clone (NULL), next_clone (NULL) {}
    3998                 :            : 
    3999                 :            :   /* Default destructor.  */
    4000                 :     116414 :   ~edge_clone_summary ()
    4001                 :     116414 :   {
    4002                 :     116414 :     if (prev_clone)
    4003                 :      59012 :       edge_clone_summaries->get (prev_clone)->next_clone = next_clone;
    4004                 :     116414 :     if (next_clone)
    4005                 :      58572 :       edge_clone_summaries->get (next_clone)->prev_clone = prev_clone;
    4006                 :     116414 :   }
    4007                 :            : 
    4008                 :            :   cgraph_edge *prev_clone;
    4009                 :            :   cgraph_edge *next_clone;
    4010                 :            : };
    4011                 :            : 
    4012                 :            : class edge_clone_summary_t:
    4013                 :            :   public call_summary <edge_clone_summary *>
    4014                 :            : {
    4015                 :            : public:
    4016                 :      94009 :   edge_clone_summary_t (symbol_table *symtab):
    4017                 :     188018 :     call_summary <edge_clone_summary *> (symtab)
    4018                 :            :     {
    4019                 :      94009 :       m_initialize_when_cloning = true;
    4020                 :            :     }
    4021                 :            : 
    4022                 :            :   virtual void duplicate (cgraph_edge *src_edge, cgraph_edge *dst_edge,
    4023                 :            :                           edge_clone_summary *src_data,
    4024                 :            :                           edge_clone_summary *dst_data);
    4025                 :            : };
    4026                 :            : 
    4027                 :            : /* Edge duplication hook.  */
    4028                 :            : 
    4029                 :            : void
    4030                 :      58550 : edge_clone_summary_t::duplicate (cgraph_edge *src_edge, cgraph_edge *dst_edge,
    4031                 :            :                                  edge_clone_summary *src_data,
    4032                 :            :                                  edge_clone_summary *dst_data)
    4033                 :            : {
    4034                 :      58550 :   if (src_data->next_clone)
    4035                 :       1356 :     edge_clone_summaries->get (src_data->next_clone)->prev_clone = dst_edge;
    4036                 :      58550 :   dst_data->prev_clone = src_edge;
    4037                 :      58550 :   dst_data->next_clone = src_data->next_clone;
    4038                 :      58550 :   src_data->next_clone = dst_edge;
    4039                 :      58550 : }
    4040                 :            : 
    4041                 :            : /* Return true is CS calls DEST or its clone for all contexts.  When
    4042                 :            :    ALLOW_RECURSION_TO_CLONE is false, also return false for self-recursive
    4043                 :            :    edges from/to an all-context clone.  */
    4044                 :            : 
    4045                 :            : static bool
    4046                 :     138512 : calls_same_node_or_its_all_contexts_clone_p (cgraph_edge *cs, cgraph_node *dest,
    4047                 :            :                                              bool allow_recursion_to_clone)
    4048                 :            : {
    4049                 :     138512 :   enum availability availability;
    4050                 :     138512 :   cgraph_node *callee = cs->callee->function_symbol (&availability);
    4051                 :            : 
    4052                 :     138512 :   if (availability <= AVAIL_INTERPOSABLE)
    4053                 :            :     return false;
    4054                 :     138301 :   if (callee == dest)
    4055                 :            :     return true;
    4056                 :      23098 :   if (!allow_recursion_to_clone && cs->caller == callee)
    4057                 :            :     return false;
    4058                 :            : 
    4059                 :      20098 :   class ipa_node_params *info = IPA_NODE_REF (callee);
    4060                 :      20098 :   return info->is_all_contexts_clone && info->ipcp_orig_node == dest;
    4061                 :            : }
    4062                 :            : 
    4063                 :            : /* Return true if edge CS does bring about the value described by SRC to
    4064                 :            :    DEST_VAL of node DEST or its clone for all contexts.  */
    4065                 :            : 
    4066                 :            : static bool
    4067                 :     135501 : cgraph_edge_brings_value_p (cgraph_edge *cs, ipcp_value_source<tree> *src,
    4068                 :            :                             cgraph_node *dest, ipcp_value<tree> *dest_val)
    4069                 :            : {
    4070                 :     135501 :   class ipa_node_params *caller_info = IPA_NODE_REF (cs->caller);
    4071                 :            : 
    4072                 :     135501 :   if (!calls_same_node_or_its_all_contexts_clone_p (cs, dest, !src->val)
    4073                 :     135501 :       || caller_info->node_dead)
    4074                 :            :     return false;
    4075                 :            : 
    4076                 :     117536 :   if (!src->val)
    4077                 :            :     return true;
    4078                 :            : 
    4079                 :      12613 :   if (caller_info->ipcp_orig_node)
    4080                 :            :     {
    4081                 :       2880 :       tree t;
    4082                 :       2880 :       if (src->offset == -1)
    4083                 :       1841 :         t = caller_info->known_csts[src->index];
    4084                 :            :       else
    4085                 :       1039 :         t = get_clone_agg_value (cs->caller, src->offset, src->index);
    4086                 :       2880 :       return (t != NULL_TREE
    4087                 :       2880 :               && values_equal_for_ipcp_p (src->val->value, t));
    4088                 :            :     }
    4089                 :            :   else
    4090                 :            :     {
    4091                 :       9733 :       if (src->val == dest_val)
    4092                 :            :         return true;
    4093                 :            : 
    4094                 :       8478 :       struct ipcp_agg_lattice *aglat;
    4095                 :       8478 :       class ipcp_param_lattices *plats = ipa_get_parm_lattices (caller_info,
    4096                 :            :                                                                  src->index);
    4097                 :       8478 :       if (src->offset == -1)
    4098                 :       6406 :         return (plats->itself.is_single_const ()
    4099                 :          2 :                 && values_equal_for_ipcp_p (src->val->value,
    4100                 :          2 :                                             plats->itself.values->value));
    4101                 :            :       else
    4102                 :            :         {
    4103                 :       2072 :           if (plats->aggs_bottom || plats->aggs_contain_variable)
    4104                 :            :             return false;
    4105                 :        285 :           for (aglat = plats->aggs; aglat; aglat = aglat->next)
    4106                 :        285 :             if (aglat->offset == src->offset)
    4107                 :        225 :               return  (aglat->is_single_const ()
    4108                 :          0 :                        && values_equal_for_ipcp_p (src->val->value,
    4109                 :          0 :                                                    aglat->values->value));
    4110                 :            :         }
    4111                 :            :       return false;
    4112                 :            :     }
    4113                 :            : }
    4114                 :            : 
    4115                 :            : /* Return true if edge CS does bring about the value described by SRC to
    4116                 :            :    DST_VAL of node DEST or its clone for all contexts.  */
    4117                 :            : 
    4118                 :            : static bool
    4119                 :       3011 : cgraph_edge_brings_value_p (cgraph_edge *cs,
    4120                 :            :                             ipcp_value_source<ipa_polymorphic_call_context> *src,
    4121                 :            :                             cgraph_node *dest,
    4122                 :            :                             ipcp_value<ipa_polymorphic_call_context> *)
    4123                 :            : {
    4124                 :       3011 :   class ipa_node_params *caller_info = IPA_NODE_REF (cs->caller);
    4125                 :            : 
    4126                 :       3011 :   if (!calls_same_node_or_its_all_contexts_clone_p (cs, dest, true)
    4127                 :       3011 :       || caller_info->node_dead)
    4128                 :            :     return false;
    4129                 :       2661 :   if (!src->val)
    4130                 :            :     return true;
    4131                 :            : 
    4132                 :        537 :   if (caller_info->ipcp_orig_node)
    4133                 :        137 :     return (caller_info->known_contexts.length () > (unsigned) src->index)
    4134                 :        274 :       && values_equal_for_ipcp_p (src->val->value,
    4135                 :        137 :                                   caller_info->known_contexts[src->index]);
    4136                 :            : 
    4137                 :        400 :   class ipcp_param_lattices *plats = ipa_get_parm_lattices (caller_info,
    4138                 :            :                                                              src->index);
    4139                 :        400 :   return plats->ctxlat.is_single_const ()
    4140                 :         36 :     && values_equal_for_ipcp_p (src->val->value,
    4141                 :         36 :                                 plats->ctxlat.values->value);
    4142                 :            : }
    4143                 :            : 
    4144                 :            : /* Get the next clone in the linked list of clones of an edge.  */
    4145                 :            : 
    4146                 :            : static inline struct cgraph_edge *
    4147                 :     138940 : get_next_cgraph_edge_clone (struct cgraph_edge *cs)
    4148                 :            : {
    4149                 :     138940 :   edge_clone_summary *s = edge_clone_summaries->get (cs);
    4150                 :     138940 :   return s != NULL ? s->next_clone : NULL;
    4151                 :            : }
    4152                 :            : 
    4153                 :            : /* Given VAL that is intended for DEST, iterate over all its sources and if any
    4154                 :            :    of them is viable and hot, return true.  In that case, for those that still
    4155                 :            :    hold, add their edge frequency and their number into *FREQUENCY and
    4156                 :            :    *CALLER_COUNT respectively.  */
    4157                 :            : 
    4158                 :            : template <typename valtype>
    4159                 :            : static bool
    4160                 :      45514 : get_info_about_necessary_edges (ipcp_value<valtype> *val, cgraph_node *dest,
    4161                 :            :                                 int *freq_sum,
    4162                 :            :                                 profile_count *count_sum, int *caller_count)
    4163                 :            : {
    4164                 :            :   ipcp_value_source<valtype> *src;
    4165                 :      45514 :   int freq = 0, count = 0;
    4166                 :      45514 :   profile_count cnt = profile_count::zero ();
    4167                 :      45514 :   bool hot = false;
    4168                 :      45514 :   bool non_self_recursive = false;
    4169                 :            : 
    4170                 :     166718 :   for (src = val->sources; src; src = src->next)
    4171                 :            :     {
    4172                 :     121204 :       struct cgraph_edge *cs = src->cs;
    4173                 :     253164 :       while (cs)
    4174                 :            :         {
    4175                 :     131960 :           if (cgraph_edge_brings_value_p (cs, src, dest, val))
    4176                 :            :             {
    4177                 :     107170 :               count++;
    4178                 :     107170 :               freq += cs->frequency ();
    4179                 :     107170 :               if (cs->count.ipa ().initialized_p ())
    4180                 :        656 :                 cnt += cs->count.ipa ();
    4181                 :     107170 :               hot |= cs->maybe_hot_p ();
    4182                 :     107170 :               if (cs->caller != dest)
    4183                 :     105264 :                 non_self_recursive = true;
    4184                 :            :             }
    4185                 :     131960 :           cs = get_next_cgraph_edge_clone (cs);
    4186                 :            :         }
    4187                 :            :     }
    4188                 :            : 
    4189                 :            :   /* If the only edges bringing a value are self-recursive ones, do not bother
    4190                 :            :      evaluating it.  */
    4191                 :      45514 :   if (!non_self_recursive)
    4192                 :            :     return false;
    4193                 :            : 
    4194                 :      37392 :   *freq_sum = freq;
    4195                 :      37392 :   *count_sum = cnt;
    4196                 :      37392 :   *caller_count = count;
    4197                 :            : 
    4198                 :      58795 :   if (!hot && IPA_NODE_REF (dest)->node_within_scc)
    4199                 :            :     {
    4200                 :            :       struct cgraph_edge *cs;
    4201                 :            : 
    4202                 :            :       /* Cold non-SCC source edge could trigger hot recursive execution of
    4203                 :            :          function. Consider the case as hot and rely on following cost model
    4204                 :            :          computation to further select right one.  */
    4205                 :       1938 :       for (cs = dest->callers; cs; cs = cs->next_caller)
    4206                 :       1777 :         if (cs->caller == dest && cs->maybe_hot_p ())
    4207                 :            :           return true;
    4208                 :            :     }
    4209                 :            : 
    4210                 :            :   return hot;
    4211                 :            : }
    4212                 :            : 
    4213                 :            : /* Given a NODE, and a set of its CALLERS, try to adjust order of the callers
    4214                 :            :    to let a non-self-recursive caller be the first element.  Thus, we can
    4215                 :            :    simplify intersecting operations on values that arrive from all of these
    4216                 :            :    callers, especially when there exists self-recursive call.  Return true if
    4217                 :            :    this kind of adjustment is possible.  */
    4218                 :            : 
    4219                 :            : static bool
    4220                 :      18272 : adjust_callers_for_value_intersection (vec<cgraph_edge *> callers,
    4221                 :            :                                        cgraph_node *node)
    4222                 :            : {
    4223                 :      36583 :   for (unsigned i = 0; i < callers.length (); i++)
    4224                 :            :     {
    4225                 :      18221 :       cgraph_edge *cs = callers[i];
    4226                 :            : 
    4227                 :      18221 :       if (cs->caller != node)
    4228                 :            :         {
    4229                 :      18170 :           if (i > 0)
    4230                 :            :             {
    4231                 :         33 :               callers[i] = callers[0];
    4232                 :         33 :               callers[0] = cs;
    4233                 :            :             }
    4234                 :      18170 :           return true;
    4235                 :            :         }
    4236                 :            :     }
    4237                 :            :   return false;
    4238                 :            : }
    4239                 :            : 
    4240                 :            : /* Return a vector of incoming edges that do bring value VAL to node DEST.  It
    4241                 :            :    is assumed their number is known and equal to CALLER_COUNT.  */
    4242                 :            : 
    4243                 :            : template <typename valtype>
    4244                 :            : static vec<cgraph_edge *>
    4245                 :        686 : gather_edges_for_value (ipcp_value<valtype> *val, cgraph_node *dest,
    4246                 :            :                         int caller_count)
    4247                 :            : {
    4248                 :            :   ipcp_value_source<valtype> *src;
    4249                 :            :   vec<cgraph_edge *> ret;
    4250                 :            : 
    4251                 :        686 :   ret.create (caller_count);
    4252                 :       3371 :   for (src = val->sources; src; src = src->next)
    4253                 :            :     {
    4254                 :       2685 :       struct cgraph_edge *cs = src->cs;
    4255                 :       5815 :       while (cs)
    4256                 :            :         {
    4257                 :       3130 :           if (cgraph_edge_brings_value_p (cs, src, dest, val))
    4258                 :       2420 :             ret.quick_push (cs);
    4259                 :       3130 :           cs = get_next_cgraph_edge_clone (cs);
    4260                 :            :         }
    4261                 :            :     }
    4262                 :            : 
    4263                 :        686 :   if (caller_count > 1)
    4264                 :        263 :     adjust_callers_for_value_intersection (ret, dest);
    4265                 :            : 
    4266                 :        686 :   return ret;
    4267                 :            : }
    4268                 :            : 
    4269                 :            : /* Construct a replacement map for a know VALUE for a formal parameter PARAM.
    4270                 :            :    Return it or NULL if for some reason it cannot be created.  */
    4271                 :            : 
    4272                 :            : static struct ipa_replace_map *
    4273                 :      26707 : get_replacement_map (class ipa_node_params *info, tree value, int parm_num)
    4274                 :            : {
    4275                 :      26707 :   struct ipa_replace_map *replace_map;
    4276                 :            : 
    4277                 :      26707 :   replace_map = ggc_alloc<ipa_replace_map> ();
    4278                 :      26707 :   if (dump_file)
    4279                 :            :     {
    4280                 :        141 :       fprintf (dump_file, "    replacing ");
    4281                 :        141 :       ipa_dump_param (dump_file, info, parm_num);
    4282                 :            : 
    4283                 :        141 :       fprintf (dump_file, " with const ");
    4284                 :        141 :       print_generic_expr (dump_file, value);
    4285                 :        141 :       fprintf (dump_file, "\n");
    4286                 :            :     }
    4287                 :      26707 :   replace_map->parm_num = parm_num;
    4288                 :      26707 :   replace_map->new_tree = value;
    4289                 :      26707 :   return replace_map;
    4290                 :            : }
    4291                 :            : 
    4292                 :            : /* Dump new profiling counts */
    4293                 :            : 
    4294                 :            : static void
    4295                 :          0 : dump_profile_updates (struct cgraph_node *orig_node,
    4296                 :            :                       struct cgraph_node *new_node)
    4297                 :            : {
    4298                 :          0 :   struct cgraph_edge *cs;
    4299                 :            : 
    4300                 :          0 :   fprintf (dump_file, "    setting count of the specialized node to ");
    4301                 :          0 :   new_node->count.dump (dump_file);
    4302                 :          0 :   fprintf (dump_file, "\n");
    4303                 :          0 :   for (cs = new_node->callees; cs; cs = cs->next_callee)
    4304                 :            :     {
    4305                 :          0 :       fprintf (dump_file, "      edge to %s has count ",
    4306                 :          0 :                cs->callee->dump_name ());
    4307                 :          0 :       cs->count.dump (dump_file);
    4308                 :          0 :       fprintf (dump_file, "\n");
    4309                 :            :     }
    4310                 :            : 
    4311                 :          0 :   fprintf (dump_file, "    setting count of the original node to ");
    4312                 :          0 :   orig_node->count.dump (dump_file);
    4313                 :          0 :   fprintf (dump_file, "\n");
    4314                 :          0 :   for (cs = orig_node->callees; cs; cs = cs->next_callee)
    4315                 :            :     {
    4316                 :          0 :       fprintf (dump_file, "      edge to %s is left with ",
    4317                 :          0 :                cs->callee->dump_name ());
    4318                 :          0 :       cs->count.dump (dump_file);
    4319                 :          0 :       fprintf (dump_file, "\n");
    4320                 :            :     }
    4321                 :          0 : }
    4322                 :            : 
    4323                 :            : /* After a specialized NEW_NODE version of ORIG_NODE has been created, update
    4324                 :            :    their profile information to reflect this.  */
    4325                 :            : 
    4326                 :            : static void
    4327                 :      18593 : update_profiling_info (struct cgraph_node *orig_node,
    4328                 :            :                        struct cgraph_node *new_node)
    4329                 :            : {
    4330                 :      18593 :   struct cgraph_edge *cs;
    4331                 :      18593 :   struct caller_statistics stats;
    4332                 :      18593 :   profile_count new_sum, orig_sum;
    4333                 :      18593 :   profile_count remainder, orig_node_count = orig_node->count;
    4334                 :      18593 :   profile_count orig_new_node_count = new_node->count;
    4335                 :            : 
    4336                 :      18593 :   if (!(orig_node_count.ipa () > profile_count::zero ()))
    4337                 :      18579 :     return;
    4338                 :            : 
    4339                 :         14 :   init_caller_stats (&stats);
    4340                 :         14 :   orig_node->call_for_symbol_thunks_and_aliases (gather_caller_stats, &stats,
    4341                 :            :                                                false);
    4342                 :         14 :   orig_sum = stats.count_sum;
    4343                 :         14 :   init_caller_stats (&stats);
    4344                 :         14 :   new_node->call_for_symbol_thunks_and_aliases (gather_caller_stats, &stats,
    4345                 :            :                                               false);
    4346                 :         14 :   new_sum = stats.count_sum;
    4347                 :            : 
    4348                 :         14 :   if (orig_node_count < orig_sum + new_sum)
    4349                 :            :     {
    4350                 :          0 :       if (dump_file)
    4351                 :            :         {
    4352                 :          0 :           fprintf (dump_file, "    Problem: node %s has too low count ",
    4353                 :            :                    orig_node->dump_name ());
    4354                 :          0 :           orig_node_count.dump (dump_file);
    4355                 :          0 :           fprintf (dump_file, "while the sum of incoming count is ");
    4356                 :          0 :           (orig_sum + new_sum).dump (dump_file);
    4357                 :          0 :           fprintf (dump_file, "\n");
    4358                 :            :         }
    4359                 :            : 
    4360                 :          0 :       orig_node_count = (orig_sum + new_sum).apply_scale (12, 10);
    4361                 :          0 :       if (dump_file)
    4362                 :            :         {
    4363                 :          0 :           fprintf (dump_file, "      proceeding by pretending it was ");
    4364                 :          0 :           orig_node_count.dump (dump_file);
    4365                 :          0 :           fprintf (dump_file, "\n");
    4366                 :            :         }
    4367                 :            :     }
    4368                 :            : 
    4369                 :         14 :   remainder = orig_node_count.combine_with_ipa_count (orig_node_count.ipa ()
    4370                 :         28 :                                                       - new_sum.ipa ());
    4371                 :            : 
    4372                 :            :   /* With partial train run we do not want to assume that original's
    4373                 :            :      count is zero whenever we redurect all executed edges to clone.
    4374                 :            :      Simply drop profile to local one in this case.  */
    4375                 :         30 :   if (remainder.ipa_p () && !remainder.ipa ().nonzero_p ()
    4376                 :         38 :       && orig_node->count.ipa_p () && orig_node->count.ipa ().nonzero_p ()
    4377                 :         12 :       && flag_profile_partial_training)
    4378                 :          0 :     remainder = remainder.guessed_local ();
    4379                 :            : 
    4380                 :         14 :   new_sum = orig_node_count.combine_with_ipa_count (new_sum);
    4381                 :         14 :   new_node->count = new_sum;
    4382                 :         14 :   orig_node->count = remainder;
    4383                 :            : 
    4384                 :         14 :   profile_count::adjust_for_ipa_scaling (&new_sum, &orig_new_node_count);
    4385                 :         21 :   for (cs = new_node->callees; cs; cs = cs->next_callee)
    4386                 :          7 :     cs->count = cs->count.apply_scale (new_sum, orig_new_node_count);
    4387                 :         16 :   for (cs = new_node->indirect_calls; cs; cs = cs->next_callee)
    4388                 :          2 :     cs->count = cs->count.apply_scale (new_sum, orig_new_node_count);
    4389                 :            : 
    4390                 :         14 :   profile_count::adjust_for_ipa_scaling (&remainder, &orig_node_count);
    4391                 :         21 :   for (cs = orig_node->callees; cs; cs = cs->next_callee)
    4392                 :          7 :     cs->count = cs->count.apply_scale (remainder, orig_node_count);
    4393                 :         16 :   for (cs = orig_node->indirect_calls; cs; cs = cs->next_callee)
    4394                 :          2 :     cs->count = cs->count.apply_scale (remainder, orig_node_count);
    4395                 :            : 
    4396                 :         14 :   if (dump_file)
    4397                 :          0 :     dump_profile_updates (orig_node, new_node);
    4398                 :            : }
    4399                 :            : 
    4400                 :            : /* Update the respective profile of specialized NEW_NODE and the original
    4401                 :            :    ORIG_NODE after additional edges with cumulative count sum REDIRECTED_SUM
    4402                 :            :    have been redirected to the specialized version.  */
    4403                 :            : 
    4404                 :            : static void
    4405                 :          0 : update_specialized_profile (struct cgraph_node *new_node,
    4406                 :            :                             struct cgraph_node *orig_node,
    4407                 :            :                             profile_count redirected_sum)
    4408                 :            : {
    4409                 :          0 :   struct cgraph_edge *cs;
    4410                 :          0 :   profile_count new_node_count, orig_node_count = orig_node->count;
    4411                 :            : 
    4412                 :          0 :   if (dump_file)
    4413                 :            :     {
    4414                 :          0 :       fprintf (dump_file, "    the sum of counts of redirected  edges is ");
    4415                 :          0 :       redirected_sum.dump (dump_file);
    4416                 :          0 :       fprintf (dump_file, "\n");
    4417                 :            :     }
    4418                 :          0 :   if (!(orig_node_count > profile_count::zero ()))
    4419                 :          0 :     return;
    4420                 :            : 
    4421                 :          0 :   gcc_assert (orig_node_count >= redirected_sum);
    4422                 :            : 
    4423                 :          0 :   new_node_count = new_node->count;
    4424                 :          0 :   new_node->count += redirected_sum;
    4425                 :          0 :   orig_node->count -= redirected_sum;
    4426                 :            : 
    4427                 :          0 :   for (cs = new_node->callees; cs; cs = cs->next_callee)
    4428                 :          0 :     cs->count += cs->count.apply_scale (redirected_sum, new_node_count);
    4429                 :            : 
    4430                 :          0 :   for (cs = orig_node->callees; cs; cs = cs->next_callee)
    4431                 :            :     {
    4432                 :          0 :       profile_count dec = cs->count.apply_scale (redirected_sum,
    4433                 :          0 :                                                  orig_node_count);
    4434                 :          0 :       cs->count -= dec;
    4435                 :            :     }
    4436                 :            : 
    4437                 :          0 :   if (dump_file)
    4438                 :          0 :     dump_profile_updates (orig_node, new_node);
    4439                 :            : }
    4440                 :            : 
    4441                 :            : /* Return true if we would like to remove a parameter from NODE when cloning it
    4442                 :            :    with KNOWN_CSTS scalar constants.  */
    4443                 :            : 
    4444                 :            : static bool
    4445                 :      15507 : want_remove_some_param_p (cgraph_node *node, vec<tree> known_csts)
    4446                 :            : {
    4447                 :      15507 :   auto_vec<bool, 16> surviving;
    4448                 :      15507 :   bool filled_vec = false;
    4449                 :      15507 :   ipa_node_params *info = IPA_NODE_REF (node);
    4450                 :      15507 :   int i, count = ipa_get_param_count (info);
    4451                 :            : 
    4452                 :      24751 :   for (i = 0; i < count; i++)
    4453                 :            :     {
    4454                 :      23072 :       if (!known_csts[i] && ipa_is_param_used (info, i))
    4455                 :       9244 :        continue;
    4456                 :            : 
    4457                 :      13828 :       if (!filled_vec)
    4458                 :            :        {
    4459                 :      13828 :          if (!node->clone.param_adjustments)
    4460                 :            :            return true;
    4461                 :          0 :          node->clone.param_adjustments->get_surviving_params (&surviving);
    4462                 :          0 :          filled_vec = true;
    4463                 :            :        }
    4464                 :          0 :       if (surviving.length() < (unsigned) i &&  surviving[i])
    4465                 :            :        return true;
    4466                 :            :     }
    4467                 :            :   return false;
    4468                 :            : }
    4469                 :            : 
    4470                 :            : /* Create a specialized version of NODE with known constants in KNOWN_CSTS,
    4471                 :            :    known contexts in KNOWN_CONTEXTS and known aggregate values in AGGVALS and
    4472                 :            :    redirect all edges in CALLERS to it.  */
    4473                 :            : 
    4474                 :            : static struct cgraph_node *
    4475                 :      18593 : create_specialized_node (struct cgraph_node *node,
    4476                 :            :                          vec<tree> known_csts,
    4477                 :            :                          vec<ipa_polymorphic_call_context> known_contexts,
    4478                 :            :                          struct ipa_agg_replacement_value *aggvals,
    4479                 :            :                          vec<cgraph_edge *> callers)
    4480                 :            : {
    4481                 :      18593 :   class ipa_node_params *new_info, *info = IPA_NODE_REF (node);
    4482                 :      18593 :   vec<ipa_replace_map *, va_gc> *replace_trees = NULL;
    4483                 :      18593 :   vec<ipa_adjusted_param, va_gc> *new_params = NULL;
    4484                 :      18593 :   struct ipa_agg_replacement_value *av;
    4485                 :      18593 :   struct cgraph_node *new_node;
    4486                 :      18593 :   int i, count = ipa_get_param_count (info);
    4487                 :      18593 :   ipa_param_adjustments *old_adjustments = node->clone.param_adjustments;
    4488                 :      18593 :   ipa_param_adjustments *new_adjustments;
    4489                 :      18593 :   gcc_assert (!info->ipcp_orig_node);
    4490                 :      18593 :   gcc_assert (node->can_change_signature
    4491                 :            :               || !old_adjustments);
    4492                 :            : 
    4493                 :      18593 :   if (old_adjustments)
    4494                 :            :     {
    4495                 :            :       /* At the moment all IPA optimizations should use the number of
    4496                 :            :          parameters of the prevailing decl as the m_always_copy_start.
    4497                 :            :          Handling any other value would complicate the code below, so for the
    4498                 :            :          time bing let's only assert it is so.  */
    4499                 :          0 :       gcc_assert (old_adjustments->m_always_copy_start == count
    4500                 :            :                   || old_adjustments->m_always_copy_start < 0);
    4501                 :          0 :       int old_adj_count = vec_safe_length (old_adjustments->m_adj_params);
    4502                 :          0 :       for (i = 0; i < old_adj_count; i++)
    4503                 :            :         {
    4504                 :          0 :           ipa_adjusted_param *old_adj = &(*old_adjustments->m_adj_params)[i];
    4505                 :          0 :           if (!node->can_change_signature
    4506                 :          0 :               || old_adj->op != IPA_PARAM_OP_COPY
    4507                 :          0 :               || (!known_csts[old_adj->base_index]
    4508                 :          0 :                   && ipa_is_param_used (info, old_adj->base_index)))
    4509                 :            :             {
    4510                 :          0 :               ipa_adjusted_param new_adj = *old_adj;
    4511                 :            : 
    4512                 :          0 :               new_adj.prev_clone_adjustment = true;
    4513                 :          0 :               new_adj.prev_clone_index = i;
    4514                 :          0 :               vec_safe_push (new_params, new_adj);
    4515                 :            :             }
    4516                 :            :         }
    4517                 :          0 :       bool skip_return = old_adjustments->m_skip_return;
    4518                 :          0 :       new_adjustments = (new (ggc_alloc <ipa_param_adjustments> ())
    4519                 :            :                          ipa_param_adjustments (new_params, count,
    4520                 :          0 :                                                 skip_return));
    4521                 :            :     }
    4522                 :      18593 :   else if (node->can_change_signature
    4523                 :      18593 :            && want_remove_some_param_p (node, known_csts))
    4524                 :            :     {
    4525                 :      13828 :       ipa_adjusted_param adj;
    4526                 :      13828 :       memset (&adj, 0, sizeof (adj));
    4527                 :      13828 :       adj.op = IPA_PARAM_OP_COPY;
    4528                 :      47118 :       for (i = 0; i < count; i++)
    4529                 :      33290 :         if (!known_csts[i] && ipa_is_param_used (info, i))
    4530                 :            :           {
    4531                 :       8715 :             adj.base_index = i;
    4532                 :       8715 :             adj.prev_clone_index = i;
    4533                 :       8715 :             vec_safe_push (new_params, adj);
    4534                 :            :           }
    4535                 :      13828 :       new_adjustments = (new (ggc_alloc <ipa_param_adjustments> ())
    4536                 :      13828 :                          ipa_param_adjustments (new_params, count, false));
    4537                 :            :     }
    4538                 :            :   else
    4539                 :            :     new_adjustments = NULL;
    4540                 :            : 
    4541                 :      18593 :   replace_trees = vec_safe_copy (node->clone.tree_map);
    4542                 :      65589 :   for (i = 0; i < count; i++)
    4543                 :            :     {
    4544                 :      46996 :       tree t = known_csts[i];
    4545                 :      46996 :       if (t)
    4546                 :            :         {
    4547                 :      26707 :           struct ipa_replace_map *replace_map;
    4548                 :            : 
    4549                 :      26707 :           gcc_checking_assert (TREE_CODE (t) != TREE_BINFO);
    4550                 :      26707 :           replace_map = get_replacement_map (info, t, i);
    4551                 :      26707 :           if (replace_map)
    4552                 :      26707 :             vec_safe_push (replace_trees, replace_map);
    4553                 :            :         }
    4554                 :            :     }
    4555                 :      18593 :   auto_vec<cgraph_edge *, 2> self_recursive_calls;
    4556                 :      79881 :   for (i = callers.length () - 1; i >= 0; i--)
    4557                 :            :     {
    4558                 :      42695 :       cgraph_edge *cs = callers[i];
    4559                 :      42695 :       if (cs->caller == node)
    4560                 :            :         {
    4561                 :        206 :           self_recursive_calls.safe_push (cs);
    4562                 :      42901 :           callers.unordered_remove (i);
    4563                 :            :         }
    4564                 :            :     }
    4565                 :            : 
    4566                 :      18593 :   unsigned &suffix_counter = clone_num_suffixes->get_or_insert (
    4567                 :      18593 :                                IDENTIFIER_POINTER (DECL_ASSEMBLER_NAME (
    4568                 :      37186 :                                  node->decl)));
    4569                 :      18593 :   new_node = node->create_virtual_clone (callers, replace_trees,
    4570                 :            :                                          new_adjustments, "constprop",
    4571                 :            :                                          suffix_counter);
    4572                 :      18593 :   suffix_counter++;
    4573                 :            : 
    4574                 :      18593 :   bool have_self_recursive_calls = !self_recursive_calls.is_empty ();
    4575                 :      37598 :   for (unsigned j = 0; j < self_recursive_calls.length (); j++)
    4576                 :            :     {
    4577                 :        206 :       cgraph_edge *cs = get_next_cgraph_edge_clone (self_recursive_calls[j]);
    4578                 :            :       /* Cloned edges can disappear during cloning as speculation can be
    4579                 :            :          resolved, check that we have one and that it comes from the last
    4580                 :            :          cloning.  */
    4581                 :        206 :       if (cs && cs->caller == new_node)
    4582                 :        205 :         cs->redirect_callee_duplicating_thunks (new_node);
    4583                 :            :       /* Any future code that would make more than one clone of an outgoing
    4584                 :            :          edge would confuse this mechanism, so let's check that does not
    4585                 :            :          happen.  */
    4586                 :        206 :       gcc_checking_assert (!cs
    4587                 :            :                            || !get_next_cgraph_edge_clone (cs)
    4588                 :            :                            || get_next_cgraph_edge_clone (cs)->caller != new_node);
    4589                 :            :     }
    4590                 :      18593 :   if (have_self_recursive_calls)
    4591                 :        103 :     new_node->expand_all_artificial_thunks ();
    4592                 :            : 
    4593                 :      18593 :   ipa_set_node_agg_value_chain (new_node, aggvals);
    4594                 :      36528 :   for (av = aggvals; av; av = av->next)
    4595                 :      17935 :     new_node->maybe_create_reference (av->value, NULL);
    4596                 :            : 
    4597                 :      18593 :   if (dump_file && (dump_flags & TDF_DETAILS))
    4598                 :            :     {
    4599                 :         78 :       fprintf (dump_file, "     the new node is %s.\n", new_node->dump_name ());
    4600                 :         78 :       if (known_contexts.exists ())
    4601                 :            :         {
    4602                 :          0 :           for (i = 0; i < count; i++)
    4603                 :          0 :             if (!known_contexts[i].useless_p ())
    4604                 :            :               {
    4605                 :          0 :                 fprintf (dump_file, "     known ctx %i is ", i);
    4606                 :          0 :                 known_contexts[i].dump (dump_file);
    4607                 :            :               }
    4608                 :            :         }
    4609                 :         78 :       if (aggvals)
    4610                 :         43 :         ipa_dump_agg_replacement_values (dump_file, aggvals);
    4611                 :            :     }
    4612                 :      18593 :   ipa_check_create_node_params ();
    4613                 :      18593 :   update_profiling_info (node, new_node);
    4614                 :      18593 :   new_info = IPA_NODE_REF (new_node);
    4615                 :      18593 :   new_info->ipcp_orig_node = node;
    4616                 :      18593 :   new_node->ipcp_clone = true;
    4617                 :      18593 :   new_info->known_csts = known_csts;
    4618                 :      18593 :   new_info->known_contexts = known_contexts;
    4619                 :            : 
    4620                 :      18593 :   ipcp_discover_new_direct_edges (new_node, known_csts, known_contexts, aggvals);
    4621                 :            : 
    4622                 :      18593 :   callers.release ();
    4623                 :      18593 :   return new_node;
    4624                 :            : }
    4625                 :            : 
    4626                 :            : /* Return true if JFUNC, which describes a i-th parameter of call CS, is a
    4627                 :            :    pass-through function to itself when the cgraph_node involved is not an
    4628                 :            :    IPA-CP clone.  When SIMPLE is true, further check if JFUNC is a simple
    4629                 :            :    no-operation pass-through.  */
    4630                 :            : 
    4631                 :            : static bool
    4632                 :      68654 : self_recursive_pass_through_p (cgraph_edge *cs, ipa_jump_func *jfunc, int i,
    4633                 :            :                                bool simple = true)
    4634                 :            : {
    4635                 :      68654 :   enum availability availability;
    4636                 :      68654 :   if (cs->caller == cs->callee->function_symbol (&availability)
    4637                 :        315 :       && availability > AVAIL_INTERPOSABLE
    4638                 :        315 :       && jfunc->type == IPA_JF_PASS_THROUGH
    4639                 :        261 :       && (!simple || ipa_get_jf_pass_through_operation (jfunc) == NOP_EXPR)
    4640                 :        260 :       && ipa_get_jf_pass_through_formal_id (jfunc) == i
    4641                 :        462 :       && IPA_NODE_REF (cs->caller)
    4642                 :      69116 :       && !IPA_NODE_REF (cs->caller)->ipcp_orig_node)
    4643                 :        229 :     return true;
    4644                 :            :   return false;
    4645                 :            : }
    4646                 :            : 
    4647                 :            : /* Return true if JFUNC, which describes a part of an aggregate represented or
    4648                 :            :    pointed to by the i-th parameter of call CS, is a pass-through function to
    4649                 :            :    itself when the cgraph_node involved is not an IPA-CP clone..  When
    4650                 :            :    SIMPLE is true, further check if JFUNC is a simple no-operation
    4651                 :            :    pass-through.  */
    4652                 :            : 
    4653                 :            : static bool
    4654                 :      10071 : self_recursive_agg_pass_through_p (cgraph_edge *cs, ipa_agg_jf_item *jfunc,
    4655                 :            :                                    int i, bool simple = true)
    4656                 :            : {
    4657                 :      10071 :   enum availability availability;
    4658                 :      10071 :   if (cs->caller == cs->callee->function_symbol (&availability)
    4659                 :         51 :       && availability > AVAIL_INTERPOSABLE
    4660                 :         51 :       && jfunc->jftype == IPA_JF_LOAD_AGG
    4661                 :          2 :       && jfunc->offset == jfunc->value.load_agg.offset
    4662                 :          2 :       && (!simple || jfunc->value.pass_through.operation == NOP_EXPR)
    4663                 :          2 :       && jfunc->value.pass_through.formal_id == i
    4664                 :          2 :       && useless_type_conversion_p (jfunc->value.load_agg.type, jfunc->type)
    4665                 :          4 :       && IPA_NODE_REF (cs->caller)
    4666                 :      10075 :       && !IPA_NODE_REF (cs->caller)->ipcp_orig_node)
    4667                 :          2 :     return true;
    4668                 :            :   return false;
    4669                 :            : }
    4670                 :            : 
    4671                 :            : /* Given a NODE, and a subset of its CALLERS, try to populate blanks slots in
    4672                 :            :    KNOWN_CSTS with constants that are also known for all of the CALLERS.  */
    4673                 :            : 
    4674                 :            : static void
    4675                 :      18593 : find_more_scalar_values_for_callers_subset (struct cgraph_node *node,
    4676                 :            :                                             vec<tree> known_csts,
    4677                 :            :                                             vec<cgraph_edge *> callers)
    4678                 :            : {
    4679                 :      18593 :   class ipa_node_params *info = IPA_NODE_REF (node);
    4680                 :      18593 :   int i, count = ipa_get_param_count (info);
    4681                 :            : 
    4682                 :      65589 :   for (i = 0; i < count; i++)
    4683                 :            :     {
    4684                 :      46996 :       struct cgraph_edge *cs;
    4685                 :      46996 :       tree newval = NULL_TREE;
    4686                 :      46996 :       int j;
    4687                 :      46996 :       bool first = true;
    4688                 :      46996 :       tree type = ipa_get_type (info, i);
    4689                 :            : 
    4690                 :      46996 :       if (ipa_get_scalar_lat (info, i)->bottom || known_csts[i])
    4691                 :      28545 :         continue;
    4692                 :            : 
    4693                 :      21497 :       FOR_EACH_VEC_ELT (callers, j, cs)
    4694                 :            :         {
    4695                 :      21266 :           struct ipa_jump_func *jump_func;
    4696                 :      21266 :           tree t;
    4697                 :            : 
    4698                 :      21280 :           if (!IPA_EDGE_REF (cs)
    4699                 :      63756 :               || i >= ipa_get_cs_argument_count (IPA_EDGE_REF (cs))
    4700                 :      42495 :               || (i == 0
    4701                 :       8040 :                   && call_passes_through_thunk_p (cs)))
    4702                 :            :             {
    4703                 :            :               newval = NULL_TREE;
    4704                 :            :               break;
    4705                 :            :             }
    4706                 :      42396 :           jump_func = ipa_get_ith_jump_func (IPA_EDGE_REF (cs), i);
    4707                 :            : 
    4708                 :            :           /* Besides simple pass-through jump function, arithmetic jump
    4709                 :            :              function could also introduce argument-direct-pass-through for
    4710                 :            :              self-feeding recursive call.  For example,
    4711                 :            : 
    4712                 :            :                 fn (int i)
    4713                 :            :                 {
    4714                 :            :                   fn (i & 1);
    4715                 :            :                 }
    4716                 :            : 
    4717                 :            :              Given that i is 0, recursive propagation via (i & 1) also gets
    4718                 :            :              0.  */
    4719                 :      21198 :           if (self_recursive_pass_through_p (cs, jump_func, i, false))
    4720                 :            :             {
    4721                 :        202 :               gcc_assert (newval);
    4722                 :        202 :               t = ipa_get_jf_arith_result (
    4723                 :            :                                 ipa_get_jf_pass_through_operation (jump_func),
    4724                 :            :                                 newval,
    4725                 :            :                                 ipa_get_jf_pass_through_operand (jump_func),
    4726                 :            :                                 type);
    4727                 :            :             }
    4728                 :            :           else
    4729                 :      41992 :             t = ipa_value_from_jfunc (IPA_NODE_REF (cs->caller), jump_func,
    4730                 :            :                                       type);
    4731                 :      21198 :           if (!t
    4732                 :       4236 :               || (newval
    4733                 :       2566 :                   && !values_equal_for_ipcp_p (t, newval))
    4734                 :      24244 :               || (!first && !newval))
    4735                 :            :             {
    4736                 :            :               newval = NULL_TREE;
    4737                 :            :               break;
    4738                 :            :             }
    4739                 :            :           else
    4740                 :       3046 :             newval = t;
    4741                 :       3046 :           first = false;
    4742                 :            :         }
    4743                 :            : 
    4744                 :      18451 :       if (newval)
    4745                 :            :         {
    4746                 :        231 :           if (dump_file && (dump_flags & TDF_DETAILS))
    4747                 :            :             {
    4748                 :          1 :               fprintf (dump_file, "    adding an extra known scalar value ");
    4749                 :          1 :               print_ipcp_constant_value (dump_file, newval);
    4750                 :          1 :               fprintf (dump_file, " for ");
    4751                 :          1 :               ipa_dump_param (dump_file, info, i);
    4752                 :          1 :               fprintf (dump_file, "\n");
    4753                 :            :             }
    4754                 :            : 
    4755                 :        231 :           known_csts[i] = newval;
    4756                 :            :         }
    4757                 :            :     }
    4758                 :      18593 : }
    4759                 :            : 
    4760                 :            : /* Given a NODE and a subset of its CALLERS, try to populate plank slots in
    4761                 :            :    KNOWN_CONTEXTS with polymorphic contexts that are also known for all of the
    4762                 :            :    CALLERS.  */
    4763                 :            : 
    4764                 :            : static void
    4765                 :      18593 : find_more_contexts_for_caller_subset (cgraph_node *node,
    4766                 :            :                                       vec<ipa_polymorphic_call_context>
    4767                 :            :                                       *known_contexts,
    4768                 :            :                                       vec<cgraph_edge *> callers)
    4769                 :            : {
    4770                 :      18593 :   ipa_node_params *info = IPA_NODE_REF (node);
    4771                 :      18593 :   int i, count = ipa_get_param_count (info);
    4772                 :            : 
    4773                 :      65566 :   for (i = 0; i < count; i++)
    4774                 :            :     {
    4775                 :      46989 :       cgraph_edge *cs;
    4776                 :            : 
    4777                 :      46989 :       if (ipa_get_poly_ctx_lat (info, i)->bottom
    4778                 :      46989 :           || (known_contexts->exists ()
    4779                 :      43637 :               && !(*known_contexts)[i].useless_p ()))
    4780                 :       2430 :         continue;
    4781                 :            : 
    4782                 :      44559 :       ipa_polymorphic_call_context newval;
    4783                 :      44559 :       bool first = true;
    4784                 :      44559 :       int j;
    4785                 :            : 
    4786                 :      44783 :       FOR_EACH_VEC_ELT (callers, j, cs)
    4787                 :            :         {
    4788                 :      44653 :           if (!IPA_EDGE_REF (cs)
    4789                 :     133917 :               || i >= ipa_get_cs_argument_count (IPA_EDGE_REF (cs)))
    4790                 :         16 :             return;
    4791                 :      89260 :           ipa_jump_func *jfunc = ipa_get_ith_jump_func (IPA_EDGE_REF (cs),
    4792                 :            :                                                             i);
    4793                 :      44630 :           ipa_polymorphic_call_context ctx;
    4794                 :      89260 :           ctx = ipa_context_from_jfunc (IPA_NODE_REF (cs->caller), cs, i,
    4795                 :      89260 :                                         jfunc);
    4796                 :      44630 :           if (first)
    4797                 :            :             {
    4798                 :      44543 :               newval = ctx;
    4799                 :      44543 :               first = false;
    4800                 :            :             }
    4801                 :            :           else
    4802                 :         87 :             newval.meet_with (ctx);
    4803                 :      44630 :           if (newval.useless_p ())
    4804                 :            :             break;
    4805                 :            :         }
    4806                 :            : 
    4807                 :      44543 :       if (!newval.useless_p ())
    4808                 :            :         {
    4809                 :        137 :           if (dump_file && (dump_flags & TDF_DETAILS))
    4810                 :            :             {
    4811                 :          0 :               fprintf (dump_file, "    adding an extra known polymorphic "
    4812                 :            :                        "context ");
    4813                 :          0 :               print_ipcp_constant_value (dump_file, newval);
    4814                 :          0 :               fprintf (dump_file, " for ");
    4815                 :          0 :               ipa_dump_param (dump_file, info, i);
    4816                 :          0 :               fprintf (dump_file, "\n");
    4817                 :            :             }
    4818                 :            : 
    4819                 :        137 :           if (!known_contexts->exists ())
    4820                 :        172 :             known_contexts->safe_grow_cleared (ipa_get_param_count (info));
    4821                 :        137 :           (*known_contexts)[i] = newval;
    4822                 :            :         }
    4823                 :            : 
    4824                 :            :     }
    4825                 :            : }
    4826                 :            : 
    4827                 :            : /* Go through PLATS and create a vector of values consisting of values and
    4828                 :            :    offsets (minus OFFSET) of lattices that contain only a single value.  */
    4829                 :            : 
    4830                 :            : static vec<ipa_agg_value>
    4831                 :         47 : copy_plats_to_inter (class ipcp_param_lattices *plats, HOST_WIDE_INT offset)
    4832                 :            : {
    4833                 :         47 :   vec<ipa_agg_value> res = vNULL;
    4834                 :            : 
    4835                 :         47 :   if (!plats->aggs || plats->aggs_contain_variable || plats->aggs_bottom)
    4836                 :         23 :     return vNULL;
    4837                 :            : 
    4838                 :         72 :   for (struct ipcp_agg_lattice *aglat = plats->aggs; aglat; aglat = aglat->next)
    4839                 :         96 :     if (aglat->is_single_const ())
    4840                 :            :       {
    4841                 :          7 :         struct ipa_agg_value ti;
    4842                 :          7 :         ti.offset = aglat->offset - offset;
    4843                 :          7 :         ti.value = aglat->values->value;
    4844                 :          7 :         res.safe_push (ti);
    4845                 :            :       }
    4846                 :         24 :   return res;
    4847                 :            : }
    4848                 :            : 
    4849                 :            : /* Intersect all values in INTER with single value lattices in PLATS (while
    4850                 :            :    subtracting OFFSET).  */
    4851                 :            : 
    4852                 :            : static void
    4853                 :          3 : intersect_with_plats (class ipcp_param_lattices *plats,
    4854                 :            :                       vec<ipa_agg_value> *inter,
    4855                 :            :                       HOST_WIDE_INT offset)
    4856                 :            : {
    4857                 :          3 :   struct ipcp_agg_lattice *aglat;
    4858                 :          3 :   struct ipa_agg_value *item;
    4859                 :          3 :   int k;
    4860                 :            : 
    4861                 :          3 :   if (!plats->aggs || plats->aggs_contain_variable || plats->aggs_bottom)
    4862                 :            :     {
    4863                 :          0 :       inter->release ();
    4864                 :          0 :       return;
    4865                 :            :     }
    4866                 :            : 
    4867                 :            :   aglat = plats->aggs;
    4868                 :          9 :   FOR_EACH_VEC_ELT (*inter, k, item)
    4869                 :            :     {
    4870                 :          6 :       bool found = false;
    4871                 :          6 :       if (!item->value)
    4872                 :          0 :         continue;
    4873                 :         10 :       while (aglat)
    4874                 :            :         {
    4875                 :         10 :           if (aglat->offset - offset > item->offset)
    4876                 :            :             break;
    4877                 :         10 :           if (aglat->offset - offset == item->offset)
    4878                 :            :             {
    4879                 :          6 :               if (aglat->is_single_const ())
    4880                 :            :                 {
    4881                 :          6 :                   tree value = aglat->values->value;
    4882                 :            : 
    4883                 :          6 :                   if (values_equal_for_ipcp_p (item->value, value))
    4884                 :            :                     found = true;
    4885                 :            :                 }
    4886                 :            :               break;
    4887                 :            :             }
    4888                 :          4 :           aglat = aglat->next;
    4889                 :            :         }
    4890                 :            :       if (!found)
    4891                 :          0 :         item->value = NULL_TREE;
    4892                 :            :     }
    4893                 :            : }
    4894                 :            : 
    4895                 :            : /* Copy aggregate replacement values of NODE (which is an IPA-CP clone) to the
    4896                 :            :    vector result while subtracting OFFSET from the individual value offsets.  */
    4897                 :            : 
    4898                 :            : static vec<ipa_agg_value>
    4899                 :        178 : agg_replacements_to_vector (struct cgraph_node *node, int index,
    4900                 :            :                             HOST_WIDE_INT offset)
    4901                 :            : {
    4902                 :        178 :   struct ipa_agg_replacement_value *av;
    4903                 :        178 :   vec<ipa_agg_value> res = vNULL;
    4904                 :            : 
    4905                 :        759 :   for (av = ipa_get_agg_replacements_for_node (node); av; av = av->next)
    4906                 :        403 :     if (av->index == index
    4907                 :        328 :         && (av->offset - offset) >= 0)
    4908                 :            :     {
    4909                 :        327 :       struct ipa_agg_value item;
    4910                 :        327 :       gcc_checking_assert (av->value);
    4911                 :        327 :       item.offset = av->offset - offset;
    4912                 :        327 :       item.value = av->value;
    4913                 :        327 :       res.safe_push (item);
    4914                 :            :     }
    4915                 :            : 
    4916                 :        178 :   return res;
    4917                 :            : }
    4918                 :            : 
    4919                 :            : /* Intersect all values in INTER with those that we have already scheduled to
    4920                 :            :    be replaced in parameter number INDEX of NODE, which is an IPA-CP clone
    4921                 :            :    (while subtracting OFFSET).  */
    4922                 :            : 
    4923                 :            : static void
    4924                 :         64 : intersect_with_agg_replacements (struct cgraph_node *node, int index,
    4925                 :            :                                  vec<ipa_agg_value> *inter,
    4926                 :            :                                  HOST_WIDE_INT offset)
    4927                 :            : {
    4928                 :         64 :   struct ipa_agg_replacement_value *srcvals;
    4929                 :         64 :   struct ipa_agg_value *item;
    4930                 :         64 :   int i;
    4931                 :            : 
    4932                 :         64 :   srcvals = ipa_get_agg_replacements_for_node (node);
    4933                 :         64 :   if (!srcvals)
    4934                 :            :     {
    4935                 :          0 :       inter->release ();
    4936                 :          0 :       return;
    4937                 :            :     }
    4938                 :            : 
    4939                 :        234 :   FOR_EACH_VEC_ELT (*inter, i, item)
    4940                 :            :     {
    4941                 :        170 :       struct ipa_agg_replacement_value *av;
    4942                 :        170 :       bool found = false;
    4943                 :        170 :       if (!item->value)
    4944                 :          0 :         continue;
    4945                 :        493 :       for (av = srcvals; av; av = av->next)
    4946                 :            :         {
    4947                 :        493 :           gcc_checking_assert (av->value);
    4948                 :        493 :           if (av->index == index
    4949                 :        469 :               && av->offset - offset == item->offset)
    4950                 :            :             {
    4951                 :        170 :               if (values_equal_for_ipcp_p (item->value, av->value))
    4952                 :            :                 found = true;
    4953                 :            :               break;
    4954                 :            :             }
    4955                 :            :         }
    4956                 :            :       if (!found)
    4957                 :          1 :         item->value = NULL_TREE;
    4958                 :            :     }
    4959                 :            : }
    4960                 :            : 
    4961                 :            : /* Intersect values in INTER with aggregate values that come along edge CS to
    4962                 :            :    parameter number INDEX and return it.  If INTER does not actually exist yet,
    4963                 :            :    copy all incoming values to it.  If we determine we ended up with no values
    4964                 :            :    whatsoever, return a released vector.  */
    4965                 :            : 
    4966                 :            : static vec<ipa_agg_value>
    4967                 :      47449 : intersect_aggregates_with_edge (struct cgraph_edge *cs, int index,
    4968                 :            :                                 vec<ipa_agg_value> inter)
    4969                 :            : {
    4970                 :      47449 :   struct ipa_jump_func *jfunc;
    4971                 :      94898 :   jfunc = ipa_get_ith_jump_func (IPA_EDGE_REF (cs), index);
    4972                 :      47449 :   if (jfunc->type == IPA_JF_PASS_THROUGH
    4973                 :      47449 :       && ipa_get_jf_pass_through_operation (jfunc) == NOP_EXPR)
    4974                 :            :     {
    4975                 :       3240 :       class ipa_node_params *caller_info = IPA_NODE_REF (cs->caller);
    4976                 :       3240 :       int src_idx = ipa_get_jf_pass_through_formal_id (jfunc);
    4977                 :            : 
    4978                 :       3240 :       if (caller_info->ipcp_orig_node)
    4979                 :            :         {
    4980                 :       1409 :           struct cgraph_node *orig_node = caller_info->ipcp_orig_node;
    4981                 :       1409 :           class ipcp_param_lattices *orig_plats;
    4982                 :       2818 :           orig_plats = ipa_get_parm_lattices (IPA_NODE_REF (orig_node),
    4983                 :            :                                               src_idx);
    4984                 :       1409 :           if (agg_pass_through_permissible_p (orig_plats, jfunc))
    4985                 :            :             {
    4986                 :        227 :               if (!inter.exists ())
    4987                 :        166 :                 inter = agg_replacements_to_vector (cs->caller, src_idx, 0);
    4988                 :            :               else
    4989                 :         61 :                 intersect_with_agg_replacements (cs->caller, src_idx,
    4990                 :            :                                                  &inter, 0);
    4991                 :            :             }
    4992                 :            :           else
    4993                 :            :             {
    4994                 :       1182 :               inter.release ();
    4995                 :       1182 :               return vNULL;
    4996                 :            :             }
    4997                 :            :         }
    4998                 :            :       else
    4999                 :            :         {
    5000                 :       1831 :           class ipcp_param_lattices *src_plats;
    5001                 :       1831 :           src_plats = ipa_get_parm_lattices (caller_info, src_idx);
    5002                 :       1831 :           if (agg_pass_through_permissible_p (src_plats, jfunc))
    5003                 :            :             {
    5004                 :            :               /* Currently we do not produce clobber aggregate jump
    5005                 :            :                  functions, adjust when we do.  */
    5006                 :         42 :               gcc_checking_assert (!jfunc->agg.items);
    5007                 :         42 :               if (!inter.exists ())
    5008                 :         39 :                 inter = copy_plats_to_inter (src_plats, 0);
    5009                 :            :               else
    5010                 :          3 :                 intersect_with_plats (src_plats, &inter, 0);
    5011                 :            :             }
    5012                 :            :           else
    5013                 :            :             {
    5014                 :       1789 :               inter.release ();
    5015                 :       1789 :               return vNULL;
    5016                 :            :             }
    5017                 :            :         }
    5018                 :            :     }
    5019                 :      44209 :   else if (jfunc->type == IPA_JF_ANCESTOR
    5020                 :      44209 :            && ipa_get_jf_ancestor_agg_preserved (jfunc))
    5021                 :            :     {
    5022                 :         23 :       class ipa_node_params *caller_info = IPA_NODE_REF (cs->caller);
    5023                 :         23 :       int src_idx = ipa_get_jf_ancestor_formal_id (jfunc);
    5024                 :         23 :       class ipcp_param_lattices *src_plats;
    5025                 :         23 :       HOST_WIDE_INT delta = ipa_get_jf_ancestor_offset (jfunc);
    5026                 :            : 
    5027                 :         23 :       if (caller_info->ipcp_orig_node)
    5028                 :            :         {
    5029                 :         15 :           if (!inter.exists ())
    5030                 :         12 :             inter = agg_replacements_to_vector (cs->caller, src_idx, delta);
    5031                 :            :           else
    5032                 :          3 :             intersect_with_agg_replacements (cs->caller, src_idx, &inter,
    5033                 :            :                                              delta);
    5034                 :            :         }
    5035                 :            :       else
    5036                 :            :         {
    5037                 :          8 :           src_plats = ipa_get_parm_lattices (caller_info, src_idx);
    5038                 :            :           /* Currently we do not produce clobber aggregate jump
    5039                 :            :              functions, adjust when we do.  */
    5040                 :          8 :           gcc_checking_assert (!src_plats->aggs || !jfunc->agg.items);
    5041                 :          8 :           if (!inter.exists ())
    5042                 :          8 :             inter = copy_plats_to_inter (src_plats, delta);
    5043                 :            :           else
    5044                 :          0 :             intersect_with_plats (src_plats, &inter, delta);
    5045                 :            :         }
    5046                 :            :     }
    5047                 :      44186 :   else if (jfunc->agg.items)
    5048                 :            :     {
    5049                 :       6846 :       class ipa_node_params *caller_info = IPA_NODE_REF (cs->caller);
    5050                 :       6846 :       struct ipa_agg_value *item;
    5051                 :       6846 :       int k;
    5052                 :            : 
    5053                 :       6846 :       if (!inter.exists ())
    5054                 :      23572 :         for (unsigned i = 0; i < jfunc->agg.items->length (); i++)
    5055                 :            :           {
    5056                 :      19094 :             struct ipa_agg_jf_item *agg_item = &(*jfunc->agg.items)[i];
    5057                 :      19094 :             tree value = ipa_agg_value_from_node (caller_info, cs->caller,
    5058                 :            :                                                   agg_item);
    5059                 :      19094 :             if (value)
    5060                 :            :               {
    5061                 :      18753 :                 struct ipa_agg_value agg_value;
    5062                 :            : 
    5063                 :      18753 :                 agg_value.value = value;
    5064                 :      18753 :                 agg_value.offset = agg_item->offset;
    5065                 :      18753 :                 inter.safe_push (agg_value);
    5066                 :            :               }
    5067                 :            :           }
    5068                 :            :       else
    5069                 :      14724 :         FOR_EACH_VEC_ELT (inter, k, item)
    5070                 :            :           {
    5071                 :      12356 :             int l = 0;
    5072                 :      12356 :             bool found = false;
    5073                 :            : 
    5074                 :      12356 :             if (!item->value)
    5075                 :       2145 :               continue;
    5076                 :            : 
    5077                 :      47445 :             while ((unsigned) l < jfunc->agg.items->length ())
    5078                 :            :               {
    5079                 :      47347 :                 struct ipa_agg_jf_item *ti;
    5080                 :      47347 :                 ti = &(*jfunc->agg.items)[l];
    5081                 :      47347 :                 if (ti->offset > item->offset)
    5082                 :            :                   break;
    5083                 :      47305 :                 if (ti->offset == item->offset)
    5084                 :            :                   {
    5085                 :      10071 :                     tree value;
    5086                 :            : 
    5087                 :            :                     /* Besides simple pass-through aggregate jump function,
    5088                 :            :                        arithmetic aggregate jump function could also bring
    5089                 :            :                        same aggregate value as parameter passed-in for
    5090                 :            :                        self-feeding recursive call.  For example,
    5091                 :            : 
    5092                 :            :                          fn (int *i)
    5093                 :            :                            {
    5094                 :            :                              int j = *i & 1;
    5095                 :            :                              fn (&j);
    5096                 :            :                            }
    5097                 :            : 
    5098                 :            :                        Given that *i is 0, recursive propagation via (*i & 1)
    5099                 :            :                        also gets 0.  */
    5100                 :      10071 :                     if (self_recursive_agg_pass_through_p (cs, ti, index,
    5101                 :            :                                                            false))
    5102                 :          2 :                       value = ipa_get_jf_arith_result (
    5103                 :            :                                         ti->value.pass_through.operation,
    5104                 :            :                                         item->value,
    5105                 :            :                                         ti->value.pass_through.operand,
    5106                 :            :                                         ti->type);
    5107                 :            :                     else
    5108                 :      10069 :                       value = ipa_agg_value_from_node (caller_info,
    5109                 :            :                                                        cs->caller, ti);
    5110                 :            : 
    5111                 :      10071 :                     if (value && values_equal_for_ipcp_p (item->value, value))
    5112                 :            :                       found = true;
    5113                 :            :                     break;
    5114                 :            :                   }
    5115                 :      37234 :                 l++;
    5116                 :            :               }
    5117                 :            :             if (!found)
    5118                 :        939 :               item->value = NULL;
    5119                 :            :           }
    5120                 :            :     }
    5121                 :            :   else
    5122                 :            :     {
    5123                 :      37340 :       inter.release ();
    5124                 :      37340 :       return vNULL;
    5125                 :            :     }
    5126                 :       7138 :   return inter;
    5127                 :            : }
    5128                 :            : 
    5129                 :            : /* Look at edges in CALLERS and collect all known aggregate values that arrive
    5130                 :            :    from all of them.  */
    5131                 :            : 
    5132                 :            : static struct ipa_agg_replacement_value *
    5133                 :      18593 : find_aggregate_values_for_callers_subset (struct cgraph_node *node,
    5134                 :            :                                           vec<cgraph_edge *> callers)
    5135                 :            : {
    5136                 :      18593 :   class ipa_node_params *dest_info = IPA_NODE_REF (node);
    5137                 :      18593 :   struct ipa_agg_replacement_value *res;
    5138                 :      18593 :   struct ipa_agg_replacement_value **tail = &res;
    5139                 :      18593 :   struct cgraph_edge *cs;
    5140                 :      18593 :   int i, j, count = ipa_get_param_count (dest_info);
    5141                 :            : 
    5142                 :      61281 :   FOR_EACH_VEC_ELT (callers, j, cs)
    5143                 :            :     {
    5144                 :      85390 :       if (!IPA_EDGE_REF (cs))
    5145                 :            :         {
    5146                 :            :           count = 0;
    5147                 :            :           break;
    5148                 :            :         }
    5149                 :      85376 :       int c = ipa_get_cs_argument_count (IPA_EDGE_REF (cs));
    5150                 :      42688 :       if (c < count)
    5151                 :            :         count = c;
    5152                 :            :     }
    5153                 :            : 
    5154                 :      65566 :   for (i = 0; i < count; i++)
    5155                 :            :     {
    5156                 :      46973 :       struct cgraph_edge *cs;
    5157                 :      46973 :       vec<ipa_agg_value> inter = vNULL;
    5158                 :      46973 :       struct ipa_agg_value *item;
    5159                 :      46973 :       class ipcp_param_lattices *plats = ipa_get_parm_lattices (dest_info, i);
    5160                 :      46973 :       int j;
    5161                 :            : 
    5162                 :            :       /* Among other things, the following check should deal with all by_ref
    5163                 :            :          mismatches.  */
    5164                 :      46973 :       if (plats->aggs_bottom)
    5165                 :       2056 :         continue;
    5166                 :            : 
    5167                 :      56230 :       FOR_EACH_VEC_ELT (callers, j, cs)
    5168                 :            :         {
    5169                 :      47456 :           struct ipa_jump_func *jfunc
    5170                 :      94912 :             = ipa_get_ith_jump_func (IPA_EDGE_REF (cs), i);
    5171                 :      47456 :           if (self_recursive_pass_through_p (cs, jfunc, i)
    5172                 :      47456 :               && (!plats->aggs_by_ref
    5173                 :         19 :                   || ipa_get_jf_pass_through_agg_preserved (jfunc)))
    5174                 :         15 :             continue;
    5175                 :      47441 :           inter = intersect_aggregates_with_edge (cs, i, inter);
    5176                 :            : 
    5177                 :      47441 :           if (!inter.exists ())
    5178                 :      40530 :             goto next_param;
    5179                 :            :         }
    5180                 :            : 
    5181                 :      23246 :       FOR_EACH_VEC_ELT (inter, j, item)
    5182                 :            :         {
    5183                 :      18859 :           struct ipa_agg_replacement_value *v;
    5184                 :            : 
    5185                 :      18859 :           if (!item->value)
    5186                 :        924 :             continue;
    5187                 :            : 
    5188                 :      17935 :           v = ggc_alloc<ipa_agg_replacement_value> ();
    5189                 :      17935 :           v->index = i;
    5190                 :      17935 :           v->offset = item->offset;
    5191                 :      17935 :           v->value = item->value;
    5192                 :      17935 :           v->by_ref = plats->aggs_by_ref;
    5193                 :      17935 :           *tail = v;
    5194                 :      17935 :           tail = &v->next;
    5195                 :            :         }
    5196                 :            : 
    5197                 :      44917 :     next_param:
    5198                 :      44917 :       if (inter.exists ())
    5199                 :      51360 :         inter.release ();
    5200                 :            :     }
    5201                 :      18593 :   *tail = NULL;
    5202                 :      18593 :   return res;
    5203                 :            : }
    5204                 :            : 
    5205                 :            : /* Determine whether CS also brings all scalar values that the NODE is
    5206                 :            :    specialized for.  */
    5207                 :            : 
    5208                 :            : static bool
    5209                 :         52 : cgraph_edge_brings_all_scalars_for_node (struct cgraph_edge *cs,
    5210                 :            :                                          struct cgraph_node *node)
    5211                 :            : {
    5212                 :         52 :   class ipa_node_params *dest_info = IPA_NODE_REF (node);
    5213                 :         52 :   int count = ipa_get_param_count (dest_info);
    5214                 :         52 :   class ipa_node_params *caller_info;
    5215                 :         52 :   class ipa_edge_args *args;
    5216                 :         52 :   int i;
    5217                 :            : 
    5218                 :         52 :   caller_info = IPA_NODE_REF (cs->caller);
    5219                 :         52 :   args = IPA_EDGE_REF (cs);
    5220                 :        333 :   for (i = 0; i < count; i++)
    5221                 :            :     {
    5222                 :        304 :       struct ipa_jump_func *jump_func;
    5223                 :        304 :       tree val, t;
    5224                 :            : 
    5225                 :        304 :       val = dest_info->known_csts[i];
    5226                 :        304 :       if (!val)
    5227                 :        247 :         continue;
    5228                 :            : 
    5229                 :        114 :       if (i >= ipa_get_cs_argument_count (args))
    5230                 :            :         return false;
    5231                 :         57 :       jump_func = ipa_get_ith_jump_func (args, i);
    5232                 :         57 :       t = ipa_value_from_jfunc (caller_info, jump_func,
    5233                 :            :                                 ipa_get_type (dest_info, i));
    5234                 :         57 :       if (!t || !values_equal_for_ipcp_p (val, t))
    5235                 :         23 :         return false;
    5236                 :            :     }
    5237                 :            :   return true;
    5238                 :            : }
    5239                 :            : 
    5240                 :            : /* Determine whether CS also brings all aggregate values that NODE is
    5241                 :            :    specialized for.  */
    5242                 :            : static bool
    5243                 :         29 : cgraph_edge_brings_all_agg_vals_for_node (struct cgraph_edge *cs,
    5244                 :            :                                           struct cgraph_node *node)
    5245                 :            : {
    5246                 :         29 :   class ipa_node_params *orig_node_info;
    5247                 :         29 :   struct ipa_agg_replacement_value *aggval;
    5248                 :         29 :   int i, ec, count;
    5249                 :            : 
    5250                 :         29 :   aggval = ipa_get_agg_replacements_for_node (node);
    5251                 :         29 :   if (!aggval)
    5252                 :            :     return true;
    5253                 :            : 
    5254                 :         16 :   count = ipa_get_param_count (IPA_NODE_REF (node));
    5255                 :         16 :   ec = ipa_get_cs_argument_count (IPA_EDGE_REF (cs));
    5256                 :          8 :   if (ec < count)
    5257                 :          0 :     for (struct ipa_agg_replacement_value *av = aggval; av; av = av->next)
    5258                 :          0 :       if (aggval->index >= ec)
    5259                 :            :         return false;
    5260                 :            : 
    5261                 :         16 :   orig_node_info = IPA_NODE_REF (IPA_NODE_REF (node)->ipcp_orig_node);
    5262                 :            : 
    5263                 :         14 :   for (i = 0; i < count; i++)
    5264                 :            :     {
    5265                 :            :       class ipcp_param_lattices *plats;
    5266                 :         16 :       bool interesting = false;
    5267                 :         16 :       for (struct ipa_agg_replacement_value *av = aggval; av; av = av->next)
    5268                 :         12 :         if (aggval->index == i)
    5269                 :            :           {
    5270                 :            :             interesting = true;
    5271                 :            :             break;
    5272                 :            :           }
    5273                 :         12 :       if (!interesting)
    5274                 :          4 :         continue;
    5275                 :            : 
    5276                 :          8 :       plats = ipa_get_parm_lattices (orig_node_info, aggval->index);
    5277                 :          8 :       if (plats->aggs_bottom)
    5278                 :         29 :         return false;
    5279                 :            : 
    5280                 :          8 :       vec<ipa_agg_value> values = intersect_aggregates_with_edge (cs, i, vNULL);
    5281                 :          8 :       if (!values.exists ())
    5282                 :            :         return false;
    5283                 :            : 
    5284                 :          4 :       for (struct ipa_agg_replacement_value *av = aggval; av; av = av->next)
    5285                 :          2 :         if (aggval->index == i)
    5286                 :            :           {
    5287                 :            :             struct ipa_agg_value *item;
    5288                 :            :             int j;
    5289                 :          2 :             bool found = false;
    5290                 :          2 :             FOR_EACH_VEC_ELT (values, j, item)
    5291                 :          2 :               if (item->value
    5292                 :          2 :                   && item->offset == av->offset
    5293                 :          4 :                   && values_equal_for_ipcp_p (item->value, av->value))
    5294                 :            :                 {
    5295                 :            :                   found = true;
    5296                 :            :                   break;
    5297                 :            :                 }
    5298                 :          2 :             if (!found)
    5299                 :            :               {
    5300                 :          0 :                 values.release ();
    5301                 :          0 :                 return false;
    5302                 :            :               }
    5303                 :            :           }
    5304                 :          8 :       values.release ();
    5305                 :            :     }
    5306                 :            :   return true;
    5307                 :            : }
    5308                 :            : 
    5309                 :            : /* Given an original NODE and a VAL for which we have already created a
    5310                 :            :    specialized clone, look whether there are incoming edges that still lead
    5311                 :            :    into the old node but now also bring the requested value and also conform to
    5312                 :            :    all other criteria such that they can be redirected the special node.
    5313                 :            :    This function can therefore redirect the final edge in a SCC.  */
    5314                 :            : 
    5315                 :            : template <typename valtype>
    5316                 :            : static void
    5317                 :        691 : perhaps_add_new_callers (cgraph_node *node, ipcp_value<valtype> *val)
    5318                 :            : {
    5319                 :            :   ipcp_value_source<valtype> *src;
    5320                 :        691 :   profile_count redirected_sum = profile_count::zero ();
    5321                 :            : 
    5322                 :       3383 :   for (src = val->sources; src; src = src->next)
    5323                 :            :     {
    5324                 :       2692 :       struct cgraph_edge *cs = src->cs;
    5325                 :       6114 :       while (cs)
    5326                 :            :         {
    5327                 :       3422 :           if (cgraph_edge_brings_value_p (cs, src, node, val)
    5328                 :         52 :               && cgraph_edge_brings_all_scalars_for_node (cs, val->spec_node)
    5329                 :       3451 :               && cgraph_edge_brings_all_agg_vals_for_node (cs, val->spec_node))
    5330                 :            :             {
    5331                 :         23 :               if (dump_file)
    5332                 :          4 :                 fprintf (dump_file, " - adding an extra caller %s of %s\n",
    5333                 :          4 :                          cs->caller->dump_name (),
    5334                 :          4 :                          val->spec_node->dump_name ());
    5335                 :            : 
    5336                 :         23 :               cs->redirect_callee_duplicating_thunks (val->spec_node);
    5337                 :         23 :               val->spec_node->expand_all_artificial_thunks ();
    5338                 :         23 :               if (cs->count.ipa ().initialized_p ())
    5339                 :          0 :                 redirected_sum = redirected_sum + cs->count.ipa ();
    5340                 :            :             }
    5341                 :       3422 :           cs = get_next_cgraph_edge_clone (cs);
    5342                 :            :         }
    5343                 :            :     }
    5344                 :            : 
    5345                 :       1382 :   if (redirected_sum.nonzero_p ())
    5346                 :          0 :     update_specialized_profile (val->spec_node, node, redirected_sum);
    5347                 :        691 : }
    5348                 :            : 
    5349                 :            : /* Return true if KNOWN_CONTEXTS contain at least one useful context.  */
    5350                 :            : 
    5351                 :            : static bool
    5352                 :      18548 : known_contexts_useful_p (vec<ipa_polymorphic_call_context> known_contexts)
    5353                 :            : {
    5354                 :      18548 :   ipa_polymorphic_call_context *ctx;
    5355                 :      18548 :   int i;
    5356                 :            : 
    5357                 :      64666 :   FOR_EACH_VEC_ELT (known_contexts, i, ctx)
    5358                 :      46500 :     if (!ctx->useless_p ())
    5359                 :            :       return true;
    5360                 :            :   return false;
    5361                 :            : }
    5362                 :            : 
    5363                 :            : /* Return a copy of KNOWN_CSTS if it is not empty, otherwise return vNULL.  */
    5364                 :            : 
    5365                 :            : static vec<ipa_polymorphic_call_context>
    5366                 :        641 : copy_useful_known_contexts (vec<ipa_polymorphic_call_context> known_contexts)
    5367                 :            : {
    5368                 :       1282 :   if (known_contexts_useful_p (known_contexts))
    5369                 :          0 :     return known_contexts.copy ();
    5370                 :            :   else
    5371                 :        641 :     return vNULL;
    5372                 :            : }
    5373                 :            : 
    5374                 :            : /* Copy KNOWN_CSTS and modify the copy according to VAL and INDEX.  If
    5375                 :            :    non-empty, replace KNOWN_CONTEXTS with its copy too.  */
    5376                 :            : 
    5377                 :            : static void
    5378                 :        426 : modify_known_vectors_with_val (vec<tree> *known_csts,
    5379                 :            :                                vec<ipa_polymorphic_call_context> *known_contexts,
    5380                 :            :                                ipcp_value<tree> *val,
    5381                 :            :                                int index)
    5382                 :            : {
    5383                 :        426 :   *known_csts = known_csts->copy ();
    5384                 :        426 :   *known_contexts = copy_useful_known_contexts (*known_contexts);
    5385                 :        426 :   (*known_csts)[index] = val->value;
    5386                 :        426 : }
    5387                 :            : 
    5388                 :            : /* Replace KNOWN_CSTS with its copy.  Also copy KNOWN_CONTEXTS and modify the
    5389                 :            :    copy according to VAL and INDEX.  */
    5390                 :            : 
    5391                 :            : static void
    5392                 :         45 : modify_known_vectors_with_val (vec<tree> *known_csts,
    5393                 :            :                                vec<ipa_polymorphic_call_context> *known_contexts,
    5394                 :            :                                ipcp_value<ipa_polymorphic_call_context> *val,
    5395                 :            :                                int index)
    5396                 :            : {
    5397                 :         45 :   *known_csts = known_csts->copy ();
    5398                 :         45 :   *known_contexts = known_contexts->copy ();
    5399                 :         45 :   (*known_contexts)[index] = val->value;
    5400                 :         45 : }
    5401                 :            : 
    5402                 :            : /* Return true if OFFSET indicates this was not an aggregate value or there is
    5403                 :            :    a replacement equivalent to VALUE, INDEX and OFFSET among those in the
    5404                 :            :    AGGVALS list.  */
    5405                 :            : 
    5406                 :            : DEBUG_FUNCTION bool
    5407                 :        641 : ipcp_val_agg_replacement_ok_p (ipa_agg_replacement_value *aggvals,
    5408                 :            :                                int index, HOST_WIDE_INT offset, tree value)
    5409                 :            : {
    5410                 :        641 :   if (offset == -1)
    5411                 :            :     return true;
    5412                 :            : 
    5413                 :        498 :   while (aggvals)
    5414                 :            :     {
    5415                 :        498 :       if (aggvals->index == index
    5416                 :        498 :           && aggvals->offset == offset
    5417                 :        713 :           && values_equal_for_ipcp_p (aggvals->value, value))
    5418                 :            :         return true;
    5419                 :        283 :       aggvals = aggvals->next;
    5420                 :            :     }
    5421                 :            :   return false;
    5422                 :            : }
    5423                 :            : 
    5424                 :            : /* Return true if offset is minus one because source of a polymorphic context
    5425                 :            :    cannot be an aggregate value.  */
    5426                 :            : 
    5427                 :            : DEBUG_FUNCTION bool
    5428                 :         45 : ipcp_val_agg_replacement_ok_p (ipa_agg_replacement_value *,
    5429                 :            :                                int , HOST_WIDE_INT offset,
    5430                 :            :                                ipa_polymorphic_call_context)
    5431                 :            : {
    5432                 :         45 :   return offset == -1;
    5433                 :            : }
    5434                 :            : 
    5435                 :            : /* Decide whether to create a special version of NODE for value VAL of parameter
    5436                 :            :    at the given INDEX.  If OFFSET is -1, the value is for the parameter itself,
    5437                 :            :    otherwise it is stored at the given OFFSET of the parameter.  KNOWN_CSTS,
    5438                 :            :    KNOWN_CONTEXTS and KNOWN_AGGS describe the other already known values.  */
    5439                 :            : 
    5440                 :            : template <typename valtype>
    5441                 :            : static bool
    5442                 :      46215 : decide_about_value (struct cgraph_node *node, int index, HOST_WIDE_INT offset,
    5443                 :            :                     ipcp_value<valtype> *val, vec<tree> known_csts,
    5444                 :            :                     vec<ipa_polymorphic_call_context> known_contexts)
    5445                 :            : {
    5446                 :            :   struct ipa_agg_replacement_value *aggvals;
    5447                 :            :   int freq_sum, caller_count;
    5448                 :            :   profile_count count_sum;
    5449                 :            :   vec<cgraph_edge *> callers;
    5450                 :            : 
    5451                 :      46215 :   if (val->spec_node)
    5452                 :            :     {
    5453                 :        691 :       perhaps_add_new_callers (node, val);
    5454                 :        691 :       return false;
    5455                 :            :     }
    5456                 :      45524 :   else if (val->local_size_cost + overall_size > get_max_overall_size (node))
    5457                 :            :     {
    5458                 :         10 :       if (dump_file && (dump_flags & TDF_DETAILS))
    5459                 :          0 :         fprintf (dump_file, "   Ignoring candidate value because "
    5460                 :            :                  "maximum unit size would be reached with %li.\n",
    5461                 :            :                  val->local_size_cost + overall_size);
    5462                 :         10 :       return false;
    5463                 :            :     }
    5464                 :      45514 :   else if (!get_info_about_necessary_edges (val, node, &freq_sum, &count_sum,
    5465                 :            :                                             &caller_count))
    5466                 :            :     return false;
    5467                 :            : 
    5468                 :      16296 :   if (dump_file && (dump_flags & TDF_DETAILS))
    5469                 :            :     {
    5470                 :         88 :       fprintf (dump_file, " - considering value ");
    5471                 :         88 :       print_ipcp_constant_value (dump_file, val->value);
    5472                 :         88 :       fprintf (dump_file, " for ");
    5473                 :        176 :       ipa_dump_param (dump_file, IPA_NODE_REF (node), index);
    5474                 :         88 :       if (offset != -1)
    5475                 :         49 :         fprintf (dump_file, ", offset: " HOST_WIDE_INT_PRINT_DEC, offset);
    5476                 :         88 :       fprintf (dump_file, " (caller_count: %i)\n", caller_count);
    5477                 :            :     }
    5478                 :            : 
    5479                 :      16296 :   if (!good_cloning_opportunity_p (node, val->local_time_benefit,
    5480                 :            :                                    freq_sum, count_sum,
    5481                 :            :                                    val->local_size_cost)
    5482                 :      31954 :       && !good_cloning_opportunity_p (node,
    5483                 :      15658 :                                       val->local_time_benefit
    5484                 :      15658 :                                       + val->prop_time_benefit,
    5485                 :            :                                       freq_sum, count_sum,
    5486                 :      15658 :                                       val->local_size_cost
    5487                 :      15658 :                                       + val->prop_size_cost))
    5488                 :            :     return false;
    5489                 :            : 
    5490                 :        686 :   if (dump_file)
    5491                 :        138 :     fprintf (dump_file, "  Creating a specialized node of %s.\n",
    5492                 :            :              node->dump_name ());
    5493                 :            : 
    5494                 :        686 :   callers = gather_edges_for_value (val, node, caller_count);
    5495                 :        686 :   if (offset == -1)
    5496                 :        471 :     modify_known_vectors_with_val (&known_csts, &known_contexts, val, index);
    5497                 :            :   else
    5498                 :            :     {
    5499                 :        215 :       known_csts = known_csts.copy ();
    5500                 :        215 :       known_contexts = copy_useful_known_contexts (known_contexts);
    5501                 :            :     }
    5502                 :        686 :   find_more_scalar_values_for_callers_subset (node, known_csts, callers);
    5503                 :        686 :   find_more_contexts_for_caller_subset (node, &known_contexts, callers);
    5504                 :        686 :   aggvals = find_aggregate_values_for_callers_subset (node, callers);
    5505                 :        686 :   gcc_checking_assert (ipcp_val_agg_replacement_ok_p (aggvals, index,
    5506                 :            :                                                       offset, val->value));
    5507                 :        686 :   val->spec_node = create_specialized_node (node, known_csts, known_contexts,
    5508                 :            :                                             aggvals, callers);
    5509                 :        686 :   overall_size += val->local_size_cost;
    5510                 :            : 
    5511                 :            :   /* TODO: If for some lattice there is only one other known value
    5512                 :            :      left, make a special node for it too. */
    5513                 :            : 
    5514                 :        686 :   return true;
    5515                 :            : }
    5516                 :            : 
    5517                 :            : /* Decide whether and what specialized clones of NODE should be created.  */
    5518                 :            : 
    5519                 :            : static bool
    5520                 :     681961 : decide_whether_version_node (struct cgraph_node *node)
    5521                 :            : {
    5522                 :     681961 :   class ipa_node_params *info = IPA_NODE_REF (node);
    5523                 :     681961 :   int i, count = ipa_get_param_count (info);
    5524                 :     681961 :   vec<tree> known_csts;
    5525                 :     681961 :   vec<ipa_polymorphic_call_context> known_contexts;
    5526                 :     681961 :   bool ret = false;
    5527                 :            : 
    5528                 :     681961 :   if (count == 0)
    5529                 :            :     return false;
    5530                 :            : 
    5531                 :     549146 :   if (dump_file && (dump_flags & TDF_DETAILS))
    5532                 :        137 :     fprintf (dump_file, "\nEvaluating opportunities for %s.\n",
    5533                 :            :              node->dump_name ());
    5534                 :            : 
    5535                 :     549146 :   gather_context_independent_values (info, &known_csts, &known_contexts,
    5536                 :            :                                      NULL, NULL);
    5537                 :            : 
    5538                 :    2120150 :   for (i = 0; i < count;i++)
    5539                 :            :     {
    5540                 :    1571010 :       class ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
    5541                 :    1571010 :       ipcp_lattice<tree> *lat = &plats->itself;
    5542                 :    1571010 :       ipcp_lattice<ipa_polymorphic_call_context> *ctxlat = &plats->ctxlat;
    5543                 :            : 
    5544                 :    1571010 :       if (!lat->bottom
    5545                 :    1571010 :           && !known_csts[i])
    5546                 :            :         {
    5547                 :     122648 :           ipcp_value<tree> *val;
    5548                 :     149536 :           for (val = lat->values; val; val = val->next)
    5549                 :      26888 :             ret |= decide_about_value (node, i, -1, val, known_csts,
    5550                 :            :                                        known_contexts);
    5551                 :            :         }
    5552                 :            : 
    5553                 :    1571010 :       if (!plats->aggs_bottom)
    5554                 :            :         {
    5555                 :     174691 :           struct ipcp_agg_lattice *aglat;
    5556                 :     174691 :           ipcp_value<tree> *val;
    5557                 :     224786 :           for (aglat = plats->aggs; aglat; aglat = aglat->next)
    5558                 :      49952 :             if (!aglat->bottom && aglat->values
    5559                 :            :                 /* If the following is false, the one value is in
    5560                 :            :                    known_aggs.  */
    5561                 :      96957 :                 && (plats->aggs_contain_variable
    5562                 :      87983 :                     || !aglat->is_single_const ()))
    5563                 :      30273 :               for (val = aglat->values; val; val = val->next)
    5564                 :      17985 :                 ret |= decide_about_value (node, i, aglat->offset, val,
    5565                 :            :                                            known_csts, known_contexts);
    5566                 :            :         }
    5567                 :            : 
    5568                 :    1571010 :       if (!ctxlat->bottom
    5569                 :    1571010 :           && known_contexts[i].useless_p ())
    5570                 :            :         {
    5571                 :     171373 :           ipcp_value<ipa_polymorphic_call_context> *val;
    5572                 :     172715 :           for (val = ctxlat->values; val; val = val->next)
    5573                 :       1342 :             ret |= decide_about_value (node, i, -1, val, known_csts,
    5574                 :            :                                        known_contexts);
    5575                 :            :         }
    5576                 :            : 
    5577                 :    3142010 :         info = IPA_NODE_REF (node);
    5578                 :            :     }
    5579                 :            : 
    5580                 :     549146 :   if (info->do_clone_for_all_contexts)
    5581                 :            :     {
    5582                 :      18009 :       struct cgraph_node *clone;
    5583                 :      18009 :       vec<cgraph_edge *> callers = node->collect_callers ();
    5584                 :            : 
    5585                 :      80266 :       for (int i = callers.length () - 1; i >= 0; i--)
    5586                 :            :         {
    5587                 :      44311 :           cgraph_edge *cs = callers[i];
    5588                 :      44311 :           class ipa_node_params *caller_info = IPA_NODE_REF (cs->caller);
    5589                 :            : 
    5590                 :      44311 :           if (caller_info && caller_info->node_dead)
    5591                 :      48337 :             callers.unordered_remove (i);
    5592                 :            :         }
    5593                 :            : 
    5594                 :      18009 :       if (!adjust_callers_for_value_intersection (callers, node))
    5595                 :            :         {
    5596                 :            :           /* If node is not called by anyone, or all its caller edges are
    5597                 :            :              self-recursive, the node is not really be in use, no need to
    5598                 :            :              do cloning.  */
    5599                 :        102 :           callers.release ();
    5600                 :        102 :           known_csts.release ();
    5601                 :        102 :           known_contexts.release ();
    5602                 :        102 :           info->do_clone_for_all_contexts = false;
    5603                 :        102 :           return ret;
    5604                 :            :         }
    5605                 :            : 
    5606                 :      17907 :       if (dump_file)
    5607                 :         98 :         fprintf (dump_file, " - Creating a specialized node of %s "
    5608                 :            :                  "for all known contexts.\n", node->dump_name ());
    5609                 :            : 
    5610                 :      17907 :       find_more_scalar_values_for_callers_subset (node, known_csts, callers);
    5611                 :      17907 :       find_more_contexts_for_caller_subset (node, &known_contexts, callers);
    5612                 :      17907 :       ipa_agg_replacement_value *aggvals
    5613                 :      17907 :         = find_aggregate_values_for_callers_subset (node, callers);
    5614                 :            : 
    5615                 :      35814 :       if (!known_contexts_useful_p (known_contexts))
    5616                 :            :         {
    5617                 :      17525 :           known_contexts.release ();
    5618                 :      17525 :           known_contexts = vNULL;
    5619                 :            :         }
    5620                 :      17907 :       clone = create_specialized_node (node, known_csts, known_contexts,
    5621                 :            :                                        aggvals, callers);
    5622                 :      17907 :       info = IPA_NODE_REF (node);
    5623                 :      17907 :       info->do_clone_for_all_contexts = false;
    5624                 :      17907 :       IPA_NODE_REF (clone)->is_all_contexts_clone = true;
    5625                 :      17907 :       ret = true;
    5626                 :            :     }
    5627                 :            :   else
    5628                 :            :     {
    5629                 :     531137 :       known_csts.release ();
    5630                 :     531137 :       known_contexts.release ();
    5631                 :            :     }
    5632                 :            : 
    5633                 :            :   return ret;
    5634                 :            : }
    5635                 :            : 
    5636                 :            : /* Transitively mark all callees of NODE within the same SCC as not dead.  */
    5637                 :            : 
    5638                 :            : static void
    5639                 :       1415 : spread_undeadness (struct cgraph_node *node)
    5640                 :            : {
    5641                 :       1415 :   struct cgraph_edge *cs;
    5642                 :            : 
    5643                 :       3839 :   for (cs = node->callees; cs; cs = cs->next_callee)
    5644                 :       2424 :     if (ipa_edge_within_scc (cs))
    5645                 :            :       {
    5646                 :        149 :         struct cgraph_node *callee;
    5647                 :        149 :         class ipa_node_params *info;
    5648                 :            : 
    5649                 :        149 :         callee = cs->callee->function_symbol (NULL);
    5650                 :        149 :         info = IPA_NODE_REF (callee);
    5651                 :            : 
    5652                 :        149 :         if (info && info->node_dead)
    5653                 :            :           {
    5654                 :          0 :             info->node_dead = 0;
    5655                 :          0 :             spread_undeadness (callee);
    5656                 :            :           }
    5657                 :            :       }
    5658                 :       1415 : }
    5659                 :            : 
    5660                 :            : /* Return true if NODE has a caller from outside of its SCC that is not
    5661                 :            :    dead.  Worker callback for cgraph_for_node_and_aliases.  */
    5662                 :            : 
    5663                 :            : static bool
    5664                 :      17225 : has_undead_caller_from_outside_scc_p (struct cgraph_node *node,
    5665                 :            :                                       void *data ATTRIBUTE_UNUSED)
    5666                 :            : {
    5667                 :      17225 :   struct cgraph_edge *cs;
    5668                 :            : 
    5669                 :      18878 :   for (cs = node->callers; cs; cs = cs->next_caller)
    5670                 :       1713 :     if (cs->caller->thunk.thunk_p
    5671                 :       1713 :         && cs->caller->call_for_symbol_thunks_and_aliases
    5672                 :          0 :           (has_undead_caller_from_outside_scc_p, NULL, true))
    5673                 :            :       return true;
    5674                 :       1713 :     else if (!ipa_edge_within_scc (cs)
    5675                 :       3267 :              && !IPA_NODE_REF (cs->caller)->node_dead)
    5676                 :            :       return true;
    5677                 :            :   return false;
    5678                 :            : }
    5679                 :            : 
    5680                 :            : 
    5681                 :            : /* Identify nodes within the same SCC as NODE which are no longer needed
    5682                 :            :    because of new clones and will be removed as unreachable.  */
    5683                 :            : 
    5684                 :            : static void
    5685                 :      18365 : identify_dead_nodes (struct cgraph_node *node)
    5686                 :            : {
    5687                 :      18365 :   struct cgraph_node *v;
    5688                 :      36784 :   for (v = node; v; v = ((struct ipa_dfs_info *) v->aux)->next_cycle)
    5689                 :      18419 :     if (v->local
    5690                 :      34128 :         && IPA_NODE_REF (v)
    5691                 :      35483 :         && !v->call_for_symbol_thunks_and_aliases
    5692                 :      17064 :              (has_undead_caller_from_outside_scc_p, NULL, true))
    5693                 :      34008 :       IPA_NODE_REF (v)->node_dead = 1;
    5694                 :            : 
    5695                 :      36784 :   for (v = node; v; v = ((struct ipa_dfs_info *) v->aux)->next_cycle)
    5696                 :      55257 :     if (IPA_NODE_REF (v) && !IPA_NODE_REF (v)->node_dead)
    5697                 :       1415 :       spread_undeadness (v);
    5698                 :            : 
    5699                 :      18365 :   if (dump_file && (dump_flags & TDF_DETAILS))
    5700                 :            :     {
    5701                 :         85 :       for (v = node; v; v = ((struct ipa_dfs_info *) v->aux)->next_cycle)
    5702                 :        132 :         if (IPA_NODE_REF (v) && IPA_NODE_REF (v)->node_dead)
    5703                 :         27 :           fprintf (dump_file, "  Marking node as dead: %s.\n", v->dump_name ());
    5704                 :            :     }
    5705                 :      18365 : }
    5706                 :            : 
    5707                 :            : /* The decision stage.  Iterate over the topological order of call graph nodes
    5708                 :            :    TOPO and make specialized clones if deemed beneficial.  */
    5709                 :            : 
    5710                 :            : static void
    5711                 :      94009 : ipcp_decision_stage (class ipa_topo_info *topo)
    5712                 :            : {
    5713                 :      94009 :   int i;
    5714                 :            : 
    5715                 :      94009 :   if (dump_file)
    5716                 :        162 :     fprintf (dump_file, "\nIPA decision stage:\n\n");
    5717                 :            : 
    5718                 :     966047 :   for (i = topo->nnodes - 1; i >= 0; i--)
    5719                 :            :     {
    5720                 :     872038 :       struct cgraph_node *node = topo->order[i];
    5721                 :     872038 :       bool change = false, iterate = true;
    5722                 :            : 
    5723                 :    1762440 :       while (iterate)
    5724                 :            :         {
    5725                 :            :           struct cgraph_node *v;
    5726                 :            :           iterate = false;
    5727                 :    1785450 :           for (v = node; v; v = ((struct ipa_dfs_info *) v->aux)->next_cycle)
    5728                 :    1790080 :             if (v->has_gimple_body_p ()
    5729                 :     842442 :                 && ipcp_versionable_function_p (v))
    5730                 :     681961 :               iterate |= decide_whether_version_node (v);
    5731                 :            : 
    5732                 :     890406 :           change |= iterate;
    5733                 :            :         }
    5734                 :     872038 :       if (change)
    5735                 :      18365 :         identify_dead_nodes (node);
    5736                 :            :     }
    5737                 :      94009 : }
    5738                 :            : 
    5739                 :            : /* Look up all the bits information that we have discovered and copy it over
    5740                 :            :    to the transformation summary.  */
    5741                 :            : 
    5742                 :            : static void
    5743                 :      94009 : ipcp_store_bits_results (void)
    5744                 :            : {
    5745                 :      94009 :   cgraph_node *node;
    5746                 :            : 
    5747                 :    1873240 :   FOR_EACH_FUNCTION_WITH_GIMPLE_BODY (node)
    5748                 :            :     {
    5749                 :     842611 :       ipa_node_params *info = IPA_NODE_REF (node);
    5750                 :     842611 :       bool dumped_sth = false;
    5751                 :     842611 :       bool found_useful_result = false;
    5752                 :            : 
    5753                 :     842611 :       if (!opt_for_fn (node->decl, flag_ipa_bit_cp) || !info)
    5754                 :            :         {
    5755                 :       8381 :           if (dump_file)
    5756                 :          4 :             fprintf (dump_file, "Not considering %s for ipa bitwise propagation "
    5757                 :            :                                 "; -fipa-bit-cp: disabled.\n",
    5758                 :            :                                 node->dump_name ());
    5759                 :       8381 :           continue;
    5760                 :            :         }
    5761                 :            : 
    5762                 :     834230 :       if (info->ipcp_orig_node)
    5763                 :      18452 :         info = IPA_NODE_REF (info->ipcp_orig_node);
    5764                 :     834230 :       if (!info->lattices)
    5765                 :            :         /* Newly expanded artificial thunks do not have lattices.  */
    5766                 :         11 :         continue;
    5767                 :            : 
    5768                 :     834219 :       unsigned count = ipa_get_param_count (info);
    5769                 :    2523650 :       for (unsigned i = 0; i < count; i++)
    5770                 :            :         {
    5771                 :    1734290 :           ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
    5772                 :    1734290 :           if (plats->bits_lattice.constant_p ())
    5773                 :            :             {
    5774                 :            :               found_useful_result = true;
    5775                 :            :               break;
    5776                 :            :             }
    5777                 :            :         }
    5778                 :            : 
    5779                 :     834219 :       if (!found_useful_result)
    5780                 :     789355 :         continue;
    5781                 :            : 
    5782                 :      44864 :       ipcp_transformation_initialize ();
    5783                 :      44864 :       ipcp_transformation *ts = ipcp_transformation_sum->get_create (node);
    5784                 :      44864 :       vec_safe_reserve_exact (ts->bits, count);
    5785                 :            : 
    5786                 :     153971 :       for (unsigned i = 0; i < count; i++)
    5787                 :            :         {
    5788                 :     109107 :           ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
    5789                 :     109107 :           ipa_bits *jfbits;
    5790                 :            : 
    5791                 :     109107 :           if (plats->bits_lattice.constant_p ())
    5792                 :      87851 :             jfbits
    5793                 :     175702 :               = ipa_get_ipa_bits_for_value (plats->bits_lattice.get_value (),
    5794                 :      87851 :                                             plats->bits_lattice.get_mask ());
    5795                 :            :           else
    5796                 :            :             jfbits = NULL;
    5797                 :            : 
    5798                 :     109107 :           ts->bits->quick_push (jfbits);
    5799                 :     109107 :           if (!dump_file || !jfbits)
    5800                 :     108846 :             continue;
    5801                 :        261 :           if (!dumped_sth)
    5802                 :            :             {
    5803                 :        224 :               fprintf (dump_file, "Propagated bits info for function %s:\n",
    5804                 :            :                        node->dump_name ());
    5805                 :        224 :               dumped_sth = true;
    5806                 :            :             }
    5807                 :        261 :           fprintf (dump_file, " param %i: value = ", i);
    5808                 :        261 :           print_hex (jfbits->value, dump_file);
    5809                 :        261 :           fprintf (dump_file, ", mask = ");
    5810                 :        261 :           print_hex (jfbits->mask, dump_file);
    5811                 :        261 :           fprintf (dump_file, "\n");
    5812                 :            :         }
    5813                 :            :     }
    5814                 :      94009 : }
    5815                 :            : 
    5816                 :            : /* Look up all VR information that we have discovered and copy it over
    5817                 :            :    to the transformation summary.  */
    5818                 :            : 
    5819                 :            : static void
    5820                 :      94009 : ipcp_store_vr_results (void)
    5821                 :            : {
    5822                 :      94009 :   cgraph_node *node;
    5823                 :            : 
    5824                 :    1873240 :   FOR_EACH_FUNCTION_WITH_GIMPLE_BODY (node)
    5825                 :            :     {
    5826                 :     842611 :       ipa_node_params *info = IPA_NODE_REF (node);
    5827                 :     842611 :       bool found_useful_result = false;
    5828                 :            : 
    5829                 :     842611 :       if (!info || !opt_for_fn (node->decl, flag_ipa_vrp))
    5830                 :            :         {
    5831                 :       8466 :           if (dump_file)
    5832                 :          0 :             fprintf (dump_file, "Not considering %s for VR discovery "
    5833                 :            :                      "and propagate; -fipa-ipa-vrp: disabled.\n",
    5834                 :            :                      node->dump_name ());
    5835                 :       8466 :           continue;
    5836                 :            :         }
    5837                 :            : 
    5838                 :     834145 :       if (info->ipcp_orig_node)
    5839                 :      18452 :         info = IPA_NODE_REF (info->ipcp_orig_node);
    5840                 :     834145 :       if (!info->lattices)
    5841                 :            :         /* Newly expanded artificial thunks do not have lattices.  */
    5842                 :          8 :         continue;
    5843                 :            : 
    5844                 :     834137 :       unsigned count = ipa_get_param_count (info);
    5845                 :    2517850 :       for (unsigned i = 0; i < count; i++)
    5846                 :            :         {
    5847                 :    1730820 :           ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
    5848                 :    1730820 :           if (!plats->m_value_range.bottom_p ()
    5849                 :    1730820 :               && !plats->m_value_range.top_p ())
    5850                 :            :             {
    5851                 :            :               found_useful_result = true;
    5852                 :            :               break;
    5853                 :            :             }
    5854                 :            :         }
    5855                 :     834137 :       if (!found_useful_result)
    5856                 :     787032 :         continue;
    5857                 :            : 
    5858                 :      47105 :       ipcp_transformation_initialize ();
    5859                 :      47105 :       ipcp_transformation *ts = ipcp_transformation_sum->get_create (node);
    5860                 :      47105 :       vec_safe_reserve_exact (ts->m_vr, count);
    5861                 :            : 
    5862                 :     161247 :       for (unsigned i = 0; i < count; i++)
    5863                 :            :         {
    5864                 :     114142 :           ipcp_param_lattices *plats = ipa_get_parm_lattices (info, i);
    5865                 :     114142 :           ipa_vr vr;
    5866                 :            : 
    5867                 :     114142 :           if (!plats->m_value_range.bottom_p ()
    5868                 :     114142 :               && !plats->m_value_range.top_p ())
    5869                 :            :             {
    5870                 :      92132 :               vr.known = true;
    5871                 :      92132 :               vr.type = plats->m_value_range.m_vr.kind ();
    5872                 :      92132 :               vr.min = wi::to_wide (plats->m_value_range.m_vr.min ());
    5873                 :      92132 :               vr.max = wi::to_wide (plats->m_value_range.m_vr.max ());
    5874                 :            :             }
    5875                 :            :           else
    5876                 :            :             {
    5877                 :      22010 :               vr.known = false;
    5878                 :      22010 :               vr.type = VR_VARYING;
    5879                 :      22010 :               vr.min = vr.max = wi::zero (INT_TYPE_SIZE);
    5880                 :            :             }
    5881                 :     114142 :           ts->m_vr->quick_push (vr);
    5882                 :            :         }
    5883                 :            :     }
    5884                 :      94009 : }
    5885                 :            : 
    5886                 :            : /* The IPCP driver.  */
    5887                 :            : 
    5888                 :            : static unsigned int
    5889                 :      94009 : ipcp_driver (void)
    5890                 :            : {
    5891                 :      94009 :   class ipa_topo_info topo;
    5892                 :            : 
    5893                 :      94009 :   if (edge_clone_summaries == NULL)
    5894                 :      94009 :     edge_clone_summaries = new edge_clone_summary_t (symtab);
    5895                 :            : 
    5896                 :      94009 :   ipa_check_create_node_params ();
    5897                 :      94009 :   ipa_check_create_edge_args ();
    5898                 :      94009 :   clone_num_suffixes = new hash_map<const char *, unsigned>;
    5899                 :            : 
    5900                 :      94009 :   if (dump_file)
    5901                 :            :     {
    5902                 :        162 :       fprintf (dump_file, "\nIPA structures before propagation:\n");
    5903                 :        162 :       if (dump_flags & TDF_DETAILS)
    5904                 :         35 :         ipa_print_all_params (dump_file);
    5905                 :        162 :       ipa_print_all_jump_functions (dump_file);
    5906                 :            :     }
    5907                 :            : 
    5908                 :            :   /* Topological sort.  */
    5909                 :      94009 :   build_toporder_info (&topo);
    5910                 :            :   /* Do the interprocedural propagation.  */
    5911                 :      94009 :   ipcp_propagate_stage (&topo);
    5912                 :            :   /* Decide what constant propagation and cloning should be performed.  */
    5913                 :      94009 :   ipcp_decision_stage (&topo);
    5914                 :            :   /* Store results of bits propagation.  */
    5915                 :      94009 :   ipcp_store_bits_results ();
    5916                 :            :   /* Store results of value range propagation.  */
    5917                 :      94009 :   ipcp_store_vr_results ();
    5918                 :            : 
    5919                 :            :   /* Free all IPCP structures.  */
    5920                 :     188018 :   delete clone_num_suffixes;
    5921                 :      94009 :   free_toporder_info (&topo);
    5922                 :      94009 :   delete edge_clone_summaries;
    5923                 :      94009 :   edge_clone_summaries = NULL;
    5924                 :      94009 :   ipa_free_all_structures_after_ipa_cp ();
    5925                 :      94009 :   if (dump_file)
    5926                 :        162 :     fprintf (dump_file, "\nIPA constant propagation end\n");
    5927                 :      94009 :   return 0;
    5928                 :            : }
    5929                 :            : 
    5930                 :            : /* Initialization and computation of IPCP data structures.  This is the initial
    5931                 :            :    intraprocedural analysis of functions, which gathers information to be
    5932                 :            :    propagated later on.  */
    5933                 :            : 
    5934                 :            : static void
    5935                 :      92538 : ipcp_generate_summary (void)
    5936                 :            : {
    5937                 :      92538 :   struct cgraph_node *node;
    5938                 :            : 
    5939                 :      92538 :   if (dump_file)
    5940                 :        164 :     fprintf (dump_file, "\nIPA constant propagation start:\n");
    5941                 :      92538 :   ipa_register_cgraph_hooks ();
    5942                 :            : 
    5943                 :    1796100 :   FOR_EACH_FUNCTION_WITH_GIMPLE_BODY (node)
    5944                 :     805514 :     ipa_analyze_node (node);
    5945                 :      92538 : }
    5946                 :            : 
    5947                 :            : /* Write ipcp summary for nodes in SET.  */
    5948                 :            : 
    5949                 :            : static void
    5950                 :      15045 : ipcp_write_summary (void)
    5951                 :            : {
    5952                 :      15045 :   ipa_prop_write_jump_functions ();
    5953                 :      15045 : }
    5954                 :            : 
    5955                 :            : /* Read ipcp summary.  */
    5956                 :            : 
    5957                 :            : static void
    5958                 :       8642 : ipcp_read_summary (void)
    5959                 :            : {
    5960                 :       8642 :   ipa_prop_read_jump_functions ();
    5961                 :       8642 : }
    5962                 :            : 
    5963                 :            : namespace {
    5964                 :            : 
    5965                 :            : const pass_data pass_data_ipa_cp =
    5966                 :            : {
    5967                 :            :   IPA_PASS, /* type */
    5968                 :            :   "cp", /* name */
    5969                 :            :   OPTGROUP_NONE, /* optinfo_flags */
    5970                 :            :   TV_IPA_CONSTANT_PROP, /* tv_id */
    5971                 :            :   0, /* properties_required */
    5972                 :            :   0, /* properties_provided */
    5973                 :            :   0, /* properties_destroyed */
    5974                 :            :   0, /* todo_flags_start */
    5975                 :            :   ( TODO_dump_symtab | TODO_remove_functions ), /* todo_flags_finish */
    5976                 :            : };
    5977                 :            : 
    5978                 :            : class pass_ipa_cp : public ipa_opt_pass_d
    5979                 :            : {
    5980                 :            : public:
    5981                 :     200540 :   pass_ipa_cp (gcc::context *ctxt)
    5982                 :            :     : ipa_opt_pass_d (pass_data_ipa_cp, ctxt,
    5983                 :            :                       ipcp_generate_summary, /* generate_summary */
    5984                 :            :                       ipcp_write_summary, /* write_summary */
    5985                 :            :                       ipcp_read_summary, /* read_summary */
    5986                 :            :                       ipcp_write_transformation_summaries, /*
    5987                 :            :                       write_optimization_summary */
    5988                 :            :                       ipcp_read_transformation_summaries, /*
    5989                 :            :                       read_optimization_summary */
    5990                 :            :                       NULL, /* stmt_fixup */
    5991                 :            :                       0, /* function_transform_todo_flags_start */
    5992                 :            :                       ipcp_transform_function, /* function_transform */
    5993                 :     401080 :                       NULL) /* variable_transform */
    5994                 :            :   {}
    5995                 :            : 
    5996                 :            :   /* opt_pass methods: */
    5997                 :     437194 :   virtual bool gate (function *)
    5998                 :            :     {
    5999                 :            :       /* FIXME: We should remove the optimize check after we ensure we never run
    6000                 :            :          IPA passes when not optimizing.  */
    6001                 :     437194 :       return (flag_ipa_cp && optimize) || in_lto_p;
    6002                 :            :     }
    6003                 :            : 
    6004                 :      94009 :   virtual unsigned int execute (function *) { return ipcp_driver (); }
    6005                 :            : 
    6006                 :            : }; // class pass_ipa_cp
    6007                 :            : 
    6008                 :            : } // anon namespace
    6009                 :            : 
    6010                 :            : ipa_opt_pass_d *
    6011                 :     200540 : make_pass_ipa_cp (gcc::context *ctxt)
    6012                 :            : {
    6013                 :     200540 :   return new pass_ipa_cp (ctxt);
    6014                 :            : }
    6015                 :            : 
    6016                 :            : /* Reset all state within ipa-cp.c so that we can rerun the compiler
    6017                 :            :    within the same process.  For use by toplev::finalize.  */
    6018                 :            : 
    6019                 :            : void
    6020                 :        888 : ipa_cp_c_finalize (void)
    6021                 :            : {
    6022                 :        888 :   max_count = profile_count::uninitialized ();
    6023                 :        888 :   overall_size = 0;
    6024                 :        888 :   orig_overall_size = 0;
    6025                 :        888 :   ipcp_free_transformation_sum ();
    6026                 :        888 : }

Generated by: LCOV version 1.0

LCOV profile is generated on x86_64 machine using following configure options: configure --disable-bootstrap --enable-coverage=opt --enable-languages=c,c++,fortran,go,jit,lto --enable-host-shared. GCC test suite is run with the built compiler.