LCOV - code coverage report
Current view: top level - gcc - gimple-match-head.c (source / functions) Hit Total Coverage
Test: gcc.info Lines: 439 549 80.0 %
Date: 2020-04-04 11:58:09 Functions: 21 25 84.0 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : /* Preamble and helpers for the autogenerated gimple-match.c file.
       2                 :            :    Copyright (C) 2014-2020 Free Software Foundation, Inc.
       3                 :            : 
       4                 :            : This file is part of GCC.
       5                 :            : 
       6                 :            : GCC is free software; you can redistribute it and/or modify it under
       7                 :            : the terms of the GNU General Public License as published by the Free
       8                 :            : Software Foundation; either version 3, or (at your option) any later
       9                 :            : version.
      10                 :            : 
      11                 :            : GCC is distributed in the hope that it will be useful, but WITHOUT ANY
      12                 :            : WARRANTY; without even the implied warranty of MERCHANTABILITY or
      13                 :            : FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
      14                 :            : for more details.
      15                 :            : 
      16                 :            : You should have received a copy of the GNU General Public License
      17                 :            : along with GCC; see the file COPYING3.  If not see
      18                 :            : <http://www.gnu.org/licenses/>.  */
      19                 :            : 
      20                 :            : #include "config.h"
      21                 :            : #include "system.h"
      22                 :            : #include "coretypes.h"
      23                 :            : #include "backend.h"
      24                 :            : #include "target.h"
      25                 :            : #include "rtl.h"
      26                 :            : #include "tree.h"
      27                 :            : #include "gimple.h"
      28                 :            : #include "ssa.h"
      29                 :            : #include "cgraph.h"
      30                 :            : #include "vec-perm-indices.h"
      31                 :            : #include "fold-const.h"
      32                 :            : #include "fold-const-call.h"
      33                 :            : #include "stor-layout.h"
      34                 :            : #include "gimple-fold.h"
      35                 :            : #include "calls.h"
      36                 :            : #include "tree-dfa.h"
      37                 :            : #include "builtins.h"
      38                 :            : #include "gimple-match.h"
      39                 :            : #include "tree-pass.h"
      40                 :            : #include "internal-fn.h"
      41                 :            : #include "case-cfn-macros.h"
      42                 :            : #include "gimplify.h"
      43                 :            : #include "optabs-tree.h"
      44                 :            : #include "tree-eh.h"
      45                 :            : #include "dbgcnt.h"
      46                 :            : 
      47                 :            : /* Forward declarations of the private auto-generated matchers.
      48                 :            :    They expect valueized operands in canonical order and do not
      49                 :            :    perform simplification of all-constant operands.  */
      50                 :            : static bool gimple_simplify (gimple_match_op *, gimple_seq *, tree (*)(tree),
      51                 :            :                              code_helper, tree, tree);
      52                 :            : static bool gimple_simplify (gimple_match_op *, gimple_seq *, tree (*)(tree),
      53                 :            :                              code_helper, tree, tree, tree);
      54                 :            : static bool gimple_simplify (gimple_match_op *, gimple_seq *, tree (*)(tree),
      55                 :            :                              code_helper, tree, tree, tree, tree);
      56                 :            : static bool gimple_simplify (gimple_match_op *, gimple_seq *, tree (*)(tree),
      57                 :            :                              code_helper, tree, tree, tree, tree, tree);
      58                 :            : static bool gimple_simplify (gimple_match_op *, gimple_seq *, tree (*)(tree),
      59                 :            :                              code_helper, tree, tree, tree, tree, tree, tree);
      60                 :            : static bool gimple_resimplify1 (gimple_seq *, gimple_match_op *,
      61                 :            :                                 tree (*)(tree));
      62                 :            : static bool gimple_resimplify2 (gimple_seq *, gimple_match_op *,
      63                 :            :                                 tree (*)(tree));
      64                 :            : static bool gimple_resimplify3 (gimple_seq *, gimple_match_op *,
      65                 :            :                                 tree (*)(tree));
      66                 :            : static bool gimple_resimplify4 (gimple_seq *, gimple_match_op *,
      67                 :            :                                 tree (*)(tree));
      68                 :            : static bool gimple_resimplify5 (gimple_seq *, gimple_match_op *,
      69                 :            :                                 tree (*)(tree));
      70                 :            : 
      71                 :            : const unsigned int gimple_match_op::MAX_NUM_OPS;
      72                 :            : 
      73                 :            : /* Return whether T is a constant that we'll dispatch to fold to
      74                 :            :    evaluate fully constant expressions.  */
      75                 :            : 
      76                 :            : static inline bool
      77                 :  388412000 : constant_for_folding (tree t)
      78                 :            : {
      79                 :  388412000 :   return (CONSTANT_CLASS_P (t)
      80                 :            :           /* The following is only interesting to string builtins.  */
      81                 :  388412000 :           || (TREE_CODE (t) == ADDR_EXPR
      82                 :    6613630 :               && TREE_CODE (TREE_OPERAND (t, 0)) == STRING_CST));
      83                 :            : }
      84                 :            : 
      85                 :            : /* Try to convert conditional operation ORIG_OP into an IFN_COND_*
      86                 :            :    operation.  Return true on success, storing the new operation in NEW_OP.  */
      87                 :            : 
      88                 :            : static bool
      89                 :          0 : convert_conditional_op (gimple_match_op *orig_op,
      90                 :            :                         gimple_match_op *new_op)
      91                 :            : {
      92                 :          0 :   internal_fn ifn;
      93                 :          0 :   if (orig_op->code.is_tree_code ())
      94                 :          0 :     ifn = get_conditional_internal_fn ((tree_code) orig_op->code);
      95                 :            :   else
      96                 :            :     {
      97                 :          0 :       combined_fn cfn = orig_op->code;
      98                 :          0 :       if (!internal_fn_p (cfn))
      99                 :            :         return false;
     100                 :          0 :       ifn = get_conditional_internal_fn (as_internal_fn (cfn));
     101                 :            :     }
     102                 :          0 :   if (ifn == IFN_LAST)
     103                 :            :     return false;
     104                 :          0 :   unsigned int num_ops = orig_op->num_ops;
     105                 :          0 :   new_op->set_op (as_combined_fn (ifn), orig_op->type, num_ops + 2);
     106                 :          0 :   new_op->ops[0] = orig_op->cond.cond;
     107                 :          0 :   for (unsigned int i = 0; i < num_ops; ++i)
     108                 :          0 :     new_op->ops[i + 1] = orig_op->ops[i];
     109                 :          0 :   tree else_value = orig_op->cond.else_value;
     110                 :          0 :   if (!else_value)
     111                 :          0 :     else_value = targetm.preferred_else_value (ifn, orig_op->type,
     112                 :          0 :                                                num_ops, orig_op->ops);
     113                 :          0 :   new_op->ops[num_ops + 1] = else_value;
     114                 :          0 :   return true;
     115                 :            : }
     116                 :            : 
     117                 :            : /* RES_OP is the result of a simplification.  If it is conditional,
     118                 :            :    try to replace it with the equivalent UNCOND form, such as an
     119                 :            :    IFN_COND_* call or a VEC_COND_EXPR.  Also try to resimplify the
     120                 :            :    result of the replacement if appropriate, adding any new statements to
     121                 :            :    SEQ and using VALUEIZE as the valueization function.  Return true if
     122                 :            :    this resimplification occurred and resulted in at least one change.  */
     123                 :            : 
     124                 :            : static bool
     125                 :  332039000 : maybe_resimplify_conditional_op (gimple_seq *seq, gimple_match_op *res_op,
     126                 :            :                                  tree (*valueize) (tree))
     127                 :            : {
     128                 :  332039000 :   if (!res_op->cond.cond)
     129                 :            :     return false;
     130                 :            : 
     131                 :          0 :   if (!res_op->cond.else_value
     132                 :          0 :       && res_op->code.is_tree_code ())
     133                 :            :     {
     134                 :            :       /* The "else" value doesn't matter.  If the "then" value is a
     135                 :            :          gimple value, just use it unconditionally.  This isn't a
     136                 :            :          simplification in itself, since there was no operation to
     137                 :            :          build in the first place.  */
     138                 :          0 :       if (gimple_simplified_result_is_gimple_val (res_op))
     139                 :            :         {
     140                 :          0 :           res_op->cond.cond = NULL_TREE;
     141                 :          0 :           return false;
     142                 :            :         }
     143                 :            : 
     144                 :            :       /* Likewise if the operation would not trap.  */
     145                 :          0 :       bool honor_trapv = (INTEGRAL_TYPE_P (res_op->type)
     146                 :          0 :                           && TYPE_OVERFLOW_TRAPS (res_op->type));
     147                 :          0 :       tree_code op_code = (tree_code) res_op->code;
     148                 :          0 :       bool op_could_trap;
     149                 :            : 
     150                 :            :       /* COND_EXPR and VEC_COND_EXPR will trap if, and only if, the condition
     151                 :            :          traps and hence we have to check this.  For all other operations, we
     152                 :            :          don't need to consider the operands.  */
     153                 :          0 :       if (op_code == COND_EXPR || op_code == VEC_COND_EXPR)
     154                 :          0 :         op_could_trap = generic_expr_could_trap_p (res_op->ops[0]);
     155                 :            :       else
     156                 :          0 :         op_could_trap = operation_could_trap_p ((tree_code) res_op->code,
     157                 :          0 :                                                 FLOAT_TYPE_P (res_op->type),
     158                 :            :                                                 honor_trapv,
     159                 :            :                                                 res_op->op_or_null (1));
     160                 :            : 
     161                 :          0 :       if (!op_could_trap)
     162                 :            :         {
     163                 :          0 :           res_op->cond.cond = NULL_TREE;
     164                 :          0 :           return false;
     165                 :            :         }
     166                 :            :     }
     167                 :            : 
     168                 :            :   /* If the "then" value is a gimple value and the "else" value matters,
     169                 :            :      create a VEC_COND_EXPR between them, then see if it can be further
     170                 :            :      simplified.  */
     171                 :          0 :   gimple_match_op new_op;
     172                 :          0 :   if (res_op->cond.else_value
     173                 :          0 :       && VECTOR_TYPE_P (res_op->type)
     174                 :          0 :       && gimple_simplified_result_is_gimple_val (res_op))
     175                 :            :     {
     176                 :          0 :       new_op.set_op (VEC_COND_EXPR, res_op->type,
     177                 :            :                      res_op->cond.cond, res_op->ops[0],
     178                 :            :                      res_op->cond.else_value);
     179                 :          0 :       *res_op = new_op;
     180                 :          0 :       return gimple_resimplify3 (seq, res_op, valueize);
     181                 :            :     }
     182                 :            : 
     183                 :            :   /* Otherwise try rewriting the operation as an IFN_COND_* call.
     184                 :            :      Again, this isn't a simplification in itself, since it's what
     185                 :            :      RES_OP already described.  */
     186                 :          0 :   if (convert_conditional_op (res_op, &new_op))
     187                 :          0 :     *res_op = new_op;
     188                 :            : 
     189                 :            :   return false;
     190                 :            : }
     191                 :            : 
     192                 :            : /* Helper that matches and simplifies the toplevel result from
     193                 :            :    a gimple_simplify run (where we don't want to build
     194                 :            :    a stmt in case it's used in in-place folding).  Replaces
     195                 :            :    RES_OP with a simplified and/or canonicalized result and
     196                 :            :    returns whether any change was made.  */
     197                 :            : 
     198                 :            : static bool
     199                 :   71311300 : gimple_resimplify1 (gimple_seq *seq, gimple_match_op *res_op,
     200                 :            :                     tree (*valueize)(tree))
     201                 :            : {
     202                 :   71311300 :   if (constant_for_folding (res_op->ops[0]))
     203                 :            :     {
     204                 :    5536920 :       tree tem = NULL_TREE;
     205                 :    5536920 :       if (res_op->code.is_tree_code ())
     206                 :            :         {
     207                 :    4249130 :           tree_code code = res_op->code;
     208                 :    4249130 :           if (IS_EXPR_CODE_CLASS (TREE_CODE_CLASS (code))
     209                 :    4249130 :               && TREE_CODE_LENGTH (code) == 1)
     210                 :    4249130 :             tem = const_unop (res_op->code, res_op->type, res_op->ops[0]);
     211                 :            :         }
     212                 :            :       else
     213                 :    1287800 :         tem = fold_const_call (combined_fn (res_op->code), res_op->type,
     214                 :            :                                res_op->ops[0]);
     215                 :    5536920 :       if (tem != NULL_TREE
     216                 :    4200590 :           && CONSTANT_CLASS_P (tem))
     217                 :            :         {
     218                 :    4200560 :           if (TREE_OVERFLOW_P (tem))
     219                 :      39294 :             tem = drop_tree_overflow (tem);
     220                 :    4200560 :           res_op->set_value (tem);
     221                 :    4200560 :           maybe_resimplify_conditional_op (seq, res_op, valueize);
     222                 :    4200560 :           return true;
     223                 :            :         }
     224                 :            :     }
     225                 :            : 
     226                 :            :   /* Limit recursion, there are cases like PR80887 and others, for
     227                 :            :      example when value-numbering presents us with unfolded expressions
     228                 :            :      that we are really not prepared to handle without eventual
     229                 :            :      oscillation like ((_50 + 0) + 8) where _50 gets mapped to _50
     230                 :            :      itself as available expression.  */
     231                 :   67110800 :   static unsigned depth;
     232                 :   67110800 :   if (depth > 10)
     233                 :            :     {
     234                 :          0 :       if (dump_file && (dump_flags & TDF_FOLDING))
     235                 :          0 :         fprintf (dump_file, "Aborting expression simplification due to "
     236                 :            :                  "deep recursion\n");
     237                 :          0 :       return false;
     238                 :            :     }
     239                 :            : 
     240                 :   67110800 :   ++depth;
     241                 :   67110800 :   gimple_match_op res_op2 (*res_op);
     242                 :   67110800 :   if (gimple_simplify (&res_op2, seq, valueize,
     243                 :            :                        res_op->code, res_op->type, res_op->ops[0]))
     244                 :            :     {
     245                 :    1409790 :       --depth;
     246                 :    1409790 :       *res_op = res_op2;
     247                 :    1409790 :       return true;
     248                 :            :     }
     249                 :   65701000 :   --depth;
     250                 :            : 
     251                 :   65701000 :   if (maybe_resimplify_conditional_op (seq, res_op, valueize))
     252                 :          0 :     return true;
     253                 :            : 
     254                 :            :   return false;
     255                 :            : }
     256                 :            : 
     257                 :            : /* Helper that matches and simplifies the toplevel result from
     258                 :            :    a gimple_simplify run (where we don't want to build
     259                 :            :    a stmt in case it's used in in-place folding).  Replaces
     260                 :            :    RES_OP with a simplified and/or canonicalized result and
     261                 :            :    returns whether any change was made.  */
     262                 :            : 
     263                 :            : static bool
     264                 :  280298000 : gimple_resimplify2 (gimple_seq *seq, gimple_match_op *res_op,
     265                 :            :                     tree (*valueize)(tree))
     266                 :            : {
     267                 :  280298000 :   if (constant_for_folding (res_op->ops[0])
     268                 :  280298000 :       && constant_for_folding (res_op->ops[1]))
     269                 :            :     {
     270                 :   12261500 :       tree tem = NULL_TREE;
     271                 :   12261500 :       if (res_op->code.is_tree_code ())
     272                 :            :         {
     273                 :   12156400 :           tree_code code = res_op->code;
     274                 :   12156400 :           if (IS_EXPR_CODE_CLASS (TREE_CODE_CLASS (code))
     275                 :   12156400 :               && TREE_CODE_LENGTH (code) == 2)
     276                 :   12156400 :             tem = const_binop (res_op->code, res_op->type,
     277                 :            :                                res_op->ops[0], res_op->ops[1]);
     278                 :            :         }
     279                 :            :       else
     280                 :     105138 :         tem = fold_const_call (combined_fn (res_op->code), res_op->type,
     281                 :            :                                res_op->ops[0], res_op->ops[1]);
     282                 :   12261500 :       if (tem != NULL_TREE
     283                 :   12116400 :           && CONSTANT_CLASS_P (tem))
     284                 :            :         {
     285                 :   12116400 :           if (TREE_OVERFLOW_P (tem))
     286                 :       1019 :             tem = drop_tree_overflow (tem);
     287                 :   12116400 :           res_op->set_value (tem);
     288                 :   12116400 :           maybe_resimplify_conditional_op (seq, res_op, valueize);
     289                 :   12116400 :           return true;
     290                 :            :         }
     291                 :            :     }
     292                 :            : 
     293                 :            :   /* Canonicalize operand order.  */
     294                 :  268182000 :   bool canonicalized = false;
     295                 :  268182000 :   if (res_op->code.is_tree_code ()
     296                 :  264960000 :       && (TREE_CODE_CLASS ((enum tree_code) res_op->code) == tcc_comparison
     297                 :  144462000 :           || commutative_tree_code (res_op->code))
     298                 :  495282000 :       && tree_swap_operands_p (res_op->ops[0], res_op->ops[1]))
     299                 :            :     {
     300                 :    7070460 :       std::swap (res_op->ops[0], res_op->ops[1]);
     301                 :    7070460 :       if (TREE_CODE_CLASS ((enum tree_code) res_op->code) == tcc_comparison)
     302                 :    1921100 :         res_op->code = swap_tree_comparison (res_op->code);
     303                 :            :       canonicalized = true;
     304                 :            :     }
     305                 :            : 
     306                 :            :   /* Limit recursion, see gimple_resimplify1.  */
     307                 :  268182000 :   static unsigned depth;
     308                 :  268182000 :   if (depth > 10)
     309                 :            :     {
     310                 :     156149 :       if (dump_file && (dump_flags & TDF_FOLDING))
     311                 :          0 :         fprintf (dump_file, "Aborting expression simplification due to "
     312                 :            :                  "deep recursion\n");
     313                 :     156149 :       return false;
     314                 :            :     }
     315                 :            : 
     316                 :  268026000 :   ++depth;
     317                 :  268026000 :   gimple_match_op res_op2 (*res_op);
     318                 :  268026000 :   if (gimple_simplify (&res_op2, seq, valueize,
     319                 :            :                        res_op->code, res_op->type,
     320                 :            :                        res_op->ops[0], res_op->ops[1]))
     321                 :            :     {
     322                 :   22125200 :       --depth;
     323                 :   22125200 :       *res_op = res_op2;
     324                 :   22125200 :       return true;
     325                 :            :     }
     326                 :  245901000 :   --depth;
     327                 :            : 
     328                 :  245901000 :   if (maybe_resimplify_conditional_op (seq, res_op, valueize))
     329                 :          0 :     return true;
     330                 :            : 
     331                 :            :   return canonicalized;
     332                 :            : }
     333                 :            : 
     334                 :            : /* Helper that matches and simplifies the toplevel result from
     335                 :            :    a gimple_simplify run (where we don't want to build
     336                 :            :    a stmt in case it's used in in-place folding).  Replaces
     337                 :            :    RES_OP with a simplified and/or canonicalized result and
     338                 :            :    returns whether any change was made.  */
     339                 :            : 
     340                 :            : static bool
     341                 :    3998750 : gimple_resimplify3 (gimple_seq *seq, gimple_match_op *res_op,
     342                 :            :                     tree (*valueize)(tree))
     343                 :            : {
     344                 :    3998750 :   if (constant_for_folding (res_op->ops[0])
     345                 :     195546 :       && constant_for_folding (res_op->ops[1])
     346                 :    4040510 :       && constant_for_folding (res_op->ops[2]))
     347                 :            :     {
     348                 :      37736 :       tree tem = NULL_TREE;
     349                 :      37736 :       if (res_op->code.is_tree_code ())
     350                 :            :         {
     351                 :      15271 :           tree_code code = res_op->code;
     352                 :      15271 :           if (IS_EXPR_CODE_CLASS (TREE_CODE_CLASS (code))
     353                 :      15268 :               && TREE_CODE_LENGTH (code) == 3)
     354                 :      15268 :             tem = fold_ternary/*_to_constant*/ (res_op->code, res_op->type,
     355                 :            :                                                 res_op->ops[0], res_op->ops[1],
     356                 :            :                                                 res_op->ops[2]);
     357                 :            :         }
     358                 :            :       else
     359                 :      22465 :         tem = fold_const_call (combined_fn (res_op->code), res_op->type,
     360                 :            :                                res_op->ops[0], res_op->ops[1], res_op->ops[2]);
     361                 :      37733 :       if (tem != NULL_TREE
     362                 :      16102 :           && CONSTANT_CLASS_P (tem))
     363                 :            :         {
     364                 :      15832 :           if (TREE_OVERFLOW_P (tem))
     365                 :          2 :             tem = drop_tree_overflow (tem);
     366                 :      15832 :           res_op->set_value (tem);
     367                 :      15832 :           maybe_resimplify_conditional_op (seq, res_op, valueize);
     368                 :      15832 :           return true;
     369                 :            :         }
     370                 :            :     }
     371                 :            : 
     372                 :            :   /* Canonicalize operand order.  */
     373                 :    3982920 :   bool canonicalized = false;
     374                 :    3982920 :   if (res_op->code.is_tree_code ()
     375                 :    1483420 :       && commutative_ternary_tree_code (res_op->code)
     376                 :    3983080 :       && tree_swap_operands_p (res_op->ops[0], res_op->ops[1]))
     377                 :            :     {
     378                 :         36 :       std::swap (res_op->ops[0], res_op->ops[1]);
     379                 :         36 :       canonicalized = true;
     380                 :            :     }
     381                 :            : 
     382                 :            :   /* Limit recursion, see gimple_resimplify1.  */
     383                 :    3982920 :   static unsigned depth;
     384                 :    3982920 :   if (depth > 10)
     385                 :            :     {
     386                 :          0 :       if (dump_file && (dump_flags & TDF_FOLDING))
     387                 :          0 :         fprintf (dump_file, "Aborting expression simplification due to "
     388                 :            :                  "deep recursion\n");
     389                 :          0 :       return false;
     390                 :            :     }
     391                 :            : 
     392                 :    3982920 :   ++depth;
     393                 :    3982920 :   gimple_match_op res_op2 (*res_op);
     394                 :    3982920 :   if (gimple_simplify (&res_op2, seq, valueize,
     395                 :            :                        res_op->code, res_op->type,
     396                 :            :                        res_op->ops[0], res_op->ops[1], res_op->ops[2]))
     397                 :            :     {
     398                 :      39751 :       --depth;
     399                 :      39751 :       *res_op = res_op2;
     400                 :      39751 :       return true;
     401                 :            :     }
     402                 :    3943170 :   --depth;
     403                 :            : 
     404                 :    3943170 :   if (maybe_resimplify_conditional_op (seq, res_op, valueize))
     405                 :          0 :     return true;
     406                 :            : 
     407                 :            :   return canonicalized;
     408                 :            : }
     409                 :            : 
     410                 :            : /* Helper that matches and simplifies the toplevel result from
     411                 :            :    a gimple_simplify run (where we don't want to build
     412                 :            :    a stmt in case it's used in in-place folding).  Replaces
     413                 :            :    RES_OP with a simplified and/or canonicalized result and
     414                 :            :    returns whether any change was made.  */
     415                 :            : 
     416                 :            : static bool
     417                 :     130204 : gimple_resimplify4 (gimple_seq *seq, gimple_match_op *res_op,
     418                 :            :                     tree (*valueize)(tree))
     419                 :            : {
     420                 :            :   /* No constant folding is defined for four-operand functions.  */
     421                 :            : 
     422                 :            :   /* Limit recursion, see gimple_resimplify1.  */
     423                 :     130204 :   static unsigned depth;
     424                 :     130204 :   if (depth > 10)
     425                 :            :     {
     426                 :          0 :       if (dump_file && (dump_flags & TDF_FOLDING))
     427                 :          0 :         fprintf (dump_file, "Aborting expression simplification due to "
     428                 :            :                  "deep recursion\n");
     429                 :          0 :       return false;
     430                 :            :     }
     431                 :            : 
     432                 :     130204 :   ++depth;
     433                 :     130204 :   gimple_match_op res_op2 (*res_op);
     434                 :     130204 :   if (gimple_simplify (&res_op2, seq, valueize,
     435                 :            :                        res_op->code, res_op->type,
     436                 :            :                        res_op->ops[0], res_op->ops[1], res_op->ops[2],
     437                 :            :                        res_op->ops[3]))
     438                 :            :     {
     439                 :            :       --depth;
     440                 :            :       *res_op = res_op2;
     441                 :            :       return true;
     442                 :            :     }
     443                 :     130204 :   --depth;
     444                 :            : 
     445                 :     130204 :   if (maybe_resimplify_conditional_op (seq, res_op, valueize))
     446                 :          0 :     return true;
     447                 :            : 
     448                 :            :   return false;
     449                 :            : }
     450                 :            : 
     451                 :            : /* Helper that matches and simplifies the toplevel result from
     452                 :            :    a gimple_simplify run (where we don't want to build
     453                 :            :    a stmt in case it's used in in-place folding).  Replaces
     454                 :            :    RES_OP with a simplified and/or canonicalized result and
     455                 :            :    returns whether any change was made.  */
     456                 :            : 
     457                 :            : static bool
     458                 :      31657 : gimple_resimplify5 (gimple_seq *seq, gimple_match_op *res_op,
     459                 :            :                     tree (*valueize)(tree))
     460                 :            : {
     461                 :            :   /* No constant folding is defined for five-operand functions.  */
     462                 :            : 
     463                 :      31657 :   gimple_match_op res_op2 (*res_op);
     464                 :          0 :   if (gimple_simplify (&res_op2, seq, valueize,
     465                 :            :                        res_op->code, res_op->type,
     466                 :            :                        res_op->ops[0], res_op->ops[1], res_op->ops[2],
     467                 :            :                        res_op->ops[3], res_op->ops[4]))
     468                 :            :     {
     469                 :            :       *res_op = res_op2;
     470                 :            :       return true;
     471                 :            :     }
     472                 :            : 
     473                 :      31657 :   if (maybe_resimplify_conditional_op (seq, res_op, valueize))
     474                 :          0 :     return true;
     475                 :            : 
     476                 :            :   return false;
     477                 :            : }
     478                 :            : 
     479                 :            : /* Match and simplify the toplevel valueized operation THIS.
     480                 :            :    Replaces THIS with a simplified and/or canonicalized result and
     481                 :            :    returns whether any change was made.  */
     482                 :            : 
     483                 :            : bool
     484                 :   15436000 : gimple_match_op::resimplify (gimple_seq *seq, tree (*valueize)(tree))
     485                 :            : {
     486                 :   15436000 :   switch (num_ops)
     487                 :            :     {
     488                 :    3233310 :     case 1:
     489                 :    3233310 :       return gimple_resimplify1 (seq, this, valueize);
     490                 :   12134300 :     case 2:
     491                 :   12134300 :       return gimple_resimplify2 (seq, this, valueize);
     492                 :      68328 :     case 3:
     493                 :      68328 :       return gimple_resimplify3 (seq, this, valueize);
     494                 :         98 :     case 4:
     495                 :         98 :       return gimple_resimplify4 (seq, this, valueize);
     496                 :          0 :     case 5:
     497                 :          0 :       return gimple_resimplify5 (seq, this, valueize);
     498                 :          0 :     default:
     499                 :          0 :       gcc_unreachable ();
     500                 :            :     }
     501                 :            : }
     502                 :            : 
     503                 :            : /* If in GIMPLE the operation described by RES_OP should be single-rhs,
     504                 :            :    build a GENERIC tree for that expression and update RES_OP accordingly.  */
     505                 :            : 
     506                 :            : void
     507                 :    1217970 : maybe_build_generic_op (gimple_match_op *res_op)
     508                 :            : {
     509                 :    1217970 :   tree_code code = (tree_code) res_op->code;
     510                 :    1217970 :   tree val;
     511                 :    1217970 :   switch (code)
     512                 :            :     {
     513                 :       2850 :     case REALPART_EXPR:
     514                 :       2850 :     case IMAGPART_EXPR:
     515                 :       2850 :     case VIEW_CONVERT_EXPR:
     516                 :       2850 :       val = build1 (code, res_op->type, res_op->ops[0]);
     517                 :       2850 :       res_op->set_value (val);
     518                 :       2850 :       break;
     519                 :      25951 :     case BIT_FIELD_REF:
     520                 :      25951 :       val = build3 (code, res_op->type, res_op->ops[0], res_op->ops[1],
     521                 :            :                     res_op->ops[2]);
     522                 :      25951 :       REF_REVERSE_STORAGE_ORDER (val) = res_op->reverse;
     523                 :      25951 :       res_op->set_value (val);
     524                 :      25951 :       break;
     525                 :    1217970 :     default:;
     526                 :            :     }
     527                 :    1217970 : }
     528                 :            : 
     529                 :            : tree (*mprts_hook) (gimple_match_op *);
     530                 :            : 
     531                 :            : /* Try to build RES_OP, which is known to be a call to FN.  Return null
     532                 :            :    if the target doesn't support the function.  */
     533                 :            : 
     534                 :            : static gcall *
     535                 :       7070 : build_call_internal (internal_fn fn, gimple_match_op *res_op)
     536                 :            : {
     537                 :       7070 :   if (direct_internal_fn_p (fn))
     538                 :            :     {
     539                 :       7037 :       tree_pair types = direct_internal_fn_types (fn, res_op->type,
     540                 :       7037 :                                                   res_op->ops);
     541                 :       7037 :       if (!direct_internal_fn_supported_p (fn, types, OPTIMIZE_FOR_BOTH))
     542                 :         68 :         return NULL;
     543                 :            :     }
     544                 :      27975 :   return gimple_build_call_internal (fn, res_op->num_ops,
     545                 :            :                                      res_op->op_or_null (0),
     546                 :            :                                      res_op->op_or_null (1),
     547                 :            :                                      res_op->op_or_null (2),
     548                 :            :                                      res_op->op_or_null (3),
     549                 :       7002 :                                      res_op->op_or_null (4));
     550                 :            : }
     551                 :            : 
     552                 :            : /* Push the exploded expression described by RES_OP as a statement to
     553                 :            :    SEQ if necessary and return a gimple value denoting the value of the
     554                 :            :    expression.  If RES is not NULL then the result will be always RES
     555                 :            :    and even gimple values are pushed to SEQ.  */
     556                 :            : 
     557                 :            : tree
     558                 :    8219390 : maybe_push_res_to_seq (gimple_match_op *res_op, gimple_seq *seq, tree res)
     559                 :            : {
     560                 :    8219390 :   tree *ops = res_op->ops;
     561                 :    8219390 :   unsigned num_ops = res_op->num_ops;
     562                 :            : 
     563                 :            :   /* The caller should have converted conditional operations into an UNCOND
     564                 :            :      form and resimplified as appropriate.  The conditional form only
     565                 :            :      survives this far if that conversion failed.  */
     566                 :    8219390 :   if (res_op->cond.cond)
     567                 :            :     return NULL_TREE;
     568                 :            : 
     569                 :    8219390 :   if (res_op->code.is_tree_code ())
     570                 :            :     {
     571                 :    8204500 :       if (!res
     572                 :    8204500 :           && gimple_simplified_result_is_gimple_val (res_op))
     573                 :    5497950 :         return ops[0];
     574                 :    2706550 :       if (mprts_hook)
     575                 :            :         {
     576                 :    1411130 :           tree tem = mprts_hook (res_op);
     577                 :    1411130 :           if (tem)
     578                 :            :             return tem;
     579                 :            :         }
     580                 :            :     }
     581                 :            : 
     582                 :    2709500 :   if (!seq)
     583                 :            :     return NULL_TREE;
     584                 :            : 
     585                 :            :   /* Play safe and do not allow abnormals to be mentioned in
     586                 :            :      newly created statements.  */
     587                 :     495931 :   for (unsigned int i = 0; i < num_ops; ++i)
     588                 :     320092 :     if (TREE_CODE (ops[i]) == SSA_NAME
     589                 :     320092 :         && SSA_NAME_OCCURS_IN_ABNORMAL_PHI (ops[i]))
     590                 :            :       return NULL_TREE;
     591                 :            : 
     592                 :     175839 :   if (num_ops > 0 && COMPARISON_CLASS_P (ops[0]))
     593                 :        144 :     for (unsigned int i = 0; i < 2; ++i)
     594                 :         96 :       if (TREE_CODE (TREE_OPERAND (ops[0], i)) == SSA_NAME
     595                 :         96 :           && SSA_NAME_OCCURS_IN_ABNORMAL_PHI (TREE_OPERAND (ops[0], i)))
     596                 :            :         return NULL_TREE;
     597                 :            : 
     598                 :     175839 :   if (res_op->code.is_tree_code ())
     599                 :            :     {
     600                 :     164650 :       if (!res)
     601                 :            :         {
     602                 :     146526 :           if (gimple_in_ssa_p (cfun))
     603                 :     145994 :             res = make_ssa_name (res_op->type);
     604                 :            :           else
     605                 :        532 :             res = create_tmp_reg (res_op->type);
     606                 :            :         }
     607                 :     164650 :       maybe_build_generic_op (res_op);
     608                 :     413528 :       gimple *new_stmt = gimple_build_assign (res, res_op->code,
     609                 :            :                                               res_op->op_or_null (0),
     610                 :            :                                               res_op->op_or_null (1),
     611                 :            :                                               res_op->op_or_null (2));
     612                 :     164650 :       gimple_seq_add_stmt_without_update (seq, new_stmt);
     613                 :     164650 :       return res;
     614                 :            :     }
     615                 :            :   else
     616                 :            :     {
     617                 :      11189 :       gcc_assert (num_ops != 0);
     618                 :      11189 :       combined_fn fn = res_op->code;
     619                 :      11189 :       gcall *new_stmt = NULL;
     620                 :      11189 :       if (internal_fn_p (fn))
     621                 :            :         {
     622                 :            :           /* Generate the given function if we can.  */
     623                 :       7070 :           internal_fn ifn = as_internal_fn (fn);
     624                 :       7070 :           new_stmt = build_call_internal (ifn, res_op);
     625                 :       7070 :           if (!new_stmt)
     626                 :            :             return NULL_TREE;
     627                 :            :         }
     628                 :            :       else
     629                 :            :         {
     630                 :            :           /* Find the function we want to call.  */
     631                 :       4119 :           tree decl = builtin_decl_implicit (as_builtin_fn (fn));
     632                 :       4119 :           if (!decl)
     633                 :            :             return NULL;
     634                 :            : 
     635                 :            :           /* We can't and should not emit calls to non-const functions.  */
     636                 :       4119 :           if (!(flags_from_decl_or_type (decl) & ECF_CONST))
     637                 :            :             return NULL;
     638                 :            : 
     639                 :       7638 :           new_stmt = gimple_build_call (decl, num_ops,
     640                 :            :                                         res_op->op_or_null (0),
     641                 :            :                                         res_op->op_or_null (1),
     642                 :            :                                         res_op->op_or_null (2),
     643                 :            :                                         res_op->op_or_null (3),
     644                 :            :                                         res_op->op_or_null (4));
     645                 :            :         }
     646                 :      10750 :       if (!res)
     647                 :            :         {
     648                 :        967 :           if (gimple_in_ssa_p (cfun))
     649                 :        967 :             res = make_ssa_name (res_op->type);
     650                 :            :           else
     651                 :          0 :             res = create_tmp_reg (res_op->type);
     652                 :            :         }
     653                 :      10750 :       gimple_call_set_lhs (new_stmt, res);
     654                 :      10750 :       gimple_seq_add_stmt_without_update (seq, new_stmt);
     655                 :      10750 :       return res;
     656                 :            :     }
     657                 :            : }
     658                 :            : 
     659                 :            : 
     660                 :            : /* Public API overloads follow for operation being tree_code or
     661                 :            :    built_in_function and for one to three operands or arguments.
     662                 :            :    They return NULL_TREE if nothing could be simplified or
     663                 :            :    the resulting simplified value with parts pushed to SEQ.
     664                 :            :    If SEQ is NULL then if the simplification needs to create
     665                 :            :    new stmts it will fail.  If VALUEIZE is non-NULL then all
     666                 :            :    SSA names will be valueized using that hook prior to
     667                 :            :    applying simplifications.  */
     668                 :            : 
     669                 :            : /* Unary ops.  */
     670                 :            : 
     671                 :            : tree
     672                 :     226638 : gimple_simplify (enum tree_code code, tree type,
     673                 :            :                  tree op0,
     674                 :            :                  gimple_seq *seq, tree (*valueize)(tree))
     675                 :            : {
     676                 :     226638 :   if (constant_for_folding (op0))
     677                 :            :     {
     678                 :       9894 :       tree res = const_unop (code, type, op0);
     679                 :       9894 :       if (res != NULL_TREE
     680                 :       9860 :           && CONSTANT_CLASS_P (res))
     681                 :            :         return res;
     682                 :            :     }
     683                 :            : 
     684                 :     216778 :   gimple_match_op res_op;
     685                 :     216778 :   if (!gimple_simplify (&res_op, seq, valueize, code, type, op0))
     686                 :            :     return NULL_TREE;
     687                 :      13114 :   return maybe_push_res_to_seq (&res_op, seq);
     688                 :            : }
     689                 :            : 
     690                 :            : /* Binary ops.  */
     691                 :            : 
     692                 :            : tree
     693                 :   15022700 : gimple_simplify (enum tree_code code, tree type,
     694                 :            :                  tree op0, tree op1,
     695                 :            :                  gimple_seq *seq, tree (*valueize)(tree))
     696                 :            : {
     697                 :   15022700 :   if (constant_for_folding (op0) && constant_for_folding (op1))
     698                 :            :     {
     699                 :     715534 :       tree res = const_binop (code, type, op0, op1);
     700                 :     715534 :       if (res != NULL_TREE
     701                 :     714892 :           && CONSTANT_CLASS_P (res))
     702                 :            :         return res;
     703                 :            :     }
     704                 :            : 
     705                 :            :   /* Canonicalize operand order both for matching and fallback stmt
     706                 :            :      generation.  */
     707                 :   14307800 :   if ((commutative_tree_code (code)
     708                 :    3771700 :        || TREE_CODE_CLASS (code) == tcc_comparison)
     709                 :   17943700 :       && tree_swap_operands_p (op0, op1))
     710                 :            :     {
     711                 :     494623 :       std::swap (op0, op1);
     712                 :     494623 :       if (TREE_CODE_CLASS (code) == tcc_comparison)
     713                 :     468418 :         code = swap_tree_comparison (code);
     714                 :            :     }
     715                 :            : 
     716                 :   14307800 :   gimple_match_op res_op;
     717                 :   14307800 :   if (!gimple_simplify (&res_op, seq, valueize, code, type, op0, op1))
     718                 :            :     return NULL_TREE;
     719                 :    1765810 :   return maybe_push_res_to_seq (&res_op, seq);
     720                 :            : }
     721                 :            : 
     722                 :            : /* Ternary ops.  */
     723                 :            : 
     724                 :            : tree
     725                 :      22268 : gimple_simplify (enum tree_code code, tree type,
     726                 :            :                  tree op0, tree op1, tree op2,
     727                 :            :                  gimple_seq *seq, tree (*valueize)(tree))
     728                 :            : {
     729                 :      22270 :   if (constant_for_folding (op0) && constant_for_folding (op1)
     730                 :      22268 :       && constant_for_folding (op2))
     731                 :            :     {
     732                 :          0 :       tree res = fold_ternary/*_to_constant */ (code, type, op0, op1, op2);
     733                 :          0 :       if (res != NULL_TREE
     734                 :          0 :           && CONSTANT_CLASS_P (res))
     735                 :            :         return res;
     736                 :            :     }
     737                 :            : 
     738                 :            :   /* Canonicalize operand order both for matching and fallback stmt
     739                 :            :      generation.  */
     740                 :      22268 :   if (commutative_ternary_tree_code (code)
     741                 :      22268 :       && tree_swap_operands_p (op0, op1))
     742                 :      22268 :     std::swap (op0, op1);
     743                 :            : 
     744                 :      22268 :   gimple_match_op res_op;
     745                 :      22268 :   if (!gimple_simplify (&res_op, seq, valueize, code, type, op0, op1, op2))
     746                 :            :     return NULL_TREE;
     747                 :        229 :   return maybe_push_res_to_seq (&res_op, seq);
     748                 :            : }
     749                 :            : 
     750                 :            : /* Builtin or internal function with one argument.  */
     751                 :            : 
     752                 :            : tree
     753                 :       6874 : gimple_simplify (combined_fn fn, tree type,
     754                 :            :                  tree arg0,
     755                 :            :                  gimple_seq *seq, tree (*valueize)(tree))
     756                 :            : {
     757                 :       6874 :   if (constant_for_folding (arg0))
     758                 :            :     {
     759                 :          0 :       tree res = fold_const_call (fn, type, arg0);
     760                 :          0 :       if (res && CONSTANT_CLASS_P (res))
     761                 :            :         return res;
     762                 :            :     }
     763                 :            : 
     764                 :       6874 :   gimple_match_op res_op;
     765                 :       6874 :   if (!gimple_simplify (&res_op, seq, valueize, fn, type, arg0))
     766                 :            :     return NULL_TREE;
     767                 :          0 :   return maybe_push_res_to_seq (&res_op, seq);
     768                 :            : }
     769                 :            : 
     770                 :            : /* Builtin or internal function with two arguments.  */
     771                 :            : 
     772                 :            : tree
     773                 :          0 : gimple_simplify (combined_fn fn, tree type,
     774                 :            :                  tree arg0, tree arg1,
     775                 :            :                  gimple_seq *seq, tree (*valueize)(tree))
     776                 :            : {
     777                 :          0 :   if (constant_for_folding (arg0)
     778                 :          0 :       && constant_for_folding (arg1))
     779                 :            :     {
     780                 :          0 :       tree res = fold_const_call (fn, type, arg0, arg1);
     781                 :          0 :       if (res && CONSTANT_CLASS_P (res))
     782                 :            :         return res;
     783                 :            :     }
     784                 :            : 
     785                 :          0 :   gimple_match_op res_op;
     786                 :          0 :   if (!gimple_simplify (&res_op, seq, valueize, fn, type, arg0, arg1))
     787                 :            :     return NULL_TREE;
     788                 :          0 :   return maybe_push_res_to_seq (&res_op, seq);
     789                 :            : }
     790                 :            : 
     791                 :            : /* Builtin or internal function with three arguments.  */
     792                 :            : 
     793                 :            : tree
     794                 :          0 : gimple_simplify (combined_fn fn, tree type,
     795                 :            :                  tree arg0, tree arg1, tree arg2,
     796                 :            :                  gimple_seq *seq, tree (*valueize)(tree))
     797                 :            : {
     798                 :          0 :   if (constant_for_folding (arg0)
     799                 :          0 :       && constant_for_folding (arg1)
     800                 :          0 :       && constant_for_folding (arg2))
     801                 :            :     {
     802                 :          0 :       tree res = fold_const_call (fn, type, arg0, arg1, arg2);
     803                 :          0 :       if (res && CONSTANT_CLASS_P (res))
     804                 :            :         return res;
     805                 :            :     }
     806                 :            : 
     807                 :          0 :   gimple_match_op res_op;
     808                 :          0 :   if (!gimple_simplify (&res_op, seq, valueize, fn, type, arg0, arg1, arg2))
     809                 :            :     return NULL_TREE;
     810                 :          0 :   return maybe_push_res_to_seq (&res_op, seq);
     811                 :            : }
     812                 :            : 
     813                 :            : /* Helper for gimple_simplify valueizing OP using VALUEIZE and setting
     814                 :            :    VALUEIZED to true if valueization changed OP.  */
     815                 :            : 
     816                 :            : static inline tree
     817                 :  642377000 : do_valueize (tree op, tree (*valueize)(tree), bool &valueized)
     818                 :            : {
     819                 :  642377000 :   if (valueize && TREE_CODE (op) == SSA_NAME)
     820                 :            :     {
     821                 :  404301000 :       tree tem = valueize (op);
     822                 :  404301000 :       if (tem && tem != op)
     823                 :            :         {
     824                 :   26781100 :           op = tem;
     825                 :   26781100 :           valueized = true;
     826                 :            :         }
     827                 :            :     }
     828                 :  642377000 :   return op;
     829                 :            : }
     830                 :            : 
     831                 :            : /* If RES_OP is a call to a conditional internal function, try simplifying
     832                 :            :    the associated unconditional operation and using the result to build
     833                 :            :    a new conditional operation.  For example, if RES_OP is:
     834                 :            : 
     835                 :            :      IFN_COND_ADD (COND, A, B, ELSE)
     836                 :            : 
     837                 :            :    try simplifying (plus A B) and using the result to build a replacement
     838                 :            :    for the whole IFN_COND_ADD.
     839                 :            : 
     840                 :            :    Return true if this approach led to a simplification, otherwise leave
     841                 :            :    RES_OP unchanged (and so suitable for other simplifications).  When
     842                 :            :    returning true, add any new statements to SEQ and use VALUEIZE as the
     843                 :            :    valueization function.
     844                 :            : 
     845                 :            :    RES_OP is known to be a call to IFN.  */
     846                 :            : 
     847                 :            : static bool
     848                 :    1501780 : try_conditional_simplification (internal_fn ifn, gimple_match_op *res_op,
     849                 :            :                                 gimple_seq *seq, tree (*valueize) (tree))
     850                 :            : {
     851                 :    1501780 :   code_helper op;
     852                 :    1501780 :   tree_code code = conditional_internal_fn_code (ifn);
     853                 :    1501780 :   if (code != ERROR_MARK)
     854                 :          0 :     op = code;
     855                 :            :   else
     856                 :            :     {
     857                 :    1501780 :       ifn = get_unconditional_internal_fn (ifn);
     858                 :    1501780 :       if (ifn == IFN_LAST)
     859                 :            :         return false;
     860                 :          0 :       op = as_combined_fn (ifn);
     861                 :            :     }
     862                 :            : 
     863                 :          0 :   unsigned int num_ops = res_op->num_ops;
     864                 :          0 :   gimple_match_op cond_op (gimple_match_cond (res_op->ops[0],
     865                 :          0 :                                               res_op->ops[num_ops - 1]),
     866                 :          0 :                            op, res_op->type, num_ops - 2);
     867                 :            : 
     868                 :          0 :   memcpy (cond_op.ops, res_op->ops + 1, (num_ops - 1) * sizeof *cond_op.ops);
     869                 :          0 :   switch (num_ops - 2)
     870                 :            :     {
     871                 :          0 :     case 2:
     872                 :          0 :       if (!gimple_resimplify2 (seq, &cond_op, valueize))
     873                 :            :         return false;
     874                 :            :       break;
     875                 :          0 :     case 3:
     876                 :          0 :       if (!gimple_resimplify3 (seq, &cond_op, valueize))
     877                 :            :         return false;
     878                 :            :       break;
     879                 :          0 :     default:
     880                 :          0 :       gcc_unreachable ();
     881                 :            :     }
     882                 :          0 :   *res_op = cond_op;
     883                 :          0 :   maybe_resimplify_conditional_op (seq, res_op, valueize);
     884                 :          0 :   return true;
     885                 :            : }
     886                 :            : 
     887                 :            : /* The main STMT based simplification entry.  It is used by the fold_stmt
     888                 :            :    and the fold_stmt_to_constant APIs.  */
     889                 :            : 
     890                 :            : bool
     891                 :  826308000 : gimple_simplify (gimple *stmt, gimple_match_op *res_op, gimple_seq *seq,
     892                 :            :                  tree (*valueize)(tree), tree (*top_valueize)(tree))
     893                 :            : {
     894                 :  826308000 :   switch (gimple_code (stmt))
     895                 :            :     {
     896                 :  414975000 :     case GIMPLE_ASSIGN:
     897                 :  414975000 :       {
     898                 :  414975000 :         enum tree_code code = gimple_assign_rhs_code (stmt);
     899                 :  414975000 :         tree type = TREE_TYPE (gimple_assign_lhs (stmt));
     900                 :  414975000 :         switch (gimple_assign_rhs_class (stmt))
     901                 :            :           {
     902                 :  199231000 :           case GIMPLE_SINGLE_RHS:
     903                 :  199231000 :             if (code == REALPART_EXPR
     904                 :            :                 || code == IMAGPART_EXPR
     905                 :  199231000 :                 || code == VIEW_CONVERT_EXPR)
     906                 :            :               {
     907                 :    6289750 :                 tree op0 = TREE_OPERAND (gimple_assign_rhs1 (stmt), 0);
     908                 :    6289750 :                 bool valueized = false;
     909                 :    6289750 :                 op0 = do_valueize (op0, top_valueize, valueized);
     910                 :    6289750 :                 res_op->set_op (code, type, op0);
     911                 :    6289750 :                 return (gimple_resimplify1 (seq, res_op, valueize)
     912                 :    6289750 :                         || valueized);
     913                 :            :               }
     914                 :  192941000 :             else if (code == BIT_FIELD_REF)
     915                 :            :               {
     916                 :     780528 :                 tree rhs1 = gimple_assign_rhs1 (stmt);
     917                 :     780528 :                 tree op0 = TREE_OPERAND (rhs1, 0);
     918                 :     780528 :                 bool valueized = false;
     919                 :     780528 :                 op0 = do_valueize (op0, top_valueize, valueized);
     920                 :    1561060 :                 res_op->set_op (code, type, op0,
     921                 :     780528 :                                 TREE_OPERAND (rhs1, 1),
     922                 :     780528 :                                 TREE_OPERAND (rhs1, 2),
     923                 :     780528 :                                 REF_REVERSE_STORAGE_ORDER (rhs1));
     924                 :     780528 :                 if (res_op->reverse)
     925                 :            :                   return valueized;
     926                 :     779883 :                 return (gimple_resimplify3 (seq, res_op, valueize)
     927                 :     779883 :                         || valueized);
     928                 :            :               }
     929                 :  192160000 :             else if (code == SSA_NAME
     930                 :  192160000 :                      && top_valueize)
     931                 :            :               {
     932                 :   29166700 :                 tree op0 = gimple_assign_rhs1 (stmt);
     933                 :   29166700 :                 tree valueized = top_valueize (op0);
     934                 :   29166700 :                 if (!valueized || op0 == valueized)
     935                 :            :                   return false;
     936                 :    2903320 :                 res_op->set_op (TREE_CODE (op0), type, valueized);
     937                 :    2903320 :                 return true;
     938                 :            :               }
     939                 :            :             break;
     940                 :   59367900 :           case GIMPLE_UNARY_RHS:
     941                 :   59367900 :             {
     942                 :   59367900 :               tree rhs1 = gimple_assign_rhs1 (stmt);
     943                 :   59367900 :               bool valueized = false;
     944                 :   59367900 :               rhs1 = do_valueize (rhs1, top_valueize, valueized);
     945                 :   59367900 :               res_op->set_op (code, type, rhs1);
     946                 :   59367900 :               return (gimple_resimplify1 (seq, res_op, valueize)
     947                 :   59367900 :                       || valueized);
     948                 :            :             }
     949                 :  155718000 :           case GIMPLE_BINARY_RHS:
     950                 :  155718000 :             {
     951                 :  155718000 :               tree rhs1 = gimple_assign_rhs1 (stmt);
     952                 :  155718000 :               tree rhs2 = gimple_assign_rhs2 (stmt);
     953                 :  155718000 :               bool valueized = false;
     954                 :  155718000 :               rhs1 = do_valueize (rhs1, top_valueize, valueized);
     955                 :  155718000 :               rhs2 = do_valueize (rhs2, top_valueize, valueized);
     956                 :  155718000 :               res_op->set_op (code, type, rhs1, rhs2);
     957                 :  155718000 :               return (gimple_resimplify2 (seq, res_op, valueize)
     958                 :  155718000 :                       || valueized);
     959                 :            :             }
     960                 :     658093 :           case GIMPLE_TERNARY_RHS:
     961                 :     658093 :             {
     962                 :     658093 :               bool valueized = false;
     963                 :     658093 :               tree rhs1 = gimple_assign_rhs1 (stmt);
     964                 :            :               /* If this is a [VEC_]COND_EXPR first try to simplify an
     965                 :            :                  embedded GENERIC condition.  */
     966                 :     658093 :               if (code == COND_EXPR
     967                 :     658093 :                   || code == VEC_COND_EXPR)
     968                 :            :                 {
     969                 :     354122 :                   if (COMPARISON_CLASS_P (rhs1))
     970                 :            :                     {
     971                 :     330212 :                       tree lhs = TREE_OPERAND (rhs1, 0);
     972                 :     330212 :                       tree rhs = TREE_OPERAND (rhs1, 1);
     973                 :     330212 :                       lhs = do_valueize (lhs, top_valueize, valueized);
     974                 :     330212 :                       rhs = do_valueize (rhs, top_valueize, valueized);
     975                 :     330212 :                       gimple_match_op res_op2 (res_op->cond, TREE_CODE (rhs1),
     976                 :     330212 :                                                TREE_TYPE (rhs1), lhs, rhs);
     977                 :     330212 :                       if ((gimple_resimplify2 (seq, &res_op2, valueize)
     978                 :     301757 :                            || valueized)
     979                 :     334543 :                           && res_op2.code.is_tree_code ())
     980                 :            :                         {
     981                 :      32786 :                           valueized = true;
     982                 :      32786 :                           if (TREE_CODE_CLASS ((enum tree_code) res_op2.code)
     983                 :            :                               == tcc_comparison)
     984                 :      26271 :                             rhs1 = build2 (res_op2.code, TREE_TYPE (rhs1),
     985                 :            :                                            res_op2.ops[0], res_op2.ops[1]);
     986                 :       6515 :                           else if (res_op2.code == SSA_NAME
     987                 :       6113 :                                    || res_op2.code == INTEGER_CST
     988                 :       6790 :                                    || res_op2.code == VECTOR_CST)
     989                 :       6515 :                             rhs1 = res_op2.ops[0];
     990                 :            :                           else
     991                 :            :                             valueized = false;
     992                 :            :                         }
     993                 :            :                     }
     994                 :            :                 }
     995                 :     658093 :               tree rhs2 = gimple_assign_rhs2 (stmt);
     996                 :     658093 :               tree rhs3 = gimple_assign_rhs3 (stmt);
     997                 :     658093 :               rhs1 = do_valueize (rhs1, top_valueize, valueized);
     998                 :     658093 :               rhs2 = do_valueize (rhs2, top_valueize, valueized);
     999                 :     658093 :               rhs3 = do_valueize (rhs3, top_valueize, valueized);
    1000                 :     658093 :               res_op->set_op (code, type, rhs1, rhs2, rhs3);
    1001                 :     658093 :               return (gimple_resimplify3 (seq, res_op, valueize)
    1002                 :     658093 :                       || valueized);
    1003                 :            :             }
    1004                 :          0 :           default:
    1005                 :          0 :             gcc_unreachable ();
    1006                 :            :           }
    1007                 :            :         break;
    1008                 :            :       }
    1009                 :            : 
    1010                 :   52900000 :     case GIMPLE_CALL:
    1011                 :            :       /* ???  This way we can't simplify calls with side-effects.  */
    1012                 :   52900000 :       if (gimple_call_lhs (stmt) != NULL_TREE
    1013                 :   31687200 :           && gimple_call_num_args (stmt) >= 1
    1014                 :   82273600 :           && gimple_call_num_args (stmt) <= 5)
    1015                 :            :         {
    1016                 :   28562500 :           bool valueized = false;
    1017                 :   28562500 :           combined_fn cfn;
    1018                 :   28562500 :           if (gimple_call_internal_p (stmt))
    1019                 :    1501780 :             cfn = as_combined_fn (gimple_call_internal_fn (stmt));
    1020                 :            :           else
    1021                 :            :             {
    1022                 :   27060700 :               tree fn = gimple_call_fn (stmt);
    1023                 :   27060700 :               if (!fn)
    1024                 :            :                 return false;
    1025                 :            : 
    1026                 :   27060700 :               fn = do_valueize (fn, top_valueize, valueized);
    1027                 :   27060700 :               if (TREE_CODE (fn) != ADDR_EXPR
    1028                 :   27060700 :                   || TREE_CODE (TREE_OPERAND (fn, 0)) != FUNCTION_DECL)
    1029                 :            :                 return false;
    1030                 :            : 
    1031                 :   25567000 :               tree decl = TREE_OPERAND (fn, 0);
    1032                 :   25567000 :               if (DECL_BUILT_IN_CLASS (decl) != BUILT_IN_NORMAL
    1033                 :   25567000 :                   || !gimple_builtin_call_types_compatible_p (stmt, decl))
    1034                 :   18746100 :                 return false;
    1035                 :            : 
    1036                 :    6820910 :               cfn = as_combined_fn (DECL_FUNCTION_CODE (decl));
    1037                 :            :             }
    1038                 :            : 
    1039                 :    8322690 :           unsigned int num_args = gimple_call_num_args (stmt);
    1040                 :    8322690 :           res_op->set_op (cfn, TREE_TYPE (gimple_call_lhs (stmt)), num_args);
    1041                 :   25395300 :           for (unsigned i = 0; i < num_args; ++i)
    1042                 :            :             {
    1043                 :   17072600 :               tree arg = gimple_call_arg (stmt, i);
    1044                 :   34145200 :               res_op->ops[i] = do_valueize (arg, top_valueize, valueized);
    1045                 :            :             }
    1046                 :    8322690 :           if (internal_fn_p (cfn)
    1047                 :    8322690 :               && try_conditional_simplification (as_internal_fn (cfn),
    1048                 :            :                                                  res_op, seq, valueize))
    1049                 :            :             return true;
    1050                 :    8322690 :           switch (num_args)
    1051                 :            :             {
    1052                 :    2420390 :             case 1:
    1053                 :    2420390 :               return (gimple_resimplify1 (seq, res_op, valueize)
    1054                 :    2420390 :                       || valueized);
    1055                 :    3248090 :             case 2:
    1056                 :    3248090 :               return (gimple_resimplify2 (seq, res_op, valueize)
    1057                 :    3248090 :                       || valueized);
    1058                 :    2492450 :             case 3:
    1059                 :    2492450 :               return (gimple_resimplify3 (seq, res_op, valueize)
    1060                 :    2492450 :                       || valueized);
    1061                 :     130106 :             case 4:
    1062                 :     130106 :               return (gimple_resimplify4 (seq, res_op, valueize)
    1063                 :     130106 :                       || valueized);
    1064                 :      31657 :             case 5:
    1065                 :      31657 :               return (gimple_resimplify5 (seq, res_op, valueize)
    1066                 :      31657 :                       || valueized);
    1067                 :          0 :             default:
    1068                 :          0 :              gcc_unreachable ();
    1069                 :            :             }
    1070                 :            :         }
    1071                 :            :       break;
    1072                 :            : 
    1073                 :  108867000 :     case GIMPLE_COND:
    1074                 :  108867000 :       {
    1075                 :  108867000 :         tree lhs = gimple_cond_lhs (stmt);
    1076                 :  108867000 :         tree rhs = gimple_cond_rhs (stmt);
    1077                 :  108867000 :         bool valueized = false;
    1078                 :  108867000 :         lhs = do_valueize (lhs, top_valueize, valueized);
    1079                 :  108867000 :         rhs = do_valueize (rhs, top_valueize, valueized);
    1080                 :  108867000 :         res_op->set_op (gimple_cond_code (stmt), boolean_type_node, lhs, rhs);
    1081                 :  108867000 :         return (gimple_resimplify2 (seq, res_op, valueize)
    1082                 :  108867000 :                 || valueized);
    1083                 :            :       }
    1084                 :            : 
    1085                 :            :     default:
    1086                 :            :       break;
    1087                 :            :     }
    1088                 :            : 
    1089                 :            :   return false;
    1090                 :            : }
    1091                 :            : 
    1092                 :            : 
    1093                 :            : /* Helper for the autogenerated code, valueize OP.  */
    1094                 :            : 
    1095                 :            : inline tree
    1096                 :  210679000 : do_valueize (tree (*valueize)(tree), tree op)
    1097                 :            : {
    1098                 :  210679000 :   if (valueize && TREE_CODE (op) == SSA_NAME)
    1099                 :            :     {
    1100                 :  167595000 :       tree tem = valueize (op);
    1101                 :  168241000 :       if (tem)
    1102                 :  157920000 :         return tem;
    1103                 :            :     }
    1104                 :            :   return op;
    1105                 :            : }
    1106                 :            : 
    1107                 :            : /* Helper for the autogenerated code, get at the definition of NAME when
    1108                 :            :    VALUEIZE allows that.  */
    1109                 :            : 
    1110                 :            : inline gimple *
    1111                 : 3616140000 : get_def (tree (*valueize)(tree), tree name)
    1112                 :            : {
    1113                 : 3616140000 :   if (valueize && ! valueize (name))
    1114                 :            :     return NULL;
    1115                 : 1400470000 :   return SSA_NAME_DEF_STMT (name);
    1116                 :            : }
    1117                 :            : 
    1118                 :            : /* Routine to determine if the types T1 and T2 are effectively
    1119                 :            :    the same for GIMPLE.  If T1 or T2 is not a type, the test
    1120                 :            :    applies to their TREE_TYPE.  */
    1121                 :            : 
    1122                 :            : static inline bool
    1123                 :   19139200 : types_match (tree t1, tree t2)
    1124                 :            : {
    1125                 :   19139200 :   if (!TYPE_P (t1))
    1126                 :     865093 :     t1 = TREE_TYPE (t1);
    1127                 :   19139200 :   if (!TYPE_P (t2))
    1128                 :    1233840 :     t2 = TREE_TYPE (t2);
    1129                 :            : 
    1130                 :   19139200 :   return types_compatible_p (t1, t2);
    1131                 :            : }
    1132                 :            : 
    1133                 :            : /* Return if T has a single use.  For GIMPLE, we also allow any
    1134                 :            :    non-SSA_NAME (ie constants) and zero uses to cope with uses
    1135                 :            :    that aren't linked up yet.  */
    1136                 :            : 
    1137                 :            : static inline bool
    1138                 :    4583560 : single_use (tree t)
    1139                 :            : {
    1140                 :    4583560 :   return TREE_CODE (t) != SSA_NAME || has_zero_uses (t) || has_single_use (t);
    1141                 :            : }
    1142                 :            : 
    1143                 :            : /* Return true if math operations should be canonicalized,
    1144                 :            :    e.g. sqrt(sqrt(x)) -> pow(x, 0.25).  */
    1145                 :            : 
    1146                 :            : static inline bool
    1147                 :      12865 : canonicalize_math_p ()
    1148                 :            : {
    1149                 :      12865 :   return !cfun || (cfun->curr_properties & PROP_gimple_opt_math) == 0;
    1150                 :            : }
    1151                 :            : 
    1152                 :            : /* Return true if math operations that are beneficial only after
    1153                 :            :    vectorization should be canonicalized.  */
    1154                 :            : 
    1155                 :            : static inline bool
    1156                 :       9435 : canonicalize_math_after_vectorization_p ()
    1157                 :            : {
    1158                 :       9435 :   return !cfun || (cfun->curr_properties & PROP_gimple_lvec) != 0;
    1159                 :            : }
    1160                 :            : 
    1161                 :            : /* Return true if pow(cst, x) should be optimized into exp(log(cst) * x).
    1162                 :            :    As a workaround for SPEC CPU2017 628.pop2_s, don't do it if arg0
    1163                 :            :    is an exact integer, arg1 = phi_res +/- cst1 and phi_res = PHI <cst2, ...>
    1164                 :            :    where cst2 +/- cst1 is an exact integer, because then pow (arg0, arg1)
    1165                 :            :    will likely be exact, while exp (log (arg0) * arg1) might be not.
    1166                 :            :    Also don't do it if arg1 is phi_res above and cst2 is an exact integer.  */
    1167                 :            : 
    1168                 :            : static bool
    1169                 :          4 : optimize_pow_to_exp (tree arg0, tree arg1)
    1170                 :            : {
    1171                 :          4 :   gcc_assert (TREE_CODE (arg0) == REAL_CST);
    1172                 :          4 :   if (!real_isinteger (TREE_REAL_CST_PTR (arg0), TYPE_MODE (TREE_TYPE (arg0))))
    1173                 :            :     return true;
    1174                 :            : 
    1175                 :          4 :   if (TREE_CODE (arg1) != SSA_NAME)
    1176                 :            :     return true;
    1177                 :            : 
    1178                 :          4 :   gimple *def = SSA_NAME_DEF_STMT (arg1);
    1179                 :          4 :   gphi *phi = dyn_cast <gphi *> (def);
    1180                 :          4 :   tree cst1 = NULL_TREE;
    1181                 :          4 :   enum tree_code code = ERROR_MARK;
    1182                 :            :   if (!phi)
    1183                 :            :     {
    1184                 :          4 :       if (!is_gimple_assign (def))
    1185                 :            :         return true;
    1186                 :          4 :       code = gimple_assign_rhs_code (def);
    1187                 :          4 :       switch (code)
    1188                 :            :         {
    1189                 :          4 :         case PLUS_EXPR:
    1190                 :          4 :         case MINUS_EXPR:
    1191                 :          4 :           break;
    1192                 :            :         default:
    1193                 :            :           return true;
    1194                 :            :         }
    1195                 :          4 :       if (TREE_CODE (gimple_assign_rhs1 (def)) != SSA_NAME
    1196                 :          4 :           || TREE_CODE (gimple_assign_rhs2 (def)) != REAL_CST)
    1197                 :            :         return true;
    1198                 :            : 
    1199                 :          4 :       cst1 = gimple_assign_rhs2 (def);
    1200                 :            : 
    1201                 :          4 :       phi = dyn_cast <gphi *> (SSA_NAME_DEF_STMT (gimple_assign_rhs1 (def)));
    1202                 :            :       if (!phi)
    1203                 :            :         return true;
    1204                 :            :     }
    1205                 :            : 
    1206                 :          4 :   tree cst2 = NULL_TREE;
    1207                 :          4 :   int n = gimple_phi_num_args (phi);
    1208                 :         12 :   for (int i = 0; i < n; i++)
    1209                 :            :     {
    1210                 :          8 :       tree arg = PHI_ARG_DEF (phi, i);
    1211                 :          8 :       if (TREE_CODE (arg) != REAL_CST)
    1212                 :          4 :         continue;
    1213                 :          4 :       else if (cst2 == NULL_TREE)
    1214                 :            :         cst2 = arg;
    1215                 :          0 :       else if (!operand_equal_p (cst2, arg, 0))
    1216                 :            :         return true;
    1217                 :            :     }
    1218                 :            : 
    1219                 :          4 :   if (cst1 && cst2)
    1220                 :          4 :     cst2 = const_binop (code, TREE_TYPE (cst2), cst2, cst1);
    1221                 :          4 :   if (cst2
    1222                 :          4 :       && TREE_CODE (cst2) == REAL_CST
    1223                 :          8 :       && real_isinteger (TREE_REAL_CST_PTR (cst2),
    1224                 :          4 :                          TYPE_MODE (TREE_TYPE (cst2))))
    1225                 :          4 :     return false;
    1226                 :            :   return true;
    1227                 :            : }
    1228                 :            : 
    1229                 :            : /* Return true if a division INNER_DIV / DIVISOR where INNER_DIV
    1230                 :            :    is another division can be optimized.  Don't optimize if INNER_DIV
    1231                 :            :    is used in a TRUNC_MOD_EXPR with DIVISOR as second operand.  */
    1232                 :            : 
    1233                 :            : static bool
    1234                 :      18074 : optimize_successive_divisions_p (tree divisor, tree inner_div)
    1235                 :            : {
    1236                 :      18074 :   if (!gimple_in_ssa_p (cfun))
    1237                 :            :     return false;
    1238                 :            : 
    1239                 :      18074 :   imm_use_iterator imm_iter;
    1240                 :      18074 :   use_operand_p use_p;
    1241                 :      34661 :   FOR_EACH_IMM_USE_FAST (use_p, imm_iter, inner_div)
    1242                 :            :     {
    1243                 :      32819 :       gimple *use_stmt = USE_STMT (use_p);
    1244                 :      32819 :       if (!is_gimple_assign (use_stmt)
    1245                 :      31324 :           || gimple_assign_rhs_code (use_stmt) != TRUNC_MOD_EXPR
    1246                 :      49467 :           || !operand_equal_p (gimple_assign_rhs2 (use_stmt), divisor, 0))
    1247                 :      16587 :         continue;
    1248                 :            :       return false;
    1249                 :            :     }
    1250                 :            :   return true;
    1251                 :            : }

Generated by: LCOV version 1.0

LCOV profile is generated on x86_64 machine using following configure options: configure --disable-bootstrap --enable-coverage=opt --enable-languages=c,c++,fortran,go,jit,lto --enable-host-shared. GCC test suite is run with the built compiler.