LCOV - code coverage report
Current view: top level - gcc - tree-ssa-operands.c (source / functions) Hit Total Coverage
Test: gcc.info Lines: 489 578 84.6 %
Date: 2020-03-28 11:57:23 Functions: 28 32 87.5 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : /* SSA operands management for trees.
       2                 :            :    Copyright (C) 2003-2020 Free Software Foundation, Inc.
       3                 :            : 
       4                 :            : This file is part of GCC.
       5                 :            : 
       6                 :            : GCC is free software; you can redistribute it and/or modify
       7                 :            : it under the terms of the GNU General Public License as published by
       8                 :            : the Free Software Foundation; either version 3, or (at your option)
       9                 :            : any later version.
      10                 :            : 
      11                 :            : GCC is distributed in the hope that it will be useful,
      12                 :            : but WITHOUT ANY WARRANTY; without even the implied warranty of
      13                 :            : MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
      14                 :            : GNU General Public License for more details.
      15                 :            : 
      16                 :            : You should have received a copy of the GNU General Public License
      17                 :            : along with GCC; see the file COPYING3.  If not see
      18                 :            : <http://www.gnu.org/licenses/>.  */
      19                 :            : 
      20                 :            : #include "config.h"
      21                 :            : #include "system.h"
      22                 :            : #include "coretypes.h"
      23                 :            : #include "backend.h"
      24                 :            : #include "tree.h"
      25                 :            : #include "gimple.h"
      26                 :            : #include "timevar.h"
      27                 :            : #include "ssa.h"
      28                 :            : #include "gimple-pretty-print.h"
      29                 :            : #include "diagnostic-core.h"
      30                 :            : #include "stmt.h"
      31                 :            : #include "print-tree.h"
      32                 :            : #include "dumpfile.h"
      33                 :            : 
      34                 :            : 
      35                 :            : /* This file contains the code required to manage the operands cache of the
      36                 :            :    SSA optimizer.  For every stmt, we maintain an operand cache in the stmt
      37                 :            :    annotation.  This cache contains operands that will be of interest to
      38                 :            :    optimizers and other passes wishing to manipulate the IL.
      39                 :            : 
      40                 :            :    The operand type are broken up into REAL and VIRTUAL operands.  The real
      41                 :            :    operands are represented as pointers into the stmt's operand tree.  Thus
      42                 :            :    any manipulation of the real operands will be reflected in the actual tree.
      43                 :            :    Virtual operands are represented solely in the cache, although the base
      44                 :            :    variable for the SSA_NAME may, or may not occur in the stmt's tree.
      45                 :            :    Manipulation of the virtual operands will not be reflected in the stmt tree.
      46                 :            : 
      47                 :            :    The routines in this file are concerned with creating this operand cache
      48                 :            :    from a stmt tree.
      49                 :            : 
      50                 :            :    The operand tree is the parsed by the various get_* routines which look
      51                 :            :    through the stmt tree for the occurrence of operands which may be of
      52                 :            :    interest, and calls are made to the append_* routines whenever one is
      53                 :            :    found.  There are 4 of these routines, each representing one of the
      54                 :            :    4 types of operands. Defs, Uses, Virtual Uses, and Virtual May Defs.
      55                 :            : 
      56                 :            :    The append_* routines check for duplication, and simply keep a list of
      57                 :            :    unique objects for each operand type in the build_* extendable vectors.
      58                 :            : 
      59                 :            :    Once the stmt tree is completely parsed, the finalize_ssa_operands()
      60                 :            :    routine is called, which proceeds to perform the finalization routine
      61                 :            :    on each of the 4 operand vectors which have been built up.
      62                 :            : 
      63                 :            :    If the stmt had a previous operand cache, the finalization routines
      64                 :            :    attempt to match up the new operands with the old ones.  If it's a perfect
      65                 :            :    match, the old vector is simply reused.  If it isn't a perfect match, then
      66                 :            :    a new vector is created and the new operands are placed there.  For
      67                 :            :    virtual operands, if the previous cache had SSA_NAME version of a
      68                 :            :    variable, and that same variable occurs in the same operands cache, then
      69                 :            :    the new cache vector will also get the same SSA_NAME.
      70                 :            : 
      71                 :            :    i.e., if a stmt had a VUSE of 'a_5', and 'a' occurs in the new
      72                 :            :    operand vector for VUSE, then the new vector will also be modified
      73                 :            :    such that it contains 'a_5' rather than 'a'.  */
      74                 :            : 
      75                 :            : 
      76                 :            : /* Flags to describe operand properties in helpers.  */
      77                 :            : 
      78                 :            : /* By default, operands are loaded.  */
      79                 :            : #define opf_use         0
      80                 :            : 
      81                 :            : /* Operand is the target of an assignment expression or a
      82                 :            :    call-clobbered variable.  */
      83                 :            : #define opf_def         (1 << 0)
      84                 :            : 
      85                 :            : /* No virtual operands should be created in the expression.  This is used
      86                 :            :    when traversing ADDR_EXPR nodes which have different semantics than
      87                 :            :    other expressions.  Inside an ADDR_EXPR node, the only operands that we
      88                 :            :    need to consider are indices into arrays.  For instance, &a.b[i] should
      89                 :            :    generate a USE of 'i' but it should not generate a VUSE for 'a' nor a
      90                 :            :    VUSE for 'b'.  */
      91                 :            : #define opf_no_vops     (1 << 1)
      92                 :            : 
      93                 :            : /* Operand is in a place where address-taken does not imply addressable.  */
      94                 :            : #define opf_non_addressable (1 << 3)
      95                 :            : 
      96                 :            : /* Operand is in a place where opf_non_addressable does not apply.  */
      97                 :            : #define opf_not_non_addressable (1 << 4)
      98                 :            : 
      99                 :            : /* Operand is having its address taken.  */
     100                 :            : #define opf_address_taken (1 << 5)
     101                 :            : 
     102                 :            : /* Array for building all the use operands.  */
     103                 :            : static vec<tree *> build_uses;
     104                 :            : 
     105                 :            : /* The built VDEF operand.  */
     106                 :            : static tree build_vdef;
     107                 :            : 
     108                 :            : /* The built VUSE operand.  */
     109                 :            : static tree build_vuse;
     110                 :            : 
     111                 :            : /* Bitmap obstack for our datastructures that needs to survive across
     112                 :            :    compilations of multiple functions.  */
     113                 :            : static bitmap_obstack operands_bitmap_obstack;
     114                 :            : 
     115                 :            : static void get_expr_operands (struct function *, gimple *, tree *, int);
     116                 :            : 
     117                 :            : /* Number of functions with initialized ssa_operands.  */
     118                 :            : static int n_initialized = 0;
     119                 :            : 
     120                 :            : /* Accessor to tree-ssa-operands.c caches.  */
     121                 :            : static inline struct ssa_operands *
     122                 :  861611000 : gimple_ssa_operands (const struct function *fun)
     123                 :            : {
     124                 :  861611000 :   return &fun->gimple_df->ssa_operands;
     125                 :            : }
     126                 :            : 
     127                 :            : 
     128                 :            : /*  Return true if the SSA operands cache is active.  */
     129                 :            : 
     130                 :            : bool
     131                 :  535062000 : ssa_operands_active (struct function *fun)
     132                 :            : {
     133                 :  535062000 :   if (fun == NULL)
     134                 :            :     return false;
     135                 :            : 
     136                 :  535062000 :   return fun->gimple_df && gimple_ssa_operands (fun)->ops_active;
     137                 :            : }
     138                 :            : 
     139                 :            : 
     140                 :            : /* Create the VOP variable, an artificial global variable to act as a
     141                 :            :    representative of all of the virtual operands FUD chain.  */
     142                 :            : 
     143                 :            : static void
     144                 :    2062390 : create_vop_var (struct function *fn)
     145                 :            : {
     146                 :    2062390 :   tree global_var;
     147                 :            : 
     148                 :    2062390 :   gcc_assert (fn->gimple_df->vop == NULL_TREE);
     149                 :            : 
     150                 :    2062390 :   global_var = build_decl (BUILTINS_LOCATION, VAR_DECL,
     151                 :            :                            get_identifier (".MEM"),
     152                 :            :                            void_type_node);
     153                 :    2062390 :   DECL_ARTIFICIAL (global_var) = 1;
     154                 :    2062390 :   DECL_IGNORED_P (global_var) = 1;
     155                 :    2062390 :   TREE_READONLY (global_var) = 0;
     156                 :    2062390 :   DECL_EXTERNAL (global_var) = 1;
     157                 :    2062390 :   TREE_STATIC (global_var) = 1;
     158                 :    2062390 :   TREE_USED (global_var) = 1;
     159                 :    2062390 :   DECL_CONTEXT (global_var) = NULL_TREE;
     160                 :    2062390 :   TREE_THIS_VOLATILE (global_var) = 0;
     161                 :    2062390 :   TREE_ADDRESSABLE (global_var) = 0;
     162                 :    2062390 :   VAR_DECL_IS_VIRTUAL_OPERAND (global_var) = 1;
     163                 :            : 
     164                 :    2062390 :   fn->gimple_df->vop = global_var;
     165                 :    2062390 : }
     166                 :            : 
     167                 :            : /* These are the sizes of the operand memory buffer in bytes which gets
     168                 :            :    allocated each time more operands space is required.  The final value is
     169                 :            :    the amount that is allocated every time after that.
     170                 :            :    In 1k we can fit 25 use operands (or 63 def operands) on a host with
     171                 :            :    8 byte pointers, that would be 10 statements each with 1 def and 2
     172                 :            :    uses.  */
     173                 :            : 
     174                 :            : #define OP_SIZE_INIT    0
     175                 :            : #define OP_SIZE_1       (1024 - sizeof (void *))
     176                 :            : #define OP_SIZE_2       (1024 * 4 - sizeof (void *))
     177                 :            : #define OP_SIZE_3       (1024 * 16 - sizeof (void *))
     178                 :            : 
     179                 :            : /* Initialize the operand cache routines.  */
     180                 :            : 
     181                 :            : void
     182                 :    2062390 : init_ssa_operands (struct function *fn)
     183                 :            : {
     184                 :    2062390 :   if (!n_initialized++)
     185                 :            :     {
     186                 :     186801 :       build_uses.create (10);
     187                 :     186801 :       build_vuse = NULL_TREE;
     188                 :     186801 :       build_vdef = NULL_TREE;
     189                 :     186801 :       bitmap_obstack_initialize (&operands_bitmap_obstack);
     190                 :            :     }
     191                 :            : 
     192                 :    2062390 :   gcc_assert (gimple_ssa_operands (fn)->operand_memory == NULL);
     193                 :    2062390 :   gimple_ssa_operands (fn)->operand_memory_index
     194                 :    2062390 :      = gimple_ssa_operands (fn)->ssa_operand_mem_size;
     195                 :    2062390 :   gimple_ssa_operands (fn)->ops_active = true;
     196                 :    2062390 :   gimple_ssa_operands (fn)->ssa_operand_mem_size = OP_SIZE_INIT;
     197                 :    2062390 :   create_vop_var (fn);
     198                 :    2062390 : }
     199                 :            : 
     200                 :            : 
     201                 :            : /* Dispose of anything required by the operand routines.  */
     202                 :            : 
     203                 :            : void
     204                 :    2011540 : fini_ssa_operands (struct function *fn)
     205                 :            : {
     206                 :    2011540 :   struct ssa_operand_memory_d *ptr;
     207                 :            : 
     208                 :    2011540 :   if (!--n_initialized)
     209                 :            :     {
     210                 :     178517 :       build_uses.release ();
     211                 :     178517 :       build_vdef = NULL_TREE;
     212                 :     178517 :       build_vuse = NULL_TREE;
     213                 :            :     }
     214                 :            : 
     215                 :    2011540 :   gimple_ssa_operands (fn)->free_uses = NULL;
     216                 :            : 
     217                 :    4882340 :   while ((ptr = gimple_ssa_operands (fn)->operand_memory) != NULL)
     218                 :            :     {
     219                 :    2870800 :       gimple_ssa_operands (fn)->operand_memory
     220                 :    2870800 :         = gimple_ssa_operands (fn)->operand_memory->next;
     221                 :    2870800 :       ggc_free (ptr);
     222                 :            :     }
     223                 :            : 
     224                 :    2011540 :   gimple_ssa_operands (fn)->ops_active = false;
     225                 :            : 
     226                 :    2011540 :   if (!n_initialized)
     227                 :     178517 :     bitmap_obstack_release (&operands_bitmap_obstack);
     228                 :            : 
     229                 :    2011540 :   fn->gimple_df->vop = NULL_TREE;
     230                 :    2011540 : }
     231                 :            : 
     232                 :            : 
     233                 :            : /* Return memory for an operand of size SIZE.  */
     234                 :            : 
     235                 :            : static inline void *
     236                 :  115029000 : ssa_operand_alloc (struct function *fn, unsigned size)
     237                 :            : {
     238                 :  115029000 :   char *ptr;
     239                 :            : 
     240                 :  115029000 :   gcc_assert (size == sizeof (struct use_optype_d));
     241                 :            : 
     242                 :  115029000 :   if (gimple_ssa_operands (fn)->operand_memory_index + size
     243                 :  115029000 :       >= gimple_ssa_operands (fn)->ssa_operand_mem_size)
     244                 :            :     {
     245                 :    2929350 :       struct ssa_operand_memory_d *ptr;
     246                 :            : 
     247                 :    2929350 :       switch (gimple_ssa_operands (fn)->ssa_operand_mem_size)
     248                 :            :         {
     249                 :    2060940 :         case OP_SIZE_INIT:
     250                 :    2060940 :           gimple_ssa_operands (fn)->ssa_operand_mem_size = OP_SIZE_1;
     251                 :    2060940 :           break;
     252                 :     619080 :         case OP_SIZE_1:
     253                 :     619080 :           gimple_ssa_operands (fn)->ssa_operand_mem_size = OP_SIZE_2;
     254                 :     619080 :           break;
     255                 :     249339 :         case OP_SIZE_2:
     256                 :     249339 :         case OP_SIZE_3:
     257                 :     249339 :           gimple_ssa_operands (fn)->ssa_operand_mem_size = OP_SIZE_3;
     258                 :     249339 :           break;
     259                 :          0 :         default:
     260                 :          0 :           gcc_unreachable ();
     261                 :            :         }
     262                 :            : 
     263                 :            : 
     264                 :    2929350 :       ptr = (ssa_operand_memory_d *) ggc_internal_alloc
     265                 :    2929350 :         (sizeof (void *) + gimple_ssa_operands (fn)->ssa_operand_mem_size);
     266                 :            : 
     267                 :    2929350 :       ptr->next = gimple_ssa_operands (fn)->operand_memory;
     268                 :    2929350 :       gimple_ssa_operands (fn)->operand_memory = ptr;
     269                 :    2929350 :       gimple_ssa_operands (fn)->operand_memory_index = 0;
     270                 :            :     }
     271                 :            : 
     272                 :  115029000 :   ptr = &(gimple_ssa_operands (fn)->operand_memory
     273                 :  115029000 :           ->mem[gimple_ssa_operands (fn)->operand_memory_index]);
     274                 :  115029000 :   gimple_ssa_operands (fn)->operand_memory_index += size;
     275                 :  115029000 :   return ptr;
     276                 :            : }
     277                 :            : 
     278                 :            : 
     279                 :            : /* Allocate a USE operand.  */
     280                 :            : 
     281                 :            : static inline struct use_optype_d *
     282                 :            : alloc_use (struct function *fn)
     283                 :            : {
     284                 :            :   struct use_optype_d *ret;
     285                 :            :   if (gimple_ssa_operands (fn)->free_uses)
     286                 :            :     {
     287                 :            :       ret = gimple_ssa_operands (fn)->free_uses;
     288                 :            :       gimple_ssa_operands (fn)->free_uses
     289                 :            :         = gimple_ssa_operands (fn)->free_uses->next;
     290                 :            :     }
     291                 :            :   else
     292                 :            :     ret = (struct use_optype_d *)
     293                 :            :           ssa_operand_alloc (fn, sizeof (struct use_optype_d));
     294                 :            :   return ret;
     295                 :            : }
     296                 :            : 
     297                 :            : 
     298                 :            : /* Adds OP to the list of uses of statement STMT after LAST.  */
     299                 :            : 
     300                 :            : static inline use_optype_p
     301                 :            : add_use_op (struct function *fn, gimple *stmt, tree *op, use_optype_p last)
     302                 :            : {
     303                 :            :   use_optype_p new_use;
     304                 :            : 
     305                 :            :   new_use = alloc_use (fn);
     306                 :            :   USE_OP_PTR (new_use)->use = op;
     307                 :            :   link_imm_use_stmt (USE_OP_PTR (new_use), *op, stmt);
     308                 :            :   last->next = new_use;
     309                 :            :   new_use->next = NULL;
     310                 :            :   return new_use;
     311                 :            : }
     312                 :            : 
     313                 :            : 
     314                 :            : 
     315                 :            : /* Takes elements from build_defs and turns them into def operands of STMT.
     316                 :            :    TODO -- Make build_defs vec of tree *.  */
     317                 :            : 
     318                 :            : static inline void
     319                 :  230261000 : finalize_ssa_defs (struct function *fn, gimple *stmt)
     320                 :            : {
     321                 :            :   /* Pre-pend the vdef we may have built.  */
     322                 :  230261000 :   if (build_vdef != NULL_TREE)
     323                 :            :     {
     324                 :   38562200 :       tree oldvdef = gimple_vdef (stmt);
     325                 :   38562200 :       if (oldvdef
     326                 :   16542600 :           && TREE_CODE (oldvdef) == SSA_NAME)
     327                 :    9406130 :         oldvdef = SSA_NAME_VAR (oldvdef);
     328                 :   38562200 :       if (oldvdef != build_vdef)
     329                 :   22019500 :         gimple_set_vdef (stmt, build_vdef);
     330                 :            :     }
     331                 :            : 
     332                 :            :   /* Clear and unlink a no longer necessary VDEF.  */
     333                 :  230261000 :   if (build_vdef == NULL_TREE
     334                 :  308306000 :       && gimple_vdef (stmt) != NULL_TREE)
     335                 :            :     {
     336                 :    2653600 :       if (TREE_CODE (gimple_vdef (stmt)) == SSA_NAME)
     337                 :            :         {
     338                 :    2603940 :           unlink_stmt_vdef (stmt);
     339                 :    5207870 :           release_ssa_name_fn (fn, gimple_vdef (stmt));
     340                 :            :         }
     341                 :    2653600 :       gimple_set_vdef (stmt, NULL_TREE);
     342                 :            :     }
     343                 :            : 
     344                 :            :   /* If we have a non-SSA_NAME VDEF, mark it for renaming.  */
     345                 :  230261000 :   if (gimple_vdef (stmt)
     346                 :  116608000 :       && TREE_CODE (gimple_vdef (stmt)) != SSA_NAME)
     347                 :            :     {
     348                 :   29156000 :       fn->gimple_df->rename_vops = 1;
     349                 :   29156000 :       fn->gimple_df->ssa_renaming_needed = 1;
     350                 :            :     }
     351                 :  230261000 : }
     352                 :            : 
     353                 :            : 
     354                 :            : /* Takes elements from build_uses and turns them into use operands of STMT.  */
     355                 :            : 
     356                 :            : static inline void
     357                 :  230261000 : finalize_ssa_uses (struct function *fn, gimple *stmt)
     358                 :            : {
     359                 :  230261000 :   unsigned new_i;
     360                 :  230261000 :   struct use_optype_d new_list;
     361                 :  230261000 :   use_optype_p old_ops, ptr, last;
     362                 :            : 
     363                 :            :   /* Pre-pend the VUSE we may have built.  */
     364                 :  230261000 :   if (build_vuse != NULL_TREE)
     365                 :            :     {
     366                 :   61722700 :       tree oldvuse = gimple_vuse (stmt);
     367                 :   61722700 :       if (oldvuse
     368                 :   27305500 :           && TREE_CODE (oldvuse) == SSA_NAME)
     369                 :   15894900 :         oldvuse = SSA_NAME_VAR (oldvuse);
     370                 :   61722700 :       if (oldvuse != (build_vuse != NULL_TREE
     371                 :            :                       ? build_vuse : build_vdef))
     372                 :   34417200 :         gimple_set_vuse (stmt, NULL_TREE);
     373                 :  123445000 :       build_uses.safe_insert (0, gimple_vuse_ptr (stmt));
     374                 :            :     }
     375                 :            : 
     376                 :  230261000 :   new_list.next = NULL;
     377                 :  230261000 :   last = &new_list;
     378                 :            : 
     379                 :  230261000 :   old_ops = gimple_use_ops (stmt);
     380                 :            : 
     381                 :            :   /* Clear a no longer necessary VUSE.  */
     382                 :  230261000 :   if (build_vuse == NULL_TREE
     383                 :  285146000 :       && gimple_vuse (stmt) != NULL_TREE)
     384                 :    3978830 :     gimple_set_vuse (stmt, NULL_TREE);
     385                 :            : 
     386                 :            :   /* If there is anything in the old list, free it.  */
     387                 :  230261000 :   if (old_ops)
     388                 :            :     {
     389                 :  100737000 :       for (ptr = old_ops; ptr->next; ptr = ptr->next)
     390                 :   31869000 :         delink_imm_use (USE_OP_PTR (ptr));
     391                 :   68867700 :       delink_imm_use (USE_OP_PTR (ptr));
     392                 :   68867700 :       ptr->next = gimple_ssa_operands (fn)->free_uses;
     393                 :   68867700 :       gimple_ssa_operands (fn)->free_uses = old_ops;
     394                 :            :     }
     395                 :            : 
     396                 :            :   /* If we added a VUSE, make sure to set the operand if it is not already
     397                 :            :      present and mark it for renaming.  */
     398                 :  230261000 :   if (build_vuse != NULL_TREE
     399                 :  291983000 :       && gimple_vuse (stmt) == NULL_TREE)
     400                 :            :     {
     401                 :   68834400 :       gimple_set_vuse (stmt, gimple_vop (fn));
     402                 :   34417200 :       fn->gimple_df->rename_vops = 1;
     403                 :   34417200 :       fn->gimple_df->ssa_renaming_needed = 1;
     404                 :            :     }
     405                 :            : 
     406                 :            :   /* Now create nodes for all the new nodes.  */
     407                 :  886546000 :   for (new_i = 0; new_i < build_uses.length (); new_i++)
     408                 :            :     {
     409                 :  213012000 :       tree *op = build_uses[new_i];
     410                 :  213012000 :       last = add_use_op (fn, stmt, op, last);
     411                 :            :     }
     412                 :            : 
     413                 :            :   /* Now set the stmt's operands.  */
     414                 :  230261000 :   gimple_set_use_ops (stmt, new_list.next);
     415                 :  230261000 : }
     416                 :            : 
     417                 :            : 
     418                 :            : /* Clear the in_list bits and empty the build array for VDEFs and
     419                 :            :    VUSEs.  */
     420                 :            : 
     421                 :            : static inline void
     422                 : 6158850000 : cleanup_build_arrays (void)
     423                 :            : {
     424                 : 6158850000 :   build_vdef = NULL_TREE;
     425                 : 6158850000 :   build_vuse = NULL_TREE;
     426                 : 6158850000 :   build_uses.truncate (0);
     427                 :            : }
     428                 :            : 
     429                 :            : 
     430                 :            : /* Finalize all the build vectors, fill the new ones into INFO.  */
     431                 :            : 
     432                 :            : static inline void
     433                 :  230261000 : finalize_ssa_stmt_operands (struct function *fn, gimple *stmt)
     434                 :            : {
     435                 :  230261000 :   finalize_ssa_defs (fn, stmt);
     436                 :  230261000 :   finalize_ssa_uses (fn, stmt);
     437                 :  230261000 :   cleanup_build_arrays ();
     438                 :  230261000 : }
     439                 :            : 
     440                 :            : 
     441                 :            : /* Start the process of building up operands vectors in INFO.  */
     442                 :            : 
     443                 :            : static inline void
     444                 : 6158850000 : start_ssa_stmt_operands (void)
     445                 :            : {
     446                 : 6158850000 :   gcc_assert (build_uses.length () == 0);
     447                 : 6158850000 :   gcc_assert (build_vuse == NULL_TREE);
     448                 : 6158850000 :   gcc_assert (build_vdef == NULL_TREE);
     449                 : 6158850000 : }
     450                 :            : 
     451                 :            : 
     452                 :            : /* Add USE_P to the list of pointers to operands.  */
     453                 :            : 
     454                 :            : static inline void
     455                 : 2963410000 : append_use (tree *use_p)
     456                 :            : {
     457                 : 2963410000 :   build_uses.safe_push (use_p);
     458                 :            : }
     459                 :            : 
     460                 :            : 
     461                 :            : /* Add VAR to the set of variables that require a VDEF operator.  */
     462                 :            : 
     463                 :            : static inline void
     464                 : 1156000000 : append_vdef (tree var)
     465                 :            : {
     466                 : 1156000000 :   gcc_assert ((build_vdef == NULL_TREE
     467                 :            :                || build_vdef == var)
     468                 :            :               && (build_vuse == NULL_TREE
     469                 :            :                   || build_vuse == var));
     470                 :            : 
     471                 : 1156000000 :   build_vdef = var;
     472                 : 1156000000 :   build_vuse = var;
     473                 : 1156000000 : }
     474                 :            : 
     475                 :            : 
     476                 :            : /* Add VAR to the set of variables that require a VUSE operator.  */
     477                 :            : 
     478                 :            : static inline void
     479                 :  736087000 : append_vuse (tree var)
     480                 :            : {
     481                 :  736087000 :   gcc_assert (build_vuse == NULL_TREE
     482                 :            :               || build_vuse == var);
     483                 :            : 
     484                 :  736087000 :   build_vuse = var;
     485                 :  736087000 : }
     486                 :            : 
     487                 :            : /* Add virtual operands for STMT.  FLAGS is as in get_expr_operands.  */
     488                 :            : 
     489                 :            : static void
     490                 : 1970440000 : add_virtual_operand (struct function *fn,
     491                 :            :                      gimple *stmt ATTRIBUTE_UNUSED, int flags)
     492                 :            : {
     493                 :            :   /* Add virtual operands to the stmt, unless the caller has specifically
     494                 :            :      requested not to do that (used when adding operands inside an
     495                 :            :      ADDR_EXPR expression).  */
     496                 : 1970440000 :   if (flags & opf_no_vops)
     497                 :            :     return;
     498                 :            : 
     499                 : 1787290000 :   gcc_assert (!is_gimple_debug (stmt));
     500                 :            : 
     501                 : 1787290000 :   if (flags & opf_def)
     502                 : 2311990000 :     append_vdef (gimple_vop (fn));
     503                 :            :   else
     504                 : 1262590000 :     append_vuse (gimple_vop (fn));
     505                 :            : }
     506                 :            : 
     507                 :            : 
     508                 :            : /* Add *VAR_P to the appropriate operand array for statement STMT.
     509                 :            :    FLAGS is as in get_expr_operands.  If *VAR_P is a GIMPLE register,
     510                 :            :    it will be added to the statement's real operands, otherwise it is
     511                 :            :    added to virtual operands.  */
     512                 :            : 
     513                 :            : static void
     514                 : 5212500000 : add_stmt_operand (struct function *fn, tree *var_p, gimple *stmt, int flags)
     515                 :            : {
     516                 : 5212500000 :   tree var = *var_p;
     517                 :            : 
     518                 : 5212500000 :   gcc_assert (SSA_VAR_P (*var_p)
     519                 :            :               || TREE_CODE (*var_p) == STRING_CST
     520                 :            :               || TREE_CODE (*var_p) == CONST_DECL);
     521                 :            : 
     522                 : 5212500000 :   if (is_gimple_reg (var))
     523                 :            :     {
     524                 :            :       /* The variable is a GIMPLE register.  Add it to real operands.  */
     525                 : 4388860000 :       if (flags & opf_def)
     526                 :            :         ;
     527                 :            :       else
     528                 : 2963410000 :         append_use (var_p);
     529                 : 4388860000 :       if (DECL_P (*var_p))
     530                 :   46813900 :         fn->gimple_df->ssa_renaming_needed = 1;
     531                 :            :     }
     532                 :            :   else
     533                 :            :     {
     534                 :            :       /* Mark statements with volatile operands.  */
     535                 :  823639000 :       if (!(flags & opf_no_vops)
     536                 :  818971000 :           && TREE_THIS_VOLATILE (var))
     537                 :   49088800 :         gimple_set_has_volatile_ops (stmt, true);
     538                 :            : 
     539                 :            :       /* The variable is a memory access.  Add virtual operands.  */
     540                 :  823639000 :       add_virtual_operand (fn, stmt, flags);
     541                 :            :     }
     542                 : 5212500000 : }
     543                 :            : 
     544                 :            : /* Mark the base address of REF as having its address taken.
     545                 :            :    REF may be a single variable whose address has been taken or any
     546                 :            :    other valid GIMPLE memory reference (structure reference, array,
     547                 :            :    etc).  */
     548                 :            : 
     549                 :            : static void
     550                 :  831059000 : mark_address_taken (tree ref)
     551                 :            : {
     552                 :  831059000 :   tree var;
     553                 :            : 
     554                 :            :   /* Note that it is *NOT OKAY* to use the target of a COMPONENT_REF
     555                 :            :      as the only thing we take the address of.  If VAR is a structure,
     556                 :            :      taking the address of a field means that the whole structure may
     557                 :            :      be referenced using pointer arithmetic.  See PR 21407 and the
     558                 :            :      ensuing mailing list discussion.  */
     559                 :  831059000 :   var = get_base_address (ref);
     560                 :  831059000 :   if (var)
     561                 :            :     {
     562                 :  831059000 :       if (DECL_P (var))
     563                 :  709114000 :         TREE_ADDRESSABLE (var) = 1;
     564                 :  121946000 :       else if (TREE_CODE (var) == MEM_REF
     565                 :   37176900 :                && TREE_CODE (TREE_OPERAND (var, 0)) == ADDR_EXPR
     566                 :  121946000 :                && DECL_P (TREE_OPERAND (TREE_OPERAND (var, 0), 0)))
     567                 :          0 :         TREE_ADDRESSABLE (TREE_OPERAND (TREE_OPERAND (var, 0), 0)) = 1;
     568                 :            :     }
     569                 :  831059000 : }
     570                 :            : 
     571                 :            : 
     572                 :            : /* A subroutine of get_expr_operands to handle MEM_REF.
     573                 :            : 
     574                 :            :    STMT is the statement being processed, EXPR is the MEM_REF
     575                 :            :       that got us here.
     576                 :            : 
     577                 :            :    FLAGS is as in get_expr_operands.  */
     578                 :            : 
     579                 :            : static void
     580                 :  713989000 : get_mem_ref_operands (struct function *fn,
     581                 :            :                       gimple *stmt, tree expr, int flags)
     582                 :            : {
     583                 :  713989000 :   tree *pptr = &TREE_OPERAND (expr, 0);
     584                 :            : 
     585                 :  713989000 :   if (!(flags & opf_no_vops)
     586                 :  535518000 :       && TREE_THIS_VOLATILE (expr))
     587                 :    1526560 :     gimple_set_has_volatile_ops (stmt, true);
     588                 :            : 
     589                 :            :   /* Add the VOP.  */
     590                 :  713989000 :   add_virtual_operand (fn, stmt, flags);
     591                 :            : 
     592                 :            :   /* If requested, add a USE operand for the base pointer.  */
     593                 :  713989000 :   get_expr_operands (fn, stmt, pptr,
     594                 :            :                      opf_non_addressable | opf_use
     595                 :  713989000 :                      | (flags & (opf_no_vops|opf_not_non_addressable)));
     596                 :  713989000 : }
     597                 :            : 
     598                 :            : 
     599                 :            : /* A subroutine of get_expr_operands to handle TARGET_MEM_REF.  */
     600                 :            : 
     601                 :            : static void
     602                 :   15457800 : get_tmr_operands (struct function *fn, gimple *stmt, tree expr, int flags)
     603                 :            : {
     604                 :   15457800 :   if (!(flags & opf_no_vops)
     605                 :   15449000 :       && TREE_THIS_VOLATILE (expr))
     606                 :          0 :     gimple_set_has_volatile_ops (stmt, true);
     607                 :            : 
     608                 :            :   /* First record the real operands.  */
     609                 :   15457800 :   get_expr_operands (fn, stmt,
     610                 :            :                      &TMR_BASE (expr), opf_use | (flags & opf_no_vops));
     611                 :   15457800 :   get_expr_operands (fn, stmt,
     612                 :            :                      &TMR_INDEX (expr), opf_use | (flags & opf_no_vops));
     613                 :   15457800 :   get_expr_operands (fn, stmt,
     614                 :            :                      &TMR_INDEX2 (expr), opf_use | (flags & opf_no_vops));
     615                 :            : 
     616                 :   15457800 :   add_virtual_operand (fn, stmt, flags);
     617                 :   15457800 : }
     618                 :            : 
     619                 :            : 
     620                 :            : /* If STMT is a call that may clobber globals and other symbols that
     621                 :            :    escape, add them to the VDEF/VUSE lists for it.  */
     622                 :            : 
     623                 :            : static void
     624                 :  441981000 : maybe_add_call_vops (struct function *fn, gcall *stmt)
     625                 :            : {
     626                 :  441981000 :   int call_flags = gimple_call_flags (stmt);
     627                 :            : 
     628                 :            :   /* If aliases have been computed already, add VDEF or VUSE
     629                 :            :      operands for all the symbols that have been found to be
     630                 :            :      call-clobbered.  */
     631                 :  441981000 :   if (!(call_flags & ECF_NOVOPS))
     632                 :            :     {
     633                 :            :       /* A 'pure' or a 'const' function never call-clobbers anything.  */
     634                 :  441554000 :       if (!(call_flags & (ECF_PURE | ECF_CONST)))
     635                 :  392238000 :         add_virtual_operand (fn, stmt, opf_def);
     636                 :   49316100 :       else if (!(call_flags & ECF_CONST))
     637                 :   22455200 :         add_virtual_operand (fn, stmt, opf_use);
     638                 :            :     }
     639                 :  441981000 : }
     640                 :            : 
     641                 :            : 
     642                 :            : /* Scan operands in the ASM_EXPR stmt referred to in INFO.  */
     643                 :            : 
     644                 :            : static void
     645                 :    8175000 : get_asm_stmt_operands (struct function *fn, gasm *stmt)
     646                 :            : {
     647                 :    8175000 :   size_t i, noutputs;
     648                 :    8175000 :   const char **oconstraints;
     649                 :    8175000 :   const char *constraint;
     650                 :    8175000 :   bool allows_mem, allows_reg, is_inout;
     651                 :            : 
     652                 :    8175000 :   noutputs = gimple_asm_noutputs (stmt);
     653                 :    8175000 :   oconstraints = (const char **) alloca ((noutputs) * sizeof (const char *));
     654                 :            : 
     655                 :            :   /* Gather all output operands.  */
     656                 :   16810800 :   for (i = 0; i < gimple_asm_noutputs (stmt); i++)
     657                 :            :     {
     658                 :    8635800 :       tree link = gimple_asm_output_op (stmt, i);
     659                 :    8635800 :       constraint = TREE_STRING_POINTER (TREE_VALUE (TREE_PURPOSE (link)));
     660                 :    8635800 :       oconstraints[i] = constraint;
     661                 :    8635800 :       parse_output_constraint (&constraint, i, 0, 0, &allows_mem,
     662                 :            :                                &allows_reg, &is_inout);
     663                 :            : 
     664                 :            :       /* This should have been split in gimplify_asm_expr.  */
     665                 :    8635800 :       gcc_assert (!allows_reg || !is_inout);
     666                 :            : 
     667                 :            :       /* Memory operands are addressable.  Note that STMT needs the
     668                 :            :          address of this operand.  */
     669                 :    8635800 :       if (!allows_reg && allows_mem)
     670                 :      83542 :         mark_address_taken (TREE_VALUE (link));
     671                 :            : 
     672                 :    8635800 :       get_expr_operands (fn, stmt,
     673                 :    8635800 :                          &TREE_VALUE (link), opf_def | opf_not_non_addressable);
     674                 :            :     }
     675                 :            : 
     676                 :            :   /* Gather all input operands.  */
     677                 :   13006400 :   for (i = 0; i < gimple_asm_ninputs (stmt); i++)
     678                 :            :     {
     679                 :    4831360 :       tree link = gimple_asm_input_op (stmt, i);
     680                 :    4831360 :       constraint = TREE_STRING_POINTER (TREE_VALUE (TREE_PURPOSE (link)));
     681                 :    4831360 :       parse_input_constraint (&constraint, 0, 0, noutputs, 0, oconstraints,
     682                 :            :                               &allows_mem, &allows_reg);
     683                 :            : 
     684                 :            :       /* Memory operands are addressable.  Note that STMT needs the
     685                 :            :          address of this operand.  */
     686                 :    4831360 :       if (!allows_reg && allows_mem)
     687                 :     145203 :         mark_address_taken (TREE_VALUE (link));
     688                 :            : 
     689                 :    4831360 :       get_expr_operands (fn, stmt, &TREE_VALUE (link), opf_not_non_addressable);
     690                 :            :     }
     691                 :            : 
     692                 :            :   /* Clobber all memory and addressable symbols for asm ("" : : : "memory");  */
     693                 :    8175000 :   if (gimple_asm_clobbers_memory_p (stmt))
     694                 :    2639440 :     add_virtual_operand (fn, stmt, opf_def);
     695                 :    8175000 : }
     696                 :            : 
     697                 :            : 
     698                 :            : /* Recursively scan the expression pointed to by EXPR_P in statement
     699                 :            :    STMT.  FLAGS is one of the OPF_* constants modifying how to
     700                 :            :    interpret the operands found.  */
     701                 :            : 
     702                 :            : static void
     703                 :12066200000 : get_expr_operands (struct function *fn, gimple *stmt, tree *expr_p, int flags)
     704                 :            : {
     705                 :14860200000 :   enum tree_code code;
     706                 :14860200000 :   enum tree_code_class codeclass;
     707                 :14860200000 :   tree expr = *expr_p;
     708                 :14860200000 :   int uflags = opf_use;
     709                 :            : 
     710                 :14860200000 :   if (expr == NULL)
     711                 :            :     return;
     712                 :            : 
     713                 :11739900000 :   if (is_gimple_debug (stmt))
     714                 : 2040040000 :     uflags |= (flags & opf_no_vops);
     715                 :            : 
     716                 :11739900000 :   code = TREE_CODE (expr);
     717                 :11739900000 :   codeclass = TREE_CODE_CLASS (code);
     718                 :            : 
     719                 :11739900000 :   switch (code)
     720                 :            :     {
     721                 : 1355730000 :     case ADDR_EXPR:
     722                 :            :       /* Taking the address of a variable does not represent a
     723                 :            :          reference to it, but the fact that the statement takes its
     724                 :            :          address will be of interest to some passes (e.g. alias
     725                 :            :          resolution).  */
     726                 : 1355730000 :       if ((!(flags & opf_non_addressable)
     727                 : 1355730000 :            || (flags & opf_not_non_addressable))
     728                 : 1355730000 :           && !is_gimple_debug (stmt))
     729                 :  830830000 :         mark_address_taken (TREE_OPERAND (expr, 0));
     730                 :            : 
     731                 :            :       /* Otherwise, there may be variables referenced inside but there
     732                 :            :          should be no VUSEs created, since the referenced objects are
     733                 :            :          not really accessed.  The only operands that we should find
     734                 :            :          here are ARRAY_REF indices which will always be real operands
     735                 :            :          (GIMPLE does not allow non-registers as array indices).  */
     736                 : 1355730000 :       flags |= opf_no_vops;
     737                 : 1355730000 :       get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 0),
     738                 :            :                          flags | opf_not_non_addressable | opf_address_taken);
     739                 : 1355730000 :       return;
     740                 :            : 
     741                 : 5968630000 :     case SSA_NAME:
     742                 : 5968630000 :     case VAR_DECL:
     743                 : 5968630000 :     case PARM_DECL:
     744                 : 5968630000 :     case RESULT_DECL:
     745                 : 5968630000 :     case STRING_CST:
     746                 : 5968630000 :     case CONST_DECL:
     747                 : 5968630000 :       if (!(flags & opf_address_taken))
     748                 : 5212500000 :         add_stmt_operand (fn, expr_p, stmt, flags);
     749                 :            :       return;
     750                 :            : 
     751                 :  333051000 :     case DEBUG_EXPR_DECL:
     752                 :  333051000 :       gcc_assert (gimple_debug_bind_p (stmt));
     753                 :            :       return;
     754                 :            : 
     755                 :  713989000 :     case MEM_REF:
     756                 :  713989000 :       get_mem_ref_operands (fn, stmt, expr, flags);
     757                 :  713989000 :       return;
     758                 :            : 
     759                 :   15457800 :     case TARGET_MEM_REF:
     760                 :   15457800 :       get_tmr_operands (fn, stmt, expr, flags);
     761                 :   15457800 :       return;
     762                 :            : 
     763                 : 1385650000 :     case ARRAY_REF:
     764                 : 1385650000 :     case ARRAY_RANGE_REF:
     765                 : 1385650000 :     case COMPONENT_REF:
     766                 : 1385650000 :     case REALPART_EXPR:
     767                 : 1385650000 :     case IMAGPART_EXPR:
     768                 : 1385650000 :       {
     769                 : 1385650000 :         if (!(flags & opf_no_vops)
     770                 : 1057000000 :             && TREE_THIS_VOLATILE (expr))
     771                 :    5097860 :           gimple_set_has_volatile_ops (stmt, true);
     772                 :            : 
     773                 : 1385650000 :         get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 0), flags);
     774                 :            : 
     775                 : 1385650000 :         if (code == COMPONENT_REF)
     776                 :            :           {
     777                 : 1155940000 :             if (!(flags & opf_no_vops)
     778                 : 1155940000 :                 && TREE_THIS_VOLATILE (TREE_OPERAND (expr, 1)))
     779                 :     740882 :               gimple_set_has_volatile_ops (stmt, true);
     780                 : 1155940000 :             get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 2), uflags);
     781                 :            :           }
     782                 :  229713000 :         else if (code == ARRAY_REF || code == ARRAY_RANGE_REF)
     783                 :            :           {
     784                 :  210504000 :             get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 1), uflags);
     785                 :  210504000 :             get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 2), uflags);
     786                 :  210504000 :             get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 3), uflags);
     787                 :            :           }
     788                 :            : 
     789                 :            :         return;
     790                 :            :       }
     791                 :            : 
     792                 :      13367 :     case WITH_SIZE_EXPR:
     793                 :            :       /* WITH_SIZE_EXPR is a pass-through reference to its first argument,
     794                 :            :          and an rvalue reference to its second argument.  */
     795                 :      13367 :       get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 1), uflags);
     796                 :      13367 :       get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 0), flags);
     797                 :      13367 :       return;
     798                 :            : 
     799                 :       3070 :     case COND_EXPR:
     800                 :       3070 :     case VEC_COND_EXPR:
     801                 :       3070 :     case VEC_PERM_EXPR:
     802                 :       3070 :       get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 0), uflags);
     803                 :       3070 :       get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 1), uflags);
     804                 :       3070 :       get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 2), uflags);
     805                 :       3070 :       return;
     806                 :            : 
     807                 :  147885000 :     case CONSTRUCTOR:
     808                 :  147885000 :       {
     809                 :            :         /* General aggregate CONSTRUCTORs have been decomposed, but they
     810                 :            :            are still in use as the COMPLEX_EXPR equivalent for vectors.  */
     811                 :  147885000 :         constructor_elt *ce;
     812                 :  147885000 :         unsigned HOST_WIDE_INT idx;
     813                 :            : 
     814                 :            :         /* A volatile constructor is actually TREE_CLOBBER_P, transfer
     815                 :            :            the volatility to the statement, don't use TREE_CLOBBER_P for
     816                 :            :            mirroring the other uses of THIS_VOLATILE in this file.  */
     817                 :  147885000 :         if (!(flags & opf_no_vops)
     818                 :  147883000 :             && TREE_THIS_VOLATILE (expr))
     819                 :  137333000 :           gimple_set_has_volatile_ops (stmt, true);
     820                 :            : 
     821                 :    4675480 :         for (idx = 0;
     822                 :  152560000 :              vec_safe_iterate (CONSTRUCTOR_ELTS (expr), idx, &ce);
     823                 :            :              idx++)
     824                 :    4675480 :           get_expr_operands (fn, stmt, &ce->value, uflags);
     825                 :            : 
     826                 :            :         return;
     827                 :            :       }
     828                 :            : 
     829                 :    4671090 :     case BIT_FIELD_REF:
     830                 :    4671090 :       if (!(flags & opf_no_vops)
     831                 :    4663040 :           && TREE_THIS_VOLATILE (expr))
     832                 :        734 :         gimple_set_has_volatile_ops (stmt, true);
     833                 :            :       /* FALLTHRU */
     834                 :            : 
     835                 :   37760500 :     case VIEW_CONVERT_EXPR:
     836                 :   37760500 :     do_unary:
     837                 :   37760500 :       get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 0), flags);
     838                 :   37760500 :       return;
     839                 :            : 
     840                 :   34042600 :     case BIT_INSERT_EXPR:
     841                 :   34042600 :     case COMPOUND_EXPR:
     842                 :   34042600 :     case OBJ_TYPE_REF:
     843                 :   34042600 :     case ASSERT_EXPR:
     844                 :   34042600 :     do_binary:
     845                 :   34042600 :       {
     846                 :   34042600 :         get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 0), flags);
     847                 :   34042600 :         get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 1), flags);
     848                 :   34042600 :         return;
     849                 :            :       }
     850                 :            : 
     851                 :          0 :     case DOT_PROD_EXPR:
     852                 :          0 :     case SAD_EXPR:
     853                 :          0 :     case REALIGN_LOAD_EXPR:
     854                 :          0 :     case WIDEN_MULT_PLUS_EXPR:
     855                 :          0 :     case WIDEN_MULT_MINUS_EXPR:
     856                 :          0 :       {
     857                 :          0 :         get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 0), flags);
     858                 :          0 :         get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 1), flags);
     859                 :          0 :         get_expr_operands (fn, stmt, &TREE_OPERAND (expr, 2), flags);
     860                 :          0 :         return;
     861                 :            :       }
     862                 :            : 
     863                 :            :     case FUNCTION_DECL:
     864                 :            :     case LABEL_DECL:
     865                 :            :     case CASE_LABEL_EXPR:
     866                 :            :       /* Expressions that make no memory references.  */
     867                 :            :       return;
     868                 :            : 
     869                 : 1281620000 :     default:
     870                 : 1281620000 :       if (codeclass == tcc_unary)
     871                 :    8903580 :         goto do_unary;
     872                 : 1272720000 :       if (codeclass == tcc_binary || codeclass == tcc_comparison)
     873                 :   24236300 :         goto do_binary;
     874                 : 1248480000 :       if (codeclass == tcc_constant || codeclass == tcc_type)
     875                 :            :         return;
     876                 :            :     }
     877                 :            : 
     878                 :            :   /* If we get here, something has gone wrong.  */
     879                 :          0 :   if (flag_checking)
     880                 :            :     {
     881                 :          0 :       fprintf (stderr, "unhandled expression in get_expr_operands():\n");
     882                 :          0 :       debug_tree (expr);
     883                 :          0 :       fputs ("\n", stderr);
     884                 :          0 :       gcc_unreachable ();
     885                 :            :     }
     886                 :            : }
     887                 :            : 
     888                 :            : 
     889                 :            : /* Parse STMT looking for operands.  When finished, the various
     890                 :            :    build_* operand vectors will have potential operands in them.  */
     891                 :            : 
     892                 :            : static void
     893                 : 6158850000 : parse_ssa_operands (struct function *fn, gimple *stmt)
     894                 :            : {
     895                 : 6158850000 :   enum gimple_code code = gimple_code (stmt);
     896                 : 6158850000 :   size_t i, n, start = 0;
     897                 :            : 
     898                 : 6158850000 :   switch (code)
     899                 :            :     {
     900                 :    8175000 :     case GIMPLE_ASM:
     901                 :    8175000 :       get_asm_stmt_operands (fn, as_a <gasm *> (stmt));
     902                 :    8175000 :       break;
     903                 :            : 
     904                 :      21955 :     case GIMPLE_TRANSACTION:
     905                 :            :       /* The start of a transaction is a memory barrier.  */
     906                 :      21955 :       add_virtual_operand (fn, stmt, opf_def | opf_use);
     907                 :      21955 :       break;
     908                 :            : 
     909                 : 3190910000 :     case GIMPLE_DEBUG:
     910                 : 3190910000 :       if (gimple_debug_bind_p (stmt)
     911                 : 3190910000 :           && gimple_debug_bind_has_value_p (stmt))
     912                 : 1280660000 :         get_expr_operands (fn, stmt, gimple_debug_bind_get_value_ptr (stmt),
     913                 :            :                            opf_use | opf_no_vops);
     914                 :            :       break;
     915                 :            : 
     916                 :  104791000 :     case GIMPLE_RETURN:
     917                 :  209582000 :       append_vuse (gimple_vop (fn));
     918                 :  104791000 :       goto do_default;
     919                 :            : 
     920                 :  441981000 :     case GIMPLE_CALL:
     921                 :            :       /* Add call-clobbered operands, if needed.  */
     922                 :  441981000 :       maybe_add_call_vops (fn, as_a <gcall *> (stmt));
     923                 :            :       /* FALLTHRU */
     924                 :            : 
     925                 : 2442520000 :     case GIMPLE_ASSIGN:
     926                 : 2442520000 :       get_expr_operands (fn, stmt, gimple_op_ptr (stmt, 0), opf_def);
     927                 : 2442520000 :       start = 1;
     928                 :            :       /* FALLTHRU */
     929                 :            : 
     930                 : 2959740000 :     default:
     931                 : 2959740000 :     do_default:
     932                 : 2959740000 :       n = gimple_num_ops (stmt);
     933                 : 8683550000 :       for (i = start; i < n; i++)
     934                 : 5723810000 :         get_expr_operands (fn, stmt, gimple_op_ptr (stmt, i), opf_use);
     935                 :            :       break;
     936                 :            :     }
     937                 : 6158850000 : }
     938                 :            : 
     939                 :            : 
     940                 :            : /* Create an operands cache for STMT.  */
     941                 :            : 
     942                 :            : static void
     943                 :  230261000 : build_ssa_operands (struct function *fn, gimple *stmt)
     944                 :            : {
     945                 :            :   /* Initially assume that the statement has no volatile operands.  */
     946                 :  230261000 :   gimple_set_has_volatile_ops (stmt, false);
     947                 :            : 
     948                 :  230261000 :   start_ssa_stmt_operands ();
     949                 :  230261000 :   parse_ssa_operands (fn, stmt);
     950                 :  230261000 :   finalize_ssa_stmt_operands (fn, stmt);
     951                 :  230261000 : }
     952                 :            : 
     953                 :            : /* Verifies SSA statement operands.  */
     954                 :            : 
     955                 :            : DEBUG_FUNCTION bool
     956                 : 5928590000 : verify_ssa_operands (struct function *fn, gimple *stmt)
     957                 :            : {
     958                 : 5928590000 :   use_operand_p use_p;
     959                 : 5928590000 :   def_operand_p def_p;
     960                 : 5928590000 :   ssa_op_iter iter;
     961                 : 5928590000 :   unsigned i;
     962                 : 5928590000 :   tree def;
     963                 : 5928590000 :   bool volatile_p = gimple_has_volatile_ops (stmt);
     964                 :            : 
     965                 :            :   /* build_ssa_operands w/o finalizing them.  */
     966                 : 5928590000 :   gimple_set_has_volatile_ops (stmt, false);
     967                 : 5928590000 :   start_ssa_stmt_operands ();
     968                 : 5928590000 :   parse_ssa_operands (fn, stmt);
     969                 :            : 
     970                 :            :   /* Now verify the built operands are the same as present in STMT.  */
     971                 : 5928590000 :   def = gimple_vdef (stmt);
     972                 : 2438900000 :   if (def
     973                 : 1088510000 :       && TREE_CODE (def) == SSA_NAME)
     974                 : 1088510000 :     def = SSA_NAME_VAR (def);
     975                 : 5928590000 :   if (build_vdef != def)
     976                 :            :     {
     977                 :          0 :       error ("virtual definition of statement not up to date");
     978                 :          0 :       return true;
     979                 :            :     }
     980                 : 5928590000 :   if (gimple_vdef (stmt)
     981                 :            :       && ((def_p = gimple_vdef_op (stmt)) == NULL_DEF_OPERAND_P
     982                 : 5928590000 :           || DEF_FROM_PTR (def_p) != gimple_vdef (stmt)))
     983                 :            :     {
     984                 :            :       error ("virtual def operand missing for statement");
     985                 :            :       return true;
     986                 :            :     }
     987                 :            : 
     988                 : 5928590000 :   tree use = gimple_vuse (stmt);
     989                 : 2438900000 :   if (use
     990                 : 1675420000 :       && TREE_CODE (use) == SSA_NAME)
     991                 : 1675420000 :     use = SSA_NAME_VAR (use);
     992                 : 5928590000 :   if (build_vuse != use)
     993                 :            :     {
     994                 :          0 :       error ("virtual use of statement not up to date");
     995                 :          0 :       return true;
     996                 :            :     }
     997                 : 5928590000 :   if (gimple_vuse (stmt)
     998                 : 2438900000 :       && ((use_p = gimple_vuse_op (stmt)) == NULL_USE_OPERAND_P
     999                 : 1675420000 :           || USE_FROM_PTR (use_p) != gimple_vuse (stmt)))
    1000                 :            :     {
    1001                 :          0 :       error ("virtual use operand missing for statement");
    1002                 :          0 :       return true;
    1003                 :            :     }
    1004                 :            : 
    1005                 : 8740700000 :   FOR_EACH_SSA_USE_OPERAND (use_p, stmt, iter, SSA_OP_USE)
    1006                 :            :     {
    1007                 :            :       tree *op;
    1008                 : 3692280000 :       FOR_EACH_VEC_ELT (build_uses, i, op)
    1009                 :            :         {
    1010                 : 3692280000 :           if (use_p->use == op)
    1011                 :            :             {
    1012                 : 2812120000 :               build_uses[i] = NULL;
    1013                 : 2812120000 :               break;
    1014                 :            :             }
    1015                 :            :         }
    1016                 : 5624240000 :       if (i == build_uses.length ())
    1017                 :            :         {
    1018                 :          0 :           error ("excess use operand for statement");
    1019                 :          0 :           debug_generic_expr (USE_FROM_PTR (use_p));
    1020                 :          0 :           return true;
    1021                 :            :         }
    1022                 :            :     }
    1023                 :            : 
    1024                 :            :   tree *op;
    1025                 : 8740700000 :   FOR_EACH_VEC_ELT (build_uses, i, op)
    1026                 : 2812120000 :     if (op != NULL)
    1027                 :            :       {
    1028                 :          0 :         error ("use operand missing for statement");
    1029                 :          0 :         debug_generic_expr (*op);
    1030                 :          0 :         return true;
    1031                 :            :       }
    1032                 :            : 
    1033                 : 8395130000 :   if (gimple_has_volatile_ops (stmt) != volatile_p)
    1034                 :            :     {
    1035                 :          0 :       error ("statement volatile flag not up to date");
    1036                 :          0 :       return true;
    1037                 :            :     }
    1038                 :            : 
    1039                 : 5928590000 :   cleanup_build_arrays ();
    1040                 : 5928590000 :   return false;
    1041                 :            : }
    1042                 :            : 
    1043                 :            : 
    1044                 :            : /* Releases the operands of STMT back to their freelists, and clears
    1045                 :            :    the stmt operand lists.  */
    1046                 :            : 
    1047                 :            : void
    1048                 :    1472500 : free_stmt_operands (struct function *fn, gimple *stmt)
    1049                 :            : {
    1050                 :    1472500 :   use_optype_p uses = gimple_use_ops (stmt), last_use;
    1051                 :            : 
    1052                 :    1464480 :   if (uses)
    1053                 :            :     {
    1054                 :       7803 :       for (last_use = uses; last_use->next; last_use = last_use->next)
    1055                 :       2828 :         delink_imm_use (USE_OP_PTR (last_use));
    1056                 :       4975 :       delink_imm_use (USE_OP_PTR (last_use));
    1057                 :       4975 :       last_use->next = gimple_ssa_operands (fn)->free_uses;
    1058                 :       4975 :       gimple_ssa_operands (fn)->free_uses = uses;
    1059                 :       4975 :       gimple_set_use_ops (stmt, NULL);
    1060                 :            :     }
    1061                 :            : 
    1062                 :    1472500 :   if (gimple_has_mem_ops (stmt))
    1063                 :            :     {
    1064                 :    1330540 :       gimple_set_vuse (stmt, NULL_TREE);
    1065                 :    1330540 :       gimple_set_vdef (stmt, NULL_TREE);
    1066                 :            :     }
    1067                 :    1472500 : }
    1068                 :            : 
    1069                 :            : 
    1070                 :            : /* Get the operands of statement STMT.  */
    1071                 :            : 
    1072                 :            : void
    1073                 :  231821000 : update_stmt_operands (struct function *fn, gimple *stmt)
    1074                 :            : {
    1075                 :            :   /* If update_stmt_operands is called before SSA is initialized, do
    1076                 :            :      nothing.  */
    1077                 :  231821000 :   if (!ssa_operands_active (fn))
    1078                 :            :     return;
    1079                 :            : 
    1080                 :  230261000 :   timevar_push (TV_TREE_OPS);
    1081                 :            : 
    1082                 :  460521000 :   gcc_assert (gimple_modified_p (stmt));
    1083                 :  230261000 :   build_ssa_operands (fn, stmt);
    1084                 :  230261000 :   gimple_set_modified (stmt, false);
    1085                 :            : 
    1086                 :  230261000 :   timevar_pop (TV_TREE_OPS);
    1087                 :            : }
    1088                 :            : 
    1089                 :            : 
    1090                 :            : /* Swap operands EXP0 and EXP1 in statement STMT.  No attempt is done
    1091                 :            :    to test the validity of the swap operation.  */
    1092                 :            : 
    1093                 :            : void
    1094                 :     245847 : swap_ssa_operands (gimple *stmt, tree *exp0, tree *exp1)
    1095                 :            : {
    1096                 :     245847 :   tree op0, op1;
    1097                 :     245847 :   op0 = *exp0;
    1098                 :     245847 :   op1 = *exp1;
    1099                 :            : 
    1100                 :     245847 :   if (op0 != op1)
    1101                 :            :     {
    1102                 :            :       /* Attempt to preserve the relative positions of these two operands in
    1103                 :            :          their * respective immediate use lists by adjusting their use pointer
    1104                 :            :          to point to the new operand position.  */
    1105                 :     245847 :       use_optype_p use0, use1, ptr;
    1106                 :     245847 :       use0 = use1 = NULL;
    1107                 :            : 
    1108                 :            :       /* Find the 2 operands in the cache, if they are there.  */
    1109                 :     491812 :       for (ptr = gimple_use_ops (stmt); ptr; ptr = ptr->next)
    1110                 :     245848 :         if (USE_OP_PTR (ptr)->use == exp0)
    1111                 :            :           {
    1112                 :            :             use0 = ptr;
    1113                 :            :             break;
    1114                 :            :           }
    1115                 :            : 
    1116                 :     737425 :       for (ptr = gimple_use_ops (stmt); ptr; ptr = ptr->next)
    1117                 :     485300 :         if (USE_OP_PTR (ptr)->use == exp1)
    1118                 :            :           {
    1119                 :            :             use1 = ptr;
    1120                 :            :             break;
    1121                 :            :           }
    1122                 :            : 
    1123                 :            :       /* And adjust their location to point to the new position of the
    1124                 :            :          operand.  */
    1125                 :     245847 :       if (use0)
    1126                 :     245730 :         USE_OP_PTR (use0)->use = exp1;
    1127                 :     245847 :       if (use1)
    1128                 :     239569 :         USE_OP_PTR (use1)->use = exp0;
    1129                 :            : 
    1130                 :            :       /* Now swap the data.  */
    1131                 :     245847 :       *exp0 = op1;
    1132                 :     245847 :       *exp1 = op0;
    1133                 :            :     }
    1134                 :     245847 : }
    1135                 :            : 
    1136                 :            : 
    1137                 :            : /* Scan the immediate_use list for VAR making sure its linked properly.
    1138                 :            :    Return TRUE if there is a problem and emit an error message to F.  */
    1139                 :            : 
    1140                 :            : DEBUG_FUNCTION bool
    1141                 : 3442830000 : verify_imm_links (FILE *f, tree var)
    1142                 :            : {
    1143                 : 3442830000 :   use_operand_p ptr, prev, list;
    1144                 : 3442830000 :   unsigned int count;
    1145                 :            : 
    1146                 : 3442830000 :   gcc_assert (TREE_CODE (var) == SSA_NAME);
    1147                 :            : 
    1148                 : 3442830000 :   list = &(SSA_NAME_IMM_USE_NODE (var));
    1149                 : 3442830000 :   gcc_assert (list->use == NULL);
    1150                 :            : 
    1151                 : 3442830000 :   if (list->prev == NULL)
    1152                 :            :     {
    1153                 :          0 :       gcc_assert (list->next == NULL);
    1154                 :            :       return false;
    1155                 :            :     }
    1156                 :            : 
    1157                 : 3442830000 :   prev = list;
    1158                 : 3442830000 :   count = 0;
    1159                 : 9420560000 :   for (ptr = list->next; ptr != list; )
    1160                 :            :     {
    1161                 : 5977720000 :       if (prev != ptr->prev)
    1162                 :            :         {
    1163                 :          0 :           fprintf (f, "prev != ptr->prev\n");
    1164                 :          0 :           goto error;
    1165                 :            :         }
    1166                 :            : 
    1167                 : 5977720000 :       if (ptr->use == NULL)
    1168                 :            :         {
    1169                 :          0 :           fprintf (f, "ptr->use == NULL\n");
    1170                 :          0 :           goto error; /* 2 roots, or SAFE guard node.  */
    1171                 :            :         }
    1172                 : 5977720000 :       else if (*(ptr->use) != var)
    1173                 :            :         {
    1174                 :          0 :           fprintf (f, "*(ptr->use) != var\n");
    1175                 :          0 :           goto error;
    1176                 :            :         }
    1177                 :            : 
    1178                 : 5977720000 :       prev = ptr;
    1179                 : 5977720000 :       ptr = ptr->next;
    1180                 :            : 
    1181                 : 5977720000 :       count++;
    1182                 : 5977720000 :       if (count == 0)
    1183                 :            :         {
    1184                 :          0 :           fprintf (f, "number of immediate uses doesn't fit unsigned int\n");
    1185                 :          0 :           goto error;
    1186                 :            :         }
    1187                 :            :     }
    1188                 :            : 
    1189                 :            :   /* Verify list in the other direction.  */
    1190                 :            :   prev = list;
    1191                 : 9420560000 :   for (ptr = list->prev; ptr != list; )
    1192                 :            :     {
    1193                 : 5977720000 :       if (prev != ptr->next)
    1194                 :            :         {
    1195                 :          0 :           fprintf (f, "prev != ptr->next\n");
    1196                 :          0 :           goto error;
    1197                 :            :         }
    1198                 : 5977720000 :       prev = ptr;
    1199                 : 5977720000 :       ptr = ptr->prev;
    1200                 : 5977720000 :       if (count == 0)
    1201                 :            :         {
    1202                 :          0 :           fprintf (f, "count-- < 0\n");
    1203                 :          0 :           goto error;
    1204                 :            :         }
    1205                 : 5977720000 :       count--;
    1206                 :            :     }
    1207                 :            : 
    1208                 : 3442830000 :   if (count != 0)
    1209                 :            :     {
    1210                 :          0 :       fprintf (f, "count != 0\n");
    1211                 :          0 :       goto error;
    1212                 :            :     }
    1213                 :            : 
    1214                 :            :   return false;
    1215                 :            : 
    1216                 :          0 :  error:
    1217                 :          0 :   if (ptr->loc.stmt && gimple_modified_p (ptr->loc.stmt))
    1218                 :            :     {
    1219                 :          0 :       fprintf (f, " STMT MODIFIED. - <%p> ", (void *)ptr->loc.stmt);
    1220                 :          0 :       print_gimple_stmt (f, ptr->loc.stmt, 0, TDF_SLIM);
    1221                 :            :     }
    1222                 :          0 :   fprintf (f, " IMM ERROR : (use_p : tree - %p:%p)", (void *)ptr,
    1223                 :          0 :            (void *)ptr->use);
    1224                 :          0 :   print_generic_expr (f, USE_FROM_PTR (ptr), TDF_SLIM);
    1225                 :          0 :   fprintf (f, "\n");
    1226                 :          0 :   return true;
    1227                 :            : }
    1228                 :            : 
    1229                 :            : 
    1230                 :            : /* Dump all the immediate uses to FILE.  */
    1231                 :            : 
    1232                 :            : void
    1233                 :          0 : dump_immediate_uses_for (FILE *file, tree var)
    1234                 :            : {
    1235                 :          0 :   imm_use_iterator iter;
    1236                 :          0 :   use_operand_p use_p;
    1237                 :            : 
    1238                 :          0 :   gcc_assert (var && TREE_CODE (var) == SSA_NAME);
    1239                 :            : 
    1240                 :          0 :   print_generic_expr (file, var, TDF_SLIM);
    1241                 :          0 :   fprintf (file, " : -->");
    1242                 :          0 :   if (has_zero_uses (var))
    1243                 :          0 :     fprintf (file, " no uses.\n");
    1244                 :            :   else
    1245                 :          0 :     if (has_single_use (var))
    1246                 :          0 :       fprintf (file, " single use.\n");
    1247                 :            :     else
    1248                 :          0 :       fprintf (file, "%d uses.\n", num_imm_uses (var));
    1249                 :            : 
    1250                 :          0 :   FOR_EACH_IMM_USE_FAST (use_p, iter, var)
    1251                 :            :     {
    1252                 :          0 :       if (use_p->loc.stmt == NULL && use_p->use == NULL)
    1253                 :          0 :         fprintf (file, "***end of stmt iterator marker***\n");
    1254                 :            :       else
    1255                 :          0 :         if (!is_gimple_reg (USE_FROM_PTR (use_p)))
    1256                 :          0 :           print_gimple_stmt (file, USE_STMT (use_p), 0, TDF_VOPS|TDF_MEMSYMS);
    1257                 :            :         else
    1258                 :          0 :           print_gimple_stmt (file, USE_STMT (use_p), 0, TDF_SLIM);
    1259                 :            :     }
    1260                 :          0 :   fprintf (file, "\n");
    1261                 :          0 : }
    1262                 :            : 
    1263                 :            : 
    1264                 :            : /* Dump all the immediate uses to FILE.  */
    1265                 :            : 
    1266                 :            : void
    1267                 :          0 : dump_immediate_uses (FILE *file)
    1268                 :            : {
    1269                 :          0 :   tree var;
    1270                 :          0 :   unsigned int x;
    1271                 :            : 
    1272                 :          0 :   fprintf (file, "Immediate_uses: \n\n");
    1273                 :          0 :   FOR_EACH_SSA_NAME (x, var, cfun)
    1274                 :            :     {
    1275                 :          0 :       dump_immediate_uses_for (file, var);
    1276                 :            :     }
    1277                 :          0 : }
    1278                 :            : 
    1279                 :            : 
    1280                 :            : /* Dump def-use edges on stderr.  */
    1281                 :            : 
    1282                 :            : DEBUG_FUNCTION void
    1283                 :          0 : debug_immediate_uses (void)
    1284                 :            : {
    1285                 :          0 :   dump_immediate_uses (stderr);
    1286                 :          0 : }
    1287                 :            : 
    1288                 :            : 
    1289                 :            : /* Dump def-use edges on stderr.  */
    1290                 :            : 
    1291                 :            : DEBUG_FUNCTION void
    1292                 :          0 : debug_immediate_uses_for (tree var)
    1293                 :            : {
    1294                 :          0 :   dump_immediate_uses_for (stderr, var);
    1295                 :          0 : }
    1296                 :            : 
    1297                 :            : 
    1298                 :            : /* Unlink STMTs virtual definition from the IL by propagating its use.  */
    1299                 :            : 
    1300                 :            : void
    1301                 :   31697700 : unlink_stmt_vdef (gimple *stmt)
    1302                 :            : {
    1303                 :   31697700 :   use_operand_p use_p;
    1304                 :   31697700 :   imm_use_iterator iter;
    1305                 :   31697700 :   gimple *use_stmt;
    1306                 :   31697700 :   tree vdef = gimple_vdef (stmt);
    1307                 :   31697700 :   tree vuse = gimple_vuse (stmt);
    1308                 :            : 
    1309                 :   31697700 :   if (!vdef
    1310                 :    7939800 :       || TREE_CODE (vdef) != SSA_NAME)
    1311                 :   24034900 :     return;
    1312                 :            : 
    1313                 :   18981100 :   FOR_EACH_IMM_USE_STMT (use_stmt, iter, vdef)
    1314                 :            :     {
    1315                 :   34534000 :       FOR_EACH_IMM_USE_ON_STMT (use_p, iter)
    1316                 :   11607900 :         SET_USE (use_p, vuse);
    1317                 :            :     }
    1318                 :            : 
    1319                 :    7662820 :   if (SSA_NAME_OCCURS_IN_ABNORMAL_PHI (vdef))
    1320                 :        589 :     SSA_NAME_OCCURS_IN_ABNORMAL_PHI (vuse) = 1;
    1321                 :            : }
    1322                 :            : 
    1323                 :            : /* Return true if the var whose chain of uses starts at PTR has a
    1324                 :            :    single nondebug use.  Set USE_P and STMT to that single nondebug
    1325                 :            :    use, if so, or to NULL otherwise.  */
    1326                 :            : bool
    1327                 :   13427300 : single_imm_use_1 (const ssa_use_operand_t *head,
    1328                 :            :                   use_operand_p *use_p, gimple **stmt)
    1329                 :            : {
    1330                 :   13427300 :   ssa_use_operand_t *ptr, *single_use = 0;
    1331                 :            : 
    1332                 :   30988300 :   for (ptr = head->next; ptr != head; ptr = ptr->next)
    1333                 :   28442800 :     if (USE_STMT(ptr) && !is_gimple_debug (USE_STMT (ptr)))
    1334                 :            :       {
    1335                 :   24308200 :         if (single_use)
    1336                 :            :           {
    1337                 :            :             single_use = NULL;
    1338                 :            :             break;
    1339                 :            :           }
    1340                 :            :         single_use = ptr;
    1341                 :            :       }
    1342                 :            : 
    1343                 :   13427300 :   if (use_p)
    1344                 :   13427300 :     *use_p = single_use;
    1345                 :            : 
    1346                 :   13427300 :   if (stmt)
    1347                 :   13427300 :     *stmt = single_use ? single_use->loc.stmt : NULL;
    1348                 :            : 
    1349                 :   13427300 :   return single_use;
    1350                 :            : }
    1351                 :            : 

Generated by: LCOV version 1.0

LCOV profile is generated on x86_64 machine using following configure options: configure --disable-bootstrap --enable-coverage=opt --enable-languages=c,c++,fortran,go,jit,lto --enable-host-shared. GCC test suite is run with the built compiler.