LCOV - code coverage report
Current view: top level - gcc - omp-low.c (source / functions) Hit Total Coverage
Test: gcc.info Lines: 7377 7817 94.4 %
Date: 2020-04-04 11:58:09 Functions: 107 115 93.0 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : /* Lowering pass for OMP directives.  Converts OMP directives into explicit
       2                 :            :    calls to the runtime library (libgomp), data marshalling to implement data
       3                 :            :    sharing and copying clauses, offloading to accelerators, and more.
       4                 :            : 
       5                 :            :    Contributed by Diego Novillo <dnovillo@redhat.com>
       6                 :            : 
       7                 :            :    Copyright (C) 2005-2020 Free Software Foundation, Inc.
       8                 :            : 
       9                 :            : This file is part of GCC.
      10                 :            : 
      11                 :            : GCC is free software; you can redistribute it and/or modify it under
      12                 :            : the terms of the GNU General Public License as published by the Free
      13                 :            : Software Foundation; either version 3, or (at your option) any later
      14                 :            : version.
      15                 :            : 
      16                 :            : GCC is distributed in the hope that it will be useful, but WITHOUT ANY
      17                 :            : WARRANTY; without even the implied warranty of MERCHANTABILITY or
      18                 :            : FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
      19                 :            : for more details.
      20                 :            : 
      21                 :            : You should have received a copy of the GNU General Public License
      22                 :            : along with GCC; see the file COPYING3.  If not see
      23                 :            : <http://www.gnu.org/licenses/>.  */
      24                 :            : 
      25                 :            : #include "config.h"
      26                 :            : #include "system.h"
      27                 :            : #include "coretypes.h"
      28                 :            : #include "backend.h"
      29                 :            : #include "target.h"
      30                 :            : #include "tree.h"
      31                 :            : #include "gimple.h"
      32                 :            : #include "tree-pass.h"
      33                 :            : #include "ssa.h"
      34                 :            : #include "cgraph.h"
      35                 :            : #include "pretty-print.h"
      36                 :            : #include "diagnostic-core.h"
      37                 :            : #include "fold-const.h"
      38                 :            : #include "stor-layout.h"
      39                 :            : #include "internal-fn.h"
      40                 :            : #include "gimple-fold.h"
      41                 :            : #include "gimplify.h"
      42                 :            : #include "gimple-iterator.h"
      43                 :            : #include "gimplify-me.h"
      44                 :            : #include "gimple-walk.h"
      45                 :            : #include "tree-iterator.h"
      46                 :            : #include "tree-inline.h"
      47                 :            : #include "langhooks.h"
      48                 :            : #include "tree-dfa.h"
      49                 :            : #include "tree-ssa.h"
      50                 :            : #include "splay-tree.h"
      51                 :            : #include "omp-general.h"
      52                 :            : #include "omp-low.h"
      53                 :            : #include "omp-grid.h"
      54                 :            : #include "gimple-low.h"
      55                 :            : #include "alloc-pool.h"
      56                 :            : #include "symbol-summary.h"
      57                 :            : #include "tree-nested.h"
      58                 :            : #include "context.h"
      59                 :            : #include "gomp-constants.h"
      60                 :            : #include "gimple-pretty-print.h"
      61                 :            : #include "hsa-common.h"
      62                 :            : #include "stringpool.h"
      63                 :            : #include "attribs.h"
      64                 :            : 
      65                 :            : /* Lowering of OMP parallel and workshare constructs proceeds in two
      66                 :            :    phases.  The first phase scans the function looking for OMP statements
      67                 :            :    and then for variables that must be replaced to satisfy data sharing
      68                 :            :    clauses.  The second phase expands code for the constructs, as well as
      69                 :            :    re-gimplifying things when variables have been replaced with complex
      70                 :            :    expressions.
      71                 :            : 
      72                 :            :    Final code generation is done by pass_expand_omp.  The flowgraph is
      73                 :            :    scanned for regions which are then moved to a new
      74                 :            :    function, to be invoked by the thread library, or offloaded.  */
      75                 :            : 
      76                 :            : /* Context structure.  Used to store information about each parallel
      77                 :            :    directive in the code.  */
      78                 :            : 
      79                 :            : struct omp_context
      80                 :            : {
      81                 :            :   /* This field must be at the beginning, as we do "inheritance": Some
      82                 :            :      callback functions for tree-inline.c (e.g., omp_copy_decl)
      83                 :            :      receive a copy_body_data pointer that is up-casted to an
      84                 :            :      omp_context pointer.  */
      85                 :            :   copy_body_data cb;
      86                 :            : 
      87                 :            :   /* The tree of contexts corresponding to the encountered constructs.  */
      88                 :            :   struct omp_context *outer;
      89                 :            :   gimple *stmt;
      90                 :            : 
      91                 :            :   /* Map variables to fields in a structure that allows communication
      92                 :            :      between sending and receiving threads.  */
      93                 :            :   splay_tree field_map;
      94                 :            :   tree record_type;
      95                 :            :   tree sender_decl;
      96                 :            :   tree receiver_decl;
      97                 :            : 
      98                 :            :   /* These are used just by task contexts, if task firstprivate fn is
      99                 :            :      needed.  srecord_type is used to communicate from the thread
     100                 :            :      that encountered the task construct to task firstprivate fn,
     101                 :            :      record_type is allocated by GOMP_task, initialized by task firstprivate
     102                 :            :      fn and passed to the task body fn.  */
     103                 :            :   splay_tree sfield_map;
     104                 :            :   tree srecord_type;
     105                 :            : 
     106                 :            :   /* A chain of variables to add to the top-level block surrounding the
     107                 :            :      construct.  In the case of a parallel, this is in the child function.  */
     108                 :            :   tree block_vars;
     109                 :            : 
     110                 :            :   /* Label to which GOMP_cancel{,llation_point} and explicit and implicit
     111                 :            :      barriers should jump to during omplower pass.  */
     112                 :            :   tree cancel_label;
     113                 :            : 
     114                 :            :   /* The sibling GIMPLE_OMP_FOR simd with _simt_ clause or NULL
     115                 :            :      otherwise.  */
     116                 :            :   gimple *simt_stmt;
     117                 :            : 
     118                 :            :   /* For task reductions registered in this context, a vector containing
     119                 :            :      the length of the private copies block (if constant, otherwise NULL)
     120                 :            :      and then offsets (if constant, otherwise NULL) for each entry.  */
     121                 :            :   vec<tree> task_reductions;
     122                 :            : 
     123                 :            :   /* A hash map from the reduction clauses to the registered array
     124                 :            :      elts.  */
     125                 :            :   hash_map<tree, unsigned> *task_reduction_map;
     126                 :            : 
     127                 :            :   /* And a hash map from the lastprivate(conditional:) variables to their
     128                 :            :      corresponding tracking loop iteration variables.  */
     129                 :            :   hash_map<tree, tree> *lastprivate_conditional_map;
     130                 :            : 
     131                 :            :   /* A tree_list of the reduction clauses in this context.  */
     132                 :            :   tree local_reduction_clauses;
     133                 :            : 
     134                 :            :   /* A tree_list of the reduction clauses in outer contexts.  */
     135                 :            :   tree outer_reduction_clauses;
     136                 :            : 
     137                 :            :   /* Nesting depth of this context.  Used to beautify error messages re
     138                 :            :      invalid gotos.  The outermost ctx is depth 1, with depth 0 being
     139                 :            :      reserved for the main body of the function.  */
     140                 :            :   int depth;
     141                 :            : 
     142                 :            :   /* True if this parallel directive is nested within another.  */
     143                 :            :   bool is_nested;
     144                 :            : 
     145                 :            :   /* True if this construct can be cancelled.  */
     146                 :            :   bool cancellable;
     147                 :            : 
     148                 :            :   /* True if lower_omp_1 should look up lastprivate conditional in parent
     149                 :            :      context.  */
     150                 :            :   bool combined_into_simd_safelen1;
     151                 :            : 
     152                 :            :   /* True if there is nested scan context with inclusive clause.  */
     153                 :            :   bool scan_inclusive;
     154                 :            : 
     155                 :            :   /* True if there is nested scan context with exclusive clause.  */
     156                 :            :   bool scan_exclusive;
     157                 :            : 
     158                 :            :   /* True in the second simd loop of for simd with inscan reductions.  */
     159                 :            :   bool for_simd_scan_phase;
     160                 :            : 
     161                 :            :   /* True if there is order(concurrent) clause on the construct.  */
     162                 :            :   bool order_concurrent;
     163                 :            : 
     164                 :            :   /* True if there is bind clause on the construct (i.e. a loop construct).  */
     165                 :            :   bool loop_p;
     166                 :            : };
     167                 :            : 
     168                 :            : static splay_tree all_contexts;
     169                 :            : static int taskreg_nesting_level;
     170                 :            : static int target_nesting_level;
     171                 :            : static bitmap task_shared_vars;
     172                 :            : static bitmap global_nonaddressable_vars;
     173                 :            : static vec<omp_context *> taskreg_contexts;
     174                 :            : 
     175                 :            : static void scan_omp (gimple_seq *, omp_context *);
     176                 :            : static tree scan_omp_1_op (tree *, int *, void *);
     177                 :            : 
     178                 :            : #define WALK_SUBSTMTS  \
     179                 :            :     case GIMPLE_BIND: \
     180                 :            :     case GIMPLE_TRY: \
     181                 :            :     case GIMPLE_CATCH: \
     182                 :            :     case GIMPLE_EH_FILTER: \
     183                 :            :     case GIMPLE_TRANSACTION: \
     184                 :            :       /* The sub-statements for these should be walked.  */ \
     185                 :            :       *handled_ops_p = false; \
     186                 :            :       break;
     187                 :            : 
     188                 :            : /* Return true if CTX corresponds to an OpenACC 'parallel' or 'serial'
     189                 :            :    region.  */
     190                 :            : 
     191                 :            : static bool
     192                 :      69084 : is_oacc_parallel_or_serial (omp_context *ctx)
     193                 :            : {
     194                 :      69084 :   enum gimple_code outer_type = gimple_code (ctx->stmt);
     195                 :      69084 :   return ((outer_type == GIMPLE_OMP_TARGET)
     196                 :      69084 :           && ((gimple_omp_target_kind (ctx->stmt)
     197                 :            :                == GF_OMP_TARGET_KIND_OACC_PARALLEL)
     198                 :      32229 :               || (gimple_omp_target_kind (ctx->stmt)
     199                 :      69084 :                   == GF_OMP_TARGET_KIND_OACC_SERIAL)));
     200                 :            : }
     201                 :            : 
     202                 :            : /* Return true if CTX corresponds to an oacc kernels region.  */
     203                 :            : 
     204                 :            : static bool
     205                 :      18825 : is_oacc_kernels (omp_context *ctx)
     206                 :            : {
     207                 :      18825 :   enum gimple_code outer_type = gimple_code (ctx->stmt);
     208                 :      18825 :   return ((outer_type == GIMPLE_OMP_TARGET)
     209                 :      18825 :           && (gimple_omp_target_kind (ctx->stmt)
     210                 :          0 :               == GF_OMP_TARGET_KIND_OACC_KERNELS));
     211                 :            : }
     212                 :            : 
     213                 :            : /* If DECL is the artificial dummy VAR_DECL created for non-static
     214                 :            :    data member privatization, return the underlying "this" parameter,
     215                 :            :    otherwise return NULL.  */
     216                 :            : 
     217                 :            : tree
     218                 :     352162 : omp_member_access_dummy_var (tree decl)
     219                 :            : {
     220                 :     352162 :   if (!VAR_P (decl)
     221                 :     230690 :       || !DECL_ARTIFICIAL (decl)
     222                 :     116002 :       || !DECL_IGNORED_P (decl)
     223                 :     111934 :       || !DECL_HAS_VALUE_EXPR_P (decl)
     224                 :     362630 :       || !lang_hooks.decls.omp_disregard_value_expr (decl, false))
     225                 :     349792 :     return NULL_TREE;
     226                 :            : 
     227                 :       2370 :   tree v = DECL_VALUE_EXPR (decl);
     228                 :       2370 :   if (TREE_CODE (v) != COMPONENT_REF)
     229                 :            :     return NULL_TREE;
     230                 :            : 
     231                 :      17558 :   while (1)
     232                 :       9949 :     switch (TREE_CODE (v))
     233                 :            :       {
     234                 :       7609 :       case COMPONENT_REF:
     235                 :       7609 :       case MEM_REF:
     236                 :       7609 :       case INDIRECT_REF:
     237                 :       7609 :       CASE_CONVERT:
     238                 :       7609 :       case POINTER_PLUS_EXPR:
     239                 :       7609 :         v = TREE_OPERAND (v, 0);
     240                 :       7609 :         continue;
     241                 :       2324 :       case PARM_DECL:
     242                 :       2324 :         if (DECL_CONTEXT (v) == current_function_decl
     243                 :       2324 :             && DECL_ARTIFICIAL (v)
     244                 :       4648 :             && TREE_CODE (TREE_TYPE (v)) == POINTER_TYPE)
     245                 :       2324 :           return v;
     246                 :            :         return NULL_TREE;
     247                 :            :       default:
     248                 :            :         return NULL_TREE;
     249                 :            :       }
     250                 :            : }
     251                 :            : 
     252                 :            : /* Helper for unshare_and_remap, called through walk_tree.  */
     253                 :            : 
     254                 :            : static tree
     255                 :       1990 : unshare_and_remap_1 (tree *tp, int *walk_subtrees, void *data)
     256                 :            : {
     257                 :       1990 :   tree *pair = (tree *) data;
     258                 :       1990 :   if (*tp == pair[0])
     259                 :            :     {
     260                 :        290 :       *tp = unshare_expr (pair[1]);
     261                 :        290 :       *walk_subtrees = 0;
     262                 :            :     }
     263                 :       1700 :   else if (IS_TYPE_OR_DECL_P (*tp))
     264                 :        301 :     *walk_subtrees = 0;
     265                 :       1990 :   return NULL_TREE;
     266                 :            : }
     267                 :            : 
     268                 :            : /* Return unshare_expr (X) with all occurrences of FROM
     269                 :            :    replaced with TO.  */
     270                 :            : 
     271                 :            : static tree
     272                 :        175 : unshare_and_remap (tree x, tree from, tree to)
     273                 :            : {
     274                 :        175 :   tree pair[2] = { from, to };
     275                 :        175 :   x = unshare_expr (x);
     276                 :        175 :   walk_tree (&x, unshare_and_remap_1, pair, NULL);
     277                 :        175 :   return x;
     278                 :            : }
     279                 :            : 
     280                 :            : /* Convenience function for calling scan_omp_1_op on tree operands.  */
     281                 :            : 
     282                 :            : static inline tree
     283                 :     264771 : scan_omp_op (tree *tp, omp_context *ctx)
     284                 :            : {
     285                 :     264771 :   struct walk_stmt_info wi;
     286                 :            : 
     287                 :     264771 :   memset (&wi, 0, sizeof (wi));
     288                 :     264771 :   wi.info = ctx;
     289                 :     264771 :   wi.want_locations = true;
     290                 :            : 
     291                 :     264771 :   return walk_tree (tp, scan_omp_1_op, &wi, NULL);
     292                 :            : }
     293                 :            : 
     294                 :            : static void lower_omp (gimple_seq *, omp_context *);
     295                 :            : static tree lookup_decl_in_outer_ctx (tree, omp_context *);
     296                 :            : static tree maybe_lookup_decl_in_outer_ctx (tree, omp_context *);
     297                 :            : 
     298                 :            : /* Return true if CTX is for an omp parallel.  */
     299                 :            : 
     300                 :            : static inline bool
     301                 :     577935 : is_parallel_ctx (omp_context *ctx)
     302                 :            : {
     303                 :     577935 :   return gimple_code (ctx->stmt) == GIMPLE_OMP_PARALLEL;
     304                 :            : }
     305                 :            : 
     306                 :            : 
     307                 :            : /* Return true if CTX is for an omp task.  */
     308                 :            : 
     309                 :            : static inline bool
     310                 :     629342 : is_task_ctx (omp_context *ctx)
     311                 :            : {
     312                 :     629342 :   return gimple_code (ctx->stmt) == GIMPLE_OMP_TASK;
     313                 :            : }
     314                 :            : 
     315                 :            : 
     316                 :            : /* Return true if CTX is for an omp taskloop.  */
     317                 :            : 
     318                 :            : static inline bool
     319                 :       6273 : is_taskloop_ctx (omp_context *ctx)
     320                 :            : {
     321                 :       6273 :   return gimple_code (ctx->stmt) == GIMPLE_OMP_FOR
     322                 :       6273 :          && gimple_omp_for_kind (ctx->stmt) == GF_OMP_FOR_KIND_TASKLOOP;
     323                 :            : }
     324                 :            : 
     325                 :            : 
     326                 :            : /* Return true if CTX is for a host omp teams.  */
     327                 :            : 
     328                 :            : static inline bool
     329                 :     386923 : is_host_teams_ctx (omp_context *ctx)
     330                 :            : {
     331                 :     386923 :   return gimple_code (ctx->stmt) == GIMPLE_OMP_TEAMS
     332                 :     386923 :          && gimple_omp_teams_host (as_a <gomp_teams *> (ctx->stmt));
     333                 :            : }
     334                 :            : 
     335                 :            : /* Return true if CTX is for an omp parallel or omp task or host omp teams
     336                 :            :    (the last one is strictly not a task region in OpenMP speak, but we
     337                 :            :    need to treat it similarly).  */
     338                 :            : 
     339                 :            : static inline bool
     340                 :     493234 : is_taskreg_ctx (omp_context *ctx)
     341                 :            : {
     342                 :     493234 :   return is_parallel_ctx (ctx) || is_task_ctx (ctx) || is_host_teams_ctx (ctx);
     343                 :            : }
     344                 :            : 
     345                 :            : /* Return true if EXPR is variable sized.  */
     346                 :            : 
     347                 :            : static inline bool
     348                 :     683059 : is_variable_sized (const_tree expr)
     349                 :            : {
     350                 :     683059 :   return !TREE_CONSTANT (TYPE_SIZE_UNIT (TREE_TYPE (expr)));
     351                 :            : }
     352                 :            : 
     353                 :            : /* Lookup variables.  The "maybe" form
     354                 :            :    allows for the variable form to not have been entered, otherwise we
     355                 :            :    assert that the variable must have been entered.  */
     356                 :            : 
     357                 :            : static inline tree
     358                 :     500178 : lookup_decl (tree var, omp_context *ctx)
     359                 :            : {
     360                 :         59 :   tree *n = ctx->cb.decl_map->get (var);
     361                 :     500178 :   return *n;
     362                 :            : }
     363                 :            : 
     364                 :            : static inline tree
     365                 :     531422 : maybe_lookup_decl (const_tree var, omp_context *ctx)
     366                 :            : {
     367                 :    1062840 :   tree *n = ctx->cb.decl_map->get (const_cast<tree> (var));
     368                 :     239919 :   return n ? *n : NULL_TREE;
     369                 :            : }
     370                 :            : 
     371                 :            : static inline tree
     372                 :      93665 : lookup_field (tree var, omp_context *ctx)
     373                 :            : {
     374                 :      93665 :   splay_tree_node n;
     375                 :     187330 :   n = splay_tree_lookup (ctx->field_map, (splay_tree_key) var);
     376                 :      93665 :   return (tree) n->value;
     377                 :            : }
     378                 :            : 
     379                 :            : static inline tree
     380                 :     115240 : lookup_sfield (splay_tree_key key, omp_context *ctx)
     381                 :            : {
     382                 :     115240 :   splay_tree_node n;
     383                 :     115240 :   n = splay_tree_lookup (ctx->sfield_map
     384                 :            :                          ? ctx->sfield_map : ctx->field_map, key);
     385                 :     115240 :   return (tree) n->value;
     386                 :            : }
     387                 :            : 
     388                 :            : static inline tree
     389                 :        339 : lookup_sfield (tree var, omp_context *ctx)
     390                 :            : {
     391                 :        678 :   return lookup_sfield ((splay_tree_key) var, ctx);
     392                 :            : }
     393                 :            : 
     394                 :            : static inline tree
     395                 :     154261 : maybe_lookup_field (splay_tree_key key, omp_context *ctx)
     396                 :            : {
     397                 :     154261 :   splay_tree_node n;
     398                 :     308522 :   n = splay_tree_lookup (ctx->field_map, key);
     399                 :     154261 :   return n ? (tree) n->value : NULL_TREE;
     400                 :            : }
     401                 :            : 
     402                 :            : static inline tree
     403                 :     154261 : maybe_lookup_field (tree var, omp_context *ctx)
     404                 :            : {
     405                 :       2380 :   return maybe_lookup_field ((splay_tree_key) var, ctx);
     406                 :            : }
     407                 :            : 
     408                 :            : /* Return true if DECL should be copied by pointer.  SHARED_CTX is
     409                 :            :    the parallel context if DECL is to be shared.  */
     410                 :            : 
     411                 :            : static bool
     412                 :     176008 : use_pointer_for_field (tree decl, omp_context *shared_ctx)
     413                 :            : {
     414                 :     344362 :   if (AGGREGATE_TYPE_P (TREE_TYPE (decl))
     415                 :     339883 :       || TYPE_ATOMIC (TREE_TYPE (decl)))
     416                 :            :     return true;
     417                 :            : 
     418                 :            :   /* We can only use copy-in/copy-out semantics for shared variables
     419                 :            :      when we know the value is not accessible from an outer scope.  */
     420                 :     163845 :   if (shared_ctx)
     421                 :            :     {
     422                 :      18846 :       gcc_assert (!is_gimple_omp_oacc (shared_ctx->stmt));
     423                 :            : 
     424                 :            :       /* ??? Trivially accessible from anywhere.  But why would we even
     425                 :            :          be passing an address in this case?  Should we simply assert
     426                 :            :          this to be false, or should we have a cleanup pass that removes
     427                 :            :          these from the list of mappings?  */
     428                 :      18846 :       if (is_global_var (maybe_lookup_decl_in_outer_ctx (decl, shared_ctx)))
     429                 :            :         return true;
     430                 :            : 
     431                 :            :       /* For variables with DECL_HAS_VALUE_EXPR_P set, we cannot tell
     432                 :            :          without analyzing the expression whether or not its location
     433                 :            :          is accessible to anyone else.  In the case of nested parallel
     434                 :            :          regions it certainly may be.  */
     435                 :      37470 :       if (TREE_CODE (decl) != RESULT_DECL && DECL_HAS_VALUE_EXPR_P (decl))
     436                 :            :         return true;
     437                 :            : 
     438                 :            :       /* Do not use copy-in/copy-out for variables that have their
     439                 :            :          address taken.  */
     440                 :      17958 :       if (is_global_var (decl))
     441                 :            :         {
     442                 :            :           /* For file scope vars, track whether we've seen them as
     443                 :            :              non-addressable initially and in that case, keep the same
     444                 :            :              answer for the duration of the pass, even when they are made
     445                 :            :              addressable later on e.g. through reduction expansion.  Global
     446                 :            :              variables which weren't addressable before the pass will not
     447                 :            :              have their privatized copies address taken.  See PR91216.  */
     448                 :        394 :           if (!TREE_ADDRESSABLE (decl))
     449                 :            :             {
     450                 :        228 :               if (!global_nonaddressable_vars)
     451                 :         44 :                 global_nonaddressable_vars = BITMAP_ALLOC (NULL);
     452                 :        228 :               bitmap_set_bit (global_nonaddressable_vars, DECL_UID (decl));
     453                 :            :             }
     454                 :        166 :           else if (!global_nonaddressable_vars
     455                 :        258 :                    || !bitmap_bit_p (global_nonaddressable_vars,
     456                 :         92 :                                      DECL_UID (decl)))
     457                 :        144 :             return true;
     458                 :            :         }
     459                 :      17564 :       else if (TREE_ADDRESSABLE (decl))
     460                 :            :         return true;
     461                 :            : 
     462                 :            :       /* lower_send_shared_vars only uses copy-in, but not copy-out
     463                 :            :          for these.  */
     464                 :      11599 :       if (TREE_READONLY (decl)
     465                 :      19476 :           || ((TREE_CODE (decl) == RESULT_DECL
     466                 :       7877 :                || TREE_CODE (decl) == PARM_DECL)
     467                 :      12181 :               && DECL_BY_REFERENCE (decl)))
     468                 :            :         return false;
     469                 :            : 
     470                 :            :       /* Disallow copy-in/out in nested parallel if
     471                 :            :          decl is shared in outer parallel, otherwise
     472                 :            :          each thread could store the shared variable
     473                 :            :          in its own copy-in location, making the
     474                 :            :          variable no longer really shared.  */
     475                 :       7430 :       if (shared_ctx->is_nested)
     476                 :            :         {
     477                 :       1211 :           omp_context *up;
     478                 :            : 
     479                 :       2695 :           for (up = shared_ctx->outer; up; up = up->outer)
     480                 :       2621 :             if ((is_taskreg_ctx (up)
     481                 :       1742 :                  || (gimple_code (up->stmt) == GIMPLE_OMP_TARGET
     482                 :        341 :                      && is_gimple_omp_offloaded (up->stmt)))
     483                 :       4164 :                 && maybe_lookup_decl (decl, up))
     484                 :            :               break;
     485                 :            : 
     486                 :       1211 :           if (up)
     487                 :            :             {
     488                 :       1137 :               tree c;
     489                 :            : 
     490                 :       1137 :               if (gimple_code (up->stmt) == GIMPLE_OMP_TARGET)
     491                 :            :                 {
     492                 :       2812 :                   for (c = gimple_omp_target_clauses (up->stmt);
     493                 :       2812 :                        c; c = OMP_CLAUSE_CHAIN (c))
     494                 :       2591 :                     if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_MAP
     495                 :       2591 :                         && OMP_CLAUSE_DECL (c) == decl)
     496                 :            :                       break;
     497                 :            :                 }
     498                 :            :               else
     499                 :       2543 :                 for (c = gimple_omp_taskreg_clauses (up->stmt);
     500                 :       2543 :                      c; c = OMP_CLAUSE_CHAIN (c))
     501                 :       2431 :                   if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_SHARED
     502                 :       2431 :                       && OMP_CLAUSE_DECL (c) == decl)
     503                 :            :                     break;
     504                 :            : 
     505                 :       1137 :               if (c)
     506                 :        804 :                 goto maybe_mark_addressable_and_ret;
     507                 :            :             }
     508                 :            :         }
     509                 :            : 
     510                 :            :       /* For tasks avoid using copy-in/out.  As tasks can be
     511                 :            :          deferred or executed in different thread, when GOMP_task
     512                 :            :          returns, the task hasn't necessarily terminated.  */
     513                 :       6626 :       if (is_task_ctx (shared_ctx))
     514                 :            :         {
     515                 :       1114 :           tree outer;
     516                 :        310 :         maybe_mark_addressable_and_ret:
     517                 :       1114 :           outer = maybe_lookup_decl_in_outer_ctx (decl, shared_ctx);
     518                 :       1114 :           if (is_gimple_reg (outer) && !omp_member_access_dummy_var (outer))
     519                 :            :             {
     520                 :            :               /* Taking address of OUTER in lower_send_shared_vars
     521                 :            :                  might need regimplification of everything that uses the
     522                 :            :                  variable.  */
     523                 :        574 :               if (!task_shared_vars)
     524                 :        309 :                 task_shared_vars = BITMAP_ALLOC (NULL);
     525                 :        574 :               bitmap_set_bit (task_shared_vars, DECL_UID (outer));
     526                 :        574 :               TREE_ADDRESSABLE (outer) = 1;
     527                 :            :             }
     528                 :       1114 :           return true;
     529                 :            :         }
     530                 :            :     }
     531                 :            : 
     532                 :            :   return false;
     533                 :            : }
     534                 :            : 
     535                 :            : /* Construct a new automatic decl similar to VAR.  */
     536                 :            : 
     537                 :            : static tree
     538                 :     172410 : omp_copy_decl_2 (tree var, tree name, tree type, omp_context *ctx)
     539                 :            : {
     540                 :     172410 :   tree copy = copy_var_decl (var, name, type);
     541                 :            : 
     542                 :     172410 :   DECL_CONTEXT (copy) = current_function_decl;
     543                 :     172410 :   DECL_CHAIN (copy) = ctx->block_vars;
     544                 :            :   /* If VAR is listed in task_shared_vars, it means it wasn't
     545                 :            :      originally addressable and is just because task needs to take
     546                 :            :      it's address.  But we don't need to take address of privatizations
     547                 :            :      from that var.  */
     548                 :     172410 :   if (TREE_ADDRESSABLE (var)
     549                 :     198771 :       && ((task_shared_vars
     550                 :      27341 :            && bitmap_bit_p (task_shared_vars, DECL_UID (var)))
     551                 :      25556 :           || (global_nonaddressable_vars
     552                 :     198321 :               && bitmap_bit_p (global_nonaddressable_vars, DECL_UID (var)))))
     553                 :        805 :     TREE_ADDRESSABLE (copy) = 0;
     554                 :     172410 :   ctx->block_vars = copy;
     555                 :            : 
     556                 :     172410 :   return copy;
     557                 :            : }
     558                 :            : 
     559                 :            : static tree
     560                 :     172410 : omp_copy_decl_1 (tree var, omp_context *ctx)
     561                 :            : {
     562                 :     172410 :   return omp_copy_decl_2 (var, DECL_NAME (var), TREE_TYPE (var), ctx);
     563                 :            : }
     564                 :            : 
     565                 :            : /* Build COMPONENT_REF and set TREE_THIS_VOLATILE and TREE_READONLY on it
     566                 :            :    as appropriate.  */
     567                 :            : static tree
     568                 :     209717 : omp_build_component_ref (tree obj, tree field)
     569                 :            : {
     570                 :     209717 :   tree ret = build3 (COMPONENT_REF, TREE_TYPE (field), obj, field, NULL);
     571                 :     209717 :   if (TREE_THIS_VOLATILE (field))
     572                 :         58 :     TREE_THIS_VOLATILE (ret) |= 1;
     573                 :     209717 :   if (TREE_READONLY (field))
     574                 :          0 :     TREE_READONLY (ret) |= 1;
     575                 :     209717 :   return ret;
     576                 :            : }
     577                 :            : 
     578                 :            : /* Build tree nodes to access the field for VAR on the receiver side.  */
     579                 :            : 
     580                 :            : static tree
     581                 :      91572 : build_receiver_ref (tree var, bool by_ref, omp_context *ctx)
     582                 :            : {
     583                 :      91572 :   tree x, field = lookup_field (var, ctx);
     584                 :            : 
     585                 :            :   /* If the receiver record type was remapped in the child function,
     586                 :            :      remap the field into the new record type.  */
     587                 :      91572 :   x = maybe_lookup_field (field, ctx);
     588                 :       9229 :   if (x != NULL)
     589                 :       9229 :     field = x;
     590                 :            : 
     591                 :      91572 :   x = build_simple_mem_ref (ctx->receiver_decl);
     592                 :      91572 :   TREE_THIS_NOTRAP (x) = 1;
     593                 :      91572 :   x = omp_build_component_ref (x, field);
     594                 :      91572 :   if (by_ref)
     595                 :            :     {
     596                 :      22571 :       x = build_simple_mem_ref (x);
     597                 :      22571 :       TREE_THIS_NOTRAP (x) = 1;
     598                 :            :     }
     599                 :            : 
     600                 :      91572 :   return x;
     601                 :            : }
     602                 :            : 
     603                 :            : /* Build tree nodes to access VAR in the scope outer to CTX.  In the case
     604                 :            :    of a parallel, this is a component reference; for workshare constructs
     605                 :            :    this is some variable.  */
     606                 :            : 
     607                 :            : static tree
     608                 :      86719 : build_outer_var_ref (tree var, omp_context *ctx,
     609                 :            :                      enum omp_clause_code code = OMP_CLAUSE_ERROR)
     610                 :            : {
     611                 :      86719 :   tree x;
     612                 :      86719 :   omp_context *outer = ctx->outer;
     613                 :      87002 :   while (outer && gimple_code (outer->stmt) == GIMPLE_OMP_TASKGROUP)
     614                 :        283 :     outer = outer->outer;
     615                 :            : 
     616                 :      86719 :   if (is_global_var (maybe_lookup_decl_in_outer_ctx (var, ctx)))
     617                 :            :     x = var;
     618                 :      82960 :   else if (is_variable_sized (var))
     619                 :            :     {
     620                 :         41 :       x = TREE_OPERAND (DECL_VALUE_EXPR (var), 0);
     621                 :         41 :       x = build_outer_var_ref (x, ctx, code);
     622                 :         41 :       x = build_simple_mem_ref (x);
     623                 :            :     }
     624                 :      82919 :   else if (is_taskreg_ctx (ctx))
     625                 :            :     {
     626                 :      50900 :       bool by_ref = use_pointer_for_field (var, NULL);
     627                 :      50900 :       x = build_receiver_ref (var, by_ref, ctx);
     628                 :            :     }
     629                 :      32019 :   else if ((gimple_code (ctx->stmt) == GIMPLE_OMP_FOR
     630                 :      31230 :             && gimple_omp_for_kind (ctx->stmt) == GF_OMP_FOR_KIND_SIMD)
     631                 :      10614 :            || ctx->loop_p
     632                 :      42238 :            || (code == OMP_CLAUSE_PRIVATE
     633                 :          8 :                && (gimple_code (ctx->stmt) == GIMPLE_OMP_FOR
     634                 :          0 :                    || gimple_code (ctx->stmt) == GIMPLE_OMP_SECTIONS
     635                 :          0 :                    || gimple_code (ctx->stmt) == GIMPLE_OMP_SINGLE)))
     636                 :            :     {
     637                 :            :       /* #pragma omp simd isn't a worksharing construct, and can reference
     638                 :            :          even private vars in its linear etc. clauses.
     639                 :            :          Similarly for OMP_CLAUSE_PRIVATE with outer ref, that can refer
     640                 :            :          to private vars in all worksharing constructs.  */
     641                 :      21808 :       x = NULL_TREE;
     642                 :      21808 :       if (outer && is_taskreg_ctx (outer))
     643                 :        818 :         x = lookup_decl (var, outer);
     644                 :      21399 :       else if (outer)
     645                 :      16953 :         x = maybe_lookup_decl_in_outer_ctx (var, ctx);
     646                 :      17362 :       if (x == NULL_TREE)
     647                 :            :         x = var;
     648                 :            :     }
     649                 :      10211 :   else if (code == OMP_CLAUSE_LASTPRIVATE && is_taskloop_ctx (ctx))
     650                 :            :     {
     651                 :        345 :       gcc_assert (outer);
     652                 :        345 :       splay_tree_node n
     653                 :        690 :         = splay_tree_lookup (outer->field_map,
     654                 :        345 :                              (splay_tree_key) &DECL_UID (var));
     655                 :        345 :       if (n == NULL)
     656                 :            :         {
     657                 :        282 :           if (is_global_var (maybe_lookup_decl_in_outer_ctx (var, outer)))
     658                 :            :             x = var;
     659                 :            :           else
     660                 :        488 :             x = lookup_decl (var, outer);
     661                 :            :         }
     662                 :            :       else
     663                 :            :         {
     664                 :         63 :           tree field = (tree) n->value;
     665                 :            :           /* If the receiver record type was remapped in the child function,
     666                 :            :              remap the field into the new record type.  */
     667                 :         63 :           x = maybe_lookup_field (field, outer);
     668                 :          0 :           if (x != NULL)
     669                 :          0 :             field = x;
     670                 :            : 
     671                 :         63 :           x = build_simple_mem_ref (outer->receiver_decl);
     672                 :         63 :           x = omp_build_component_ref (x, field);
     673                 :         63 :           if (use_pointer_for_field (var, outer))
     674                 :         45 :             x = build_simple_mem_ref (x);
     675                 :            :         }
     676                 :            :     }
     677                 :       9866 :   else if (outer)
     678                 :            :     {
     679                 :       9686 :       if (gimple_code (outer->stmt) == GIMPLE_OMP_GRID_BODY)
     680                 :            :         {
     681                 :          0 :           outer = outer->outer;
     682                 :          0 :           gcc_assert (outer
     683                 :            :                       && gimple_code (outer->stmt) != GIMPLE_OMP_GRID_BODY);
     684                 :            :         }
     685                 :      19372 :       x = lookup_decl (var, outer);
     686                 :            :     }
     687                 :        180 :   else if (omp_is_reference (var))
     688                 :            :     /* This can happen with orphaned constructs.  If var is reference, it is
     689                 :            :        possible it is shared and as such valid.  */
     690                 :            :     x = var;
     691                 :         82 :   else if (omp_member_access_dummy_var (var))
     692                 :            :     x = var;
     693                 :            :   else
     694                 :          0 :     gcc_unreachable ();
     695                 :            : 
     696                 :      86719 :   if (x == var)
     697                 :            :     {
     698                 :       9840 :       tree t = omp_member_access_dummy_var (var);
     699                 :       9840 :       if (t)
     700                 :            :         {
     701                 :        248 :           x = DECL_VALUE_EXPR (var);
     702                 :        248 :           tree o = maybe_lookup_decl_in_outer_ctx (t, ctx);
     703                 :        248 :           if (o != t)
     704                 :         78 :             x = unshare_and_remap (x, t, o);
     705                 :            :           else
     706                 :        170 :             x = unshare_expr (x);
     707                 :            :         }
     708                 :            :     }
     709                 :            : 
     710                 :      86719 :   if (omp_is_reference (var))
     711                 :       2723 :     x = build_simple_mem_ref (x);
     712                 :            : 
     713                 :      86719 :   return x;
     714                 :            : }
     715                 :            : 
     716                 :            : /* Build tree nodes to access the field for VAR on the sender side.  */
     717                 :            : 
     718                 :            : static tree
     719                 :     114838 : build_sender_ref (splay_tree_key key, omp_context *ctx)
     720                 :            : {
     721                 :     114838 :   tree field = lookup_sfield (key, ctx);
     722                 :     114838 :   return omp_build_component_ref (ctx->sender_decl, field);
     723                 :            : }
     724                 :            : 
     725                 :            : static tree
     726                 :     111194 : build_sender_ref (tree var, omp_context *ctx)
     727                 :            : {
     728                 :          0 :   return build_sender_ref ((splay_tree_key) var, ctx);
     729                 :            : }
     730                 :            : 
     731                 :            : /* Add a new field for VAR inside the structure CTX->SENDER_DECL.  If
     732                 :            :    BASE_POINTERS_RESTRICT, declare the field with restrict.  */
     733                 :            : 
     734                 :            : static void
     735                 :      95373 : install_var_field (tree var, bool by_ref, int mask, omp_context *ctx)
     736                 :            : {
     737                 :      95373 :   tree field, type, sfield = NULL_TREE;
     738                 :      95373 :   splay_tree_key key = (splay_tree_key) var;
     739                 :            : 
     740                 :      95373 :   if ((mask & 16) != 0)
     741                 :            :     {
     742                 :        561 :       key = (splay_tree_key) &DECL_NAME (var);
     743                 :        561 :       gcc_checking_assert (key != (splay_tree_key) var);
     744                 :            :     }
     745                 :      95373 :   if ((mask & 8) != 0)
     746                 :            :     {
     747                 :       1364 :       key = (splay_tree_key) &DECL_UID (var);
     748                 :       1364 :       gcc_checking_assert (key != (splay_tree_key) var);
     749                 :            :     }
     750                 :      95373 :   gcc_assert ((mask & 1) == 0
     751                 :            :               || !splay_tree_lookup (ctx->field_map, key));
     752                 :      95373 :   gcc_assert ((mask & 2) == 0 || !ctx->sfield_map
     753                 :            :               || !splay_tree_lookup (ctx->sfield_map, key));
     754                 :      95373 :   gcc_assert ((mask & 3) == 3
     755                 :            :               || !is_gimple_omp_oacc (ctx->stmt));
     756                 :            : 
     757                 :      95373 :   type = TREE_TYPE (var);
     758                 :      95373 :   if ((mask & 16) != 0)
     759                 :        561 :     type = lang_hooks.decls.omp_array_data (var, true);
     760                 :            : 
     761                 :            :   /* Prevent redeclaring the var in the split-off function with a restrict
     762                 :            :      pointer type.  Note that we only clear type itself, restrict qualifiers in
     763                 :            :      the pointed-to type will be ignored by points-to analysis.  */
     764                 :      95373 :   if (POINTER_TYPE_P (type)
     765                 :     109147 :       && TYPE_RESTRICT (type))
     766                 :       4563 :     type = build_qualified_type (type, TYPE_QUALS (type) & ~TYPE_QUAL_RESTRICT);
     767                 :            : 
     768                 :      95373 :   if (mask & 4)
     769                 :            :     {
     770                 :        442 :       gcc_assert (TREE_CODE (type) == ARRAY_TYPE);
     771                 :        442 :       type = build_pointer_type (build_pointer_type (type));
     772                 :            :     }
     773                 :      94931 :   else if (by_ref)
     774                 :      43216 :     type = build_pointer_type (type);
     775                 :      51715 :   else if ((mask & 3) == 1 && omp_is_reference (var))
     776                 :        191 :     type = TREE_TYPE (type);
     777                 :            : 
     778                 :      95373 :   field = build_decl (DECL_SOURCE_LOCATION (var),
     779                 :      95373 :                       FIELD_DECL, DECL_NAME (var), type);
     780                 :            : 
     781                 :            :   /* Remember what variable this field was created for.  This does have a
     782                 :            :      side effect of making dwarf2out ignore this member, so for helpful
     783                 :            :      debugging we clear it later in delete_omp_context.  */
     784                 :      95373 :   DECL_ABSTRACT_ORIGIN (field) = var;
     785                 :     190185 :   if ((mask & 16) == 0 && type == TREE_TYPE (var))
     786                 :            :     {
     787                 :      48928 :       SET_DECL_ALIGN (field, DECL_ALIGN (var));
     788                 :      48928 :       DECL_USER_ALIGN (field) = DECL_USER_ALIGN (var);
     789                 :      48928 :       TREE_THIS_VOLATILE (field) = TREE_THIS_VOLATILE (var);
     790                 :            :     }
     791                 :            :   else
     792                 :      46445 :     SET_DECL_ALIGN (field, TYPE_ALIGN (type));
     793                 :            : 
     794                 :      95373 :   if ((mask & 3) == 3)
     795                 :            :     {
     796                 :      94616 :       insert_field_into_struct (ctx->record_type, field);
     797                 :      94616 :       if (ctx->srecord_type)
     798                 :            :         {
     799                 :        820 :           sfield = build_decl (DECL_SOURCE_LOCATION (var),
     800                 :        820 :                                FIELD_DECL, DECL_NAME (var), type);
     801                 :        820 :           DECL_ABSTRACT_ORIGIN (sfield) = var;
     802                 :        820 :           SET_DECL_ALIGN (sfield, DECL_ALIGN (field));
     803                 :        820 :           DECL_USER_ALIGN (sfield) = DECL_USER_ALIGN (field);
     804                 :        820 :           TREE_THIS_VOLATILE (sfield) = TREE_THIS_VOLATILE (field);
     805                 :        820 :           insert_field_into_struct (ctx->srecord_type, sfield);
     806                 :            :         }
     807                 :            :     }
     808                 :            :   else
     809                 :            :     {
     810                 :        757 :       if (ctx->srecord_type == NULL_TREE)
     811                 :            :         {
     812                 :        260 :           tree t;
     813                 :            : 
     814                 :        260 :           ctx->srecord_type = lang_hooks.types.make_type (RECORD_TYPE);
     815                 :        260 :           ctx->sfield_map = splay_tree_new (splay_tree_compare_pointers, 0, 0);
     816                 :        889 :           for (t = TYPE_FIELDS (ctx->record_type); t ; t = TREE_CHAIN (t))
     817                 :            :             {
     818                 :        629 :               sfield = build_decl (DECL_SOURCE_LOCATION (t),
     819                 :        629 :                                    FIELD_DECL, DECL_NAME (t), TREE_TYPE (t));
     820                 :        629 :               DECL_ABSTRACT_ORIGIN (sfield) = DECL_ABSTRACT_ORIGIN (t);
     821                 :        629 :               insert_field_into_struct (ctx->srecord_type, sfield);
     822                 :        629 :               splay_tree_insert (ctx->sfield_map,
     823                 :        629 :                                  (splay_tree_key) DECL_ABSTRACT_ORIGIN (t),
     824                 :            :                                  (splay_tree_value) sfield);
     825                 :            :             }
     826                 :            :         }
     827                 :        757 :       sfield = field;
     828                 :        757 :       insert_field_into_struct ((mask & 1) ? ctx->record_type
     829                 :            :                                 : ctx->srecord_type, field);
     830                 :            :     }
     831                 :            : 
     832                 :      95373 :   if (mask & 1)
     833                 :      95025 :     splay_tree_insert (ctx->field_map, key, (splay_tree_value) field);
     834                 :      95373 :   if ((mask & 2) && ctx->sfield_map)
     835                 :       1168 :     splay_tree_insert (ctx->sfield_map, key, (splay_tree_value) sfield);
     836                 :      95373 : }
     837                 :            : 
     838                 :            : static tree
     839                 :     172410 : install_var_local (tree var, omp_context *ctx)
     840                 :            : {
     841                 :     172410 :   tree new_var = omp_copy_decl_1 (var, ctx);
     842                 :     172410 :   insert_decl_map (&ctx->cb, var, new_var);
     843                 :     172410 :   return new_var;
     844                 :            : }
     845                 :            : 
     846                 :            : /* Adjust the replacement for DECL in CTX for the new context.  This means
     847                 :            :    copying the DECL_VALUE_EXPR, and fixing up the type.  */
     848                 :            : 
     849                 :            : static void
     850                 :     152982 : fixup_remapped_decl (tree decl, omp_context *ctx, bool private_debug)
     851                 :            : {
     852                 :     152982 :   tree new_decl, size;
     853                 :            : 
     854                 :     152982 :   new_decl = lookup_decl (decl, ctx);
     855                 :            : 
     856                 :     152982 :   TREE_TYPE (new_decl) = remap_type (TREE_TYPE (decl), &ctx->cb);
     857                 :            : 
     858                 :     305027 :   if ((!TREE_CONSTANT (DECL_SIZE (new_decl)) || private_debug)
     859                 :     154108 :       && DECL_HAS_VALUE_EXPR_P (decl))
     860                 :            :     {
     861                 :       1126 :       tree ve = DECL_VALUE_EXPR (decl);
     862                 :       1126 :       walk_tree (&ve, copy_tree_body_r, &ctx->cb, NULL);
     863                 :       1126 :       SET_DECL_VALUE_EXPR (new_decl, ve);
     864                 :       1126 :       DECL_HAS_VALUE_EXPR_P (new_decl) = 1;
     865                 :            :     }
     866                 :            : 
     867                 :     152982 :   if (!TREE_CONSTANT (DECL_SIZE (new_decl)))
     868                 :            :     {
     869                 :        937 :       size = remap_decl (DECL_SIZE (decl), &ctx->cb);
     870                 :        937 :       if (size == error_mark_node)
     871                 :        277 :         size = TYPE_SIZE (TREE_TYPE (new_decl));
     872                 :        937 :       DECL_SIZE (new_decl) = size;
     873                 :            : 
     874                 :        937 :       size = remap_decl (DECL_SIZE_UNIT (decl), &ctx->cb);
     875                 :        937 :       if (size == error_mark_node)
     876                 :        276 :         size = TYPE_SIZE_UNIT (TREE_TYPE (new_decl));
     877                 :        937 :       DECL_SIZE_UNIT (new_decl) = size;
     878                 :            :     }
     879                 :     152982 : }
     880                 :            : 
     881                 :            : /* The callback for remap_decl.  Search all containing contexts for a
     882                 :            :    mapping of the variable; this avoids having to duplicate the splay
     883                 :            :    tree ahead of time.  We know a mapping doesn't already exist in the
     884                 :            :    given context.  Create new mappings to implement default semantics.  */
     885                 :            : 
     886                 :            : static tree
     887                 :     330520 : omp_copy_decl (tree var, copy_body_data *cb)
     888                 :            : {
     889                 :     330520 :   omp_context *ctx = (omp_context *) cb;
     890                 :     330520 :   tree new_var;
     891                 :            : 
     892                 :     330520 :   if (TREE_CODE (var) == LABEL_DECL)
     893                 :            :     {
     894                 :     263606 :       if (FORCED_LABEL (var) || DECL_NONLOCAL (var))
     895                 :            :         return var;
     896                 :     131799 :       new_var = create_artificial_label (DECL_SOURCE_LOCATION (var));
     897                 :     131799 :       DECL_CONTEXT (new_var) = current_function_decl;
     898                 :     131799 :       insert_decl_map (&ctx->cb, var, new_var);
     899                 :     131799 :       return new_var;
     900                 :            :     }
     901                 :            : 
     902                 :     259994 :   while (!is_taskreg_ctx (ctx))
     903                 :            :     {
     904                 :     244065 :       ctx = ctx->outer;
     905                 :     244065 :       if (ctx == NULL)
     906                 :            :         return var;
     907                 :     215511 :       new_var = maybe_lookup_decl (var, ctx);
     908                 :     215511 :       if (new_var)
     909                 :     154232 :         return new_var;
     910                 :            :     }
     911                 :            : 
     912                 :      15929 :   if (is_global_var (var) || decl_function_context (var) != ctx->cb.src_fn)
     913                 :      11173 :     return var;
     914                 :            : 
     915                 :       4756 :   return error_mark_node;
     916                 :            : }
     917                 :            : 
     918                 :            : /* Create a new context, with OUTER_CTX being the surrounding context.  */
     919                 :            : 
     920                 :            : static omp_context *
     921                 :      95990 : new_omp_context (gimple *stmt, omp_context *outer_ctx)
     922                 :            : {
     923                 :      95990 :   omp_context *ctx = XCNEW (omp_context);
     924                 :            : 
     925                 :      95990 :   splay_tree_insert (all_contexts, (splay_tree_key) stmt,
     926                 :            :                      (splay_tree_value) ctx);
     927                 :      95990 :   ctx->stmt = stmt;
     928                 :            : 
     929                 :      95990 :   if (outer_ctx)
     930                 :            :     {
     931                 :      54352 :       ctx->outer = outer_ctx;
     932                 :      54352 :       ctx->cb = outer_ctx->cb;
     933                 :      54352 :       ctx->cb.block = NULL;
     934                 :      54352 :       ctx->local_reduction_clauses = NULL;
     935                 :      54352 :       ctx->outer_reduction_clauses = ctx->outer_reduction_clauses;
     936                 :      54352 :       ctx->depth = outer_ctx->depth + 1;
     937                 :            :     }
     938                 :            :   else
     939                 :            :     {
     940                 :      41638 :       ctx->cb.src_fn = current_function_decl;
     941                 :      41638 :       ctx->cb.dst_fn = current_function_decl;
     942                 :      41638 :       ctx->cb.src_node = cgraph_node::get (current_function_decl);
     943                 :      41638 :       gcc_checking_assert (ctx->cb.src_node);
     944                 :      41638 :       ctx->cb.dst_node = ctx->cb.src_node;
     945                 :      41638 :       ctx->cb.src_cfun = cfun;
     946                 :      41638 :       ctx->cb.copy_decl = omp_copy_decl;
     947                 :      41638 :       ctx->cb.eh_lp_nr = 0;
     948                 :      41638 :       ctx->cb.transform_call_graph_edges = CB_CGE_MOVE;
     949                 :      41638 :       ctx->cb.adjust_array_error_bounds = true;
     950                 :      41638 :       ctx->cb.dont_remap_vla_if_no_change = true;
     951                 :      41638 :       ctx->local_reduction_clauses = NULL;
     952                 :      41638 :       ctx->outer_reduction_clauses = NULL;
     953                 :      41638 :       ctx->depth = 1;
     954                 :            :     }
     955                 :            : 
     956                 :      95990 :   ctx->cb.decl_map = new hash_map<tree, tree>;
     957                 :            : 
     958                 :      95990 :   return ctx;
     959                 :            : }
     960                 :            : 
     961                 :            : static gimple_seq maybe_catch_exception (gimple_seq);
     962                 :            : 
     963                 :            : /* Finalize task copyfn.  */
     964                 :            : 
     965                 :            : static void
     966                 :       3318 : finalize_task_copyfn (gomp_task *task_stmt)
     967                 :            : {
     968                 :       3318 :   struct function *child_cfun;
     969                 :       3318 :   tree child_fn;
     970                 :       3318 :   gimple_seq seq = NULL, new_seq;
     971                 :       3318 :   gbind *bind;
     972                 :            : 
     973                 :       3318 :   child_fn = gimple_omp_task_copy_fn (task_stmt);
     974                 :       3318 :   if (child_fn == NULL_TREE)
     975                 :       3058 :     return;
     976                 :            : 
     977                 :        260 :   child_cfun = DECL_STRUCT_FUNCTION (child_fn);
     978                 :        260 :   DECL_STRUCT_FUNCTION (child_fn)->curr_properties = cfun->curr_properties;
     979                 :            : 
     980                 :        260 :   push_cfun (child_cfun);
     981                 :        260 :   bind = gimplify_body (child_fn, false);
     982                 :        260 :   gimple_seq_add_stmt (&seq, bind);
     983                 :        260 :   new_seq = maybe_catch_exception (seq);
     984                 :        260 :   if (new_seq != seq)
     985                 :            :     {
     986                 :        213 :       bind = gimple_build_bind (NULL, new_seq, NULL);
     987                 :        213 :       seq = NULL;
     988                 :        213 :       gimple_seq_add_stmt (&seq, bind);
     989                 :            :     }
     990                 :        260 :   gimple_set_body (child_fn, seq);
     991                 :        260 :   pop_cfun ();
     992                 :            : 
     993                 :            :   /* Inform the callgraph about the new function.  */
     994                 :        260 :   cgraph_node *node = cgraph_node::get_create (child_fn);
     995                 :        260 :   node->parallelized_function = 1;
     996                 :        260 :   cgraph_node::add_new_function (child_fn, false);
     997                 :            : }
     998                 :            : 
     999                 :            : /* Destroy a omp_context data structures.  Called through the splay tree
    1000                 :            :    value delete callback.  */
    1001                 :            : 
    1002                 :            : static void
    1003                 :      95990 : delete_omp_context (splay_tree_value value)
    1004                 :            : {
    1005                 :      95990 :   omp_context *ctx = (omp_context *) value;
    1006                 :            : 
    1007                 :     191980 :   delete ctx->cb.decl_map;
    1008                 :            : 
    1009                 :      95990 :   if (ctx->field_map)
    1010                 :      46278 :     splay_tree_delete (ctx->field_map);
    1011                 :      95990 :   if (ctx->sfield_map)
    1012                 :        260 :     splay_tree_delete (ctx->sfield_map);
    1013                 :            : 
    1014                 :            :   /* We hijacked DECL_ABSTRACT_ORIGIN earlier.  We need to clear it before
    1015                 :            :      it produces corrupt debug information.  */
    1016                 :      95990 :   if (ctx->record_type)
    1017                 :            :     {
    1018                 :      36105 :       tree t;
    1019                 :     150557 :       for (t = TYPE_FIELDS (ctx->record_type); t ; t = DECL_CHAIN (t))
    1020                 :     114452 :         DECL_ABSTRACT_ORIGIN (t) = NULL;
    1021                 :            :     }
    1022                 :      95990 :   if (ctx->srecord_type)
    1023                 :            :     {
    1024                 :        260 :       tree t;
    1025                 :       2057 :       for (t = TYPE_FIELDS (ctx->srecord_type); t ; t = DECL_CHAIN (t))
    1026                 :       1797 :         DECL_ABSTRACT_ORIGIN (t) = NULL;
    1027                 :            :     }
    1028                 :            : 
    1029                 :      95990 :   if (is_task_ctx (ctx))
    1030                 :       3318 :     finalize_task_copyfn (as_a <gomp_task *> (ctx->stmt));
    1031                 :            : 
    1032                 :      95990 :   if (ctx->task_reduction_map)
    1033                 :            :     {
    1034                 :        418 :       ctx->task_reductions.release ();
    1035                 :        836 :       delete ctx->task_reduction_map;
    1036                 :            :     }
    1037                 :            : 
    1038                 :      96209 :   delete ctx->lastprivate_conditional_map;
    1039                 :            : 
    1040                 :      95990 :   XDELETE (ctx);
    1041                 :      95990 : }
    1042                 :            : 
    1043                 :            : /* Fix up RECEIVER_DECL with a type that has been remapped to the child
    1044                 :            :    context.  */
    1045                 :            : 
    1046                 :            : static void
    1047                 :      25009 : fixup_child_record_type (omp_context *ctx)
    1048                 :            : {
    1049                 :      25009 :   tree f, type = ctx->record_type;
    1050                 :            : 
    1051                 :      25009 :   if (!ctx->receiver_decl)
    1052                 :            :     return;
    1053                 :            :   /* ??? It isn't sufficient to just call remap_type here, because
    1054                 :            :      variably_modified_type_p doesn't work the way we expect for
    1055                 :            :      record types.  Testing each field for whether it needs remapping
    1056                 :            :      and creating a new record by hand works, however.  */
    1057                 :     110746 :   for (f = TYPE_FIELDS (type); f ; f = DECL_CHAIN (f))
    1058                 :      86644 :     if (variably_modified_type_p (TREE_TYPE (f), ctx->cb.src_fn))
    1059                 :            :       break;
    1060                 :      25009 :   if (f)
    1061                 :            :     {
    1062                 :        907 :       tree name, new_fields = NULL;
    1063                 :            : 
    1064                 :        907 :       type = lang_hooks.types.make_type (RECORD_TYPE);
    1065                 :        907 :       name = DECL_NAME (TYPE_NAME (ctx->record_type));
    1066                 :        907 :       name = build_decl (DECL_SOURCE_LOCATION (ctx->receiver_decl),
    1067                 :            :                          TYPE_DECL, name, type);
    1068                 :        907 :       TYPE_NAME (type) = name;
    1069                 :            : 
    1070                 :      10942 :       for (f = TYPE_FIELDS (ctx->record_type); f ; f = DECL_CHAIN (f))
    1071                 :            :         {
    1072                 :      10035 :           tree new_f = copy_node (f);
    1073                 :      10035 :           DECL_CONTEXT (new_f) = type;
    1074                 :      10035 :           TREE_TYPE (new_f) = remap_type (TREE_TYPE (f), &ctx->cb);
    1075                 :      10035 :           DECL_CHAIN (new_f) = new_fields;
    1076                 :      10035 :           walk_tree (&DECL_SIZE (new_f), copy_tree_body_r, &ctx->cb, NULL);
    1077                 :      10035 :           walk_tree (&DECL_SIZE_UNIT (new_f), copy_tree_body_r,
    1078                 :            :                      &ctx->cb, NULL);
    1079                 :      10035 :           walk_tree (&DECL_FIELD_OFFSET (new_f), copy_tree_body_r,
    1080                 :            :                      &ctx->cb, NULL);
    1081                 :      10035 :           new_fields = new_f;
    1082                 :            : 
    1083                 :            :           /* Arrange to be able to look up the receiver field
    1084                 :            :              given the sender field.  */
    1085                 :      10035 :           splay_tree_insert (ctx->field_map, (splay_tree_key) f,
    1086                 :            :                              (splay_tree_value) new_f);
    1087                 :            :         }
    1088                 :        907 :       TYPE_FIELDS (type) = nreverse (new_fields);
    1089                 :        907 :       layout_type (type);
    1090                 :            :     }
    1091                 :            : 
    1092                 :            :   /* In a target region we never modify any of the pointers in *.omp_data_i,
    1093                 :            :      so attempt to help the optimizers.  */
    1094                 :      25009 :   if (is_gimple_omp_offloaded (ctx->stmt))
    1095                 :      11232 :     type = build_qualified_type (type, TYPE_QUAL_CONST);
    1096                 :            : 
    1097                 :      25009 :   TREE_TYPE (ctx->receiver_decl)
    1098                 :      50018 :     = build_qualified_type (build_reference_type (type), TYPE_QUAL_RESTRICT);
    1099                 :            : }
    1100                 :            : 
    1101                 :            : /* Instantiate decls as necessary in CTX to satisfy the data sharing
    1102                 :            :    specified by CLAUSES.  */
    1103                 :            : 
    1104                 :            : static void
    1105                 :      91571 : scan_sharing_clauses (tree clauses, omp_context *ctx)
    1106                 :            : {
    1107                 :      91571 :   tree c, decl;
    1108                 :      91571 :   bool scan_array_reductions = false;
    1109                 :            : 
    1110                 :     384542 :   for (c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
    1111                 :            :     {
    1112                 :     292971 :       bool by_ref;
    1113                 :            : 
    1114                 :     292971 :       switch (OMP_CLAUSE_CODE (c))
    1115                 :            :         {
    1116                 :      58867 :         case OMP_CLAUSE_PRIVATE:
    1117                 :      58867 :           decl = OMP_CLAUSE_DECL (c);
    1118                 :      58867 :           if (OMP_CLAUSE_PRIVATE_OUTER_REF (c))
    1119                 :        162 :             goto do_private;
    1120                 :      58705 :           else if (!is_variable_sized (decl))
    1121                 :      58339 :             install_var_local (decl, ctx);
    1122                 :            :           break;
    1123                 :            : 
    1124                 :      36051 :         case OMP_CLAUSE_SHARED:
    1125                 :      36051 :           decl = OMP_CLAUSE_DECL (c);
    1126                 :            :           /* Ignore shared directives in teams construct inside of
    1127                 :            :              target construct.  */
    1128                 :      36051 :           if (gimple_code (ctx->stmt) == GIMPLE_OMP_TEAMS
    1129                 :      36051 :               && !is_host_teams_ctx (ctx))
    1130                 :            :             {
    1131                 :            :               /* Global variables don't need to be copied,
    1132                 :            :                  the receiver side will use them directly.  */
    1133                 :      10402 :               tree odecl = maybe_lookup_decl_in_outer_ctx (decl, ctx);
    1134                 :      10402 :               if (is_global_var (odecl))
    1135                 :            :                 break;
    1136                 :       7167 :               insert_decl_map (&ctx->cb, decl, odecl);
    1137                 :       7167 :               break;
    1138                 :            :             }
    1139                 :      25649 :           gcc_assert (is_taskreg_ctx (ctx));
    1140                 :      25649 :           gcc_assert (!COMPLETE_TYPE_P (TREE_TYPE (decl))
    1141                 :            :                       || !is_variable_sized (decl));
    1142                 :            :           /* Global variables don't need to be copied,
    1143                 :            :              the receiver side will use them directly.  */
    1144                 :      25649 :           if (is_global_var (maybe_lookup_decl_in_outer_ctx (decl, ctx)))
    1145                 :            :             break;
    1146                 :      20676 :           if (OMP_CLAUSE_SHARED_FIRSTPRIVATE (c))
    1147                 :            :             {
    1148                 :         70 :               use_pointer_for_field (decl, ctx);
    1149                 :         70 :               break;
    1150                 :            :             }
    1151                 :      20606 :           by_ref = use_pointer_for_field (decl, NULL);
    1152                 :      39707 :           if ((! TREE_READONLY (decl) && !OMP_CLAUSE_SHARED_READONLY (c))
    1153                 :      14381 :               || TREE_ADDRESSABLE (decl)
    1154                 :      14083 :               || by_ref
    1155                 :      34689 :               || omp_is_reference (decl))
    1156                 :            :             {
    1157                 :       7737 :               by_ref = use_pointer_for_field (decl, ctx);
    1158                 :       7737 :               install_var_field (decl, by_ref, 3, ctx);
    1159                 :       7737 :               install_var_local (decl, ctx);
    1160                 :       7737 :               break;
    1161                 :            :             }
    1162                 :            :           /* We don't need to copy const scalar vars back.  */
    1163                 :      12869 :           OMP_CLAUSE_SET_CODE (c, OMP_CLAUSE_FIRSTPRIVATE);
    1164                 :      12869 :           goto do_private;
    1165                 :            : 
    1166                 :      10039 :         case OMP_CLAUSE_REDUCTION:
    1167                 :      10039 :           if (is_oacc_parallel_or_serial (ctx) || is_oacc_kernels (ctx))
    1168                 :        482 :             ctx->local_reduction_clauses
    1169                 :        482 :               = tree_cons (NULL, c, ctx->local_reduction_clauses);
    1170                 :            :           /* FALLTHRU */
    1171                 :            : 
    1172                 :      11338 :         case OMP_CLAUSE_IN_REDUCTION:
    1173                 :      11338 :           decl = OMP_CLAUSE_DECL (c);
    1174                 :      11338 :           if (TREE_CODE (decl) == MEM_REF)
    1175                 :            :             {
    1176                 :       1588 :               tree t = TREE_OPERAND (decl, 0);
    1177                 :       1588 :               if (TREE_CODE (t) == POINTER_PLUS_EXPR)
    1178                 :        442 :                 t = TREE_OPERAND (t, 0);
    1179                 :       1588 :               if (TREE_CODE (t) == INDIRECT_REF
    1180                 :       1494 :                   || TREE_CODE (t) == ADDR_EXPR)
    1181                 :        834 :                 t = TREE_OPERAND (t, 0);
    1182                 :       1588 :               install_var_local (t, ctx);
    1183                 :       1588 :               if (is_taskreg_ctx (ctx)
    1184                 :       1385 :                   && (!is_global_var (maybe_lookup_decl_in_outer_ctx (t, ctx))
    1185                 :        343 :                       || (is_task_ctx (ctx)
    1186                 :        282 :                           && (TREE_CODE (TREE_TYPE (t)) == POINTER_TYPE
    1187                 :        238 :                               || (TREE_CODE (TREE_TYPE (t)) == REFERENCE_TYPE
    1188                 :         90 :                                   && (TREE_CODE (TREE_TYPE (TREE_TYPE (t)))
    1189                 :            :                                       == POINTER_TYPE)))))
    1190                 :       1106 :                   && !is_variable_sized (t)
    1191                 :       2663 :                   && (OMP_CLAUSE_CODE (c) != OMP_CLAUSE_REDUCTION
    1192                 :        270 :                       || (!OMP_CLAUSE_REDUCTION_TASK (c)
    1193                 :        231 :                           && !is_task_ctx (ctx))))
    1194                 :            :                 {
    1195                 :        986 :                   by_ref = use_pointer_for_field (t, NULL);
    1196                 :        986 :                   if (is_task_ctx (ctx)
    1197                 :        805 :                       && TREE_CODE (TREE_TYPE (t)) == REFERENCE_TYPE
    1198                 :       1247 :                       && TREE_CODE (TREE_TYPE (TREE_TYPE (t))) == POINTER_TYPE)
    1199                 :            :                     {
    1200                 :         68 :                       install_var_field (t, false, 1, ctx);
    1201                 :         68 :                       install_var_field (t, by_ref, 2, ctx);
    1202                 :            :                     }
    1203                 :            :                   else
    1204                 :        918 :                     install_var_field (t, by_ref, 3, ctx);
    1205                 :            :                 }
    1206                 :            :               break;
    1207                 :            :             }
    1208                 :       9750 :           if (is_task_ctx (ctx)
    1209                 :       9750 :               || (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION
    1210                 :       9310 :                   && OMP_CLAUSE_REDUCTION_TASK (c)
    1211                 :        250 :                   && is_parallel_ctx (ctx)))
    1212                 :            :             {
    1213                 :            :               /* Global variables don't need to be copied,
    1214                 :            :                  the receiver side will use them directly.  */
    1215                 :        498 :               if (!is_global_var (maybe_lookup_decl_in_outer_ctx (decl, ctx)))
    1216                 :            :                 {
    1217                 :        289 :                   by_ref = use_pointer_for_field (decl, ctx);
    1218                 :        289 :                   if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_IN_REDUCTION)
    1219                 :        206 :                     install_var_field (decl, by_ref, 3, ctx);
    1220                 :            :                 }
    1221                 :        498 :               install_var_local (decl, ctx);
    1222                 :        498 :               break;
    1223                 :            :             }
    1224                 :       9252 :           if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION
    1225                 :       9252 :               && OMP_CLAUSE_REDUCTION_TASK (c))
    1226                 :            :             {
    1227                 :        192 :               install_var_local (decl, ctx);
    1228                 :        192 :               break;
    1229                 :            :             }
    1230                 :       9060 :           goto do_private;
    1231                 :            : 
    1232                 :      17261 :         case OMP_CLAUSE_LASTPRIVATE:
    1233                 :            :           /* Let the corresponding firstprivate clause create
    1234                 :            :              the variable.  */
    1235                 :      17261 :           if (OMP_CLAUSE_LASTPRIVATE_FIRSTPRIVATE (c))
    1236                 :            :             break;
    1237                 :            :           /* FALLTHRU */
    1238                 :            : 
    1239                 :      46450 :         case OMP_CLAUSE_FIRSTPRIVATE:
    1240                 :      46450 :         case OMP_CLAUSE_LINEAR:
    1241                 :      46450 :           decl = OMP_CLAUSE_DECL (c);
    1242                 :      68760 :         do_private:
    1243                 :      68760 :           if ((OMP_CLAUSE_CODE (c) == OMP_CLAUSE_FIRSTPRIVATE
    1244                 :      32435 :                || OMP_CLAUSE_CODE (c) == OMP_CLAUSE_IS_DEVICE_PTR)
    1245                 :      68979 :               && is_gimple_omp_offloaded (ctx->stmt))
    1246                 :            :             {
    1247                 :      14211 :               if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_FIRSTPRIVATE)
    1248                 :      13992 :                 install_var_field (decl, !omp_is_reference (decl), 3, ctx);
    1249                 :        219 :               else if (TREE_CODE (TREE_TYPE (decl)) == ARRAY_TYPE)
    1250                 :         13 :                 install_var_field (decl, true, 3, ctx);
    1251                 :            :               else
    1252                 :        206 :                 install_var_field (decl, false, 3, ctx);
    1253                 :            :             }
    1254                 :      68760 :           if (is_variable_sized (decl))
    1255                 :            :             {
    1256                 :         48 :               if (is_task_ctx (ctx))
    1257                 :         14 :                 install_var_field (decl, false, 1, ctx);
    1258                 :            :               break;
    1259                 :            :             }
    1260                 :      68712 :           else if (is_taskreg_ctx (ctx))
    1261                 :            :             {
    1262                 :      29706 :               bool global
    1263                 :      29706 :                 = is_global_var (maybe_lookup_decl_in_outer_ctx (decl, ctx));
    1264                 :      29706 :               by_ref = use_pointer_for_field (decl, NULL);
    1265                 :            : 
    1266                 :      29706 :               if (is_task_ctx (ctx)
    1267                 :      29706 :                   && (global || by_ref || omp_is_reference (decl)))
    1268                 :            :                 {
    1269                 :        327 :                   install_var_field (decl, false, 1, ctx);
    1270                 :        327 :                   if (!global)
    1271                 :        280 :                     install_var_field (decl, by_ref, 2, ctx);
    1272                 :            :                 }
    1273                 :      29379 :               else if (!global)
    1274                 :      28818 :                 install_var_field (decl, by_ref, 3, ctx);
    1275                 :            :             }
    1276                 :      68712 :           install_var_local (decl, ctx);
    1277                 :      68712 :           break;
    1278                 :            : 
    1279                 :       1862 :         case OMP_CLAUSE_USE_DEVICE_PTR:
    1280                 :       1862 :         case OMP_CLAUSE_USE_DEVICE_ADDR:
    1281                 :       1862 :           decl = OMP_CLAUSE_DECL (c);
    1282                 :            : 
    1283                 :            :           /* Fortran array descriptors.  */
    1284                 :       1862 :           if (lang_hooks.decls.omp_array_data (decl, true))
    1285                 :        561 :             install_var_field (decl, false, 19, ctx);
    1286                 :       1301 :           else if ((OMP_CLAUSE_CODE (c) == OMP_CLAUSE_USE_DEVICE_ADDR
    1287                 :       1012 :                     && !omp_is_reference (decl)
    1288                 :        362 :                     && !omp_is_allocatable_or_ptr (decl))
    1289                 :       2372 :                    || TREE_CODE (TREE_TYPE (decl)) == ARRAY_TYPE)
    1290                 :        294 :             install_var_field (decl, true, 11, ctx);
    1291                 :            :           else
    1292                 :       1007 :             install_var_field (decl, false, 11, ctx);
    1293                 :       1862 :           if (DECL_SIZE (decl)
    1294                 :       1862 :               && TREE_CODE (DECL_SIZE (decl)) != INTEGER_CST)
    1295                 :            :             {
    1296                 :          4 :               tree decl2 = DECL_VALUE_EXPR (decl);
    1297                 :          4 :               gcc_assert (TREE_CODE (decl2) == INDIRECT_REF);
    1298                 :          4 :               decl2 = TREE_OPERAND (decl2, 0);
    1299                 :          4 :               gcc_assert (DECL_P (decl2));
    1300                 :          4 :               install_var_local (decl2, ctx);
    1301                 :            :             }
    1302                 :       1862 :           install_var_local (decl, ctx);
    1303                 :       1862 :           break;
    1304                 :            : 
    1305                 :        219 :         case OMP_CLAUSE_IS_DEVICE_PTR:
    1306                 :        219 :           decl = OMP_CLAUSE_DECL (c);
    1307                 :        219 :           goto do_private;
    1308                 :            : 
    1309                 :      15978 :         case OMP_CLAUSE__LOOPTEMP_:
    1310                 :      15978 :         case OMP_CLAUSE__REDUCTEMP_:
    1311                 :      15978 :           gcc_assert (is_taskreg_ctx (ctx));
    1312                 :      15978 :           decl = OMP_CLAUSE_DECL (c);
    1313                 :      15978 :           install_var_field (decl, false, 3, ctx);
    1314                 :      15978 :           install_var_local (decl, ctx);
    1315                 :      15978 :           break;
    1316                 :            : 
    1317                 :        614 :         case OMP_CLAUSE_COPYPRIVATE:
    1318                 :        614 :         case OMP_CLAUSE_COPYIN:
    1319                 :        614 :           decl = OMP_CLAUSE_DECL (c);
    1320                 :        614 :           by_ref = use_pointer_for_field (decl, NULL);
    1321                 :        614 :           install_var_field (decl, by_ref, 3, ctx);
    1322                 :        614 :           break;
    1323                 :            : 
    1324                 :      33647 :         case OMP_CLAUSE_FINAL:
    1325                 :      33647 :         case OMP_CLAUSE_IF:
    1326                 :      33647 :         case OMP_CLAUSE_NUM_THREADS:
    1327                 :      33647 :         case OMP_CLAUSE_NUM_TEAMS:
    1328                 :      33647 :         case OMP_CLAUSE_THREAD_LIMIT:
    1329                 :      33647 :         case OMP_CLAUSE_DEVICE:
    1330                 :      33647 :         case OMP_CLAUSE_SCHEDULE:
    1331                 :      33647 :         case OMP_CLAUSE_DIST_SCHEDULE:
    1332                 :      33647 :         case OMP_CLAUSE_DEPEND:
    1333                 :      33647 :         case OMP_CLAUSE_PRIORITY:
    1334                 :      33647 :         case OMP_CLAUSE_GRAINSIZE:
    1335                 :      33647 :         case OMP_CLAUSE_NUM_TASKS:
    1336                 :      33647 :         case OMP_CLAUSE_NUM_GANGS:
    1337                 :      33647 :         case OMP_CLAUSE_NUM_WORKERS:
    1338                 :      33647 :         case OMP_CLAUSE_VECTOR_LENGTH:
    1339                 :      33647 :           if (ctx->outer)
    1340                 :      12785 :             scan_omp_op (&OMP_CLAUSE_OPERAND (c, 0), ctx->outer);
    1341                 :            :           break;
    1342                 :            : 
    1343                 :      50806 :         case OMP_CLAUSE_TO:
    1344                 :      50806 :         case OMP_CLAUSE_FROM:
    1345                 :      50806 :         case OMP_CLAUSE_MAP:
    1346                 :      50806 :           if (ctx->outer)
    1347                 :       9665 :             scan_omp_op (&OMP_CLAUSE_SIZE (c), ctx->outer);
    1348                 :      50806 :           decl = OMP_CLAUSE_DECL (c);
    1349                 :            :           /* Global variables with "omp declare target" attribute
    1350                 :            :              don't need to be copied, the receiver side will use them
    1351                 :            :              directly.  However, global variables with "omp declare target link"
    1352                 :            :              attribute need to be copied.  Or when ALWAYS modifier is used.  */
    1353                 :      50806 :           if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_MAP
    1354                 :      44927 :               && DECL_P (decl)
    1355                 :      26888 :               && ((OMP_CLAUSE_MAP_KIND (c) != GOMP_MAP_FIRSTPRIVATE_POINTER
    1356                 :      24087 :                    && (OMP_CLAUSE_MAP_KIND (c)
    1357                 :            :                        != GOMP_MAP_FIRSTPRIVATE_REFERENCE))
    1358                 :       2858 :                   || TREE_CODE (TREE_TYPE (decl)) == ARRAY_TYPE)
    1359                 :      24723 :               && OMP_CLAUSE_MAP_KIND (c) != GOMP_MAP_ALWAYS_TO
    1360                 :      24696 :               && OMP_CLAUSE_MAP_KIND (c) != GOMP_MAP_ALWAYS_FROM
    1361                 :      24692 :               && OMP_CLAUSE_MAP_KIND (c) != GOMP_MAP_ALWAYS_TOFROM
    1362                 :      24667 :               && is_global_var (maybe_lookup_decl_in_outer_ctx (decl, ctx))
    1363                 :       5661 :               && varpool_node::get_create (decl)->offloadable
    1364                 :      55111 :               && !lookup_attribute ("omp declare target link",
    1365                 :       4305 :                                     DECL_ATTRIBUTES (decl)))
    1366                 :            :             break;
    1367                 :      46506 :           if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_MAP
    1368                 :      46506 :               && OMP_CLAUSE_MAP_KIND (c) == GOMP_MAP_POINTER)
    1369                 :            :             {
    1370                 :            :               /* Ignore GOMP_MAP_POINTER kind for arrays in regions that are
    1371                 :            :                  not offloaded; there is nothing to map for those.  */
    1372                 :       8062 :               if (!is_gimple_omp_offloaded (ctx->stmt)
    1373                 :       3695 :                   && !POINTER_TYPE_P (TREE_TYPE (decl))
    1374                 :       8160 :                   && !OMP_CLAUSE_MAP_ZERO_BIAS_ARRAY_SECTION (c))
    1375                 :            :                 break;
    1376                 :            :             }
    1377                 :      46408 :           if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_MAP
    1378                 :      46408 :               && (OMP_CLAUSE_MAP_KIND (c) == GOMP_MAP_FIRSTPRIVATE_POINTER
    1379                 :      37730 :                   || (OMP_CLAUSE_MAP_KIND (c)
    1380                 :            :                       == GOMP_MAP_FIRSTPRIVATE_REFERENCE)))
    1381                 :            :             {
    1382                 :       2856 :               if (TREE_CODE (decl) == COMPONENT_REF
    1383                 :       2856 :                   || (TREE_CODE (decl) == INDIRECT_REF
    1384                 :          0 :                       && TREE_CODE (TREE_OPERAND (decl, 0)) == COMPONENT_REF
    1385                 :          0 :                       && (TREE_CODE (TREE_TYPE (TREE_OPERAND (decl, 0)))
    1386                 :            :                           == REFERENCE_TYPE)))
    1387                 :            :                 break;
    1388                 :       2856 :               if (DECL_SIZE (decl)
    1389                 :       2856 :                   && TREE_CODE (DECL_SIZE (decl)) != INTEGER_CST)
    1390                 :            :                 {
    1391                 :        523 :                   tree decl2 = DECL_VALUE_EXPR (decl);
    1392                 :        523 :                   gcc_assert (TREE_CODE (decl2) == INDIRECT_REF);
    1393                 :        523 :                   decl2 = TREE_OPERAND (decl2, 0);
    1394                 :        523 :                   gcc_assert (DECL_P (decl2));
    1395                 :        523 :                   install_var_local (decl2, ctx);
    1396                 :            :                 }
    1397                 :       2856 :               install_var_local (decl, ctx);
    1398                 :       2856 :               break;
    1399                 :            :             }
    1400                 :      43552 :           if (DECL_P (decl))
    1401                 :            :             {
    1402                 :      24125 :               if (DECL_SIZE (decl)
    1403                 :      24125 :                   && TREE_CODE (DECL_SIZE (decl)) != INTEGER_CST)
    1404                 :            :                 {
    1405                 :          0 :                   tree decl2 = DECL_VALUE_EXPR (decl);
    1406                 :          0 :                   gcc_assert (TREE_CODE (decl2) == INDIRECT_REF);
    1407                 :          0 :                   decl2 = TREE_OPERAND (decl2, 0);
    1408                 :          0 :                   gcc_assert (DECL_P (decl2));
    1409                 :          0 :                   install_var_field (decl2, true, 3, ctx);
    1410                 :          0 :                   install_var_local (decl2, ctx);
    1411                 :          0 :                   install_var_local (decl, ctx);
    1412                 :            :                 }
    1413                 :            :               else
    1414                 :            :                 {
    1415                 :      24125 :                   if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_MAP
    1416                 :      19634 :                       && OMP_CLAUSE_MAP_KIND (c) == GOMP_MAP_POINTER
    1417                 :       4413 :                       && !OMP_CLAUSE_MAP_ZERO_BIAS_ARRAY_SECTION (c)
    1418                 :      28538 :                       && TREE_CODE (TREE_TYPE (decl)) == ARRAY_TYPE)
    1419                 :        442 :                     install_var_field (decl, true, 7, ctx);
    1420                 :            :                   else
    1421                 :      23683 :                     install_var_field (decl, true, 3, ctx);
    1422                 :      24125 :                   if (is_gimple_omp_offloaded (ctx->stmt)
    1423                 :      24125 :                       && !OMP_CLAUSE_MAP_IN_REDUCTION (c))
    1424                 :      13419 :                     install_var_local (decl, ctx);
    1425                 :            :                 }
    1426                 :            :             }
    1427                 :            :           else
    1428                 :            :             {
    1429                 :      19427 :               tree base = get_base_address (decl);
    1430                 :      19427 :               tree nc = OMP_CLAUSE_CHAIN (c);
    1431                 :      19427 :               if (DECL_P (base)
    1432                 :       2587 :                   && nc != NULL_TREE
    1433                 :       2017 :                   && OMP_CLAUSE_CODE (nc) == OMP_CLAUSE_MAP
    1434                 :       1579 :                   && OMP_CLAUSE_DECL (nc) == base
    1435                 :        188 :                   && OMP_CLAUSE_MAP_KIND (nc) == GOMP_MAP_POINTER
    1436                 :      19427 :                   && integer_zerop (OMP_CLAUSE_SIZE (nc)))
    1437                 :            :                 {
    1438                 :          0 :                   OMP_CLAUSE_MAP_ZERO_BIAS_ARRAY_SECTION (c) = 1;
    1439                 :          0 :                   OMP_CLAUSE_MAP_ZERO_BIAS_ARRAY_SECTION (nc) = 1;
    1440                 :            :                 }
    1441                 :            :               else
    1442                 :            :                 {
    1443                 :      19427 :                   if (ctx->outer)
    1444                 :            :                     {
    1445                 :       4745 :                       scan_omp_op (&OMP_CLAUSE_DECL (c), ctx->outer);
    1446                 :       4745 :                       decl = OMP_CLAUSE_DECL (c);
    1447                 :            :                     }
    1448                 :      19427 :                   gcc_assert (!splay_tree_lookup (ctx->field_map,
    1449                 :            :                                                   (splay_tree_key) decl));
    1450                 :      19427 :                   tree field
    1451                 :      19427 :                     = build_decl (OMP_CLAUSE_LOCATION (c),
    1452                 :            :                                   FIELD_DECL, NULL_TREE, ptr_type_node);
    1453                 :      19427 :                   SET_DECL_ALIGN (field, TYPE_ALIGN (ptr_type_node));
    1454                 :      19427 :                   insert_field_into_struct (ctx->record_type, field);
    1455                 :      19427 :                   splay_tree_insert (ctx->field_map, (splay_tree_key) decl,
    1456                 :            :                                      (splay_tree_value) field);
    1457                 :            :                 }
    1458                 :            :             }
    1459                 :            :           break;
    1460                 :            : 
    1461                 :          0 :         case OMP_CLAUSE__GRIDDIM_:
    1462                 :          0 :           if (ctx->outer)
    1463                 :            :             {
    1464                 :          0 :               scan_omp_op (&OMP_CLAUSE__GRIDDIM__SIZE (c), ctx->outer);
    1465                 :          0 :               scan_omp_op (&OMP_CLAUSE__GRIDDIM__GROUP (c), ctx->outer);
    1466                 :            :             }
    1467                 :            :           break;
    1468                 :            : 
    1469                 :       1678 :         case OMP_CLAUSE_ORDER:
    1470                 :       1678 :           ctx->order_concurrent = true;
    1471                 :       1678 :           break;
    1472                 :            : 
    1473                 :       1149 :         case OMP_CLAUSE_BIND:
    1474                 :       1149 :           ctx->loop_p = true;
    1475                 :       1149 :           break;
    1476                 :            : 
    1477                 :            :         case OMP_CLAUSE_NOWAIT:
    1478                 :            :         case OMP_CLAUSE_ORDERED:
    1479                 :            :         case OMP_CLAUSE_COLLAPSE:
    1480                 :            :         case OMP_CLAUSE_UNTIED:
    1481                 :            :         case OMP_CLAUSE_MERGEABLE:
    1482                 :            :         case OMP_CLAUSE_PROC_BIND:
    1483                 :            :         case OMP_CLAUSE_SAFELEN:
    1484                 :            :         case OMP_CLAUSE_SIMDLEN:
    1485                 :            :         case OMP_CLAUSE_THREADS:
    1486                 :            :         case OMP_CLAUSE_SIMD:
    1487                 :            :         case OMP_CLAUSE_NOGROUP:
    1488                 :            :         case OMP_CLAUSE_DEFAULTMAP:
    1489                 :            :         case OMP_CLAUSE_ASYNC:
    1490                 :            :         case OMP_CLAUSE_WAIT:
    1491                 :            :         case OMP_CLAUSE_GANG:
    1492                 :            :         case OMP_CLAUSE_WORKER:
    1493                 :            :         case OMP_CLAUSE_VECTOR:
    1494                 :            :         case OMP_CLAUSE_INDEPENDENT:
    1495                 :            :         case OMP_CLAUSE_AUTO:
    1496                 :            :         case OMP_CLAUSE_SEQ:
    1497                 :            :         case OMP_CLAUSE_TILE:
    1498                 :            :         case OMP_CLAUSE__SIMT_:
    1499                 :            :         case OMP_CLAUSE_DEFAULT:
    1500                 :            :         case OMP_CLAUSE_NONTEMPORAL:
    1501                 :            :         case OMP_CLAUSE_IF_PRESENT:
    1502                 :            :         case OMP_CLAUSE_FINALIZE:
    1503                 :            :         case OMP_CLAUSE_TASK_REDUCTION:
    1504                 :            :           break;
    1505                 :            : 
    1506                 :        184 :         case OMP_CLAUSE_ALIGNED:
    1507                 :        184 :           decl = OMP_CLAUSE_DECL (c);
    1508                 :        184 :           if (is_global_var (decl)
    1509                 :        283 :               && TREE_CODE (TREE_TYPE (decl)) == ARRAY_TYPE)
    1510                 :         95 :             install_var_local (decl, ctx);
    1511                 :            :           break;
    1512                 :            : 
    1513                 :        271 :         case OMP_CLAUSE__CONDTEMP_:
    1514                 :        271 :           decl = OMP_CLAUSE_DECL (c);
    1515                 :        271 :           if (is_parallel_ctx (ctx))
    1516                 :            :             {
    1517                 :         84 :               install_var_field (decl, false, 3, ctx);
    1518                 :         84 :               install_var_local (decl, ctx);
    1519                 :            :             }
    1520                 :        187 :           else if (gimple_code (ctx->stmt) == GIMPLE_OMP_FOR
    1521                 :        187 :                    && gimple_omp_for_kind (ctx->stmt) == GF_OMP_FOR_KIND_SIMD
    1522                 :        290 :                    && !OMP_CLAUSE__CONDTEMP__ITER (c))
    1523                 :        103 :             install_var_local (decl, ctx);
    1524                 :            :           break;
    1525                 :            : 
    1526                 :          0 :         case OMP_CLAUSE__CACHE_:
    1527                 :          0 :         default:
    1528                 :          0 :           gcc_unreachable ();
    1529                 :            :         }
    1530                 :            :     }
    1531                 :            : 
    1532                 :     384542 :   for (c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
    1533                 :            :     {
    1534                 :     292971 :       switch (OMP_CLAUSE_CODE (c))
    1535                 :            :         {
    1536                 :      17261 :         case OMP_CLAUSE_LASTPRIVATE:
    1537                 :            :           /* Let the corresponding firstprivate clause create
    1538                 :            :              the variable.  */
    1539                 :      17261 :           if (OMP_CLAUSE_LASTPRIVATE_GIMPLE_SEQ (c))
    1540                 :       5264 :             scan_array_reductions = true;
    1541                 :      17261 :           if (OMP_CLAUSE_LASTPRIVATE_FIRSTPRIVATE (c))
    1542                 :            :             break;
    1543                 :            :           /* FALLTHRU */
    1544                 :            : 
    1545                 :     118405 :         case OMP_CLAUSE_FIRSTPRIVATE:
    1546                 :     118405 :         case OMP_CLAUSE_PRIVATE:
    1547                 :     118405 :         case OMP_CLAUSE_LINEAR:
    1548                 :     118405 :         case OMP_CLAUSE_IS_DEVICE_PTR:
    1549                 :     118405 :           decl = OMP_CLAUSE_DECL (c);
    1550                 :     118405 :           if (is_variable_sized (decl))
    1551                 :            :             {
    1552                 :        414 :               if ((OMP_CLAUSE_CODE (c) == OMP_CLAUSE_FIRSTPRIVATE
    1553                 :        377 :                    || OMP_CLAUSE_CODE (c) == OMP_CLAUSE_IS_DEVICE_PTR)
    1554                 :        418 :                   && is_gimple_omp_offloaded (ctx->stmt))
    1555                 :            :                 {
    1556                 :          6 :                   tree decl2 = DECL_VALUE_EXPR (decl);
    1557                 :          6 :                   gcc_assert (TREE_CODE (decl2) == INDIRECT_REF);
    1558                 :          6 :                   decl2 = TREE_OPERAND (decl2, 0);
    1559                 :          6 :                   gcc_assert (DECL_P (decl2));
    1560                 :          6 :                   install_var_local (decl2, ctx);
    1561                 :          6 :                   fixup_remapped_decl (decl2, ctx, false);
    1562                 :            :                 }
    1563                 :        414 :               install_var_local (decl, ctx);
    1564                 :            :             }
    1565                 :     236810 :           fixup_remapped_decl (decl, ctx,
    1566                 :     118405 :                                OMP_CLAUSE_CODE (c) == OMP_CLAUSE_PRIVATE
    1567                 :     118405 :                                && OMP_CLAUSE_PRIVATE_DEBUG (c));
    1568                 :     118405 :           if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LINEAR
    1569                 :     118405 :               && OMP_CLAUSE_LINEAR_GIMPLE_SEQ (c))
    1570                 :            :             scan_array_reductions = true;
    1571                 :            :           break;
    1572                 :            : 
    1573                 :      11338 :         case OMP_CLAUSE_REDUCTION:
    1574                 :      11338 :         case OMP_CLAUSE_IN_REDUCTION:
    1575                 :      11338 :           decl = OMP_CLAUSE_DECL (c);
    1576                 :      11338 :           if (TREE_CODE (decl) != MEM_REF)
    1577                 :            :             {
    1578                 :       9750 :               if (is_variable_sized (decl))
    1579                 :          0 :                 install_var_local (decl, ctx);
    1580                 :       9750 :               fixup_remapped_decl (decl, ctx, false);
    1581                 :            :             }
    1582                 :      11338 :           if (OMP_CLAUSE_REDUCTION_PLACEHOLDER (c))
    1583                 :       2039 :             scan_array_reductions = true;
    1584                 :            :           break;
    1585                 :            : 
    1586                 :        208 :         case OMP_CLAUSE_TASK_REDUCTION:
    1587                 :        208 :           if (OMP_CLAUSE_REDUCTION_PLACEHOLDER (c))
    1588                 :         48 :             scan_array_reductions = true;
    1589                 :            :           break;
    1590                 :            : 
    1591                 :      23182 :         case OMP_CLAUSE_SHARED:
    1592                 :            :           /* Ignore shared directives in teams construct inside of
    1593                 :            :              target construct.  */
    1594                 :      23182 :           if (gimple_code (ctx->stmt) == GIMPLE_OMP_TEAMS
    1595                 :      23182 :               && !is_host_teams_ctx (ctx))
    1596                 :            :             break;
    1597                 :      12780 :           decl = OMP_CLAUSE_DECL (c);
    1598                 :      12780 :           if (is_global_var (maybe_lookup_decl_in_outer_ctx (decl, ctx)))
    1599                 :            :             break;
    1600                 :       7807 :           if (OMP_CLAUSE_SHARED_FIRSTPRIVATE (c))
    1601                 :            :             {
    1602                 :         70 :               if (is_global_var (maybe_lookup_decl_in_outer_ctx (decl,
    1603                 :            :                                                                  ctx->outer)))
    1604                 :            :                 break;
    1605                 :         63 :               bool by_ref = use_pointer_for_field (decl, ctx);
    1606                 :         63 :               install_var_field (decl, by_ref, 11, ctx);
    1607                 :         63 :               break;
    1608                 :            :             }
    1609                 :       7737 :           fixup_remapped_decl (decl, ctx, false);
    1610                 :       7737 :           break;
    1611                 :            : 
    1612                 :      44927 :         case OMP_CLAUSE_MAP:
    1613                 :      44927 :           if (!is_gimple_omp_offloaded (ctx->stmt))
    1614                 :            :             break;
    1615                 :      30583 :           decl = OMP_CLAUSE_DECL (c);
    1616                 :      30583 :           if (DECL_P (decl)
    1617                 :      20760 :               && ((OMP_CLAUSE_MAP_KIND (c) != GOMP_MAP_FIRSTPRIVATE_POINTER
    1618                 :      18109 :                    && (OMP_CLAUSE_MAP_KIND (c)
    1619                 :            :                        != GOMP_MAP_FIRSTPRIVATE_REFERENCE))
    1620                 :       2706 :                   || TREE_CODE (TREE_TYPE (decl)) == ARRAY_TYPE)
    1621                 :      18722 :               && is_global_var (maybe_lookup_decl_in_outer_ctx (decl, ctx))
    1622                 :      35740 :               && varpool_node::get_create (decl)->offloadable)
    1623                 :            :             break;
    1624                 :      26399 :           if (DECL_P (decl))
    1625                 :            :             {
    1626                 :      16576 :               if ((OMP_CLAUSE_MAP_KIND (c) == GOMP_MAP_POINTER
    1627                 :      14076 :                    || OMP_CLAUSE_MAP_KIND (c) == GOMP_MAP_FIRSTPRIVATE_POINTER)
    1628                 :       5149 :                   && TREE_CODE (TREE_TYPE (decl)) == ARRAY_TYPE
    1629                 :      17684 :                   && !COMPLETE_TYPE_P (TREE_TYPE (decl)))
    1630                 :            :                 {
    1631                 :         15 :                   tree new_decl = lookup_decl (decl, ctx);
    1632                 :         30 :                   TREE_TYPE (new_decl)
    1633                 :         15 :                     = remap_type (TREE_TYPE (decl), &ctx->cb);
    1634                 :            :                 }
    1635                 :      16561 :               else if (DECL_SIZE (decl)
    1636                 :      16561 :                        && TREE_CODE (DECL_SIZE (decl)) != INTEGER_CST)
    1637                 :            :                 {
    1638                 :        523 :                   tree decl2 = DECL_VALUE_EXPR (decl);
    1639                 :        523 :                   gcc_assert (TREE_CODE (decl2) == INDIRECT_REF);
    1640                 :        523 :                   decl2 = TREE_OPERAND (decl2, 0);
    1641                 :        523 :                   gcc_assert (DECL_P (decl2));
    1642                 :        523 :                   fixup_remapped_decl (decl2, ctx, false);
    1643                 :        523 :                   fixup_remapped_decl (decl, ctx, true);
    1644                 :            :                 }
    1645                 :            :               else
    1646                 :      16038 :                 fixup_remapped_decl (decl, ctx, false);
    1647                 :            :             }
    1648                 :            :           break;
    1649                 :            : 
    1650                 :            :         case OMP_CLAUSE_COPYPRIVATE:
    1651                 :            :         case OMP_CLAUSE_COPYIN:
    1652                 :            :         case OMP_CLAUSE_DEFAULT:
    1653                 :            :         case OMP_CLAUSE_IF:
    1654                 :            :         case OMP_CLAUSE_NUM_THREADS:
    1655                 :            :         case OMP_CLAUSE_NUM_TEAMS:
    1656                 :            :         case OMP_CLAUSE_THREAD_LIMIT:
    1657                 :            :         case OMP_CLAUSE_DEVICE:
    1658                 :            :         case OMP_CLAUSE_SCHEDULE:
    1659                 :            :         case OMP_CLAUSE_DIST_SCHEDULE:
    1660                 :            :         case OMP_CLAUSE_NOWAIT:
    1661                 :            :         case OMP_CLAUSE_ORDERED:
    1662                 :            :         case OMP_CLAUSE_COLLAPSE:
    1663                 :            :         case OMP_CLAUSE_UNTIED:
    1664                 :            :         case OMP_CLAUSE_FINAL:
    1665                 :            :         case OMP_CLAUSE_MERGEABLE:
    1666                 :            :         case OMP_CLAUSE_PROC_BIND:
    1667                 :            :         case OMP_CLAUSE_SAFELEN:
    1668                 :            :         case OMP_CLAUSE_SIMDLEN:
    1669                 :            :         case OMP_CLAUSE_ALIGNED:
    1670                 :            :         case OMP_CLAUSE_DEPEND:
    1671                 :            :         case OMP_CLAUSE__LOOPTEMP_:
    1672                 :            :         case OMP_CLAUSE__REDUCTEMP_:
    1673                 :            :         case OMP_CLAUSE_TO:
    1674                 :            :         case OMP_CLAUSE_FROM:
    1675                 :            :         case OMP_CLAUSE_PRIORITY:
    1676                 :            :         case OMP_CLAUSE_GRAINSIZE:
    1677                 :            :         case OMP_CLAUSE_NUM_TASKS:
    1678                 :            :         case OMP_CLAUSE_THREADS:
    1679                 :            :         case OMP_CLAUSE_SIMD:
    1680                 :            :         case OMP_CLAUSE_NOGROUP:
    1681                 :            :         case OMP_CLAUSE_DEFAULTMAP:
    1682                 :            :         case OMP_CLAUSE_ORDER:
    1683                 :            :         case OMP_CLAUSE_BIND:
    1684                 :            :         case OMP_CLAUSE_USE_DEVICE_PTR:
    1685                 :            :         case OMP_CLAUSE_USE_DEVICE_ADDR:
    1686                 :            :         case OMP_CLAUSE_NONTEMPORAL:
    1687                 :            :         case OMP_CLAUSE_ASYNC:
    1688                 :            :         case OMP_CLAUSE_WAIT:
    1689                 :            :         case OMP_CLAUSE_NUM_GANGS:
    1690                 :            :         case OMP_CLAUSE_NUM_WORKERS:
    1691                 :            :         case OMP_CLAUSE_VECTOR_LENGTH:
    1692                 :            :         case OMP_CLAUSE_GANG:
    1693                 :            :         case OMP_CLAUSE_WORKER:
    1694                 :            :         case OMP_CLAUSE_VECTOR:
    1695                 :            :         case OMP_CLAUSE_INDEPENDENT:
    1696                 :            :         case OMP_CLAUSE_AUTO:
    1697                 :            :         case OMP_CLAUSE_SEQ:
    1698                 :            :         case OMP_CLAUSE_TILE:
    1699                 :            :         case OMP_CLAUSE__GRIDDIM_:
    1700                 :            :         case OMP_CLAUSE__SIMT_:
    1701                 :            :         case OMP_CLAUSE_IF_PRESENT:
    1702                 :            :         case OMP_CLAUSE_FINALIZE:
    1703                 :            :         case OMP_CLAUSE__CONDTEMP_:
    1704                 :            :           break;
    1705                 :            : 
    1706                 :          0 :         case OMP_CLAUSE__CACHE_:
    1707                 :          0 :         default:
    1708                 :          0 :           gcc_unreachable ();
    1709                 :            :         }
    1710                 :            :     }
    1711                 :            : 
    1712                 :      91571 :   gcc_checking_assert (!scan_array_reductions
    1713                 :            :                        || !is_gimple_omp_oacc (ctx->stmt));
    1714                 :      91571 :   if (scan_array_reductions)
    1715                 :            :     {
    1716                 :      26569 :       for (c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
    1717                 :      22583 :         if ((OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION
    1718                 :      20354 :              || OMP_CLAUSE_CODE (c) == OMP_CLAUSE_IN_REDUCTION
    1719                 :      19825 :              || OMP_CLAUSE_CODE (c) == OMP_CLAUSE_TASK_REDUCTION)
    1720                 :      23160 :             && OMP_CLAUSE_REDUCTION_PLACEHOLDER (c))
    1721                 :            :           {
    1722                 :       2087 :             scan_omp (&OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c), ctx);
    1723                 :       2087 :             scan_omp (&OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c), ctx);
    1724                 :            :           }
    1725                 :      20496 :         else if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    1726                 :      20496 :                  && OMP_CLAUSE_LASTPRIVATE_GIMPLE_SEQ (c))
    1727                 :       5264 :           scan_omp (&OMP_CLAUSE_LASTPRIVATE_GIMPLE_SEQ (c), ctx);
    1728                 :      15232 :         else if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LINEAR
    1729                 :      15232 :                  && OMP_CLAUSE_LINEAR_GIMPLE_SEQ (c))
    1730                 :        466 :           scan_omp (&OMP_CLAUSE_LINEAR_GIMPLE_SEQ (c), ctx);
    1731                 :            :     }
    1732                 :      91571 : }
    1733                 :            : 
    1734                 :            : /* Create a new name for omp child function.  Returns an identifier. */
    1735                 :            : 
    1736                 :            : static tree
    1737                 :      34206 : create_omp_child_function_name (bool task_copy)
    1738                 :            : {
    1739                 :      34206 :   return clone_function_name_numbered (current_function_decl,
    1740                 :          0 :                                        task_copy ? "_omp_cpyfn" : "_omp_fn");
    1741                 :            : }
    1742                 :            : 
    1743                 :            : /* Return true if CTX may belong to offloaded code: either if current function
    1744                 :            :    is offloaded, or any enclosing context corresponds to a target region.  */
    1745                 :            : 
    1746                 :            : static bool
    1747                 :      42259 : omp_maybe_offloaded_ctx (omp_context *ctx)
    1748                 :            : {
    1749                 :      42259 :   if (cgraph_node::get (current_function_decl)->offloadable)
    1750                 :            :     return true;
    1751                 :      84051 :   for (; ctx; ctx = ctx->outer)
    1752                 :      65448 :     if (is_gimple_omp_offloaded (ctx->stmt))
    1753                 :            :       return true;
    1754                 :            :   return false;
    1755                 :            : }
    1756                 :            : 
    1757                 :            : /* Build a decl for the omp child function.  It'll not contain a body
    1758                 :            :    yet, just the bare decl.  */
    1759                 :            : 
    1760                 :            : static void
    1761                 :      34206 : create_omp_child_function (omp_context *ctx, bool task_copy)
    1762                 :            : {
    1763                 :      34206 :   tree decl, type, name, t;
    1764                 :            : 
    1765                 :      34206 :   name = create_omp_child_function_name (task_copy);
    1766                 :      34206 :   if (task_copy)
    1767                 :        260 :     type = build_function_type_list (void_type_node, ptr_type_node,
    1768                 :            :                                      ptr_type_node, NULL_TREE);
    1769                 :            :   else
    1770                 :      33946 :     type = build_function_type_list (void_type_node, ptr_type_node, NULL_TREE);
    1771                 :            : 
    1772                 :      34206 :   decl = build_decl (gimple_location (ctx->stmt), FUNCTION_DECL, name, type);
    1773                 :            : 
    1774                 :      34206 :   gcc_checking_assert (!is_gimple_omp_oacc (ctx->stmt)
    1775                 :            :                        || !task_copy);
    1776                 :      34206 :   if (!task_copy)
    1777                 :      33946 :     ctx->cb.dst_fn = decl;
    1778                 :            :   else
    1779                 :        260 :     gimple_omp_task_set_copy_fn (ctx->stmt, decl);
    1780                 :            : 
    1781                 :      34206 :   TREE_STATIC (decl) = 1;
    1782                 :      34206 :   TREE_USED (decl) = 1;
    1783                 :      34206 :   DECL_ARTIFICIAL (decl) = 1;
    1784                 :      34206 :   DECL_IGNORED_P (decl) = 0;
    1785                 :      34206 :   TREE_PUBLIC (decl) = 0;
    1786                 :      34206 :   DECL_UNINLINABLE (decl) = 1;
    1787                 :      34206 :   DECL_EXTERNAL (decl) = 0;
    1788                 :      34206 :   DECL_CONTEXT (decl) = NULL_TREE;
    1789                 :      34206 :   DECL_INITIAL (decl) = make_node (BLOCK);
    1790                 :      34206 :   BLOCK_SUPERCONTEXT (DECL_INITIAL (decl)) = decl;
    1791                 :      34206 :   DECL_ATTRIBUTES (decl) = DECL_ATTRIBUTES (current_function_decl);
    1792                 :            :   /* Remove omp declare simd attribute from the new attributes.  */
    1793                 :      34206 :   if (tree a = lookup_attribute ("omp declare simd", DECL_ATTRIBUTES (decl)))
    1794                 :            :     {
    1795                 :         11 :       while (tree a2 = lookup_attribute ("omp declare simd", TREE_CHAIN (a)))
    1796                 :            :         a = a2;
    1797                 :         11 :       a = TREE_CHAIN (a);
    1798                 :         27 :       for (tree *p = &DECL_ATTRIBUTES (decl); *p != a;)
    1799                 :         16 :         if (is_attribute_p ("omp declare simd", get_attribute_name (*p)))
    1800                 :         11 :           *p = TREE_CHAIN (*p);
    1801                 :            :         else
    1802                 :            :           {
    1803                 :          5 :             tree chain = TREE_CHAIN (*p);
    1804                 :          5 :             *p = copy_node (*p);
    1805                 :          5 :             p = &TREE_CHAIN (*p);
    1806                 :          5 :             *p = chain;
    1807                 :            :           }
    1808                 :            :     }
    1809                 :      68412 :   DECL_FUNCTION_SPECIFIC_OPTIMIZATION (decl)
    1810                 :      34206 :     = DECL_FUNCTION_SPECIFIC_OPTIMIZATION (current_function_decl);
    1811                 :      68412 :   DECL_FUNCTION_SPECIFIC_TARGET (decl)
    1812                 :      34206 :     = DECL_FUNCTION_SPECIFIC_TARGET (current_function_decl);
    1813                 :      68412 :   DECL_FUNCTION_VERSIONED (decl)
    1814                 :      34206 :     = DECL_FUNCTION_VERSIONED (current_function_decl);
    1815                 :            : 
    1816                 :      34206 :   if (omp_maybe_offloaded_ctx (ctx))
    1817                 :            :     {
    1818                 :      20631 :       cgraph_node::get_create (decl)->offloadable = 1;
    1819                 :      20631 :       if (ENABLE_OFFLOADING)
    1820                 :            :         g->have_offload = true;
    1821                 :            :     }
    1822                 :            : 
    1823                 :      34206 :   if (cgraph_node::get_create (decl)->offloadable
    1824                 :      20631 :       && !lookup_attribute ("omp declare target",
    1825                 :      34206 :                            DECL_ATTRIBUTES (current_function_decl)))
    1826                 :            :     {
    1827                 :      19257 :       const char *target_attr = (is_gimple_omp_offloaded (ctx->stmt)
    1828                 :      19257 :                                  ? "omp target entrypoint"
    1829                 :      19257 :                                  : "omp declare target");
    1830                 :      19257 :       DECL_ATTRIBUTES (decl)
    1831                 :      19257 :         = tree_cons (get_identifier (target_attr),
    1832                 :      19257 :                      NULL_TREE, DECL_ATTRIBUTES (decl));
    1833                 :            :     }
    1834                 :            : 
    1835                 :      34206 :   t = build_decl (DECL_SOURCE_LOCATION (decl),
    1836                 :            :                   RESULT_DECL, NULL_TREE, void_type_node);
    1837                 :      34206 :   DECL_ARTIFICIAL (t) = 1;
    1838                 :      34206 :   DECL_IGNORED_P (t) = 1;
    1839                 :      34206 :   DECL_CONTEXT (t) = decl;
    1840                 :      34206 :   DECL_RESULT (decl) = t;
    1841                 :            : 
    1842                 :      34206 :   tree data_name = get_identifier (".omp_data_i");
    1843                 :      34206 :   t = build_decl (DECL_SOURCE_LOCATION (decl), PARM_DECL, data_name,
    1844                 :            :                   ptr_type_node);
    1845                 :      34206 :   DECL_ARTIFICIAL (t) = 1;
    1846                 :      34206 :   DECL_NAMELESS (t) = 1;
    1847                 :      34206 :   DECL_ARG_TYPE (t) = ptr_type_node;
    1848                 :      34206 :   DECL_CONTEXT (t) = current_function_decl;
    1849                 :      34206 :   TREE_USED (t) = 1;
    1850                 :      34206 :   TREE_READONLY (t) = 1;
    1851                 :      34206 :   DECL_ARGUMENTS (decl) = t;
    1852                 :      34206 :   if (!task_copy)
    1853                 :      33946 :     ctx->receiver_decl = t;
    1854                 :            :   else
    1855                 :            :     {
    1856                 :        260 :       t = build_decl (DECL_SOURCE_LOCATION (decl),
    1857                 :            :                       PARM_DECL, get_identifier (".omp_data_o"),
    1858                 :            :                       ptr_type_node);
    1859                 :        260 :       DECL_ARTIFICIAL (t) = 1;
    1860                 :        260 :       DECL_NAMELESS (t) = 1;
    1861                 :        260 :       DECL_ARG_TYPE (t) = ptr_type_node;
    1862                 :        260 :       DECL_CONTEXT (t) = current_function_decl;
    1863                 :        260 :       TREE_USED (t) = 1;
    1864                 :        260 :       TREE_ADDRESSABLE (t) = 1;
    1865                 :        260 :       DECL_CHAIN (t) = DECL_ARGUMENTS (decl);
    1866                 :        260 :       DECL_ARGUMENTS (decl) = t;
    1867                 :            :     }
    1868                 :            : 
    1869                 :            :   /* Allocate memory for the function structure.  The call to
    1870                 :            :      allocate_struct_function clobbers CFUN, so we need to restore
    1871                 :            :      it afterward.  */
    1872                 :      34206 :   push_struct_function (decl);
    1873                 :      34206 :   cfun->function_end_locus = gimple_location (ctx->stmt);
    1874                 :            :   init_tree_ssa (cfun);
    1875                 :      34206 :   pop_cfun ();
    1876                 :      34206 : }
    1877                 :            : 
    1878                 :            : /* Callback for walk_gimple_seq.  Check if combined parallel
    1879                 :            :    contains gimple_omp_for_combined_into_p OMP_FOR.  */
    1880                 :            : 
    1881                 :            : tree
    1882                 :      25280 : omp_find_combined_for (gimple_stmt_iterator *gsi_p,
    1883                 :            :                        bool *handled_ops_p,
    1884                 :            :                        struct walk_stmt_info *wi)
    1885                 :            : {
    1886                 :      25280 :   gimple *stmt = gsi_stmt (*gsi_p);
    1887                 :            : 
    1888                 :      25280 :   *handled_ops_p = true;
    1889                 :      25280 :   switch (gimple_code (stmt))
    1890                 :            :     {
    1891                 :      13961 :     WALK_SUBSTMTS;
    1892                 :            : 
    1893                 :      10184 :     case GIMPLE_OMP_FOR:
    1894                 :      10184 :       if (gimple_omp_for_combined_into_p (stmt)
    1895                 :      10184 :           && gimple_omp_for_kind (stmt)
    1896                 :       6215 :              == *(const enum gf_mask *) (wi->info))
    1897                 :            :         {
    1898                 :       6215 :           wi->info = stmt;
    1899                 :       6215 :           return integer_zero_node;
    1900                 :            :         }
    1901                 :            :       break;
    1902                 :            :     default:
    1903                 :            :       break;
    1904                 :            :     }
    1905                 :            :   return NULL;
    1906                 :            : }
    1907                 :            : 
    1908                 :            : /* Add _LOOPTEMP_/_REDUCTEMP_ clauses on OpenMP parallel or task.  */
    1909                 :            : 
    1910                 :            : static void
    1911                 :      10435 : add_taskreg_looptemp_clauses (enum gf_mask msk, gimple *stmt,
    1912                 :            :                               omp_context *outer_ctx)
    1913                 :            : {
    1914                 :      10435 :   struct walk_stmt_info wi;
    1915                 :            : 
    1916                 :      10435 :   memset (&wi, 0, sizeof (wi));
    1917                 :      10435 :   wi.val_only = true;
    1918                 :      10435 :   wi.info = (void *) &msk;
    1919                 :      10435 :   walk_gimple_seq (gimple_omp_body (stmt), omp_find_combined_for, NULL, &wi);
    1920                 :      10435 :   if (wi.info != (void *) &msk)
    1921                 :            :     {
    1922                 :       6215 :       gomp_for *for_stmt = as_a <gomp_for *> ((gimple *) wi.info);
    1923                 :       6215 :       struct omp_for_data fd;
    1924                 :       6215 :       omp_extract_for_data (for_stmt, &fd, NULL);
    1925                 :            :       /* We need two temporaries with fd.loop.v type (istart/iend)
    1926                 :            :          and then (fd.collapse - 1) temporaries with the same
    1927                 :            :          type for count2 ... countN-1 vars if not constant.  */
    1928                 :       6215 :       size_t count = 2, i;
    1929                 :       6215 :       tree type = fd.iter_type;
    1930                 :       6215 :       if (fd.collapse > 1
    1931                 :       2441 :           && TREE_CODE (fd.loop.n2) != INTEGER_CST)
    1932                 :            :         {
    1933                 :       1355 :           count += fd.collapse - 1;
    1934                 :            :           /* If there are lastprivate clauses on the inner
    1935                 :            :              GIMPLE_OMP_FOR, add one more temporaries for the total number
    1936                 :            :              of iterations (product of count1 ... countN-1).  */
    1937                 :       1355 :           if (omp_find_clause (gimple_omp_for_clauses (for_stmt),
    1938                 :            :                                OMP_CLAUSE_LASTPRIVATE))
    1939                 :         38 :             count++;
    1940                 :       1317 :           else if (msk == GF_OMP_FOR_KIND_FOR
    1941                 :       2611 :                    && omp_find_clause (gimple_omp_parallel_clauses (stmt),
    1942                 :            :                                        OMP_CLAUSE_LASTPRIVATE))
    1943                 :        648 :             count++;
    1944                 :            :         }
    1945                 :      22007 :       for (i = 0; i < count; i++)
    1946                 :            :         {
    1947                 :      15792 :           tree temp = create_tmp_var (type);
    1948                 :      15792 :           tree c = build_omp_clause (UNKNOWN_LOCATION, OMP_CLAUSE__LOOPTEMP_);
    1949                 :      15792 :           insert_decl_map (&outer_ctx->cb, temp, temp);
    1950                 :      15792 :           OMP_CLAUSE_DECL (c) = temp;
    1951                 :      15792 :           OMP_CLAUSE_CHAIN (c) = gimple_omp_taskreg_clauses (stmt);
    1952                 :      15792 :           gimple_omp_taskreg_set_clauses (stmt, c);
    1953                 :            :         }
    1954                 :            :     }
    1955                 :      10435 :   if (msk == GF_OMP_FOR_KIND_TASKLOOP
    1956                 :      11232 :       && omp_find_clause (gimple_omp_task_clauses (stmt),
    1957                 :            :                           OMP_CLAUSE_REDUCTION))
    1958                 :            :     {
    1959                 :        141 :       tree type = build_pointer_type (pointer_sized_int_node);
    1960                 :        141 :       tree temp = create_tmp_var (type);
    1961                 :        141 :       tree c = build_omp_clause (UNKNOWN_LOCATION, OMP_CLAUSE__REDUCTEMP_);
    1962                 :        141 :       insert_decl_map (&outer_ctx->cb, temp, temp);
    1963                 :        141 :       OMP_CLAUSE_DECL (c) = temp;
    1964                 :        141 :       OMP_CLAUSE_CHAIN (c) = gimple_omp_task_clauses (stmt);
    1965                 :        141 :       gimple_omp_task_set_clauses (stmt, c);
    1966                 :            :     }
    1967                 :      10435 : }
    1968                 :            : 
    1969                 :            : /* Scan an OpenMP parallel directive.  */
    1970                 :            : 
    1971                 :            : static void
    1972                 :      14048 : scan_omp_parallel (gimple_stmt_iterator *gsi, omp_context *outer_ctx)
    1973                 :            : {
    1974                 :      14048 :   omp_context *ctx;
    1975                 :      14048 :   tree name;
    1976                 :      14048 :   gomp_parallel *stmt = as_a <gomp_parallel *> (gsi_stmt (*gsi));
    1977                 :            : 
    1978                 :            :   /* Ignore parallel directives with empty bodies, unless there
    1979                 :            :      are copyin clauses.  */
    1980                 :      14048 :   if (optimize > 0
    1981                 :      10355 :       && empty_body_p (gimple_omp_body (stmt))
    1982                 :      14066 :       && omp_find_clause (gimple_omp_parallel_clauses (stmt),
    1983                 :            :                           OMP_CLAUSE_COPYIN) == NULL)
    1984                 :            :     {
    1985                 :         16 :       gsi_replace (gsi, gimple_build_nop (), false);
    1986                 :         16 :       return;
    1987                 :            :     }
    1988                 :            : 
    1989                 :      14032 :   if (gimple_omp_parallel_combined_p (stmt))
    1990                 :       9638 :     add_taskreg_looptemp_clauses (GF_OMP_FOR_KIND_FOR, stmt, outer_ctx);
    1991                 :      16176 :   for (tree c = omp_find_clause (gimple_omp_parallel_clauses (stmt),
    1992                 :            :                                  OMP_CLAUSE_REDUCTION);
    1993                 :      18320 :        c; c = omp_find_clause (OMP_CLAUSE_CHAIN (c), OMP_CLAUSE_REDUCTION))
    1994                 :       2913 :     if (OMP_CLAUSE_REDUCTION_TASK (c))
    1995                 :            :       {
    1996                 :         45 :         tree type = build_pointer_type (pointer_sized_int_node);
    1997                 :         45 :         tree temp = create_tmp_var (type);
    1998                 :         45 :         tree c = build_omp_clause (UNKNOWN_LOCATION, OMP_CLAUSE__REDUCTEMP_);
    1999                 :         45 :         if (outer_ctx)
    2000                 :         16 :           insert_decl_map (&outer_ctx->cb, temp, temp);
    2001                 :         45 :         OMP_CLAUSE_DECL (c) = temp;
    2002                 :         45 :         OMP_CLAUSE_CHAIN (c) = gimple_omp_parallel_clauses (stmt);
    2003                 :         45 :         gimple_omp_parallel_set_clauses (stmt, c);
    2004                 :            :         break;
    2005                 :            :       }
    2006                 :       2868 :     else if (OMP_CLAUSE_CHAIN (c) == NULL_TREE)
    2007                 :            :       break;
    2008                 :            : 
    2009                 :      14032 :   ctx = new_omp_context (stmt, outer_ctx);
    2010                 :      14032 :   taskreg_contexts.safe_push (ctx);
    2011                 :      14032 :   if (taskreg_nesting_level > 1)
    2012                 :       4730 :     ctx->is_nested = true;
    2013                 :      14032 :   ctx->field_map = splay_tree_new (splay_tree_compare_pointers, 0, 0);
    2014                 :      14032 :   ctx->record_type = lang_hooks.types.make_type (RECORD_TYPE);
    2015                 :      14032 :   name = create_tmp_var_name (".omp_data_s");
    2016                 :      14032 :   name = build_decl (gimple_location (stmt),
    2017                 :            :                      TYPE_DECL, name, ctx->record_type);
    2018                 :      14032 :   DECL_ARTIFICIAL (name) = 1;
    2019                 :      14032 :   DECL_NAMELESS (name) = 1;
    2020                 :      14032 :   TYPE_NAME (ctx->record_type) = name;
    2021                 :      14032 :   TYPE_ARTIFICIAL (ctx->record_type) = 1;
    2022                 :      14032 :   if (!gimple_omp_parallel_grid_phony (stmt))
    2023                 :            :     {
    2024                 :      14032 :       create_omp_child_function (ctx, false);
    2025                 :      14032 :       gimple_omp_parallel_set_child_fn (stmt, ctx->cb.dst_fn);
    2026                 :            :     }
    2027                 :            : 
    2028                 :      14032 :   scan_sharing_clauses (gimple_omp_parallel_clauses (stmt), ctx);
    2029                 :      14032 :   scan_omp (gimple_omp_body_ptr (stmt), ctx);
    2030                 :            : 
    2031                 :      14032 :   if (TYPE_FIELDS (ctx->record_type) == NULL)
    2032                 :       2898 :     ctx->record_type = ctx->receiver_decl = NULL;
    2033                 :            : }
    2034                 :            : 
    2035                 :            : /* Scan an OpenMP task directive.  */
    2036                 :            : 
    2037                 :            : static void
    2038                 :       3319 : scan_omp_task (gimple_stmt_iterator *gsi, omp_context *outer_ctx)
    2039                 :            : {
    2040                 :       3319 :   omp_context *ctx;
    2041                 :       3319 :   tree name, t;
    2042                 :       3319 :   gomp_task *stmt = as_a <gomp_task *> (gsi_stmt (*gsi));
    2043                 :            : 
    2044                 :            :   /* Ignore task directives with empty bodies, unless they have depend
    2045                 :            :      clause.  */
    2046                 :       3319 :   if (optimize > 0
    2047                 :       1420 :       && gimple_omp_body (stmt)
    2048                 :       1418 :       && empty_body_p (gimple_omp_body (stmt))
    2049                 :       3333 :       && !omp_find_clause (gimple_omp_task_clauses (stmt), OMP_CLAUSE_DEPEND))
    2050                 :            :     {
    2051                 :          1 :       gsi_replace (gsi, gimple_build_nop (), false);
    2052                 :         14 :       return;
    2053                 :            :     }
    2054                 :            : 
    2055                 :       3318 :   if (gimple_omp_task_taskloop_p (stmt))
    2056                 :        797 :     add_taskreg_looptemp_clauses (GF_OMP_FOR_KIND_TASKLOOP, stmt, outer_ctx);
    2057                 :            : 
    2058                 :       3318 :   ctx = new_omp_context (stmt, outer_ctx);
    2059                 :            : 
    2060                 :       3318 :   if (gimple_omp_task_taskwait_p (stmt))
    2061                 :            :     {
    2062                 :         12 :       scan_sharing_clauses (gimple_omp_task_clauses (stmt), ctx);
    2063                 :         12 :       return;
    2064                 :            :     }
    2065                 :            : 
    2066                 :       3306 :   taskreg_contexts.safe_push (ctx);
    2067                 :       3306 :   if (taskreg_nesting_level > 1)
    2068                 :       1237 :     ctx->is_nested = true;
    2069                 :       3306 :   ctx->field_map = splay_tree_new (splay_tree_compare_pointers, 0, 0);
    2070                 :       3306 :   ctx->record_type = lang_hooks.types.make_type (RECORD_TYPE);
    2071                 :       3306 :   name = create_tmp_var_name (".omp_data_s");
    2072                 :       3306 :   name = build_decl (gimple_location (stmt),
    2073                 :            :                      TYPE_DECL, name, ctx->record_type);
    2074                 :       3306 :   DECL_ARTIFICIAL (name) = 1;
    2075                 :       3306 :   DECL_NAMELESS (name) = 1;
    2076                 :       3306 :   TYPE_NAME (ctx->record_type) = name;
    2077                 :       3306 :   TYPE_ARTIFICIAL (ctx->record_type) = 1;
    2078                 :       3306 :   create_omp_child_function (ctx, false);
    2079                 :       3306 :   gimple_omp_task_set_child_fn (stmt, ctx->cb.dst_fn);
    2080                 :            : 
    2081                 :       3306 :   scan_sharing_clauses (gimple_omp_task_clauses (stmt), ctx);
    2082                 :            : 
    2083                 :       3306 :   if (ctx->srecord_type)
    2084                 :            :     {
    2085                 :        260 :       name = create_tmp_var_name (".omp_data_a");
    2086                 :        260 :       name = build_decl (gimple_location (stmt),
    2087                 :            :                          TYPE_DECL, name, ctx->srecord_type);
    2088                 :        260 :       DECL_ARTIFICIAL (name) = 1;
    2089                 :        260 :       DECL_NAMELESS (name) = 1;
    2090                 :        260 :       TYPE_NAME (ctx->srecord_type) = name;
    2091                 :        260 :       TYPE_ARTIFICIAL (ctx->srecord_type) = 1;
    2092                 :        260 :       create_omp_child_function (ctx, true);
    2093                 :            :     }
    2094                 :            : 
    2095                 :       3306 :   scan_omp (gimple_omp_body_ptr (stmt), ctx);
    2096                 :            : 
    2097                 :       3306 :   if (TYPE_FIELDS (ctx->record_type) == NULL)
    2098                 :            :     {
    2099                 :       1311 :       ctx->record_type = ctx->receiver_decl = NULL;
    2100                 :       1311 :       t = build_int_cst (long_integer_type_node, 0);
    2101                 :       1311 :       gimple_omp_task_set_arg_size (stmt, t);
    2102                 :       1311 :       t = build_int_cst (long_integer_type_node, 1);
    2103                 :       4617 :       gimple_omp_task_set_arg_align (stmt, t);
    2104                 :            :     }
    2105                 :            : }
    2106                 :            : 
    2107                 :            : /* Helper function for finish_taskreg_scan, called through walk_tree.
    2108                 :            :    If maybe_lookup_decl_in_outer_context returns non-NULL for some
    2109                 :            :    tree, replace it in the expression.  */
    2110                 :            : 
    2111                 :            : static tree
    2112                 :        228 : finish_taskreg_remap (tree *tp, int *walk_subtrees, void *data)
    2113                 :            : {
    2114                 :        228 :   if (VAR_P (*tp))
    2115                 :            :     {
    2116                 :         88 :       omp_context *ctx = (omp_context *) data;
    2117                 :         88 :       tree t = maybe_lookup_decl_in_outer_ctx (*tp, ctx);
    2118                 :         88 :       if (t != *tp)
    2119                 :            :         {
    2120                 :          2 :           if (DECL_HAS_VALUE_EXPR_P (t))
    2121                 :          0 :             t = unshare_expr (DECL_VALUE_EXPR (t));
    2122                 :          2 :           *tp = t;
    2123                 :            :         }
    2124                 :         88 :       *walk_subtrees = 0;
    2125                 :            :     }
    2126                 :        140 :   else if (IS_TYPE_OR_DECL_P (*tp))
    2127                 :          0 :     *walk_subtrees = 0;
    2128                 :        228 :   return NULL_TREE;
    2129                 :            : }
    2130                 :            : 
    2131                 :            : /* If any decls have been made addressable during scan_omp,
    2132                 :            :    adjust their fields if needed, and layout record types
    2133                 :            :    of parallel/task constructs.  */
    2134                 :            : 
    2135                 :            : static void
    2136                 :      18378 : finish_taskreg_scan (omp_context *ctx)
    2137                 :            : {
    2138                 :      18378 :   if (ctx->record_type == NULL_TREE)
    2139                 :            :     return;
    2140                 :            : 
    2141                 :            :   /* If any task_shared_vars were needed, verify all
    2142                 :            :      OMP_CLAUSE_SHARED clauses on GIMPLE_OMP_{PARALLEL,TASK,TEAMS}
    2143                 :            :      statements if use_pointer_for_field hasn't changed
    2144                 :            :      because of that.  If it did, update field types now.  */
    2145                 :      13777 :   if (task_shared_vars)
    2146                 :            :     {
    2147                 :       1066 :       tree c;
    2148                 :            : 
    2149                 :       5379 :       for (c = gimple_omp_taskreg_clauses (ctx->stmt);
    2150                 :       5379 :            c; c = OMP_CLAUSE_CHAIN (c))
    2151                 :       4313 :         if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_SHARED
    2152                 :       4313 :             && !OMP_CLAUSE_SHARED_FIRSTPRIVATE (c))
    2153                 :            :           {
    2154                 :       1209 :             tree decl = OMP_CLAUSE_DECL (c);
    2155                 :            : 
    2156                 :            :             /* Global variables don't need to be copied,
    2157                 :            :                the receiver side will use them directly.  */
    2158                 :       1209 :             if (is_global_var (maybe_lookup_decl_in_outer_ctx (decl, ctx)))
    2159                 :         82 :               continue;
    2160                 :       1127 :             if (!bitmap_bit_p (task_shared_vars, DECL_UID (decl))
    2161                 :       1127 :                 || !use_pointer_for_field (decl, ctx))
    2162                 :        814 :               continue;
    2163                 :        313 :             tree field = lookup_field (decl, ctx);
    2164                 :        313 :             if (TREE_CODE (TREE_TYPE (field)) == POINTER_TYPE
    2165                 :        313 :                 && TREE_TYPE (TREE_TYPE (field)) == TREE_TYPE (decl))
    2166                 :        285 :               continue;
    2167                 :         28 :             TREE_TYPE (field) = build_pointer_type (TREE_TYPE (decl));
    2168                 :         28 :             TREE_THIS_VOLATILE (field) = 0;
    2169                 :         28 :             DECL_USER_ALIGN (field) = 0;
    2170                 :         28 :             SET_DECL_ALIGN (field, TYPE_ALIGN (TREE_TYPE (field)));
    2171                 :         56 :             if (TYPE_ALIGN (ctx->record_type) < DECL_ALIGN (field))
    2172                 :         11 :               SET_TYPE_ALIGN (ctx->record_type, DECL_ALIGN (field));
    2173                 :         28 :             if (ctx->srecord_type)
    2174                 :            :               {
    2175                 :          0 :                 tree sfield = lookup_sfield (decl, ctx);
    2176                 :          0 :                 TREE_TYPE (sfield) = TREE_TYPE (field);
    2177                 :          0 :                 TREE_THIS_VOLATILE (sfield) = 0;
    2178                 :          0 :                 DECL_USER_ALIGN (sfield) = 0;
    2179                 :          0 :                 SET_DECL_ALIGN (sfield, DECL_ALIGN (field));
    2180                 :          0 :                 if (TYPE_ALIGN (ctx->srecord_type) < DECL_ALIGN (sfield))
    2181                 :          0 :                   SET_TYPE_ALIGN (ctx->srecord_type, DECL_ALIGN (sfield));
    2182                 :            :               }
    2183                 :            :           }
    2184                 :            :     }
    2185                 :            : 
    2186                 :      13777 :   if (gimple_code (ctx->stmt) == GIMPLE_OMP_PARALLEL)
    2187                 :            :     {
    2188                 :      11134 :       tree clauses = gimple_omp_parallel_clauses (ctx->stmt);
    2189                 :      11134 :       tree c = omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_);
    2190                 :      11134 :       if (c)
    2191                 :            :         {
    2192                 :            :           /* Move the _reductemp_ clause first.  GOMP_parallel_reductions
    2193                 :            :              expects to find it at the start of data.  */
    2194                 :         45 :           tree f = lookup_field (OMP_CLAUSE_DECL (c), ctx);
    2195                 :         45 :           tree *p = &TYPE_FIELDS (ctx->record_type);
    2196                 :        131 :           while (*p)
    2197                 :        131 :             if (*p == f)
    2198                 :            :               {
    2199                 :         45 :                 *p = DECL_CHAIN (*p);
    2200                 :         45 :                 break;
    2201                 :            :               }
    2202                 :            :             else
    2203                 :         86 :               p = &DECL_CHAIN (*p);
    2204                 :         45 :           DECL_CHAIN (f) = TYPE_FIELDS (ctx->record_type);
    2205                 :         45 :           TYPE_FIELDS (ctx->record_type) = f;
    2206                 :            :         }
    2207                 :      11134 :       layout_type (ctx->record_type);
    2208                 :      11134 :       fixup_child_record_type (ctx);
    2209                 :            :     }
    2210                 :       2643 :   else if (gimple_code (ctx->stmt) == GIMPLE_OMP_TEAMS)
    2211                 :            :     {
    2212                 :        648 :       layout_type (ctx->record_type);
    2213                 :        648 :       fixup_child_record_type (ctx);
    2214                 :            :     }
    2215                 :            :   else
    2216                 :            :     {
    2217                 :       1995 :       location_t loc = gimple_location (ctx->stmt);
    2218                 :       1995 :       tree *p, vla_fields = NULL_TREE, *q = &vla_fields;
    2219                 :            :       /* Move VLA fields to the end.  */
    2220                 :       1995 :       p = &TYPE_FIELDS (ctx->record_type);
    2221                 :       9047 :       while (*p)
    2222                 :       7052 :         if (!TYPE_SIZE_UNIT (TREE_TYPE (*p))
    2223                 :       7052 :             || ! TREE_CONSTANT (TYPE_SIZE_UNIT (TREE_TYPE (*p))))
    2224                 :            :           {
    2225                 :         88 :             *q = *p;
    2226                 :         88 :             *p = TREE_CHAIN (*p);
    2227                 :         88 :             TREE_CHAIN (*q) = NULL_TREE;
    2228                 :         88 :             q = &TREE_CHAIN (*q);
    2229                 :            :           }
    2230                 :            :         else
    2231                 :       6964 :           p = &DECL_CHAIN (*p);
    2232                 :       1995 :       *p = vla_fields;
    2233                 :       1995 :       if (gimple_omp_task_taskloop_p (ctx->stmt))
    2234                 :            :         {
    2235                 :            :           /* Move fields corresponding to first and second _looptemp_
    2236                 :            :              clause first.  There are filled by GOMP_taskloop
    2237                 :            :              and thus need to be in specific positions.  */
    2238                 :        797 :           tree clauses = gimple_omp_task_clauses (ctx->stmt);
    2239                 :        797 :           tree c1 = omp_find_clause (clauses, OMP_CLAUSE__LOOPTEMP_);
    2240                 :        797 :           tree c2 = omp_find_clause (OMP_CLAUSE_CHAIN (c1),
    2241                 :            :                                      OMP_CLAUSE__LOOPTEMP_);
    2242                 :        797 :           tree c3 = omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_);
    2243                 :        797 :           tree f1 = lookup_field (OMP_CLAUSE_DECL (c1), ctx);
    2244                 :        797 :           tree f2 = lookup_field (OMP_CLAUSE_DECL (c2), ctx);
    2245                 :        938 :           tree f3 = c3 ? lookup_field (OMP_CLAUSE_DECL (c3), ctx) : NULL_TREE;
    2246                 :        797 :           p = &TYPE_FIELDS (ctx->record_type);
    2247                 :       4367 :           while (*p)
    2248                 :       3570 :             if (*p == f1 || *p == f2 || *p == f3)
    2249                 :       1735 :               *p = DECL_CHAIN (*p);
    2250                 :            :             else
    2251                 :       1835 :               p = &DECL_CHAIN (*p);
    2252                 :        797 :           DECL_CHAIN (f1) = f2;
    2253                 :        797 :           if (c3)
    2254                 :            :             {
    2255                 :        141 :               DECL_CHAIN (f2) = f3;
    2256                 :        141 :               DECL_CHAIN (f3) = TYPE_FIELDS (ctx->record_type);
    2257                 :            :             }
    2258                 :            :           else
    2259                 :        656 :             DECL_CHAIN (f2) = TYPE_FIELDS (ctx->record_type);
    2260                 :        797 :           TYPE_FIELDS (ctx->record_type) = f1;
    2261                 :        797 :           if (ctx->srecord_type)
    2262                 :            :             {
    2263                 :        154 :               f1 = lookup_sfield (OMP_CLAUSE_DECL (c1), ctx);
    2264                 :        154 :               f2 = lookup_sfield (OMP_CLAUSE_DECL (c2), ctx);
    2265                 :        154 :               if (c3)
    2266                 :         62 :                 f3 = lookup_sfield (OMP_CLAUSE_DECL (c3), ctx);
    2267                 :        154 :               p = &TYPE_FIELDS (ctx->srecord_type);
    2268                 :        967 :               while (*p)
    2269                 :        813 :                 if (*p == f1 || *p == f2 || *p == f3)
    2270                 :        339 :                   *p = DECL_CHAIN (*p);
    2271                 :            :                 else
    2272                 :        474 :                   p = &DECL_CHAIN (*p);
    2273                 :        154 :               DECL_CHAIN (f1) = f2;
    2274                 :        154 :               DECL_CHAIN (f2) = TYPE_FIELDS (ctx->srecord_type);
    2275                 :        154 :               if (c3)
    2276                 :            :                 {
    2277                 :         31 :                   DECL_CHAIN (f2) = f3;
    2278                 :         31 :                   DECL_CHAIN (f3) = TYPE_FIELDS (ctx->srecord_type);
    2279                 :            :                 }
    2280                 :            :               else
    2281                 :        123 :                 DECL_CHAIN (f2) = TYPE_FIELDS (ctx->srecord_type);
    2282                 :        154 :               TYPE_FIELDS (ctx->srecord_type) = f1;
    2283                 :            :             }
    2284                 :            :         }
    2285                 :       1995 :       layout_type (ctx->record_type);
    2286                 :       1995 :       fixup_child_record_type (ctx);
    2287                 :       1995 :       if (ctx->srecord_type)
    2288                 :        260 :         layout_type (ctx->srecord_type);
    2289                 :       3990 :       tree t = fold_convert_loc (loc, long_integer_type_node,
    2290                 :       1995 :                                  TYPE_SIZE_UNIT (ctx->record_type));
    2291                 :       1995 :       if (TREE_CODE (t) != INTEGER_CST)
    2292                 :            :         {
    2293                 :         13 :           t = unshare_expr (t);
    2294                 :         13 :           walk_tree (&t, finish_taskreg_remap, ctx, NULL);
    2295                 :            :         }
    2296                 :       1995 :       gimple_omp_task_set_arg_size (ctx->stmt, t);
    2297                 :       1995 :       t = build_int_cst (long_integer_type_node,
    2298                 :       1995 :                          TYPE_ALIGN_UNIT (ctx->record_type));
    2299                 :       1995 :       gimple_omp_task_set_arg_align (ctx->stmt, t);
    2300                 :            :     }
    2301                 :            : }
    2302                 :            : 
    2303                 :            : /* Find the enclosing offload context.  */
    2304                 :            : 
    2305                 :            : static omp_context *
    2306                 :          0 : enclosing_target_ctx (omp_context *ctx)
    2307                 :            : {
    2308                 :      33610 :   for (; ctx; ctx = ctx->outer)
    2309                 :      31979 :     if (gimple_code (ctx->stmt) == GIMPLE_OMP_TARGET)
    2310                 :            :       break;
    2311                 :            : 
    2312                 :      17948 :   return ctx;
    2313                 :            : }
    2314                 :            : 
    2315                 :            : /* Return true if ctx is part of an oacc kernels region.  */
    2316                 :            : 
    2317                 :            : static bool
    2318                 :       8807 : ctx_in_oacc_kernels_region (omp_context *ctx)
    2319                 :            : {
    2320                 :      29456 :   for (;ctx != NULL; ctx = ctx->outer)
    2321                 :            :     {
    2322                 :      21614 :       gimple *stmt = ctx->stmt;
    2323                 :      21614 :       if (gimple_code (stmt) == GIMPLE_OMP_TARGET
    2324                 :      21614 :           && gimple_omp_target_kind (stmt) == GF_OMP_TARGET_KIND_OACC_KERNELS)
    2325                 :            :         return true;
    2326                 :            :     }
    2327                 :            : 
    2328                 :            :   return false;
    2329                 :            : }
    2330                 :            : 
    2331                 :            : /* Check the parallelism clauses inside a kernels regions.
    2332                 :            :    Until kernels handling moves to use the same loop indirection
    2333                 :            :    scheme as parallel, we need to do this checking early.  */
    2334                 :            : 
    2335                 :            : static unsigned
    2336                 :       4335 : check_oacc_kernel_gwv (gomp_for *stmt, omp_context *ctx)
    2337                 :            : {
    2338                 :       4335 :   bool checking = true;
    2339                 :       4335 :   unsigned outer_mask = 0;
    2340                 :       4335 :   unsigned this_mask = 0;
    2341                 :       4335 :   bool has_seq = false, has_auto = false;
    2342                 :            : 
    2343                 :       4335 :   if (ctx->outer)
    2344                 :       2490 :     outer_mask = check_oacc_kernel_gwv (NULL,  ctx->outer);
    2345                 :       4335 :   if (!stmt)
    2346                 :            :     {
    2347                 :       2490 :       checking = false;
    2348                 :       2490 :       if (gimple_code (ctx->stmt) != GIMPLE_OMP_FOR)
    2349                 :            :         return outer_mask;
    2350                 :       2427 :       stmt = as_a <gomp_for *> (ctx->stmt);
    2351                 :            :     }
    2352                 :            : 
    2353                 :       7393 :   for (tree c = gimple_omp_for_clauses (stmt); c; c = OMP_CLAUSE_CHAIN (c))
    2354                 :            :     {
    2355                 :       4966 :       switch (OMP_CLAUSE_CODE (c))
    2356                 :            :         {
    2357                 :        700 :         case OMP_CLAUSE_GANG:
    2358                 :        700 :           this_mask |= GOMP_DIM_MASK (GOMP_DIM_GANG);
    2359                 :        700 :           break;
    2360                 :        497 :         case OMP_CLAUSE_WORKER:
    2361                 :        497 :           this_mask |= GOMP_DIM_MASK (GOMP_DIM_WORKER);
    2362                 :        497 :           break;
    2363                 :        399 :         case OMP_CLAUSE_VECTOR:
    2364                 :        399 :           this_mask |= GOMP_DIM_MASK (GOMP_DIM_VECTOR);
    2365                 :        399 :           break;
    2366                 :         72 :         case OMP_CLAUSE_SEQ:
    2367                 :         72 :           has_seq = true;
    2368                 :         72 :           break;
    2369                 :        108 :         case OMP_CLAUSE_AUTO:
    2370                 :        108 :           has_auto = true;
    2371                 :        108 :           break;
    2372                 :            :         default:
    2373                 :            :           break;
    2374                 :            :         }
    2375                 :            :     }
    2376                 :            : 
    2377                 :       2427 :   if (checking)
    2378                 :            :     {
    2379                 :       1845 :       if (has_seq && (this_mask || has_auto))
    2380                 :         43 :         error_at (gimple_location (stmt), "%<seq%> overrides other"
    2381                 :            :                   " OpenACC loop specifiers");
    2382                 :       1802 :       else if (has_auto && this_mask)
    2383                 :         36 :         error_at (gimple_location (stmt), "%<auto%> conflicts with other"
    2384                 :            :                   " OpenACC loop specifiers");
    2385                 :            : 
    2386                 :       1845 :       if (this_mask & outer_mask)
    2387                 :         18 :         error_at (gimple_location (stmt), "inner loop uses same"
    2388                 :            :                   " OpenACC parallelism as containing loop");
    2389                 :            :     }
    2390                 :            : 
    2391                 :       2427 :   return outer_mask | this_mask;
    2392                 :            : }
    2393                 :            : 
    2394                 :            : /* Scan a GIMPLE_OMP_FOR.  */
    2395                 :            : 
    2396                 :            : static omp_context *
    2397                 :      40708 : scan_omp_for (gomp_for *stmt, omp_context *outer_ctx)
    2398                 :            : {
    2399                 :      40708 :   omp_context *ctx;
    2400                 :      40708 :   size_t i;
    2401                 :      40708 :   tree clauses = gimple_omp_for_clauses (stmt);
    2402                 :            : 
    2403                 :      40708 :   ctx = new_omp_context (stmt, outer_ctx);
    2404                 :            : 
    2405                 :      40708 :   if (is_gimple_omp_oacc (stmt))
    2406                 :            :     {
    2407                 :      10106 :       omp_context *tgt = enclosing_target_ctx (outer_ctx);
    2408                 :            : 
    2409                 :      10106 :       if (!tgt || is_oacc_parallel_or_serial (tgt))
    2410                 :      26716 :         for (tree c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
    2411                 :            :           {
    2412                 :      18455 :             char const *check = NULL;
    2413                 :            : 
    2414                 :      18455 :             switch (OMP_CLAUSE_CODE (c))
    2415                 :            :               {
    2416                 :            :               case OMP_CLAUSE_GANG:
    2417                 :            :                 check = "gang";
    2418                 :            :                 break;
    2419                 :            : 
    2420                 :       1275 :               case OMP_CLAUSE_WORKER:
    2421                 :       1275 :                 check = "worker";
    2422                 :       1275 :                 break;
    2423                 :            : 
    2424                 :       1504 :               case OMP_CLAUSE_VECTOR:
    2425                 :       1504 :                 check = "vector";
    2426                 :       1504 :                 break;
    2427                 :            : 
    2428                 :            :               default:
    2429                 :            :                 break;
    2430                 :            :               }
    2431                 :            : 
    2432                 :       4452 :             if (check && OMP_CLAUSE_OPERAND (c, 0))
    2433                 :         60 :               error_at (gimple_location (stmt),
    2434                 :            :                         "argument not permitted on %qs clause in"
    2435                 :            :                         " OpenACC %<parallel%> or %<serial%>", check);
    2436                 :            :           }
    2437                 :            : 
    2438                 :      10106 :       if (tgt && is_oacc_kernels (tgt))
    2439                 :            :         {
    2440                 :            :           /* Strip out reductions, as they are not handled yet.  */
    2441                 :            :           tree *prev_ptr = &clauses;
    2442                 :            : 
    2443                 :       5737 :           while (tree probe = *prev_ptr)
    2444                 :            :             {
    2445                 :       3892 :               tree *next_ptr = &OMP_CLAUSE_CHAIN (probe);
    2446                 :            :               
    2447                 :       3892 :               if (OMP_CLAUSE_CODE (probe) == OMP_CLAUSE_REDUCTION)
    2448                 :        169 :                 *prev_ptr = *next_ptr;
    2449                 :            :               else
    2450                 :            :                 prev_ptr = next_ptr;
    2451                 :            :             }
    2452                 :            : 
    2453                 :       1845 :           gimple_omp_for_set_clauses (stmt, clauses);
    2454                 :       1845 :           check_oacc_kernel_gwv (stmt, ctx);
    2455                 :            :         }
    2456                 :            : 
    2457                 :            :       /* Collect all variables named in reductions on this loop.  Ensure
    2458                 :            :          that, if this loop has a reduction on some variable v, and there is
    2459                 :            :          a reduction on v somewhere in an outer context, then there is a
    2460                 :            :          reduction on v on all intervening loops as well.  */
    2461                 :      10106 :       tree local_reduction_clauses = NULL;
    2462                 :      32284 :       for (tree c = gimple_omp_for_clauses (stmt); c; c = OMP_CLAUSE_CHAIN (c))
    2463                 :            :         {
    2464                 :      22178 :           if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION)
    2465                 :       3406 :             local_reduction_clauses
    2466                 :       3406 :               = tree_cons (NULL, c, local_reduction_clauses);
    2467                 :            :         }
    2468                 :      10106 :       if (ctx->outer_reduction_clauses == NULL && ctx->outer != NULL)
    2469                 :       9605 :         ctx->outer_reduction_clauses
    2470                 :       9605 :           = chainon (unshare_expr (ctx->outer->local_reduction_clauses),
    2471                 :            :                      ctx->outer->outer_reduction_clauses);
    2472                 :      10106 :       tree outer_reduction_clauses = ctx->outer_reduction_clauses;
    2473                 :      10106 :       tree local_iter = local_reduction_clauses;
    2474                 :      13512 :       for (; local_iter; local_iter = TREE_CHAIN (local_iter))
    2475                 :            :         {
    2476                 :       3406 :           tree local_clause = TREE_VALUE (local_iter);
    2477                 :       3406 :           tree local_var = OMP_CLAUSE_DECL (local_clause);
    2478                 :       3406 :           tree_code local_op = OMP_CLAUSE_REDUCTION_CODE (local_clause);
    2479                 :       3406 :           bool have_outer_reduction = false;
    2480                 :       3406 :           tree ctx_iter = outer_reduction_clauses;
    2481                 :       4120 :           for (; ctx_iter; ctx_iter = TREE_CHAIN (ctx_iter))
    2482                 :            :             {
    2483                 :       1947 :               tree outer_clause = TREE_VALUE (ctx_iter);
    2484                 :       1947 :               tree outer_var = OMP_CLAUSE_DECL (outer_clause);
    2485                 :       1947 :               tree_code outer_op = OMP_CLAUSE_REDUCTION_CODE (outer_clause);
    2486                 :       1947 :               if (outer_var == local_var && outer_op != local_op)
    2487                 :            :                 {
    2488                 :        270 :                   warning_at (OMP_CLAUSE_LOCATION (local_clause), 0,
    2489                 :            :                               "conflicting reduction operations for %qE",
    2490                 :            :                               local_var);
    2491                 :        270 :                   inform (OMP_CLAUSE_LOCATION (outer_clause),
    2492                 :            :                           "location of the previous reduction for %qE",
    2493                 :            :                           outer_var);
    2494                 :            :                 }
    2495                 :       1947 :               if (outer_var == local_var)
    2496                 :            :                 {
    2497                 :            :                   have_outer_reduction = true;
    2498                 :            :                   break;
    2499                 :            :                 }
    2500                 :            :             }
    2501                 :       3406 :           if (have_outer_reduction)
    2502                 :            :             {
    2503                 :            :               /* There is a reduction on outer_var both on this loop and on
    2504                 :            :                  some enclosing loop.  Walk up the context tree until such a
    2505                 :            :                  loop with a reduction on outer_var is found, and complain
    2506                 :            :                  about all intervening loops that do not have such a
    2507                 :            :                  reduction.  */
    2508                 :       1233 :               struct omp_context *curr_loop = ctx->outer;
    2509                 :       1233 :               bool found = false;
    2510                 :       1547 :               while (curr_loop != NULL)
    2511                 :            :                 {
    2512                 :       1547 :                   tree curr_iter = curr_loop->local_reduction_clauses;
    2513                 :       2021 :                   for (; curr_iter; curr_iter = TREE_CHAIN (curr_iter))
    2514                 :            :                     {
    2515                 :       1707 :                       tree curr_clause = TREE_VALUE (curr_iter);
    2516                 :       1707 :                       tree curr_var = OMP_CLAUSE_DECL (curr_clause);
    2517                 :       1707 :                       if (curr_var == local_var)
    2518                 :            :                         {
    2519                 :            :                           found = true;
    2520                 :            :                           break;
    2521                 :            :                         }
    2522                 :            :                     }
    2523                 :       1547 :                   if (!found)
    2524                 :        314 :                     warning_at (gimple_location (curr_loop->stmt), 0,
    2525                 :            :                                 "nested loop in reduction needs "
    2526                 :            :                                 "reduction clause for %qE",
    2527                 :            :                                 local_var);
    2528                 :            :                   else
    2529                 :            :                     break;
    2530                 :        314 :                   curr_loop = curr_loop->outer;
    2531                 :            :                 }
    2532                 :            :             }
    2533                 :            :         }
    2534                 :      10106 :       ctx->local_reduction_clauses = local_reduction_clauses;
    2535                 :      10106 :       ctx->outer_reduction_clauses
    2536                 :      10106 :         = chainon (unshare_expr (ctx->local_reduction_clauses),
    2537                 :            :                    ctx->outer_reduction_clauses);
    2538                 :            :     }
    2539                 :            : 
    2540                 :      40708 :   scan_sharing_clauses (clauses, ctx);
    2541                 :            : 
    2542                 :      40708 :   scan_omp (gimple_omp_for_pre_body_ptr (stmt), ctx);
    2543                 :     100102 :   for (i = 0; i < gimple_omp_for_collapse (stmt); i++)
    2544                 :            :     {
    2545                 :      59394 :       scan_omp_op (gimple_omp_for_index_ptr (stmt, i), ctx);
    2546                 :      59394 :       scan_omp_op (gimple_omp_for_initial_ptr (stmt, i), ctx);
    2547                 :      59394 :       scan_omp_op (gimple_omp_for_final_ptr (stmt, i), ctx);
    2548                 :      59394 :       scan_omp_op (gimple_omp_for_incr_ptr (stmt, i), ctx);
    2549                 :            :     }
    2550                 :      40708 :   scan_omp (gimple_omp_body_ptr (stmt), ctx);
    2551                 :      40708 :   return ctx;
    2552                 :            : }
    2553                 :            : 
    2554                 :            : /* Duplicate #pragma omp simd, one for SIMT, another one for SIMD.  */
    2555                 :            : 
    2556                 :            : static void
    2557                 :          0 : scan_omp_simd (gimple_stmt_iterator *gsi, gomp_for *stmt,
    2558                 :            :                omp_context *outer_ctx)
    2559                 :            : {
    2560                 :          0 :   gbind *bind = gimple_build_bind (NULL, NULL, NULL);
    2561                 :          0 :   gsi_replace (gsi, bind, false);
    2562                 :          0 :   gimple_seq seq = NULL;
    2563                 :          0 :   gimple *g = gimple_build_call_internal (IFN_GOMP_USE_SIMT, 0);
    2564                 :          0 :   tree cond = create_tmp_var_raw (integer_type_node);
    2565                 :          0 :   DECL_CONTEXT (cond) = current_function_decl;
    2566                 :          0 :   DECL_SEEN_IN_BIND_EXPR_P (cond) = 1;
    2567                 :          0 :   gimple_bind_set_vars (bind, cond);
    2568                 :          0 :   gimple_call_set_lhs (g, cond);
    2569                 :          0 :   gimple_seq_add_stmt (&seq, g);
    2570                 :          0 :   tree lab1 = create_artificial_label (UNKNOWN_LOCATION);
    2571                 :          0 :   tree lab2 = create_artificial_label (UNKNOWN_LOCATION);
    2572                 :          0 :   tree lab3 = create_artificial_label (UNKNOWN_LOCATION);
    2573                 :          0 :   g = gimple_build_cond (NE_EXPR, cond, integer_zero_node, lab1, lab2);
    2574                 :          0 :   gimple_seq_add_stmt (&seq, g);
    2575                 :          0 :   g = gimple_build_label (lab1);
    2576                 :          0 :   gimple_seq_add_stmt (&seq, g);
    2577                 :          0 :   gimple_seq new_seq = copy_gimple_seq_and_replace_locals (stmt);
    2578                 :          0 :   gomp_for *new_stmt = as_a <gomp_for *> (new_seq);
    2579                 :          0 :   tree clause = build_omp_clause (gimple_location (stmt), OMP_CLAUSE__SIMT_);
    2580                 :          0 :   OMP_CLAUSE_CHAIN (clause) = gimple_omp_for_clauses (new_stmt);
    2581                 :          0 :   gimple_omp_for_set_clauses (new_stmt, clause);
    2582                 :          0 :   gimple_seq_add_stmt (&seq, new_stmt);
    2583                 :          0 :   g = gimple_build_goto (lab3);
    2584                 :          0 :   gimple_seq_add_stmt (&seq, g);
    2585                 :          0 :   g = gimple_build_label (lab2);
    2586                 :          0 :   gimple_seq_add_stmt (&seq, g);
    2587                 :          0 :   gimple_seq_add_stmt (&seq, stmt);
    2588                 :          0 :   g = gimple_build_label (lab3);
    2589                 :          0 :   gimple_seq_add_stmt (&seq, g);
    2590                 :          0 :   gimple_bind_set_body (bind, seq);
    2591                 :          0 :   update_stmt (bind);
    2592                 :          0 :   scan_omp_for (new_stmt, outer_ctx);
    2593                 :          0 :   scan_omp_for (stmt, outer_ctx)->simt_stmt = new_stmt;
    2594                 :          0 : }
    2595                 :            : 
    2596                 :            : static tree omp_find_scan (gimple_stmt_iterator *, bool *,
    2597                 :            :                            struct walk_stmt_info *);
    2598                 :            : static omp_context *maybe_lookup_ctx (gimple *);
    2599                 :            : 
    2600                 :            : /* Duplicate #pragma omp simd, one for the scan input phase loop and one
    2601                 :            :    for scan phase loop.  */
    2602                 :            : 
    2603                 :            : static void
    2604                 :         77 : scan_omp_simd_scan (gimple_stmt_iterator *gsi, gomp_for *stmt,
    2605                 :            :                     omp_context *outer_ctx)
    2606                 :            : {
    2607                 :            :   /* The only change between inclusive and exclusive scan will be
    2608                 :            :      within the first simd loop, so just use inclusive in the
    2609                 :            :      worksharing loop.  */
    2610                 :         77 :   outer_ctx->scan_inclusive = true;
    2611                 :         77 :   tree c = build_omp_clause (UNKNOWN_LOCATION, OMP_CLAUSE_INCLUSIVE);
    2612                 :         77 :   OMP_CLAUSE_DECL (c) = integer_zero_node;
    2613                 :            : 
    2614                 :         77 :   gomp_scan *input_stmt = gimple_build_omp_scan (NULL, NULL_TREE);
    2615                 :         77 :   gomp_scan *scan_stmt = gimple_build_omp_scan (NULL, c);
    2616                 :         77 :   gsi_replace (gsi, input_stmt, false);
    2617                 :         77 :   gimple_seq input_body = NULL;
    2618                 :         77 :   gimple_seq_add_stmt (&input_body, stmt);
    2619                 :         77 :   gsi_insert_after (gsi, scan_stmt, GSI_NEW_STMT);
    2620                 :            : 
    2621                 :         77 :   gimple_stmt_iterator input1_gsi = gsi_none ();
    2622                 :         77 :   struct walk_stmt_info wi;
    2623                 :         77 :   memset (&wi, 0, sizeof (wi));
    2624                 :         77 :   wi.val_only = true;
    2625                 :         77 :   wi.info = (void *) &input1_gsi;
    2626                 :         77 :   walk_gimple_seq_mod (gimple_omp_body_ptr (stmt), omp_find_scan, NULL, &wi);
    2627                 :         77 :   gcc_assert (!gsi_end_p (input1_gsi));
    2628                 :            : 
    2629                 :         77 :   gimple *input_stmt1 = gsi_stmt (input1_gsi);
    2630                 :         77 :   gsi_next (&input1_gsi);
    2631                 :         77 :   gimple *scan_stmt1 = gsi_stmt (input1_gsi);
    2632                 :         77 :   gcc_assert (scan_stmt1 && gimple_code (scan_stmt1) == GIMPLE_OMP_SCAN);
    2633                 :         77 :   c = gimple_omp_scan_clauses (as_a <gomp_scan *> (scan_stmt1));
    2634                 :        154 :   if (c && OMP_CLAUSE_CODE (c) == OMP_CLAUSE_EXCLUSIVE)
    2635                 :         77 :     std::swap (input_stmt1, scan_stmt1);
    2636                 :            : 
    2637                 :         77 :   gimple_seq input_body1 = gimple_omp_body (input_stmt1);
    2638                 :         77 :   gimple_omp_set_body (input_stmt1, NULL);
    2639                 :            : 
    2640                 :         77 :   gimple_seq scan_body = copy_gimple_seq_and_replace_locals (stmt);
    2641                 :         77 :   gomp_for *new_stmt = as_a <gomp_for *> (scan_body);
    2642                 :            : 
    2643                 :         77 :   gimple_omp_set_body (input_stmt1, input_body1);
    2644                 :         77 :   gimple_omp_set_body (scan_stmt1, NULL);
    2645                 :            : 
    2646                 :         77 :   gimple_stmt_iterator input2_gsi = gsi_none ();
    2647                 :         77 :   memset (&wi, 0, sizeof (wi));
    2648                 :         77 :   wi.val_only = true;
    2649                 :         77 :   wi.info = (void *) &input2_gsi;
    2650                 :         77 :   walk_gimple_seq_mod (gimple_omp_body_ptr (new_stmt), omp_find_scan,
    2651                 :            :                        NULL, &wi);
    2652                 :         77 :   gcc_assert (!gsi_end_p (input2_gsi));
    2653                 :            : 
    2654                 :         77 :   gimple *input_stmt2 = gsi_stmt (input2_gsi);
    2655                 :         77 :   gsi_next (&input2_gsi);
    2656                 :         77 :   gimple *scan_stmt2 = gsi_stmt (input2_gsi);
    2657                 :         77 :   gcc_assert (scan_stmt2 && gimple_code (scan_stmt2) == GIMPLE_OMP_SCAN);
    2658                 :        154 :   if (c && OMP_CLAUSE_CODE (c) == OMP_CLAUSE_EXCLUSIVE)
    2659                 :         77 :     std::swap (input_stmt2, scan_stmt2);
    2660                 :            : 
    2661                 :         77 :   gimple_omp_set_body (input_stmt2, NULL);
    2662                 :            : 
    2663                 :         77 :   gimple_omp_set_body (input_stmt, input_body);
    2664                 :         77 :   gimple_omp_set_body (scan_stmt, scan_body);
    2665                 :            : 
    2666                 :         77 :   omp_context *ctx = new_omp_context (input_stmt, outer_ctx);
    2667                 :         77 :   scan_omp (gimple_omp_body_ptr (input_stmt), ctx);
    2668                 :            : 
    2669                 :         77 :   ctx = new_omp_context (scan_stmt, outer_ctx);
    2670                 :         77 :   scan_omp (gimple_omp_body_ptr (scan_stmt), ctx);
    2671                 :            : 
    2672                 :        154 :   maybe_lookup_ctx (new_stmt)->for_simd_scan_phase = true;
    2673                 :         77 : }
    2674                 :            : 
    2675                 :            : /* Scan an OpenMP sections directive.  */
    2676                 :            : 
    2677                 :            : static void
    2678                 :        533 : scan_omp_sections (gomp_sections *stmt, omp_context *outer_ctx)
    2679                 :            : {
    2680                 :        533 :   omp_context *ctx;
    2681                 :            : 
    2682                 :        533 :   ctx = new_omp_context (stmt, outer_ctx);
    2683                 :        533 :   scan_sharing_clauses (gimple_omp_sections_clauses (stmt), ctx);
    2684                 :        533 :   scan_omp (gimple_omp_body_ptr (stmt), ctx);
    2685                 :        533 : }
    2686                 :            : 
    2687                 :            : /* Scan an OpenMP single directive.  */
    2688                 :            : 
    2689                 :            : static void
    2690                 :       1060 : scan_omp_single (gomp_single *stmt, omp_context *outer_ctx)
    2691                 :            : {
    2692                 :       1060 :   omp_context *ctx;
    2693                 :       1060 :   tree name;
    2694                 :            : 
    2695                 :       1060 :   ctx = new_omp_context (stmt, outer_ctx);
    2696                 :       1060 :   ctx->field_map = splay_tree_new (splay_tree_compare_pointers, 0, 0);
    2697                 :       1060 :   ctx->record_type = lang_hooks.types.make_type (RECORD_TYPE);
    2698                 :       1060 :   name = create_tmp_var_name (".omp_copy_s");
    2699                 :       1060 :   name = build_decl (gimple_location (stmt),
    2700                 :            :                      TYPE_DECL, name, ctx->record_type);
    2701                 :       1060 :   TYPE_NAME (ctx->record_type) = name;
    2702                 :            : 
    2703                 :       1060 :   scan_sharing_clauses (gimple_omp_single_clauses (stmt), ctx);
    2704                 :       1060 :   scan_omp (gimple_omp_body_ptr (stmt), ctx);
    2705                 :            : 
    2706                 :       1060 :   if (TYPE_FIELDS (ctx->record_type) == NULL)
    2707                 :        910 :     ctx->record_type = NULL;
    2708                 :            :   else
    2709                 :        150 :     layout_type (ctx->record_type);
    2710                 :       1060 : }
    2711                 :            : 
    2712                 :            : /* Scan a GIMPLE_OMP_TARGET.  */
    2713                 :            : 
    2714                 :            : static void
    2715                 :      26840 : scan_omp_target (gomp_target *stmt, omp_context *outer_ctx)
    2716                 :            : {
    2717                 :      26840 :   omp_context *ctx;
    2718                 :      26840 :   tree name;
    2719                 :      26840 :   bool offloaded = is_gimple_omp_offloaded (stmt);
    2720                 :      26840 :   tree clauses = gimple_omp_target_clauses (stmt);
    2721                 :            : 
    2722                 :      26840 :   ctx = new_omp_context (stmt, outer_ctx);
    2723                 :      26840 :   ctx->field_map = splay_tree_new (splay_tree_compare_pointers, 0, 0);
    2724                 :      26840 :   ctx->record_type = lang_hooks.types.make_type (RECORD_TYPE);
    2725                 :      26840 :   name = create_tmp_var_name (".omp_data_t");
    2726                 :      26840 :   name = build_decl (gimple_location (stmt),
    2727                 :            :                      TYPE_DECL, name, ctx->record_type);
    2728                 :      26840 :   DECL_ARTIFICIAL (name) = 1;
    2729                 :      26840 :   DECL_NAMELESS (name) = 1;
    2730                 :      26840 :   TYPE_NAME (ctx->record_type) = name;
    2731                 :      26840 :   TYPE_ARTIFICIAL (ctx->record_type) = 1;
    2732                 :            : 
    2733                 :      26840 :   if (offloaded)
    2734                 :            :     {
    2735                 :      15568 :       create_omp_child_function (ctx, false);
    2736                 :      15568 :       gimple_omp_target_set_child_fn (stmt, ctx->cb.dst_fn);
    2737                 :            :     }
    2738                 :            : 
    2739                 :      26840 :   scan_sharing_clauses (clauses, ctx);
    2740                 :      26840 :   scan_omp (gimple_omp_body_ptr (stmt), ctx);
    2741                 :            : 
    2742                 :      26840 :   if (TYPE_FIELDS (ctx->record_type) == NULL)
    2743                 :       4662 :     ctx->record_type = ctx->receiver_decl = NULL;
    2744                 :            :   else
    2745                 :            :     {
    2746                 :      66534 :       TYPE_FIELDS (ctx->record_type)
    2747                 :      22178 :         = nreverse (TYPE_FIELDS (ctx->record_type));
    2748                 :      22178 :       if (flag_checking)
    2749                 :            :         {
    2750                 :      22178 :           unsigned int align = DECL_ALIGN (TYPE_FIELDS (ctx->record_type));
    2751                 :      81803 :           for (tree field = TYPE_FIELDS (ctx->record_type);
    2752                 :      81803 :                field;
    2753                 :      59625 :                field = DECL_CHAIN (field))
    2754                 :      59625 :             gcc_assert (DECL_ALIGN (field) == align);
    2755                 :            :         }
    2756                 :      22178 :       layout_type (ctx->record_type);
    2757                 :      22178 :       if (offloaded)
    2758                 :      11232 :         fixup_child_record_type (ctx);
    2759                 :            :     }
    2760                 :      26840 : }
    2761                 :            : 
    2762                 :            : /* Scan an OpenMP teams directive.  */
    2763                 :            : 
    2764                 :            : static void
    2765                 :       4771 : scan_omp_teams (gomp_teams *stmt, omp_context *outer_ctx)
    2766                 :            : {
    2767                 :       4771 :   omp_context *ctx = new_omp_context (stmt, outer_ctx);
    2768                 :            : 
    2769                 :       4771 :   if (!gimple_omp_teams_host (stmt))
    2770                 :            :     {
    2771                 :       3731 :       scan_sharing_clauses (gimple_omp_teams_clauses (stmt), ctx);
    2772                 :       3731 :       scan_omp (gimple_omp_body_ptr (stmt), ctx);
    2773                 :       3731 :       return;
    2774                 :            :     }
    2775                 :       1040 :   taskreg_contexts.safe_push (ctx);
    2776                 :       1040 :   gcc_assert (taskreg_nesting_level == 1);
    2777                 :       1040 :   ctx->field_map = splay_tree_new (splay_tree_compare_pointers, 0, 0);
    2778                 :       1040 :   ctx->record_type = lang_hooks.types.make_type (RECORD_TYPE);
    2779                 :       1040 :   tree name = create_tmp_var_name (".omp_data_s");
    2780                 :       1040 :   name = build_decl (gimple_location (stmt),
    2781                 :            :                      TYPE_DECL, name, ctx->record_type);
    2782                 :       1040 :   DECL_ARTIFICIAL (name) = 1;
    2783                 :       1040 :   DECL_NAMELESS (name) = 1;
    2784                 :       1040 :   TYPE_NAME (ctx->record_type) = name;
    2785                 :       1040 :   TYPE_ARTIFICIAL (ctx->record_type) = 1;
    2786                 :       1040 :   create_omp_child_function (ctx, false);
    2787                 :       1040 :   gimple_omp_teams_set_child_fn (stmt, ctx->cb.dst_fn);
    2788                 :            : 
    2789                 :       1040 :   scan_sharing_clauses (gimple_omp_teams_clauses (stmt), ctx);
    2790                 :       1040 :   scan_omp (gimple_omp_body_ptr (stmt), ctx);
    2791                 :            : 
    2792                 :       1040 :   if (TYPE_FIELDS (ctx->record_type) == NULL)
    2793                 :        392 :     ctx->record_type = ctx->receiver_decl = NULL;
    2794                 :            : }
    2795                 :            : 
    2796                 :            : /* Check nesting restrictions.  */
    2797                 :            : static bool
    2798                 :     110377 : check_omp_nesting_restrictions (gimple *stmt, omp_context *ctx)
    2799                 :            : {
    2800                 :     110377 :   tree c;
    2801                 :            : 
    2802                 :     110377 :   if (ctx && gimple_code (ctx->stmt) == GIMPLE_OMP_GRID_BODY)
    2803                 :            :     /* GRID_BODY is an artificial construct, nesting rules will be checked in
    2804                 :            :        the original copy of its contents.  */
    2805                 :            :     return true;
    2806                 :            : 
    2807                 :            :   /* No nesting of non-OpenACC STMT (that is, an OpenMP one, or a GOMP builtin)
    2808                 :            :      inside an OpenACC CTX.  */
    2809                 :     217244 :   if (!(is_gimple_omp (stmt)
    2810                 :     106867 :         && is_gimple_omp_oacc (stmt))
    2811                 :            :       /* Except for atomic codes that we share with OpenMP.  */
    2812                 :      86729 :       && !(gimple_code (stmt) == GIMPLE_OMP_ATOMIC_LOAD
    2813                 :      81811 :            || gimple_code (stmt) == GIMPLE_OMP_ATOMIC_STORE))
    2814                 :            :     {
    2815                 :      76893 :       if (oacc_get_fn_attrib (cfun->decl) != NULL)
    2816                 :            :         {
    2817                 :         60 :           error_at (gimple_location (stmt),
    2818                 :            :                     "non-OpenACC construct inside of OpenACC routine");
    2819                 :         60 :           return false;
    2820                 :            :         }
    2821                 :            :       else
    2822                 :     169094 :         for (omp_context *octx = ctx; octx != NULL; octx = octx->outer)
    2823                 :     184687 :           if (is_gimple_omp (octx->stmt)
    2824                 :      92426 :               && is_gimple_omp_oacc (octx->stmt))
    2825                 :            :             {
    2826                 :        165 :               error_at (gimple_location (stmt),
    2827                 :            :                         "non-OpenACC construct inside of OpenACC region");
    2828                 :        165 :               return false;
    2829                 :            :             }
    2830                 :            :     }
    2831                 :            : 
    2832                 :     110152 :   if (ctx != NULL)
    2833                 :            :     {
    2834                 :      61988 :       if (gimple_code (ctx->stmt) == GIMPLE_OMP_SCAN
    2835                 :        154 :           && ctx->outer
    2836                 :      62142 :           && gimple_code (ctx->outer->stmt) == GIMPLE_OMP_FOR)
    2837                 :            :         ctx = ctx->outer;
    2838                 :      61988 :       if (gimple_code (ctx->stmt) == GIMPLE_OMP_FOR
    2839                 :      20802 :           && gimple_omp_for_kind (ctx->stmt) == GF_OMP_FOR_KIND_SIMD
    2840                 :      63407 :           && !ctx->loop_p)
    2841                 :            :         {
    2842                 :       1209 :           c = NULL_TREE;
    2843                 :       1209 :           if (ctx->order_concurrent
    2844                 :       1209 :               && (gimple_code (stmt) == GIMPLE_OMP_ORDERED
    2845                 :        100 :                   || gimple_code (stmt) == GIMPLE_OMP_ATOMIC_LOAD
    2846                 :         70 :                   || gimple_code (stmt) == GIMPLE_OMP_ATOMIC_STORE))
    2847                 :            :             {
    2848                 :         70 :               error_at (gimple_location (stmt),
    2849                 :            :                         "OpenMP constructs other than %<parallel%>, %<loop%>"
    2850                 :            :                         " or %<simd%> may not be nested inside a region with"
    2851                 :            :                         " the %<order(concurrent)%> clause");
    2852                 :         70 :               return false;
    2853                 :            :             }
    2854                 :       1139 :           if (gimple_code (stmt) == GIMPLE_OMP_ORDERED)
    2855                 :            :             {
    2856                 :        143 :               c = gimple_omp_ordered_clauses (as_a <gomp_ordered *> (stmt));
    2857                 :        143 :               if (omp_find_clause (c, OMP_CLAUSE_SIMD))
    2858                 :            :                 {
    2859                 :        143 :                   if (omp_find_clause (c, OMP_CLAUSE_THREADS)
    2860                 :        143 :                       && (ctx->outer == NULL
    2861                 :         36 :                           || !gimple_omp_for_combined_into_p (ctx->stmt)
    2862                 :         31 :                           || gimple_code (ctx->outer->stmt) != GIMPLE_OMP_FOR
    2863                 :         31 :                           || (gimple_omp_for_kind (ctx->outer->stmt)
    2864                 :            :                               != GF_OMP_FOR_KIND_FOR)
    2865                 :         31 :                           || !gimple_omp_for_combined_p (ctx->outer->stmt)))
    2866                 :            :                     {
    2867                 :         10 :                       error_at (gimple_location (stmt),
    2868                 :            :                                 "%<ordered simd threads%> must be closely "
    2869                 :            :                                 "nested inside of %<for simd%> region");
    2870                 :         10 :                       return false;
    2871                 :            :                     }
    2872                 :            :                   return true;
    2873                 :            :                 }
    2874                 :            :             }
    2875                 :        996 :           else if (gimple_code (stmt) == GIMPLE_OMP_ATOMIC_LOAD
    2876                 :        991 :                    || gimple_code (stmt) == GIMPLE_OMP_ATOMIC_STORE
    2877                 :       1982 :                    || gimple_code (stmt) == GIMPLE_OMP_SCAN)
    2878                 :            :             return true;
    2879                 :         60 :           else if (gimple_code (stmt) == GIMPLE_OMP_FOR
    2880                 :         60 :                    && gimple_omp_for_kind (ctx->stmt) == GF_OMP_FOR_KIND_SIMD)
    2881                 :            :             return true;
    2882                 :         20 :           error_at (gimple_location (stmt),
    2883                 :            :                     "OpenMP constructs other than "
    2884                 :            :                     "%<ordered simd%>, %<simd%>, %<loop%> or %<atomic%> may "
    2885                 :            :                     "not be nested inside %<simd%> region");
    2886                 :         20 :           return false;
    2887                 :            :         }
    2888                 :      60779 :       else if (gimple_code (ctx->stmt) == GIMPLE_OMP_TEAMS)
    2889                 :            :         {
    2890                 :       4597 :           if ((gimple_code (stmt) != GIMPLE_OMP_FOR
    2891                 :       4406 :                || (gimple_omp_for_kind (stmt) != GF_OMP_FOR_KIND_DISTRIBUTE
    2892                 :         30 :                    && gimple_omp_for_kind (stmt) != GF_OMP_FOR_KIND_GRID_LOOP
    2893                 :         30 :                    && omp_find_clause (gimple_omp_for_clauses (stmt),
    2894                 :            :                                        OMP_CLAUSE_BIND) == NULL_TREE))
    2895                 :       4617 :               && gimple_code (stmt) != GIMPLE_OMP_PARALLEL)
    2896                 :            :             {
    2897                 :        155 :               error_at (gimple_location (stmt),
    2898                 :            :                         "only %<distribute%>, %<parallel%> or %<loop%> "
    2899                 :            :                         "regions are allowed to be strictly nested inside "
    2900                 :            :                         "%<teams%> region");
    2901                 :        155 :               return false;
    2902                 :            :             }
    2903                 :            :         }
    2904                 :      56182 :       else if (ctx->order_concurrent
    2905                 :        792 :                && gimple_code (stmt) != GIMPLE_OMP_PARALLEL
    2906                 :        703 :                && (gimple_code (stmt) != GIMPLE_OMP_FOR
    2907                 :        538 :                    || gimple_omp_for_kind (stmt) != GF_OMP_FOR_KIND_SIMD)
    2908                 :      56352 :                && gimple_code (stmt) != GIMPLE_OMP_SCAN)
    2909                 :            :         {
    2910                 :        170 :           if (ctx->loop_p)
    2911                 :        120 :             error_at (gimple_location (stmt),
    2912                 :            :                       "OpenMP constructs other than %<parallel%>, %<loop%> or "
    2913                 :            :                       "%<simd%> may not be nested inside a %<loop%> region");
    2914                 :            :           else
    2915                 :         50 :             error_at (gimple_location (stmt),
    2916                 :            :                       "OpenMP constructs other than %<parallel%>, %<loop%> or "
    2917                 :            :                       "%<simd%> may not be nested inside a region with "
    2918                 :            :                       "the %<order(concurrent)%> clause");
    2919                 :        170 :           return false;
    2920                 :            :         }
    2921                 :            :     }
    2922                 :     108618 :   switch (gimple_code (stmt))
    2923                 :            :     {
    2924                 :      40844 :     case GIMPLE_OMP_FOR:
    2925                 :      40844 :       if (gimple_omp_for_kind (stmt) == GF_OMP_FOR_KIND_SIMD)
    2926                 :            :         return true;
    2927                 :      32832 :       if (gimple_omp_for_kind (stmt) == GF_OMP_FOR_KIND_DISTRIBUTE)
    2928                 :            :         {
    2929                 :       6805 :           if (ctx != NULL && gimple_code (ctx->stmt) != GIMPLE_OMP_TEAMS)
    2930                 :            :             {
    2931                 :          0 :               error_at (gimple_location (stmt),
    2932                 :            :                         "%<distribute%> region must be strictly nested "
    2933                 :            :                         "inside %<teams%> construct");
    2934                 :          0 :               return false;
    2935                 :            :             }
    2936                 :            :           return true;
    2937                 :            :         }
    2938                 :            :       /* We split taskloop into task and nested taskloop in it.  */
    2939                 :      26027 :       if (gimple_omp_for_kind (stmt) == GF_OMP_FOR_KIND_TASKLOOP)
    2940                 :            :         return true;
    2941                 :            :       /* For now, hope this will change and loop bind(parallel) will not
    2942                 :            :          be allowed in lots of contexts.  */
    2943                 :      24433 :       if (gimple_omp_for_kind (stmt) == GF_OMP_FOR_KIND_FOR
    2944                 :      38680 :           && omp_find_clause (gimple_omp_for_clauses (stmt), OMP_CLAUSE_BIND))
    2945                 :            :         return true;
    2946                 :      24117 :       if (gimple_omp_for_kind (stmt) == GF_OMP_FOR_KIND_OACC_LOOP)
    2947                 :            :         {
    2948                 :      10186 :           bool ok = false;
    2949                 :            : 
    2950                 :      10186 :           if (ctx)
    2951                 :       9660 :             switch (gimple_code (ctx->stmt))
    2952                 :            :               {
    2953                 :       2748 :               case GIMPLE_OMP_FOR:
    2954                 :       2748 :                 ok = (gimple_omp_for_kind (ctx->stmt)
    2955                 :            :                       == GF_OMP_FOR_KIND_OACC_LOOP);
    2956                 :       2748 :                 break;
    2957                 :            : 
    2958                 :       6877 :               case GIMPLE_OMP_TARGET:
    2959                 :       6877 :                 switch (gimple_omp_target_kind (ctx->stmt))
    2960                 :            :                   {
    2961                 :            :                   case GF_OMP_TARGET_KIND_OACC_PARALLEL:
    2962                 :            :                   case GF_OMP_TARGET_KIND_OACC_KERNELS:
    2963                 :            :                   case GF_OMP_TARGET_KIND_OACC_SERIAL:
    2964                 :            :                     ok = true;
    2965                 :            :                     break;
    2966                 :            : 
    2967                 :            :                   default:
    2968                 :            :                     break;
    2969                 :            :                   }
    2970                 :            : 
    2971                 :            :               default:
    2972                 :            :                 break;
    2973                 :            :               }
    2974                 :        526 :           else if (oacc_get_fn_attrib (current_function_decl))
    2975                 :            :             ok = true;
    2976                 :       2748 :           if (!ok)
    2977                 :            :             {
    2978                 :         80 :               error_at (gimple_location (stmt),
    2979                 :            :                         "OpenACC loop directive must be associated with"
    2980                 :            :                         " an OpenACC compute region");
    2981                 :         80 :               return false;
    2982                 :            :             }
    2983                 :            :         }
    2984                 :            :       /* FALLTHRU */
    2985                 :      27482 :     case GIMPLE_CALL:
    2986                 :      27482 :       if (is_gimple_call (stmt)
    2987                 :      27482 :           && (DECL_FUNCTION_CODE (gimple_call_fndecl (stmt))
    2988                 :            :               == BUILT_IN_GOMP_CANCEL
    2989                 :       2407 :               || DECL_FUNCTION_CODE (gimple_call_fndecl (stmt))
    2990                 :            :                  == BUILT_IN_GOMP_CANCELLATION_POINT))
    2991                 :            :         {
    2992                 :       1776 :           const char *bad = NULL;
    2993                 :       1776 :           const char *kind = NULL;
    2994                 :       1776 :           const char *construct
    2995                 :       1776 :             = (DECL_FUNCTION_CODE (gimple_call_fndecl (stmt))
    2996                 :            :                == BUILT_IN_GOMP_CANCEL)
    2997                 :       1776 :               ? "cancel"
    2998                 :       1776 :               : "cancellation point";
    2999                 :       1776 :           if (ctx == NULL)
    3000                 :            :             {
    3001                 :         40 :               error_at (gimple_location (stmt), "orphaned %qs construct",
    3002                 :            :                         construct);
    3003                 :         40 :               return false;
    3004                 :            :             }
    3005                 :       1736 :           switch (tree_fits_shwi_p (gimple_call_arg (stmt, 0))
    3006                 :       1736 :                   ? tree_to_shwi (gimple_call_arg (stmt, 0))
    3007                 :            :                   : 0)
    3008                 :            :             {
    3009                 :        460 :             case 1:
    3010                 :        460 :               if (gimple_code (ctx->stmt) != GIMPLE_OMP_PARALLEL)
    3011                 :            :                 bad = "parallel";
    3012                 :        160 :               else if (DECL_FUNCTION_CODE (gimple_call_fndecl (stmt))
    3013                 :            :                        == BUILT_IN_GOMP_CANCEL
    3014                 :        160 :                        && !integer_zerop (gimple_call_arg (stmt, 1)))
    3015                 :        142 :                 ctx->cancellable = true;
    3016                 :        142 :               kind = "parallel";
    3017                 :        142 :               break;
    3018                 :        407 :             case 2:
    3019                 :        407 :               if (gimple_code (ctx->stmt) != GIMPLE_OMP_FOR
    3020                 :        407 :                   || gimple_omp_for_kind (ctx->stmt) != GF_OMP_FOR_KIND_FOR)
    3021                 :            :                 bad = "for";
    3022                 :        117 :               else if (DECL_FUNCTION_CODE (gimple_call_fndecl (stmt))
    3023                 :            :                        == BUILT_IN_GOMP_CANCEL
    3024                 :        117 :                        && !integer_zerop (gimple_call_arg (stmt, 1)))
    3025                 :            :                 {
    3026                 :        107 :                   ctx->cancellable = true;
    3027                 :        107 :                   if (omp_find_clause (gimple_omp_for_clauses (ctx->stmt),
    3028                 :            :                                        OMP_CLAUSE_NOWAIT))
    3029                 :          5 :                     warning_at (gimple_location (stmt), 0,
    3030                 :            :                                 "%<cancel for%> inside "
    3031                 :            :                                 "%<nowait%> for construct");
    3032                 :        107 :                   if (omp_find_clause (gimple_omp_for_clauses (ctx->stmt),
    3033                 :            :                                        OMP_CLAUSE_ORDERED))
    3034                 :          5 :                     warning_at (gimple_location (stmt), 0,
    3035                 :            :                                 "%<cancel for%> inside "
    3036                 :            :                                 "%<ordered%> for construct");
    3037                 :            :                 }
    3038                 :          5 :               kind = "for";
    3039                 :          5 :               break;
    3040                 :        362 :             case 4:
    3041                 :        362 :               if (gimple_code (ctx->stmt) != GIMPLE_OMP_SECTIONS
    3042                 :        362 :                   && gimple_code (ctx->stmt) != GIMPLE_OMP_SECTION)
    3043                 :            :                 bad = "sections";
    3044                 :         92 :               else if (DECL_FUNCTION_CODE (gimple_call_fndecl (stmt))
    3045                 :            :                        == BUILT_IN_GOMP_CANCEL
    3046                 :         92 :                        && !integer_zerop (gimple_call_arg (stmt, 1)))
    3047                 :            :                 {
    3048                 :         72 :                   if (gimple_code (ctx->stmt) == GIMPLE_OMP_SECTIONS)
    3049                 :            :                     {
    3050                 :          0 :                       ctx->cancellable = true;
    3051                 :          0 :                       if (omp_find_clause (gimple_omp_sections_clauses
    3052                 :          0 :                                                                 (ctx->stmt),
    3053                 :            :                                            OMP_CLAUSE_NOWAIT))
    3054                 :          0 :                         warning_at (gimple_location (stmt), 0,
    3055                 :            :                                     "%<cancel sections%> inside "
    3056                 :            :                                     "%<nowait%> sections construct");
    3057                 :            :                     }
    3058                 :            :                   else
    3059                 :            :                     {
    3060                 :         72 :                       gcc_assert (ctx->outer
    3061                 :            :                                   && gimple_code (ctx->outer->stmt)
    3062                 :            :                                      == GIMPLE_OMP_SECTIONS);
    3063                 :         72 :                       ctx->outer->cancellable = true;
    3064                 :         72 :                       if (omp_find_clause (gimple_omp_sections_clauses
    3065                 :         72 :                                                         (ctx->outer->stmt),
    3066                 :            :                                            OMP_CLAUSE_NOWAIT))
    3067                 :         10 :                         warning_at (gimple_location (stmt), 0,
    3068                 :            :                                     "%<cancel sections%> inside "
    3069                 :            :                                     "%<nowait%> sections construct");
    3070                 :            :                     }
    3071                 :            :                 }
    3072                 :         10 :               kind = "sections";
    3073                 :         10 :               break;
    3074                 :        507 :             case 8:
    3075                 :        507 :               if (!is_task_ctx (ctx)
    3076                 :        507 :                   && (!is_taskloop_ctx (ctx)
    3077                 :         54 :                       || ctx->outer == NULL
    3078                 :         54 :                       || !is_task_ctx (ctx->outer)))
    3079                 :            :                 bad = "task";
    3080                 :            :               else
    3081                 :            :                 {
    3082                 :        247 :                   for (omp_context *octx = ctx->outer;
    3083                 :        439 :                        octx; octx = octx->outer)
    3084                 :            :                     {
    3085                 :        427 :                       switch (gimple_code (octx->stmt))
    3086                 :            :                         {
    3087                 :            :                         case GIMPLE_OMP_TASKGROUP:
    3088                 :            :                           break;
    3089                 :         40 :                         case GIMPLE_OMP_TARGET:
    3090                 :         40 :                           if (gimple_omp_target_kind (octx->stmt)
    3091                 :            :                               != GF_OMP_TARGET_KIND_REGION)
    3092                 :         20 :                             continue;
    3093                 :            :                           /* FALLTHRU */
    3094                 :        100 :                         case GIMPLE_OMP_PARALLEL:
    3095                 :        100 :                         case GIMPLE_OMP_TEAMS:
    3096                 :        100 :                           error_at (gimple_location (stmt),
    3097                 :            :                                     "%<%s taskgroup%> construct not closely "
    3098                 :            :                                     "nested inside of %<taskgroup%> region",
    3099                 :            :                                     construct);
    3100                 :        100 :                           return false;
    3101                 :        104 :                         case GIMPLE_OMP_TASK:
    3102                 :        104 :                           if (gimple_omp_task_taskloop_p (octx->stmt)
    3103                 :         94 :                               && octx->outer
    3104                 :        198 :                               && is_taskloop_ctx (octx->outer))
    3105                 :            :                             {
    3106                 :         94 :                               tree clauses
    3107                 :         94 :                                 = gimple_omp_for_clauses (octx->outer->stmt);
    3108                 :         94 :                               if (!omp_find_clause (clauses, OMP_CLAUSE_NOGROUP))
    3109                 :            :                                 break;
    3110                 :            :                             }
    3111                 :         60 :                           continue;
    3112                 :        112 :                         default:
    3113                 :        172 :                           continue;
    3114                 :            :                         }
    3115                 :            :                       break;
    3116                 :            :                     }
    3117                 :        147 :                   ctx->cancellable = true;
    3118                 :            :                 }
    3119                 :        147 :               kind = "taskgroup";
    3120                 :        147 :               break;
    3121                 :          0 :             default:
    3122                 :          0 :               error_at (gimple_location (stmt), "invalid arguments");
    3123                 :          0 :               return false;
    3124                 :            :             }
    3125                 :        304 :           if (bad)
    3126                 :            :             {
    3127                 :       1120 :               error_at (gimple_location (stmt),
    3128                 :            :                         "%<%s %s%> construct not closely nested inside of %qs",
    3129                 :            :                         construct, kind, bad);
    3130                 :       1120 :               return false;
    3131                 :            :             }
    3132                 :            :         }
    3133                 :            :       /* FALLTHRU */
    3134                 :      42490 :     case GIMPLE_OMP_SECTIONS:
    3135                 :      42490 :     case GIMPLE_OMP_SINGLE:
    3136                 :      42490 :       for (; ctx != NULL; ctx = ctx->outer)
    3137                 :      28000 :         switch (gimple_code (ctx->stmt))
    3138                 :            :           {
    3139                 :       4389 :           case GIMPLE_OMP_FOR:
    3140                 :       4389 :             if (gimple_omp_for_kind (ctx->stmt) != GF_OMP_FOR_KIND_FOR
    3141                 :       4389 :                 && gimple_omp_for_kind (ctx->stmt) != GF_OMP_FOR_KIND_TASKLOOP)
    3142                 :            :               break;
    3143                 :            :             /* FALLTHRU */
    3144                 :        646 :           case GIMPLE_OMP_SECTIONS:
    3145                 :        646 :           case GIMPLE_OMP_SINGLE:
    3146                 :        646 :           case GIMPLE_OMP_ORDERED:
    3147                 :        646 :           case GIMPLE_OMP_MASTER:
    3148                 :        646 :           case GIMPLE_OMP_TASK:
    3149                 :        646 :           case GIMPLE_OMP_CRITICAL:
    3150                 :        646 :             if (is_gimple_call (stmt))
    3151                 :            :               {
    3152                 :        601 :                 if (DECL_FUNCTION_CODE (gimple_call_fndecl (stmt))
    3153                 :            :                     != BUILT_IN_GOMP_BARRIER)
    3154                 :            :                   return true;
    3155                 :         16 :                 error_at (gimple_location (stmt),
    3156                 :            :                           "barrier region may not be closely nested inside "
    3157                 :            :                           "of work-sharing, %<loop%>, %<critical%>, "
    3158                 :            :                           "%<ordered%>, %<master%>, explicit %<task%> or "
    3159                 :            :                           "%<taskloop%> region");
    3160                 :         16 :                 return false;
    3161                 :            :               }
    3162                 :         45 :             error_at (gimple_location (stmt),
    3163                 :            :                       "work-sharing region may not be closely nested inside "
    3164                 :            :                       "of work-sharing, %<loop%>, %<critical%>, %<ordered%>, "
    3165                 :            :                       "%<master%>, explicit %<task%> or %<taskloop%> region");
    3166                 :         45 :             return false;
    3167                 :            :           case GIMPLE_OMP_PARALLEL:
    3168                 :            :           case GIMPLE_OMP_TEAMS:
    3169                 :            :             return true;
    3170                 :      10017 :           case GIMPLE_OMP_TARGET:
    3171                 :      10017 :             if (gimple_omp_target_kind (ctx->stmt)
    3172                 :            :                 == GF_OMP_TARGET_KIND_REGION)
    3173                 :            :               return true;
    3174                 :            :             break;
    3175                 :            :           default:
    3176                 :            :             break;
    3177                 :            :           }
    3178                 :            :       break;
    3179                 :        504 :     case GIMPLE_OMP_MASTER:
    3180                 :        504 :       for (; ctx != NULL; ctx = ctx->outer)
    3181                 :        343 :         switch (gimple_code (ctx->stmt))
    3182                 :            :           {
    3183                 :          6 :           case GIMPLE_OMP_FOR:
    3184                 :          6 :             if (gimple_omp_for_kind (ctx->stmt) != GF_OMP_FOR_KIND_FOR
    3185                 :          6 :                 && gimple_omp_for_kind (ctx->stmt) != GF_OMP_FOR_KIND_TASKLOOP)
    3186                 :            :               break;
    3187                 :            :             /* FALLTHRU */
    3188                 :         10 :           case GIMPLE_OMP_SECTIONS:
    3189                 :         10 :           case GIMPLE_OMP_SINGLE:
    3190                 :         10 :           case GIMPLE_OMP_TASK:
    3191                 :         10 :             error_at (gimple_location (stmt),
    3192                 :            :                       "%<master%> region may not be closely nested inside "
    3193                 :            :                       "of work-sharing, %<loop%>, explicit %<task%> or "
    3194                 :            :                       "%<taskloop%> region");
    3195                 :         10 :             return false;
    3196                 :            :           case GIMPLE_OMP_PARALLEL:
    3197                 :            :           case GIMPLE_OMP_TEAMS:
    3198                 :            :             return true;
    3199                 :          5 :           case GIMPLE_OMP_TARGET:
    3200                 :          5 :             if (gimple_omp_target_kind (ctx->stmt)
    3201                 :            :                 == GF_OMP_TARGET_KIND_REGION)
    3202                 :            :               return true;
    3203                 :            :             break;
    3204                 :            :           default:
    3205                 :            :             break;
    3206                 :            :           }
    3207                 :            :       break;
    3208                 :       3324 :     case GIMPLE_OMP_TASK:
    3209                 :      12717 :       for (c = gimple_omp_task_clauses (stmt); c; c = OMP_CLAUSE_CHAIN (c))
    3210                 :       9398 :         if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_DEPEND
    3211                 :       9398 :             && (OMP_CLAUSE_DEPEND_KIND (c) == OMP_CLAUSE_DEPEND_SOURCE
    3212                 :       1565 :                 || OMP_CLAUSE_DEPEND_KIND (c) == OMP_CLAUSE_DEPEND_SINK))
    3213                 :            :           {
    3214                 :          5 :             enum omp_clause_depend_kind kind = OMP_CLAUSE_DEPEND_KIND (c);
    3215                 :          5 :             error_at (OMP_CLAUSE_LOCATION (c),
    3216                 :            :                       "%<depend(%s)%> is only allowed in %<omp ordered%>",
    3217                 :            :                       kind == OMP_CLAUSE_DEPEND_SOURCE ? "source" : "sink");
    3218                 :          5 :             return false;
    3219                 :            :           }
    3220                 :            :       break;
    3221                 :       1286 :     case GIMPLE_OMP_ORDERED:
    3222                 :       2230 :       for (c = gimple_omp_ordered_clauses (as_a <gomp_ordered *> (stmt));
    3223                 :       2230 :            c; c = OMP_CLAUSE_CHAIN (c))
    3224                 :            :         {
    3225                 :        964 :           if (OMP_CLAUSE_CODE (c) != OMP_CLAUSE_DEPEND)
    3226                 :            :             {
    3227                 :        164 :               gcc_assert (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_THREADS
    3228                 :            :                           || OMP_CLAUSE_CODE (c) == OMP_CLAUSE_SIMD);
    3229                 :        164 :               continue;
    3230                 :            :             }
    3231                 :        800 :           enum omp_clause_depend_kind kind = OMP_CLAUSE_DEPEND_KIND (c);
    3232                 :        800 :           if (kind == OMP_CLAUSE_DEPEND_SOURCE
    3233                 :        800 :               || kind == OMP_CLAUSE_DEPEND_SINK)
    3234                 :            :             {
    3235                 :        795 :               tree oclause;
    3236                 :            :               /* Look for containing ordered(N) loop.  */
    3237                 :        795 :               if (ctx == NULL
    3238                 :        780 :                   || gimple_code (ctx->stmt) != GIMPLE_OMP_FOR
    3239                 :        795 :                   || (oclause
    3240                 :        780 :                         = omp_find_clause (gimple_omp_for_clauses (ctx->stmt),
    3241                 :            :                                            OMP_CLAUSE_ORDERED)) == NULL_TREE)
    3242                 :            :                 {
    3243                 :         15 :                   error_at (OMP_CLAUSE_LOCATION (c),
    3244                 :            :                             "%<ordered%> construct with %<depend%> clause "
    3245                 :            :                             "must be closely nested inside an %<ordered%> "
    3246                 :            :                             "loop");
    3247                 :         15 :                   return false;
    3248                 :            :                 }
    3249                 :        780 :               else if (OMP_CLAUSE_ORDERED_EXPR (oclause) == NULL_TREE)
    3250                 :            :                 {
    3251                 :          0 :                   error_at (OMP_CLAUSE_LOCATION (c),
    3252                 :            :                             "%<ordered%> construct with %<depend%> clause "
    3253                 :            :                             "must be closely nested inside a loop with "
    3254                 :            :                             "%<ordered%> clause with a parameter");
    3255                 :          0 :                   return false;
    3256                 :            :                 }
    3257                 :            :             }
    3258                 :            :           else
    3259                 :            :             {
    3260                 :          5 :               error_at (OMP_CLAUSE_LOCATION (c),
    3261                 :            :                         "invalid depend kind in omp %<ordered%> %<depend%>");
    3262                 :          5 :               return false;
    3263                 :            :             }
    3264                 :            :         }
    3265                 :       1266 :       c = gimple_omp_ordered_clauses (as_a <gomp_ordered *> (stmt));
    3266                 :       1266 :       if (omp_find_clause (c, OMP_CLAUSE_SIMD))
    3267                 :            :         {
    3268                 :            :           /* ordered simd must be closely nested inside of simd region,
    3269                 :            :              and simd region must not encounter constructs other than
    3270                 :            :              ordered simd, therefore ordered simd may be either orphaned,
    3271                 :            :              or ctx->stmt must be simd.  The latter case is handled already
    3272                 :            :              earlier.  */
    3273                 :         40 :           if (ctx != NULL)
    3274                 :            :             {
    3275                 :         10 :               error_at (gimple_location (stmt),
    3276                 :            :                         "%<ordered%> %<simd%> must be closely nested inside "
    3277                 :            :                         "%<simd%> region");
    3278                 :         10 :               return false;
    3279                 :            :             }
    3280                 :            :         }
    3281                 :       1256 :       for (; ctx != NULL; ctx = ctx->outer)
    3282                 :       1103 :         switch (gimple_code (ctx->stmt))
    3283                 :            :           {
    3284                 :         37 :           case GIMPLE_OMP_CRITICAL:
    3285                 :         37 :           case GIMPLE_OMP_TASK:
    3286                 :         37 :           case GIMPLE_OMP_ORDERED:
    3287                 :         37 :           ordered_in_taskloop:
    3288                 :         37 :             error_at (gimple_location (stmt),
    3289                 :            :                       "%<ordered%> region may not be closely nested inside "
    3290                 :            :                       "of %<critical%>, %<ordered%>, explicit %<task%> or "
    3291                 :            :                       "%<taskloop%> region");
    3292                 :         37 :             return false;
    3293                 :       1046 :           case GIMPLE_OMP_FOR:
    3294                 :       1046 :             if (gimple_omp_for_kind (ctx->stmt) == GF_OMP_FOR_KIND_TASKLOOP)
    3295                 :         10 :               goto ordered_in_taskloop;
    3296                 :       1036 :             tree o;
    3297                 :       1036 :             o = omp_find_clause (gimple_omp_for_clauses (ctx->stmt),
    3298                 :            :                                  OMP_CLAUSE_ORDERED);
    3299                 :       1036 :             if (o == NULL)
    3300                 :            :               {
    3301                 :         26 :                 error_at (gimple_location (stmt),
    3302                 :            :                           "%<ordered%> region must be closely nested inside "
    3303                 :            :                           "a loop region with an %<ordered%> clause");
    3304                 :         26 :                 return false;
    3305                 :            :               }
    3306                 :       1010 :             if (OMP_CLAUSE_ORDERED_EXPR (o) != NULL_TREE
    3307                 :       1010 :                 && omp_find_clause (c, OMP_CLAUSE_DEPEND) == NULL_TREE)
    3308                 :            :               {
    3309                 :         15 :                 error_at (gimple_location (stmt),
    3310                 :            :                           "%<ordered%> region without %<depend%> clause may "
    3311                 :            :                           "not be closely nested inside a loop region with "
    3312                 :            :                           "an %<ordered%> clause with a parameter");
    3313                 :         15 :                 return false;
    3314                 :            :               }
    3315                 :            :             return true;
    3316                 :         10 :           case GIMPLE_OMP_TARGET:
    3317                 :         10 :             if (gimple_omp_target_kind (ctx->stmt)
    3318                 :            :                 != GF_OMP_TARGET_KIND_REGION)
    3319                 :            :               break;
    3320                 :            :             /* FALLTHRU */
    3321                 :         30 :           case GIMPLE_OMP_PARALLEL:
    3322                 :         30 :           case GIMPLE_OMP_TEAMS:
    3323                 :         30 :             error_at (gimple_location (stmt),
    3324                 :            :                       "%<ordered%> region must be closely nested inside "
    3325                 :            :                       "a loop region with an %<ordered%> clause");
    3326                 :         30 :             return false;
    3327                 :            :           default:
    3328                 :            :             break;
    3329                 :            :           }
    3330                 :            :       break;
    3331                 :        353 :     case GIMPLE_OMP_CRITICAL:
    3332                 :        353 :       {
    3333                 :        353 :         tree this_stmt_name
    3334                 :        353 :           = gimple_omp_critical_name (as_a <gomp_critical *> (stmt));
    3335                 :        626 :         for (; ctx != NULL; ctx = ctx->outer)
    3336                 :        277 :           if (gomp_critical *other_crit
    3337                 :        294 :                 = dyn_cast <gomp_critical *> (ctx->stmt))
    3338                 :         21 :             if (this_stmt_name == gimple_omp_critical_name (other_crit))
    3339                 :            :               {
    3340                 :          4 :                 error_at (gimple_location (stmt),
    3341                 :            :                           "%<critical%> region may not be nested inside "
    3342                 :            :                            "a %<critical%> region with the same name");
    3343                 :          4 :                 return false;
    3344                 :            :               }
    3345                 :            :       }
    3346                 :            :       break;
    3347                 :       4826 :     case GIMPLE_OMP_TEAMS:
    3348                 :       4826 :       if (ctx == NULL)
    3349                 :            :         break;
    3350                 :       3786 :       else if (gimple_code (ctx->stmt) != GIMPLE_OMP_TARGET
    3351                 :       3786 :                || (gimple_omp_target_kind (ctx->stmt)
    3352                 :            :                    != GF_OMP_TARGET_KIND_REGION))
    3353                 :            :         {
    3354                 :            :           /* Teams construct can appear either strictly nested inside of
    3355                 :            :              target construct with no intervening stmts, or can be encountered
    3356                 :            :              only by initial task (so must not appear inside any OpenMP
    3357                 :            :              construct.  */
    3358                 :         55 :           error_at (gimple_location (stmt),
    3359                 :            :                     "%<teams%> construct must be closely nested inside of "
    3360                 :            :                     "%<target%> construct or not nested in any OpenMP "
    3361                 :            :                     "construct");
    3362                 :         55 :           return false;
    3363                 :            :         }
    3364                 :            :       break;
    3365                 :      27209 :     case GIMPLE_OMP_TARGET:
    3366                 :     114639 :       for (c = gimple_omp_target_clauses (stmt); c; c = OMP_CLAUSE_CHAIN (c))
    3367                 :      87430 :         if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_DEPEND
    3368                 :      87430 :             && (OMP_CLAUSE_DEPEND_KIND (c) == OMP_CLAUSE_DEPEND_SOURCE
    3369                 :        132 :                 || OMP_CLAUSE_DEPEND_KIND (c) == OMP_CLAUSE_DEPEND_SINK))
    3370                 :            :           {
    3371                 :          0 :             enum omp_clause_depend_kind kind = OMP_CLAUSE_DEPEND_KIND (c);
    3372                 :          0 :             error_at (OMP_CLAUSE_LOCATION (c),
    3373                 :            :                       "%<depend(%s)%> is only allowed in %<omp ordered%>",
    3374                 :            :                       kind == OMP_CLAUSE_DEPEND_SOURCE ? "source" : "sink");
    3375                 :          0 :             return false;
    3376                 :            :           }
    3377                 :      27209 :       if (is_gimple_omp_offloaded (stmt)
    3378                 :      27209 :           && oacc_get_fn_attrib (cfun->decl) != NULL)
    3379                 :            :         {
    3380                 :          5 :           error_at (gimple_location (stmt),
    3381                 :            :                     "OpenACC region inside of OpenACC routine, nested "
    3382                 :            :                     "parallelism not supported yet");
    3383                 :          5 :           return false;
    3384                 :            :         }
    3385                 :      32080 :       for (; ctx != NULL; ctx = ctx->outer)
    3386                 :            :         {
    3387                 :       5240 :           if (gimple_code (ctx->stmt) != GIMPLE_OMP_TARGET)
    3388                 :            :             {
    3389                 :        645 :               if (is_gimple_omp (stmt)
    3390                 :        645 :                   && is_gimple_omp_oacc (stmt)
    3391                 :        264 :                   && is_gimple_omp (ctx->stmt))
    3392                 :            :                 {
    3393                 :        264 :                   error_at (gimple_location (stmt),
    3394                 :            :                             "OpenACC construct inside of non-OpenACC region");
    3395                 :        264 :                   return false;
    3396                 :            :                 }
    3397                 :        381 :               continue;
    3398                 :            :             }
    3399                 :            : 
    3400                 :       4595 :           const char *stmt_name, *ctx_stmt_name;
    3401                 :       4595 :           switch (gimple_omp_target_kind (stmt))
    3402                 :            :             {
    3403                 :            :             case GF_OMP_TARGET_KIND_REGION: stmt_name = "target"; break;
    3404                 :        393 :             case GF_OMP_TARGET_KIND_DATA: stmt_name = "target data"; break;
    3405                 :       1689 :             case GF_OMP_TARGET_KIND_UPDATE: stmt_name = "target update"; break;
    3406                 :          5 :             case GF_OMP_TARGET_KIND_ENTER_DATA:
    3407                 :          5 :               stmt_name = "target enter data"; break;
    3408                 :          5 :             case GF_OMP_TARGET_KIND_EXIT_DATA:
    3409                 :          5 :               stmt_name = "target exit data"; break;
    3410                 :       1047 :             case GF_OMP_TARGET_KIND_OACC_PARALLEL: stmt_name = "parallel"; break;
    3411                 :        348 :             case GF_OMP_TARGET_KIND_OACC_KERNELS: stmt_name = "kernels"; break;
    3412                 :          0 :             case GF_OMP_TARGET_KIND_OACC_SERIAL: stmt_name = "serial"; break;
    3413                 :        149 :             case GF_OMP_TARGET_KIND_OACC_DATA: stmt_name = "data"; break;
    3414                 :        146 :             case GF_OMP_TARGET_KIND_OACC_UPDATE: stmt_name = "update"; break;
    3415                 :        118 :             case GF_OMP_TARGET_KIND_OACC_ENTER_EXIT_DATA:
    3416                 :        118 :               stmt_name = "enter/exit data"; break;
    3417                 :         76 :             case GF_OMP_TARGET_KIND_OACC_DECLARE: stmt_name = "declare"; break;
    3418                 :        143 :             case GF_OMP_TARGET_KIND_OACC_HOST_DATA: stmt_name = "host_data";
    3419                 :        143 :               break;
    3420                 :          0 :             default: gcc_unreachable ();
    3421                 :            :             }
    3422                 :       4595 :           switch (gimple_omp_target_kind (ctx->stmt))
    3423                 :            :             {
    3424                 :            :             case GF_OMP_TARGET_KIND_REGION: ctx_stmt_name = "target"; break;
    3425                 :       2537 :             case GF_OMP_TARGET_KIND_DATA: ctx_stmt_name = "target data"; break;
    3426                 :         35 :             case GF_OMP_TARGET_KIND_OACC_PARALLEL:
    3427                 :         35 :               ctx_stmt_name = "parallel"; break;
    3428                 :         35 :             case GF_OMP_TARGET_KIND_OACC_KERNELS:
    3429                 :         35 :               ctx_stmt_name = "kernels"; break;
    3430                 :          0 :             case GF_OMP_TARGET_KIND_OACC_SERIAL:
    3431                 :          0 :               ctx_stmt_name = "serial"; break;
    3432                 :       1917 :             case GF_OMP_TARGET_KIND_OACC_DATA: ctx_stmt_name = "data"; break;
    3433                 :         10 :             case GF_OMP_TARGET_KIND_OACC_HOST_DATA:
    3434                 :         10 :               ctx_stmt_name = "host_data"; break;
    3435                 :          0 :             default: gcc_unreachable ();
    3436                 :            :             }
    3437                 :            : 
    3438                 :            :           /* OpenACC/OpenMP mismatch?  */
    3439                 :       9190 :           if (is_gimple_omp_oacc (stmt)
    3440                 :       4595 :               != is_gimple_omp_oacc (ctx->stmt))
    3441                 :            :             {
    3442                 :         60 :               error_at (gimple_location (stmt),
    3443                 :            :                         "%s %qs construct inside of %s %qs region",
    3444                 :            :                         (is_gimple_omp_oacc (stmt)
    3445                 :            :                          ? "OpenACC" : "OpenMP"), stmt_name,
    3446                 :            :                         (is_gimple_omp_oacc (ctx->stmt)
    3447                 :            :                          ? "OpenACC" : "OpenMP"), ctx_stmt_name);
    3448                 :         30 :               return false;
    3449                 :            :             }
    3450                 :       4565 :           if (is_gimple_omp_offloaded (ctx->stmt))
    3451                 :            :             {
    3452                 :            :               /* No GIMPLE_OMP_TARGET inside offloaded OpenACC CTX.  */
    3453                 :        101 :               if (is_gimple_omp_oacc (ctx->stmt))
    3454                 :            :                 {
    3455                 :         70 :                   error_at (gimple_location (stmt),
    3456                 :            :                             "%qs construct inside of %qs region",
    3457                 :            :                             stmt_name, ctx_stmt_name);
    3458                 :         70 :                   return false;
    3459                 :            :                 }
    3460                 :            :               else
    3461                 :            :                 {
    3462                 :         31 :                   warning_at (gimple_location (stmt), 0,
    3463                 :            :                               "%qs construct inside of %qs region",
    3464                 :            :                               stmt_name, ctx_stmt_name);
    3465                 :            :                 }
    3466                 :            :             }
    3467                 :            :         }
    3468                 :            :       break;
    3469                 :            :     default:
    3470                 :            :       break;
    3471                 :            :     }
    3472                 :            :   return true;
    3473                 :            : }
    3474                 :            : 
    3475                 :            : 
    3476                 :            : /* Helper function scan_omp.
    3477                 :            : 
    3478                 :            :    Callback for walk_tree or operators in walk_gimple_stmt used to
    3479                 :            :    scan for OMP directives in TP.  */
    3480                 :            : 
    3481                 :            : static tree
    3482                 :    6143990 : scan_omp_1_op (tree *tp, int *walk_subtrees, void *data)
    3483                 :            : {
    3484                 :    6143990 :   struct walk_stmt_info *wi = (struct walk_stmt_info *) data;
    3485                 :    6143990 :   omp_context *ctx = (omp_context *) wi->info;
    3486                 :    6143990 :   tree t = *tp;
    3487                 :            : 
    3488                 :    6143990 :   switch (TREE_CODE (t))
    3489                 :            :     {
    3490                 :    2794740 :     case VAR_DECL:
    3491                 :    2794740 :     case PARM_DECL:
    3492                 :    2794740 :     case LABEL_DECL:
    3493                 :    2794740 :     case RESULT_DECL:
    3494                 :    2794740 :       if (ctx)
    3495                 :            :         {
    3496                 :    1549720 :           tree repl = remap_decl (t, &ctx->cb);
    3497                 :    1549720 :           gcc_checking_assert (TREE_CODE (repl) != ERROR_MARK);
    3498                 :    1549720 :           *tp = repl;
    3499                 :            :         }
    3500                 :            :       break;
    3501                 :            : 
    3502                 :    3349250 :     default:
    3503                 :    3349250 :       if (ctx && TYPE_P (t))
    3504                 :          0 :         *tp = remap_type (t, &ctx->cb);
    3505                 :    3349250 :       else if (!DECL_P (t))
    3506                 :            :         {
    3507                 :    2846610 :           *walk_subtrees = 1;
    3508                 :    2846610 :           if (ctx)
    3509                 :            :             {
    3510                 :    1115040 :               tree tem = remap_type (TREE_TYPE (t), &ctx->cb);
    3511                 :    1115040 :               if (tem != TREE_TYPE (t))
    3512                 :            :                 {
    3513                 :      14179 :                   if (TREE_CODE (t) == INTEGER_CST)
    3514                 :       5499 :                     *tp = wide_int_to_tree (tem, wi::to_wide (t));
    3515                 :            :                   else
    3516                 :       8680 :                     TREE_TYPE (t) = tem;
    3517                 :            :                 }
    3518                 :            :             }
    3519                 :            :         }
    3520                 :            :       break;
    3521                 :            :     }
    3522                 :            : 
    3523                 :    6143990 :   return NULL_TREE;
    3524                 :            : }
    3525                 :            : 
    3526                 :            : /* Return true if FNDECL is a setjmp or a longjmp.  */
    3527                 :            : 
    3528                 :            : static bool
    3529                 :       2382 : setjmp_or_longjmp_p (const_tree fndecl)
    3530                 :            : {
    3531                 :       2382 :   if (fndecl_built_in_p (fndecl, BUILT_IN_SETJMP)
    3532                 :       2382 :       || fndecl_built_in_p (fndecl, BUILT_IN_LONGJMP))
    3533                 :            :     return true;
    3534                 :            : 
    3535                 :       2382 :   tree declname = DECL_NAME (fndecl);
    3536                 :       2382 :   if (!declname
    3537                 :       2382 :       || (DECL_CONTEXT (fndecl) != NULL_TREE
    3538                 :       2150 :           && TREE_CODE (DECL_CONTEXT (fndecl)) != TRANSLATION_UNIT_DECL)
    3539                 :       4499 :       || !TREE_PUBLIC (fndecl))
    3540                 :            :     return false;
    3541                 :            : 
    3542                 :       1947 :   const char *name = IDENTIFIER_POINTER (declname);
    3543                 :       1947 :   return !strcmp (name, "setjmp") || !strcmp (name, "longjmp");
    3544                 :            : }
    3545                 :            : 
    3546                 :            : /* Return true if FNDECL is an omp_* runtime API call.  */
    3547                 :            : 
    3548                 :            : static bool
    3549                 :        385 : omp_runtime_api_call (const_tree fndecl)
    3550                 :            : {
    3551                 :        385 :   tree declname = DECL_NAME (fndecl);
    3552                 :        385 :   if (!declname
    3553                 :        385 :       || (DECL_CONTEXT (fndecl) != NULL_TREE
    3554                 :        385 :           && TREE_CODE (DECL_CONTEXT (fndecl)) != TRANSLATION_UNIT_DECL)
    3555                 :        595 :       || !TREE_PUBLIC (fndecl))
    3556                 :            :     return false;
    3557                 :            : 
    3558                 :        162 :   const char *name = IDENTIFIER_POINTER (declname);
    3559                 :        162 :   if (strncmp (name, "omp_", 4) != 0)
    3560                 :            :     return false;
    3561                 :            : 
    3562                 :            :   static const char *omp_runtime_apis[] =
    3563                 :            :     {
    3564                 :            :       /* This array has 3 sections.  First omp_* calls that don't
    3565                 :            :          have any suffixes.  */
    3566                 :            :       "target_alloc",
    3567                 :            :       "target_associate_ptr",
    3568                 :            :       "target_disassociate_ptr",
    3569                 :            :       "target_free",
    3570                 :            :       "target_is_present",
    3571                 :            :       "target_memcpy",
    3572                 :            :       "target_memcpy_rect",
    3573                 :            :       NULL,
    3574                 :            :       /* Now omp_* calls that are available as omp_* and omp_*_.  */
    3575                 :            :       "capture_affinity",
    3576                 :            :       "destroy_lock",
    3577                 :            :       "destroy_nest_lock",
    3578                 :            :       "display_affinity",
    3579                 :            :       "get_active_level",
    3580                 :            :       "get_affinity_format",
    3581                 :            :       "get_cancellation",
    3582                 :            :       "get_default_device",
    3583                 :            :       "get_dynamic",
    3584                 :            :       "get_initial_device",
    3585                 :            :       "get_level",
    3586                 :            :       "get_max_active_levels",
    3587                 :            :       "get_max_task_priority",
    3588                 :            :       "get_max_threads",
    3589                 :            :       "get_nested",
    3590                 :            :       "get_num_devices",
    3591                 :            :       "get_num_places",
    3592                 :            :       "get_num_procs",
    3593                 :            :       "get_num_teams",
    3594                 :            :       "get_num_threads",
    3595                 :            :       "get_partition_num_places",
    3596                 :            :       "get_place_num",
    3597                 :            :       "get_proc_bind",
    3598                 :            :       "get_team_num",
    3599                 :            :       "get_thread_limit",
    3600                 :            :       "get_thread_num",
    3601                 :            :       "get_wtick",
    3602                 :            :       "get_wtime",
    3603                 :            :       "in_final",
    3604                 :            :       "in_parallel",
    3605                 :            :       "init_lock",
    3606                 :            :       "init_nest_lock",
    3607                 :            :       "is_initial_device",
    3608                 :            :       "pause_resource",
    3609                 :            :       "pause_resource_all",
    3610                 :            :       "set_affinity_format",
    3611                 :            :       "set_lock",
    3612                 :            :       "set_nest_lock",
    3613                 :            :       "test_lock",
    3614                 :            :       "test_nest_lock",
    3615                 :            :       "unset_lock",
    3616                 :            :       "unset_nest_lock",
    3617                 :            :       NULL,
    3618                 :            :       /* And finally calls available as omp_*, omp_*_ and omp_*_8_.  */
    3619                 :            :       "get_ancestor_thread_num",
    3620                 :            :       "get_partition_place_nums",
    3621                 :            :       "get_place_num_procs",
    3622                 :            :       "get_place_proc_ids",
    3623                 :            :       "get_schedule",
    3624                 :            :       "get_team_size",
    3625                 :            :       "set_default_device",
    3626                 :            :       "set_dynamic",
    3627                 :            :       "set_max_active_levels",
    3628                 :            :       "set_nested",
    3629                 :            :       "set_num_threads",
    3630                 :            :       "set_schedule"
    3631                 :            :     };
    3632                 :            : 
    3633                 :            :   int mode = 0;
    3634                 :       2460 :   for (unsigned i = 0; i < ARRAY_SIZE (omp_runtime_apis); i++)
    3635                 :            :     {
    3636                 :       2460 :       if (omp_runtime_apis[i] == NULL)
    3637                 :            :         {
    3638                 :         90 :           mode++;
    3639                 :         90 :           continue;
    3640                 :            :         }
    3641                 :       2370 :       size_t len = strlen (omp_runtime_apis[i]);
    3642                 :       2370 :       if (strncmp (name + 4, omp_runtime_apis[i], len) == 0
    3643                 :        120 :           && (name[4 + len] == '\0'
    3644                 :          0 :               || (mode > 0
    3645                 :          0 :                   && name[4 + len] == '_'
    3646                 :          0 :                   && (name[4 + len + 1] == '\0'
    3647                 :          0 :                       || (mode > 1
    3648                 :          0 :                           && strcmp (name + 4 + len + 1, "8_") == 0)))))
    3649                 :            :         return true;
    3650                 :            :     }
    3651                 :            :   return false;
    3652                 :            : }
    3653                 :            : 
    3654                 :            : /* Helper function for scan_omp.
    3655                 :            : 
    3656                 :            :    Callback for walk_gimple_stmt used to scan for OMP directives in
    3657                 :            :    the current statement in GSI.  */
    3658                 :            : 
    3659                 :            : static tree
    3660                 :    2187720 : scan_omp_1_stmt (gimple_stmt_iterator *gsi, bool *handled_ops_p,
    3661                 :            :                  struct walk_stmt_info *wi)
    3662                 :            : {
    3663                 :    2187720 :   gimple *stmt = gsi_stmt (*gsi);
    3664                 :    2187720 :   omp_context *ctx = (omp_context *) wi->info;
    3665                 :            : 
    3666                 :    2473080 :   if (gimple_has_location (stmt))
    3667                 :    1777510 :     input_location = gimple_location (stmt);
    3668                 :            : 
    3669                 :            :   /* Check the nesting restrictions.  */
    3670                 :    2187720 :   bool remove = false;
    3671                 :    2187720 :   if (is_gimple_omp (stmt))
    3672                 :     106867 :     remove = !check_omp_nesting_restrictions (stmt, ctx);
    3673                 :    2080860 :   else if (is_gimple_call (stmt))
    3674                 :            :     {
    3675                 :     130548 :       tree fndecl = gimple_call_fndecl (stmt);
    3676                 :     130548 :       if (fndecl)
    3677                 :            :         {
    3678                 :     124782 :           if (ctx
    3679                 :      44836 :               && gimple_code (ctx->stmt) == GIMPLE_OMP_FOR
    3680                 :      11822 :               && gimple_omp_for_kind (ctx->stmt) == GF_OMP_FOR_KIND_SIMD
    3681                 :       2382 :               && setjmp_or_longjmp_p (fndecl)
    3682                 :     124792 :               && !ctx->loop_p)
    3683                 :            :             {
    3684                 :          5 :               remove = true;
    3685                 :          5 :               error_at (gimple_location (stmt),
    3686                 :            :                         "setjmp/longjmp inside %<simd%> construct");
    3687                 :            :             }
    3688                 :     124777 :           else if (DECL_BUILT_IN_CLASS (fndecl) == BUILT_IN_NORMAL)
    3689                 :      31833 :             switch (DECL_FUNCTION_CODE (fndecl))
    3690                 :            :               {
    3691                 :       3510 :               case BUILT_IN_GOMP_BARRIER:
    3692                 :       3510 :               case BUILT_IN_GOMP_CANCEL:
    3693                 :       3510 :               case BUILT_IN_GOMP_CANCELLATION_POINT:
    3694                 :       3510 :               case BUILT_IN_GOMP_TASKYIELD:
    3695                 :       3510 :               case BUILT_IN_GOMP_TASKWAIT:
    3696                 :       3510 :               case BUILT_IN_GOMP_TASKGROUP_START:
    3697                 :       3510 :               case BUILT_IN_GOMP_TASKGROUP_END:
    3698                 :       3510 :                 remove = !check_omp_nesting_restrictions (stmt, ctx);
    3699                 :       3510 :                 break;
    3700                 :            :               default:
    3701                 :            :                 break;
    3702                 :            :               }
    3703                 :      92944 :           else if (ctx)
    3704                 :            :             {
    3705                 :      31352 :               omp_context *octx = ctx;
    3706                 :      31352 :               if (gimple_code (ctx->stmt) == GIMPLE_OMP_SCAN && ctx->outer)
    3707                 :        112 :                 octx = ctx->outer;
    3708                 :      31352 :               if (octx->order_concurrent && omp_runtime_api_call (fndecl))
    3709                 :            :                 {
    3710                 :        120 :                   remove = true;
    3711                 :        120 :                   error_at (gimple_location (stmt),
    3712                 :            :                             "OpenMP runtime API call %qD in a region with "
    3713                 :            :                             "%<order(concurrent)%> clause", fndecl);
    3714                 :            :                 }
    3715                 :            :             }
    3716                 :            :         }
    3717                 :            :     }
    3718                 :     110502 :   if (remove)
    3719                 :            :     {
    3720                 :       2757 :       stmt = gimple_build_nop ();
    3721                 :       2757 :       gsi_replace (gsi, stmt, false);
    3722                 :            :     }
    3723                 :            : 
    3724                 :    2187720 :   *handled_ops_p = true;
    3725                 :            : 
    3726                 :    2187720 :   switch (gimple_code (stmt))
    3727                 :            :     {
    3728                 :      14048 :     case GIMPLE_OMP_PARALLEL:
    3729                 :      14048 :       taskreg_nesting_level++;
    3730                 :      14048 :       scan_omp_parallel (gsi, ctx);
    3731                 :      14048 :       taskreg_nesting_level--;
    3732                 :      14048 :       break;
    3733                 :            : 
    3734                 :       3319 :     case GIMPLE_OMP_TASK:
    3735                 :       3319 :       taskreg_nesting_level++;
    3736                 :       3319 :       scan_omp_task (gsi, ctx);
    3737                 :       3319 :       taskreg_nesting_level--;
    3738                 :       3319 :       break;
    3739                 :            : 
    3740                 :      40785 :     case GIMPLE_OMP_FOR:
    3741                 :      40785 :       if ((gimple_omp_for_kind (as_a <gomp_for *> (stmt))
    3742                 :            :            == GF_OMP_FOR_KIND_SIMD)
    3743                 :       8047 :           && gimple_omp_for_combined_into_p (stmt)
    3744                 :      46466 :           && gimple_code (ctx->stmt) != GIMPLE_OMP_SCAN)
    3745                 :            :         {
    3746                 :       5527 :           tree clauses = gimple_omp_for_clauses (as_a <gomp_for *> (stmt));
    3747                 :       5527 :           tree c = omp_find_clause (clauses, OMP_CLAUSE_REDUCTION);
    3748                 :       5527 :           if (c && OMP_CLAUSE_REDUCTION_INSCAN (c) && !seen_error ())
    3749                 :            :             {
    3750                 :         77 :               scan_omp_simd_scan (gsi, as_a <gomp_for *> (stmt), ctx);
    3751                 :         77 :               break;
    3752                 :            :             }
    3753                 :            :         }
    3754                 :      40708 :       if ((gimple_omp_for_kind (as_a <gomp_for *> (stmt))
    3755                 :            :            == GF_OMP_FOR_KIND_SIMD)
    3756                 :       7970 :           && omp_maybe_offloaded_ctx (ctx)
    3757                 :      43733 :           && omp_max_simt_vf ())
    3758                 :          0 :         scan_omp_simd (gsi, as_a <gomp_for *> (stmt), ctx);
    3759                 :            :       else
    3760                 :      40708 :         scan_omp_for (as_a <gomp_for *> (stmt), ctx);
    3761                 :            :       break;
    3762                 :            : 
    3763                 :        533 :     case GIMPLE_OMP_SECTIONS:
    3764                 :        533 :       scan_omp_sections (as_a <gomp_sections *> (stmt), ctx);
    3765                 :        533 :       break;
    3766                 :            : 
    3767                 :       1060 :     case GIMPLE_OMP_SINGLE:
    3768                 :       1060 :       scan_omp_single (as_a <gomp_single *> (stmt), ctx);
    3769                 :       1060 :       break;
    3770                 :            : 
    3771                 :       1112 :     case GIMPLE_OMP_SCAN:
    3772                 :       1112 :       if (tree clauses = gimple_omp_scan_clauses (as_a <gomp_scan *> (stmt)))
    3773                 :            :         {
    3774                 :        551 :           if (OMP_CLAUSE_CODE (clauses) == OMP_CLAUSE_INCLUSIVE)
    3775                 :        276 :             ctx->scan_inclusive = true;
    3776                 :        275 :           else if (OMP_CLAUSE_CODE (clauses) == OMP_CLAUSE_EXCLUSIVE)
    3777                 :        275 :             ctx->scan_exclusive = true;
    3778                 :            :         }
    3779                 :            :       /* FALLTHRU */
    3780                 :       4265 :     case GIMPLE_OMP_SECTION:
    3781                 :       4265 :     case GIMPLE_OMP_MASTER:
    3782                 :       4265 :     case GIMPLE_OMP_ORDERED:
    3783                 :       4265 :     case GIMPLE_OMP_CRITICAL:
    3784                 :       4265 :     case GIMPLE_OMP_GRID_BODY:
    3785                 :       4265 :       ctx = new_omp_context (stmt, ctx);
    3786                 :       4265 :       scan_omp (gimple_omp_body_ptr (stmt), ctx);
    3787                 :       4265 :       break;
    3788                 :            : 
    3789                 :        309 :     case GIMPLE_OMP_TASKGROUP:
    3790                 :        309 :       ctx = new_omp_context (stmt, ctx);
    3791                 :        309 :       scan_sharing_clauses (gimple_omp_taskgroup_clauses (stmt), ctx);
    3792                 :        309 :       scan_omp (gimple_omp_body_ptr (stmt), ctx);
    3793                 :        309 :       break;
    3794                 :            : 
    3795                 :      26840 :     case GIMPLE_OMP_TARGET:
    3796                 :      26840 :       if (is_gimple_omp_offloaded (stmt))
    3797                 :            :         {
    3798                 :      15568 :           taskreg_nesting_level++;
    3799                 :      15568 :           scan_omp_target (as_a <gomp_target *> (stmt), ctx);
    3800                 :      15568 :           taskreg_nesting_level--;
    3801                 :            :         }
    3802                 :            :       else
    3803                 :      11272 :         scan_omp_target (as_a <gomp_target *> (stmt), ctx);
    3804                 :            :       break;
    3805                 :            : 
    3806                 :       4771 :     case GIMPLE_OMP_TEAMS:
    3807                 :       4771 :       if (gimple_omp_teams_host (as_a <gomp_teams *> (stmt)))
    3808                 :            :         {
    3809                 :       1040 :           taskreg_nesting_level++;
    3810                 :       1040 :           scan_omp_teams (as_a <gomp_teams *> (stmt), ctx);
    3811                 :       1040 :           taskreg_nesting_level--;
    3812                 :            :         }
    3813                 :            :       else
    3814                 :       3731 :         scan_omp_teams (as_a <gomp_teams *> (stmt), ctx);
    3815                 :            :       break;
    3816                 :            : 
    3817                 :     175898 :     case GIMPLE_BIND:
    3818                 :     175898 :       {
    3819                 :     175898 :         tree var;
    3820                 :            : 
    3821                 :     175898 :         *handled_ops_p = false;
    3822                 :     175898 :         if (ctx)
    3823                 :     414382 :           for (var = gimple_bind_vars (as_a <gbind *> (stmt));
    3824                 :     414382 :                var ;
    3825                 :     313602 :                var = DECL_CHAIN (var))
    3826                 :     313602 :             insert_decl_map (&ctx->cb, var, var);
    3827                 :            :       }
    3828                 :            :       break;
    3829                 :    1915900 :     default:
    3830                 :    1915900 :       *handled_ops_p = false;
    3831                 :    1915900 :       break;
    3832                 :            :     }
    3833                 :            : 
    3834                 :    2187720 :   return NULL_TREE;
    3835                 :            : }
    3836                 :            : 
    3837                 :            : 
    3838                 :            : /* Scan all the statements starting at the current statement.  CTX
    3839                 :            :    contains context information about the OMP directives and
    3840                 :            :    clauses found during the scan.  */
    3841                 :            : 
    3842                 :            : static void
    3843                 :     179244 : scan_omp (gimple_seq *body_p, omp_context *ctx)
    3844                 :            : {
    3845                 :     179244 :   location_t saved_location;
    3846                 :     179244 :   struct walk_stmt_info wi;
    3847                 :            : 
    3848                 :     179244 :   memset (&wi, 0, sizeof (wi));
    3849                 :     179244 :   wi.info = ctx;
    3850                 :     179244 :   wi.want_locations = true;
    3851                 :            : 
    3852                 :     179244 :   saved_location = input_location;
    3853                 :     179244 :   walk_gimple_seq_mod (body_p, scan_omp_1_stmt, scan_omp_1_op, &wi);
    3854                 :     179244 :   input_location = saved_location;
    3855                 :     179244 : }
    3856                 :            : 
    3857                 :            : /* Re-gimplification and code generation routines.  */
    3858                 :            : 
    3859                 :            : /* Remove omp_member_access_dummy_var variables from gimple_bind_vars
    3860                 :            :    of BIND if in a method.  */
    3861                 :            : 
    3862                 :            : static void
    3863                 :     177278 : maybe_remove_omp_member_access_dummy_vars (gbind *bind)
    3864                 :            : {
    3865                 :     177278 :   if (DECL_ARGUMENTS (current_function_decl)
    3866                 :      69583 :       && DECL_ARTIFICIAL (DECL_ARGUMENTS (current_function_decl))
    3867                 :     185500 :       && (TREE_CODE (TREE_TYPE (DECL_ARGUMENTS (current_function_decl)))
    3868                 :            :           == POINTER_TYPE))
    3869                 :            :     {
    3870                 :       2936 :       tree vars = gimple_bind_vars (bind);
    3871                 :      17379 :       for (tree *pvar = &vars; *pvar; )
    3872                 :      14443 :         if (omp_member_access_dummy_var (*pvar))
    3873                 :        760 :           *pvar = DECL_CHAIN (*pvar);
    3874                 :            :         else
    3875                 :      13683 :           pvar = &DECL_CHAIN (*pvar);
    3876                 :       2936 :       gimple_bind_set_vars (bind, vars);
    3877                 :            :     }
    3878                 :     177278 : }
    3879                 :            : 
    3880                 :            : /* Remove omp_member_access_dummy_var variables from BLOCK_VARS of
    3881                 :            :    block and its subblocks.  */
    3882                 :            : 
    3883                 :            : static void
    3884                 :       5269 : remove_member_access_dummy_vars (tree block)
    3885                 :            : {
    3886                 :      12372 :   for (tree *pvar = &BLOCK_VARS (block); *pvar; )
    3887                 :       7103 :     if (omp_member_access_dummy_var (*pvar))
    3888                 :        117 :       *pvar = DECL_CHAIN (*pvar);
    3889                 :            :     else
    3890                 :       6986 :       pvar = &DECL_CHAIN (*pvar);
    3891                 :            : 
    3892                 :       8050 :   for (block = BLOCK_SUBBLOCKS (block); block; block = BLOCK_CHAIN (block))
    3893                 :       2781 :     remove_member_access_dummy_vars (block);
    3894                 :       5269 : }
    3895                 :            : 
    3896                 :            : /* If a context was created for STMT when it was scanned, return it.  */
    3897                 :            : 
    3898                 :            : static omp_context *
    3899                 :      83495 : maybe_lookup_ctx (gimple *stmt)
    3900                 :            : {
    3901                 :      83495 :   splay_tree_node n;
    3902                 :         77 :   n = splay_tree_lookup (all_contexts, (splay_tree_key) stmt);
    3903                 :      83495 :   return n ? (omp_context *) n->value : NULL;
    3904                 :            : }
    3905                 :            : 
    3906                 :            : 
    3907                 :            : /* Find the mapping for DECL in CTX or the immediately enclosing
    3908                 :            :    context that has a mapping for DECL.
    3909                 :            : 
    3910                 :            :    If CTX is a nested parallel directive, we may have to use the decl
    3911                 :            :    mappings created in CTX's parent context.  Suppose that we have the
    3912                 :            :    following parallel nesting (variable UIDs showed for clarity):
    3913                 :            : 
    3914                 :            :         iD.1562 = 0;
    3915                 :            :         #omp parallel shared(iD.1562)           -> outer parallel
    3916                 :            :           iD.1562 = iD.1562 + 1;
    3917                 :            : 
    3918                 :            :           #omp parallel shared (iD.1562)        -> inner parallel
    3919                 :            :              iD.1562 = iD.1562 - 1;
    3920                 :            : 
    3921                 :            :    Each parallel structure will create a distinct .omp_data_s structure
    3922                 :            :    for copying iD.1562 in/out of the directive:
    3923                 :            : 
    3924                 :            :         outer parallel          .omp_data_s.1.i -> iD.1562
    3925                 :            :         inner parallel          .omp_data_s.2.i -> iD.1562
    3926                 :            : 
    3927                 :            :    A shared variable mapping will produce a copy-out operation before
    3928                 :            :    the parallel directive and a copy-in operation after it.  So, in
    3929                 :            :    this case we would have:
    3930                 :            : 
    3931                 :            :         iD.1562 = 0;
    3932                 :            :         .omp_data_o.1.i = iD.1562;
    3933                 :            :         #omp parallel shared(iD.1562)           -> outer parallel
    3934                 :            :           .omp_data_i.1 = &.omp_data_o.1
    3935                 :            :           .omp_data_i.1->i = .omp_data_i.1->i + 1;
    3936                 :            : 
    3937                 :            :           .omp_data_o.2.i = iD.1562;            -> **
    3938                 :            :           #omp parallel shared(iD.1562)         -> inner parallel
    3939                 :            :             .omp_data_i.2 = &.omp_data_o.2
    3940                 :            :             .omp_data_i.2->i = .omp_data_i.2->i - 1;
    3941                 :            : 
    3942                 :            : 
    3943                 :            :     ** This is a problem.  The symbol iD.1562 cannot be referenced
    3944                 :            :        inside the body of the outer parallel region.  But since we are
    3945                 :            :        emitting this copy operation while expanding the inner parallel
    3946                 :            :        directive, we need to access the CTX structure of the outer
    3947                 :            :        parallel directive to get the correct mapping:
    3948                 :            : 
    3949                 :            :           .omp_data_o.2.i = .omp_data_i.1->i
    3950                 :            : 
    3951                 :            :     Since there may be other workshare or parallel directives enclosing
    3952                 :            :     the parallel directive, it may be necessary to walk up the context
    3953                 :            :     parent chain.  This is not a problem in general because nested
    3954                 :            :     parallelism happens only rarely.  */
    3955                 :            : 
    3956                 :            : static tree
    3957                 :      91957 : lookup_decl_in_outer_ctx (tree decl, omp_context *ctx)
    3958                 :            : {
    3959                 :      91957 :   tree t;
    3960                 :      91957 :   omp_context *up;
    3961                 :            : 
    3962                 :     133250 :   for (up = ctx->outer, t = NULL; up && t == NULL; up = up->outer)
    3963                 :      82586 :     t = maybe_lookup_decl (decl, up);
    3964                 :            : 
    3965                 :      91957 :   gcc_assert (!ctx->is_nested || t || is_global_var (decl));
    3966                 :            : 
    3967                 :      91957 :   return t ? t : decl;
    3968                 :            : }
    3969                 :            : 
    3970                 :            : 
    3971                 :            : /* Similar to lookup_decl_in_outer_ctx, but return DECL if not found
    3972                 :            :    in outer contexts.  */
    3973                 :            : 
    3974                 :            : static tree
    3975                 :     255810 : maybe_lookup_decl_in_outer_ctx (tree decl, omp_context *ctx)
    3976                 :            : {
    3977                 :     255810 :   tree t = NULL;
    3978                 :     255810 :   omp_context *up;
    3979                 :            : 
    3980                 :     447682 :   for (up = ctx->outer, t = NULL; up && t == NULL; up = up->outer)
    3981                 :     383744 :     t = maybe_lookup_decl (decl, up);
    3982                 :            : 
    3983                 :     255810 :   return t ? t : decl;
    3984                 :            : }
    3985                 :            : 
    3986                 :            : 
    3987                 :            : /* Construct the initialization value for reduction operation OP.  */
    3988                 :            : 
    3989                 :            : tree
    3990                 :       8522 : omp_reduction_init_op (location_t loc, enum tree_code op, tree type)
    3991                 :            : {
    3992                 :       8522 :   switch (op)
    3993                 :            :     {
    3994                 :       6540 :     case PLUS_EXPR:
    3995                 :       6540 :     case MINUS_EXPR:
    3996                 :       6540 :     case BIT_IOR_EXPR:
    3997                 :       6540 :     case BIT_XOR_EXPR:
    3998                 :       6540 :     case TRUTH_OR_EXPR:
    3999                 :       6540 :     case TRUTH_ORIF_EXPR:
    4000                 :       6540 :     case TRUTH_XOR_EXPR:
    4001                 :       6540 :     case NE_EXPR:
    4002                 :       6540 :       return build_zero_cst (type);
    4003                 :            : 
    4004                 :       1134 :     case MULT_EXPR:
    4005                 :       1134 :     case TRUTH_AND_EXPR:
    4006                 :       1134 :     case TRUTH_ANDIF_EXPR:
    4007                 :       1134 :     case EQ_EXPR:
    4008                 :       1134 :       return fold_convert_loc (loc, type, integer_one_node);
    4009                 :            : 
    4010                 :        183 :     case BIT_AND_EXPR:
    4011                 :        183 :       return fold_convert_loc (loc, type, integer_minus_one_node);
    4012                 :            : 
    4013                 :        364 :     case MAX_EXPR:
    4014                 :        364 :       if (SCALAR_FLOAT_TYPE_P (type))
    4015                 :            :         {
    4016                 :        160 :           REAL_VALUE_TYPE max, min;
    4017                 :        160 :           if (HONOR_INFINITIES (type))
    4018                 :            :             {
    4019                 :        160 :               real_inf (&max);
    4020                 :        160 :               real_arithmetic (&min, NEGATE_EXPR, &max, NULL);
    4021                 :            :             }
    4022                 :            :           else
    4023                 :          0 :             real_maxval (&min, 1, TYPE_MODE (type));
    4024                 :        160 :           return build_real (type, min);
    4025                 :            :         }
    4026                 :        204 :       else if (POINTER_TYPE_P (type))
    4027                 :            :         {
    4028                 :          2 :           wide_int min
    4029                 :          2 :             = wi::min_value (TYPE_PRECISION (type), TYPE_SIGN (type));
    4030                 :          2 :           return wide_int_to_tree (type, min);
    4031                 :            :         }
    4032                 :            :       else
    4033                 :            :         {
    4034                 :        202 :           gcc_assert (INTEGRAL_TYPE_P (type));
    4035                 :        202 :           return TYPE_MIN_VALUE (type);
    4036                 :            :         }
    4037                 :            : 
    4038                 :        301 :     case MIN_EXPR:
    4039                 :        301 :       if (SCALAR_FLOAT_TYPE_P (type))
    4040                 :            :         {
    4041                 :        110 :           REAL_VALUE_TYPE max;
    4042                 :        110 :           if (HONOR_INFINITIES (type))
    4043                 :        110 :             real_inf (&max);
    4044                 :            :           else
    4045                 :          0 :             real_maxval (&max, 0, TYPE_MODE (type));
    4046                 :        110 :           return build_real (type, max);
    4047                 :            :         }
    4048                 :        191 :       else if (POINTER_TYPE_P (type))
    4049                 :            :         {
    4050                 :          2 :           wide_int max
    4051                 :          2 :             = wi::max_value (TYPE_PRECISION (type), TYPE_SIGN (type));
    4052                 :          2 :           return wide_int_to_tree (type, max);
    4053                 :            :         }
    4054                 :            :       else
    4055                 :            :         {
    4056                 :        189 :           gcc_assert (INTEGRAL_TYPE_P (type));
    4057                 :        189 :           return TYPE_MAX_VALUE (type);
    4058                 :            :         }
    4059                 :            : 
    4060                 :          0 :     default:
    4061                 :          0 :       gcc_unreachable ();
    4062                 :            :     }
    4063                 :            : }
    4064                 :            : 
    4065                 :            : /* Construct the initialization value for reduction CLAUSE.  */
    4066                 :            : 
    4067                 :            : tree
    4068                 :       6140 : omp_reduction_init (tree clause, tree type)
    4069                 :            : {
    4070                 :       6140 :   return omp_reduction_init_op (OMP_CLAUSE_LOCATION (clause),
    4071                 :       6140 :                                 OMP_CLAUSE_REDUCTION_CODE (clause), type);
    4072                 :            : }
    4073                 :            : 
    4074                 :            : /* Return alignment to be assumed for var in CLAUSE, which should be
    4075                 :            :    OMP_CLAUSE_ALIGNED.  */
    4076                 :            : 
    4077                 :            : static tree
    4078                 :        156 : omp_clause_aligned_alignment (tree clause)
    4079                 :            : {
    4080                 :        156 :   if (OMP_CLAUSE_ALIGNED_ALIGNMENT (clause))
    4081                 :        135 :     return OMP_CLAUSE_ALIGNED_ALIGNMENT (clause);
    4082                 :            : 
    4083                 :            :   /* Otherwise return implementation defined alignment.  */
    4084                 :         21 :   unsigned int al = 1;
    4085                 :         21 :   opt_scalar_mode mode_iter;
    4086                 :         21 :   auto_vector_modes modes;
    4087                 :         21 :   targetm.vectorize.autovectorize_vector_modes (&modes, true);
    4088                 :         21 :   static enum mode_class classes[]
    4089                 :            :     = { MODE_INT, MODE_VECTOR_INT, MODE_FLOAT, MODE_VECTOR_FLOAT };
    4090                 :         63 :   for (int i = 0; i < 4; i += 2)
    4091                 :            :     /* The for loop above dictates that we only walk through scalar classes.  */
    4092                 :        273 :     FOR_EACH_MODE_IN_CLASS (mode_iter, classes[i])
    4093                 :            :       {
    4094                 :        231 :         scalar_mode mode = mode_iter.require ();
    4095                 :        231 :         machine_mode vmode = targetm.vectorize.preferred_simd_mode (mode);
    4096                 :        231 :         if (GET_MODE_CLASS (vmode) != classes[i + 1])
    4097                 :        231 :           continue;
    4098                 :            :         machine_mode alt_vmode;
    4099                 :        756 :         for (unsigned int j = 0; j < modes.length (); ++j)
    4100                 :        462 :           if (related_vector_mode (modes[j], mode).exists (&alt_vmode)
    4101                 :        420 :               && known_ge (GET_MODE_SIZE (alt_vmode), GET_MODE_SIZE (vmode)))
    4102                 :            :             vmode = alt_vmode;
    4103                 :            : 
    4104                 :        126 :         tree type = lang_hooks.types.type_for_mode (mode, 1);
    4105                 :        252 :         if (type == NULL_TREE || TYPE_MODE (type) != mode)
    4106                 :          0 :           continue;
    4107                 :        126 :         type = build_vector_type_for_mode (type, vmode);
    4108                 :        126 :         if (TYPE_MODE (type) != vmode)
    4109                 :          0 :           continue;
    4110                 :        126 :         if (TYPE_ALIGN_UNIT (type) > al)
    4111                 :            :           al = TYPE_ALIGN_UNIT (type);
    4112                 :            :       }
    4113                 :         21 :   return build_int_cst (integer_type_node, al);
    4114                 :            : }
    4115                 :            : 
    4116                 :            : 
    4117                 :            : /* This structure is part of the interface between lower_rec_simd_input_clauses
    4118                 :            :    and lower_rec_input_clauses.  */
    4119                 :            : 
    4120                 :            : class omplow_simd_context {
    4121                 :            : public:
    4122                 :      55975 :   omplow_simd_context () { memset (this, 0, sizeof (*this)); }
    4123                 :            :   tree idx;
    4124                 :            :   tree lane;
    4125                 :            :   tree lastlane;
    4126                 :            :   vec<tree, va_heap> simt_eargs;
    4127                 :            :   gimple_seq simt_dlist;
    4128                 :            :   poly_uint64_pod max_vf;
    4129                 :            :   bool is_simt;
    4130                 :            : };
    4131                 :            : 
    4132                 :            : /* Helper function of lower_rec_input_clauses, used for #pragma omp simd
    4133                 :            :    privatization.  */
    4134                 :            : 
    4135                 :            : static bool
    4136                 :       7290 : lower_rec_simd_input_clauses (tree new_var, omp_context *ctx,
    4137                 :            :                               omplow_simd_context *sctx, tree &ivar,
    4138                 :            :                               tree &lvar, tree *rvar = NULL,
    4139                 :            :                               tree *rvar2 = NULL)
    4140                 :            : {
    4141                 :       7290 :   if (known_eq (sctx->max_vf, 0U))
    4142                 :            :     {
    4143                 :       3251 :       sctx->max_vf = sctx->is_simt ? omp_max_simt_vf () : omp_max_vf ();
    4144                 :       3251 :       if (maybe_gt (sctx->max_vf, 1U))
    4145                 :            :         {
    4146                 :       2788 :           tree c = omp_find_clause (gimple_omp_for_clauses (ctx->stmt),
    4147                 :            :                                     OMP_CLAUSE_SAFELEN);
    4148                 :       2788 :           if (c)
    4149                 :            :             {
    4150                 :         52 :               poly_uint64 safe_len;
    4151                 :         52 :               if (!poly_int_tree_p (OMP_CLAUSE_SAFELEN_EXPR (c), &safe_len)
    4152                 :         52 :                   || maybe_lt (safe_len, 1U))
    4153                 :          6 :                 sctx->max_vf = 1;
    4154                 :            :               else
    4155                 :         46 :                 sctx->max_vf = lower_bound (sctx->max_vf, safe_len);
    4156                 :            :             }
    4157                 :            :         }
    4158                 :       3251 :       if (maybe_gt (sctx->max_vf, 1U))
    4159                 :            :         {
    4160                 :       2768 :           sctx->idx = create_tmp_var (unsigned_type_node);
    4161                 :       2768 :           sctx->lane = create_tmp_var (unsigned_type_node);
    4162                 :            :         }
    4163                 :            :     }
    4164                 :       7290 :   if (known_eq (sctx->max_vf, 1U))
    4165                 :            :     return false;
    4166                 :            : 
    4167                 :       5768 :   if (sctx->is_simt)
    4168                 :            :     {
    4169                 :          0 :       if (is_gimple_reg (new_var))
    4170                 :            :         {
    4171                 :          0 :           ivar = lvar = new_var;
    4172                 :          0 :           return true;
    4173                 :            :         }
    4174                 :          0 :       tree type = TREE_TYPE (new_var), ptype = build_pointer_type (type);
    4175                 :          0 :       ivar = lvar = create_tmp_var (type);
    4176                 :          0 :       TREE_ADDRESSABLE (ivar) = 1;
    4177                 :          0 :       DECL_ATTRIBUTES (ivar) = tree_cons (get_identifier ("omp simt private"),
    4178                 :          0 :                                           NULL, DECL_ATTRIBUTES (ivar));
    4179                 :          0 :       sctx->simt_eargs.safe_push (build1 (ADDR_EXPR, ptype, ivar));
    4180                 :          0 :       tree clobber = build_clobber (type);
    4181                 :          0 :       gimple *g = gimple_build_assign (ivar, clobber);
    4182                 :          0 :       gimple_seq_add_stmt (&sctx->simt_dlist, g);
    4183                 :            :     }
    4184                 :            :   else
    4185                 :            :     {
    4186                 :       5768 :       tree atype = build_array_type_nelts (TREE_TYPE (new_var), sctx->max_vf);
    4187                 :       5768 :       tree avar = create_tmp_var_raw (atype);
    4188                 :       5768 :       if (TREE_ADDRESSABLE (new_var))
    4189                 :        551 :         TREE_ADDRESSABLE (avar) = 1;
    4190                 :       5768 :       DECL_ATTRIBUTES (avar)
    4191                 :       5768 :         = tree_cons (get_identifier ("omp simd array"), NULL,
    4192                 :       5768 :                      DECL_ATTRIBUTES (avar));
    4193                 :       5768 :       gimple_add_tmp_var (avar);
    4194                 :       5768 :       tree iavar = avar;
    4195                 :       5768 :       if (rvar && !ctx->for_simd_scan_phase)
    4196                 :            :         {
    4197                 :            :           /* For inscan reductions, create another array temporary,
    4198                 :            :              which will hold the reduced value.  */
    4199                 :        240 :           iavar = create_tmp_var_raw (atype);
    4200                 :        240 :           if (TREE_ADDRESSABLE (new_var))
    4201                 :         20 :             TREE_ADDRESSABLE (iavar) = 1;
    4202                 :        240 :           DECL_ATTRIBUTES (iavar)
    4203                 :        480 :             = tree_cons (get_identifier ("omp simd array"), NULL,
    4204                 :            :                          tree_cons (get_identifier ("omp simd inscan"), NULL,
    4205                 :        240 :                                     DECL_ATTRIBUTES (iavar)));
    4206                 :        240 :           gimple_add_tmp_var (iavar);
    4207                 :        240 :           ctx->cb.decl_map->put (avar, iavar);
    4208                 :        240 :           if (sctx->lastlane == NULL_TREE)
    4209                 :        192 :             sctx->lastlane = create_tmp_var (unsigned_type_node);
    4210                 :        240 :           *rvar = build4 (ARRAY_REF, TREE_TYPE (new_var), iavar,
    4211                 :            :                           sctx->lastlane, NULL_TREE, NULL_TREE);
    4212                 :        240 :           TREE_THIS_NOTRAP (*rvar) = 1;
    4213                 :            : 
    4214                 :        240 :           if (ctx->scan_exclusive)
    4215                 :            :             {
    4216                 :            :               /* And for exclusive scan yet another one, which will
    4217                 :            :                  hold the value during the scan phase.  */
    4218                 :        116 :               tree savar = create_tmp_var_raw (atype);
    4219                 :        116 :               if (TREE_ADDRESSABLE (new_var))
    4220                 :         10 :                 TREE_ADDRESSABLE (savar) = 1;
    4221                 :        116 :               DECL_ATTRIBUTES (savar)
    4222                 :        232 :                 = tree_cons (get_identifier ("omp simd array"), NULL,
    4223                 :            :                              tree_cons (get_identifier ("omp simd inscan "
    4224                 :            :                                                         "exclusive"), NULL,
    4225                 :        116 :                                         DECL_ATTRIBUTES (savar)));
    4226                 :        116 :               gimple_add_tmp_var (savar);
    4227                 :        116 :               ctx->cb.decl_map->put (iavar, savar);
    4228                 :        116 :               *rvar2 = build4 (ARRAY_REF, TREE_TYPE (new_var), savar,
    4229                 :            :                                sctx->idx, NULL_TREE, NULL_TREE);
    4230                 :        116 :               TREE_THIS_NOTRAP (*rvar2) = 1;
    4231                 :            :             }
    4232                 :            :         }
    4233                 :       5768 :       ivar = build4 (ARRAY_REF, TREE_TYPE (new_var), iavar, sctx->idx,
    4234                 :            :                      NULL_TREE, NULL_TREE);
    4235                 :       5768 :       lvar = build4 (ARRAY_REF, TREE_TYPE (new_var), avar, sctx->lane,
    4236                 :            :                      NULL_TREE, NULL_TREE);
    4237                 :       5768 :       TREE_THIS_NOTRAP (ivar) = 1;
    4238                 :       5768 :       TREE_THIS_NOTRAP (lvar) = 1;
    4239                 :            :     }
    4240                 :       5768 :   if (DECL_P (new_var))
    4241                 :            :     {
    4242                 :       5598 :       SET_DECL_VALUE_EXPR (new_var, lvar);
    4243                 :       5598 :       DECL_HAS_VALUE_EXPR_P (new_var) = 1;
    4244                 :            :     }
    4245                 :            :   return true;
    4246                 :            : }
    4247                 :            : 
    4248                 :            : /* Helper function of lower_rec_input_clauses.  For a reference
    4249                 :            :    in simd reduction, add an underlying variable it will reference.  */
    4250                 :            : 
    4251                 :            : static void
    4252                 :        101 : handle_simd_reference (location_t loc, tree new_vard, gimple_seq *ilist)
    4253                 :            : {
    4254                 :        101 :   tree z = TYPE_SIZE_UNIT (TREE_TYPE (TREE_TYPE (new_vard)));
    4255                 :        101 :   if (TREE_CONSTANT (z))
    4256                 :            :     {
    4257                 :        101 :       z = create_tmp_var_raw (TREE_TYPE (TREE_TYPE (new_vard)),
    4258                 :            :                               get_name (new_vard));
    4259                 :        101 :       gimple_add_tmp_var (z);
    4260                 :        101 :       TREE_ADDRESSABLE (z) = 1;
    4261                 :        101 :       z = build_fold_addr_expr_loc (loc, z);
    4262                 :        101 :       gimplify_assign (new_vard, z, ilist);
    4263                 :            :     }
    4264                 :        101 : }
    4265                 :            : 
    4266                 :            : /* Helper function for lower_rec_input_clauses.  Emit into ilist sequence
    4267                 :            :    code to emit (type) (tskred_temp[idx]).  */
    4268                 :            : 
    4269                 :            : static tree
    4270                 :        631 : task_reduction_read (gimple_seq *ilist, tree tskred_temp, tree type,
    4271                 :            :                      unsigned idx)
    4272                 :            : {
    4273                 :        631 :   unsigned HOST_WIDE_INT sz
    4274                 :        631 :     = tree_to_uhwi (TYPE_SIZE_UNIT (pointer_sized_int_node));
    4275                 :        631 :   tree r = build2 (MEM_REF, pointer_sized_int_node,
    4276                 :        631 :                    tskred_temp, build_int_cst (TREE_TYPE (tskred_temp),
    4277                 :        631 :                                                idx * sz));
    4278                 :        631 :   tree v = create_tmp_var (pointer_sized_int_node);
    4279                 :        631 :   gimple *g = gimple_build_assign (v, r);
    4280                 :        631 :   gimple_seq_add_stmt (ilist, g);
    4281                 :        631 :   if (!useless_type_conversion_p (type, pointer_sized_int_node))
    4282                 :            :     {
    4283                 :        383 :       v = create_tmp_var (type);
    4284                 :        383 :       g = gimple_build_assign (v, NOP_EXPR, gimple_assign_lhs (g));
    4285                 :        383 :       gimple_seq_add_stmt (ilist, g);
    4286                 :            :     }
    4287                 :        631 :   return v;
    4288                 :            : }
    4289                 :            : 
    4290                 :            : /* Generate code to implement the input clauses, FIRSTPRIVATE and COPYIN,
    4291                 :            :    from the receiver (aka child) side and initializers for REFERENCE_TYPE
    4292                 :            :    private variables.  Initialization statements go in ILIST, while calls
    4293                 :            :    to destructors go in DLIST.  */
    4294                 :            : 
    4295                 :            : static void
    4296                 :      55975 : lower_rec_input_clauses (tree clauses, gimple_seq *ilist, gimple_seq *dlist,
    4297                 :            :                          omp_context *ctx, struct omp_for_data *fd)
    4298                 :            : {
    4299                 :      55975 :   tree c, copyin_seq, x, ptr;
    4300                 :      55975 :   bool copyin_by_ref = false;
    4301                 :      55975 :   bool lastprivate_firstprivate = false;
    4302                 :      55975 :   bool reduction_omp_orig_ref = false;
    4303                 :      55975 :   int pass;
    4304                 :      55975 :   bool is_simd = (gimple_code (ctx->stmt) == GIMPLE_OMP_FOR
    4305                 :      55975 :                   && gimple_omp_for_kind (ctx->stmt) == GF_OMP_FOR_KIND_SIMD);
    4306                 :      55975 :   omplow_simd_context sctx = omplow_simd_context ();
    4307                 :      55975 :   tree simt_lane = NULL_TREE, simtrec = NULL_TREE;
    4308                 :      55975 :   tree ivar = NULL_TREE, lvar = NULL_TREE, uid = NULL_TREE;
    4309                 :      55975 :   gimple_seq llist[4] = { };
    4310                 :      55975 :   tree nonconst_simd_if = NULL_TREE;
    4311                 :            : 
    4312                 :      55975 :   copyin_seq = NULL;
    4313                 :      55975 :   sctx.is_simt = is_simd && omp_find_clause (clauses, OMP_CLAUSE__SIMT_);
    4314                 :            : 
    4315                 :            :   /* Set max_vf=1 (which will later enforce safelen=1) in simd loops
    4316                 :            :      with data sharing clauses referencing variable sized vars.  That
    4317                 :            :      is unnecessarily hard to support and very unlikely to result in
    4318                 :            :      vectorized code anyway.  */
    4319                 :      55975 :   if (is_simd)
    4320                 :      44457 :     for (c = clauses; c ; c = OMP_CLAUSE_CHAIN (c))
    4321                 :      37546 :       switch (OMP_CLAUSE_CODE (c))
    4322                 :            :         {
    4323                 :       5356 :         case OMP_CLAUSE_LINEAR:
    4324                 :       5356 :           if (OMP_CLAUSE_LINEAR_ARRAY (c))
    4325                 :        216 :             sctx.max_vf = 1;
    4326                 :            :           /* FALLTHRU */
    4327                 :      19010 :         case OMP_CLAUSE_PRIVATE:
    4328                 :      19010 :         case OMP_CLAUSE_FIRSTPRIVATE:
    4329                 :      19010 :         case OMP_CLAUSE_LASTPRIVATE:
    4330                 :      19010 :           if (is_variable_sized (OMP_CLAUSE_DECL (c)))
    4331                 :          0 :             sctx.max_vf = 1;
    4332                 :      19010 :           else if (omp_is_reference (OMP_CLAUSE_DECL (c)))
    4333                 :            :             {
    4334                 :        253 :               tree rtype = TREE_TYPE (TREE_TYPE (OMP_CLAUSE_DECL (c)));
    4335                 :        253 :               if (!TREE_CONSTANT (TYPE_SIZE_UNIT (rtype)))
    4336                 :         96 :                 sctx.max_vf = 1;
    4337                 :            :             }
    4338                 :            :           break;
    4339                 :       1568 :         case OMP_CLAUSE_REDUCTION:
    4340                 :       1568 :         case OMP_CLAUSE_IN_REDUCTION:
    4341                 :       1568 :           if (TREE_CODE (OMP_CLAUSE_DECL (c)) == MEM_REF
    4342                 :       1568 :               || is_variable_sized (OMP_CLAUSE_DECL (c)))
    4343                 :         40 :             sctx.max_vf = 1;
    4344                 :       1528 :           else if (omp_is_reference (OMP_CLAUSE_DECL (c)))
    4345                 :            :             {
    4346                 :        214 :               tree rtype = TREE_TYPE (TREE_TYPE (OMP_CLAUSE_DECL (c)));
    4347                 :        214 :               if (!TREE_CONSTANT (TYPE_SIZE_UNIT (rtype)))
    4348                 :          0 :                 sctx.max_vf = 1;
    4349                 :            :             }
    4350                 :            :           break;
    4351                 :        352 :         case OMP_CLAUSE_IF:
    4352                 :        352 :           if (integer_zerop (OMP_CLAUSE_IF_EXPR (c)))
    4353                 :        124 :             sctx.max_vf = 1;
    4354                 :        228 :           else if (TREE_CODE (OMP_CLAUSE_IF_EXPR (c)) != INTEGER_CST)
    4355                 :        223 :             nonconst_simd_if = OMP_CLAUSE_IF_EXPR (c);
    4356                 :            :           break;
    4357                 :        239 :         case OMP_CLAUSE_SIMDLEN:
    4358                 :        239 :           if (integer_onep (OMP_CLAUSE_SIMDLEN_EXPR (c)))
    4359                 :        116 :             sctx.max_vf = 1;
    4360                 :            :           break;
    4361                 :        142 :         case OMP_CLAUSE__CONDTEMP_:
    4362                 :            :           /* FIXME: lastprivate(conditional:) not handled for SIMT yet.  */
    4363                 :        142 :           if (sctx.is_simt)
    4364                 :          0 :             sctx.max_vf = 1;
    4365                 :            :           break;
    4366                 :      16235 :         default:
    4367                 :      16235 :           continue;
    4368                 :            :         }
    4369                 :            : 
    4370                 :            :   /* Add a placeholder for simduid.  */
    4371                 :      55975 :   if (sctx.is_simt && maybe_ne (sctx.max_vf, 1U))
    4372                 :          0 :     sctx.simt_eargs.safe_push (NULL_TREE);
    4373                 :            : 
    4374                 :            :   unsigned task_reduction_cnt = 0;
    4375                 :            :   unsigned task_reduction_cntorig = 0;
    4376                 :            :   unsigned task_reduction_cnt_full = 0;
    4377                 :            :   unsigned task_reduction_cntorig_full = 0;
    4378                 :            :   unsigned task_reduction_other_cnt = 0;
    4379                 :     169095 :   tree tskred_atype = NULL_TREE, tskred_avar = NULL_TREE;
    4380                 :            :   tree tskred_base = NULL_TREE, tskred_temp = NULL_TREE;
    4381                 :            :   /* Do all the fixed sized types in the first pass, and the variable sized
    4382                 :            :      types in the second pass.  This makes sure that the scalar arguments to
    4383                 :            :      the variable sized types are processed before we use them in the
    4384                 :            :      variable sized operations.  For task reductions we use 4 passes, in the
    4385                 :            :      first two we ignore them, in the third one gather arguments for
    4386                 :            :      GOMP_task_reduction_remap call and in the last pass actually handle
    4387                 :            :      the task reductions.  */
    4388                 :     282215 :   for (pass = 0; pass < ((task_reduction_cnt || task_reduction_other_cnt)
    4389                 :     169095 :                          ? 4 : 2); ++pass)
    4390                 :            :     {
    4391                 :     113120 :       if (pass == 2 && task_reduction_cnt)
    4392                 :            :         {
    4393                 :        279 :           tskred_atype
    4394                 :        279 :             = build_array_type_nelts (ptr_type_node, task_reduction_cnt
    4395                 :        279 :                                                      + task_reduction_cntorig);
    4396                 :        279 :           tskred_avar = create_tmp_var_raw (tskred_atype);
    4397                 :        279 :           gimple_add_tmp_var (tskred_avar);
    4398                 :        279 :           TREE_ADDRESSABLE (tskred_avar) = 1;
    4399                 :        279 :           task_reduction_cnt_full = task_reduction_cnt;
    4400                 :        279 :           task_reduction_cntorig_full = task_reduction_cntorig;
    4401                 :            :         }
    4402                 :     112841 :       else if (pass == 3 && task_reduction_cnt)
    4403                 :            :         {
    4404                 :        279 :           x = builtin_decl_explicit (BUILT_IN_GOMP_TASK_REDUCTION_REMAP);
    4405                 :        279 :           gimple *g
    4406                 :        279 :             = gimple_build_call (x, 3, size_int (task_reduction_cnt),
    4407                 :            :                                  size_int (task_reduction_cntorig),
    4408                 :            :                                  build_fold_addr_expr (tskred_avar));
    4409                 :        279 :           gimple_seq_add_stmt (ilist, g);
    4410                 :            :         }
    4411                 :     113120 :       if (pass == 3 && task_reduction_other_cnt)
    4412                 :            :         {
    4413                 :            :           /* For reduction clauses, build
    4414                 :            :              tskred_base = (void *) tskred_temp[2]
    4415                 :            :                            + omp_get_thread_num () * tskred_temp[1]
    4416                 :            :              or if tskred_temp[1] is known to be constant, that constant
    4417                 :            :              directly.  This is the start of the private reduction copy block
    4418                 :            :              for the current thread.  */
    4419                 :        346 :           tree v = create_tmp_var (integer_type_node);
    4420                 :        346 :           x = builtin_decl_explicit (BUILT_IN_OMP_GET_THREAD_NUM);
    4421                 :        346 :           gimple *g = gimple_build_call (x, 0);
    4422                 :        346 :           gimple_call_set_lhs (g, v);
    4423                 :        346 :           gimple_seq_add_stmt (ilist, g);
    4424                 :        346 :           c = omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_);
    4425                 :        346 :           tskred_temp = OMP_CLAUSE_DECL (c);
    4426                 :        346 :           if (is_taskreg_ctx (ctx))
    4427                 :        332 :             tskred_temp = lookup_decl (tskred_temp, ctx);
    4428                 :        346 :           tree v2 = create_tmp_var (sizetype);
    4429                 :        346 :           g = gimple_build_assign (v2, NOP_EXPR, v);
    4430                 :        346 :           gimple_seq_add_stmt (ilist, g);
    4431                 :        346 :           if (ctx->task_reductions[0])
    4432                 :        329 :             v = fold_convert (sizetype, ctx->task_reductions[0]);
    4433                 :            :           else
    4434                 :         17 :             v = task_reduction_read (ilist, tskred_temp, sizetype, 1);
    4435                 :        346 :           tree v3 = create_tmp_var (sizetype);
    4436                 :        346 :           g = gimple_build_assign (v3, MULT_EXPR, v2, v);
    4437                 :        346 :           gimple_seq_add_stmt (ilist, g);
    4438                 :        346 :           v = task_reduction_read (ilist, tskred_temp, ptr_type_node, 2);
    4439                 :        346 :           tskred_base = create_tmp_var (ptr_type_node);
    4440                 :        346 :           g = gimple_build_assign (tskred_base, POINTER_PLUS_EXPR, v, v3);
    4441                 :        346 :           gimple_seq_add_stmt (ilist, g);
    4442                 :            :         }
    4443                 :     113120 :       task_reduction_cnt = 0;
    4444                 :     113120 :       task_reduction_cntorig = 0;
    4445                 :     113120 :       task_reduction_other_cnt = 0;
    4446                 :     560698 :       for (c = clauses; c ; c = OMP_CLAUSE_CHAIN (c))
    4447                 :            :         {
    4448                 :     447578 :           enum omp_clause_code c_kind = OMP_CLAUSE_CODE (c);
    4449                 :     447578 :           tree var, new_var;
    4450                 :     447578 :           bool by_ref;
    4451                 :     447578 :           location_t clause_loc = OMP_CLAUSE_LOCATION (c);
    4452                 :     447578 :           bool task_reduction_p = false;
    4453                 :     447578 :           bool task_reduction_needs_orig_p = false;
    4454                 :     447578 :           tree cond = NULL_TREE;
    4455                 :            : 
    4456                 :     447578 :           switch (c_kind)
    4457                 :            :             {
    4458                 :     108844 :             case OMP_CLAUSE_PRIVATE:
    4459                 :     108844 :               if (OMP_CLAUSE_PRIVATE_DEBUG (c))
    4460                 :        948 :                 continue;
    4461                 :            :               break;
    4462                 :      45654 :             case OMP_CLAUSE_SHARED:
    4463                 :            :               /* Ignore shared directives in teams construct inside
    4464                 :            :                  of target construct.  */
    4465                 :      45654 :               if (gimple_code (ctx->stmt) == GIMPLE_OMP_TEAMS
    4466                 :      45654 :                   && !is_host_teams_ctx (ctx))
    4467                 :      20624 :                 continue;
    4468                 :      50060 :               if (maybe_lookup_decl (OMP_CLAUSE_DECL (c), ctx) == NULL)
    4469                 :            :                 {
    4470                 :       9770 :                   gcc_assert (OMP_CLAUSE_SHARED_FIRSTPRIVATE (c)
    4471                 :            :                               || is_global_var (OMP_CLAUSE_DECL (c)));
    4472                 :       9770 :                   continue;
    4473                 :            :                 }
    4474                 :            :             case OMP_CLAUSE_FIRSTPRIVATE:
    4475                 :            :             case OMP_CLAUSE_COPYIN:
    4476                 :            :               break;
    4477                 :      10830 :             case OMP_CLAUSE_LINEAR:
    4478                 :      10830 :               if (!OMP_CLAUSE_LINEAR_NO_COPYIN (c)
    4479                 :      10830 :                   && !OMP_CLAUSE_LINEAR_NO_COPYOUT (c))
    4480                 :            :                 lastprivate_firstprivate = true;
    4481                 :            :               break;
    4482                 :      24902 :             case OMP_CLAUSE_REDUCTION:
    4483                 :      24902 :             case OMP_CLAUSE_IN_REDUCTION:
    4484                 :      24902 :               if (is_task_ctx (ctx) || OMP_CLAUSE_REDUCTION_TASK (c))
    4485                 :            :                 {
    4486                 :       7772 :                   task_reduction_p = true;
    4487                 :       7772 :                   if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION)
    4488                 :            :                     {
    4489                 :       2576 :                       task_reduction_other_cnt++;
    4490                 :       2576 :                       if (pass == 2)
    4491                 :        644 :                         continue;
    4492                 :            :                     }
    4493                 :            :                   else
    4494                 :       5196 :                     task_reduction_cnt++;
    4495                 :       7128 :                   if (OMP_CLAUSE_REDUCTION_OMP_ORIG_REF (c))
    4496                 :            :                     {
    4497                 :        696 :                       var = OMP_CLAUSE_DECL (c);
    4498                 :            :                       /* If var is a global variable that isn't privatized
    4499                 :            :                          in outer contexts, we don't need to look up the
    4500                 :            :                          original address, it is always the address of the
    4501                 :            :                          global variable itself.  */
    4502                 :        696 :                       if (!DECL_P (var)
    4503                 :        272 :                           || omp_is_reference (var)
    4504                 :        874 :                           || !is_global_var
    4505                 :        178 :                                 (maybe_lookup_decl_in_outer_ctx (var, ctx)))
    4506                 :            :                         {
    4507                 :        623 :                           task_reduction_needs_orig_p = true;
    4508                 :        623 :                           if (OMP_CLAUSE_CODE (c) != OMP_CLAUSE_REDUCTION)
    4509                 :        512 :                             task_reduction_cntorig++;
    4510                 :            :                         }
    4511                 :            :                     }
    4512                 :            :                 }
    4513                 :      17130 :               else if (OMP_CLAUSE_REDUCTION_OMP_ORIG_REF (c))
    4514                 :        340 :                 reduction_omp_orig_ref = true;
    4515                 :            :               break;
    4516                 :       1384 :             case OMP_CLAUSE__REDUCTEMP_:
    4517                 :       1384 :               if (!is_taskreg_ctx (ctx))
    4518                 :        720 :                 continue;
    4519                 :            :               /* FALLTHRU */
    4520                 :      85426 :             case OMP_CLAUSE__LOOPTEMP_:
    4521                 :            :               /* Handle _looptemp_/_reductemp_ clauses only on
    4522                 :            :                  parallel/task.  */
    4523                 :      85426 :               if (fd)
    4524                 :      53854 :                 continue;
    4525                 :            :               break;
    4526                 :      32934 :             case OMP_CLAUSE_LASTPRIVATE:
    4527                 :      32934 :               if (OMP_CLAUSE_LASTPRIVATE_FIRSTPRIVATE (c))
    4528                 :            :                 {
    4529                 :       1388 :                   lastprivate_firstprivate = true;
    4530                 :       1388 :                   if (pass != 0 || is_taskloop_ctx (ctx))
    4531                 :        804 :                     continue;
    4532                 :            :                 }
    4533                 :            :               /* Even without corresponding firstprivate, if
    4534                 :            :                  decl is Fortran allocatable, it needs outer var
    4535                 :            :                  reference.  */
    4536                 :      31546 :               else if (pass == 0
    4537                 :      47283 :                        && lang_hooks.decls.omp_private_outer_ref
    4538                 :      15737 :                                                         (OMP_CLAUSE_DECL (c)))
    4539                 :            :                 lastprivate_firstprivate = true;
    4540                 :            :               break;
    4541                 :        312 :             case OMP_CLAUSE_ALIGNED:
    4542                 :        312 :               if (pass != 1)
    4543                 :        156 :                 continue;
    4544                 :        156 :               var = OMP_CLAUSE_DECL (c);
    4545                 :        156 :               if (TREE_CODE (TREE_TYPE (var)) == POINTER_TYPE
    4546                 :        156 :                   && !is_global_var (var))
    4547                 :            :                 {
    4548                 :         85 :                   new_var = maybe_lookup_decl (var, ctx);
    4549                 :         85 :                   if (new_var == NULL_TREE)
    4550                 :          6 :                     new_var = maybe_lookup_decl_in_outer_ctx (var, ctx);
    4551                 :         85 :                   x = builtin_decl_explicit (BUILT_IN_ASSUME_ALIGNED);
    4552                 :         85 :                   tree alarg = omp_clause_aligned_alignment (c);
    4553                 :         85 :                   alarg = fold_convert_loc (clause_loc, size_type_node, alarg);
    4554                 :         85 :                   x = build_call_expr_loc (clause_loc, x, 2, new_var, alarg);
    4555                 :         85 :                   x = fold_convert_loc (clause_loc, TREE_TYPE (new_var), x);
    4556                 :         85 :                   x = build2 (MODIFY_EXPR, TREE_TYPE (new_var), new_var, x);
    4557                 :         85 :                   gimplify_and_add (x, ilist);
    4558                 :            :                 }
    4559                 :         71 :               else if (TREE_CODE (TREE_TYPE (var)) == ARRAY_TYPE
    4560                 :         71 :                        && is_global_var (var))
    4561                 :            :                 {
    4562                 :         71 :                   tree ptype = build_pointer_type (TREE_TYPE (var)), t, t2;
    4563                 :         71 :                   new_var = lookup_decl (var, ctx);
    4564                 :         71 :                   t = maybe_lookup_decl_in_outer_ctx (var, ctx);
    4565                 :         71 :                   t = build_fold_addr_expr_loc (clause_loc, t);
    4566                 :         71 :                   t2 = builtin_decl_explicit (BUILT_IN_ASSUME_ALIGNED);
    4567                 :         71 :                   tree alarg = omp_clause_aligned_alignment (c);
    4568                 :         71 :                   alarg = fold_convert_loc (clause_loc, size_type_node, alarg);
    4569                 :         71 :                   t = build_call_expr_loc (clause_loc, t2, 2, t, alarg);
    4570                 :         71 :                   t = fold_convert_loc (clause_loc, ptype, t);
    4571                 :         71 :                   x = create_tmp_var (ptype);
    4572                 :         71 :                   t = build2 (MODIFY_EXPR, ptype, x, t);
    4573                 :         71 :                   gimplify_and_add (t, ilist);
    4574                 :         71 :                   t = build_simple_mem_ref_loc (clause_loc, x);
    4575                 :         71 :                   SET_DECL_VALUE_EXPR (new_var, t);
    4576                 :         71 :                   DECL_HAS_VALUE_EXPR_P (new_var) = 1;
    4577                 :            :                 }
    4578                 :        156 :               continue;
    4579                 :       1222 :             case OMP_CLAUSE__CONDTEMP_:
    4580                 :       1222 :               if (is_parallel_ctx (ctx)
    4581                 :       1222 :                   || (is_simd && !OMP_CLAUSE__CONDTEMP__ITER (c)))
    4582                 :            :                 break;
    4583                 :        918 :               continue;
    4584                 :      90928 :             default:
    4585                 :      92002 :               continue;
    4586                 :            :             }
    4587                 :            : 
    4588                 :     268056 :           if (task_reduction_p != (pass >= 2))
    4589                 :       7724 :             continue;
    4590                 :            : 
    4591                 :     260332 :           new_var = var = OMP_CLAUSE_DECL (c);
    4592                 :     260332 :           if ((c_kind == OMP_CLAUSE_REDUCTION
    4593                 :     260332 :                || c_kind == OMP_CLAUSE_IN_REDUCTION)
    4594                 :      20318 :               && TREE_CODE (var) == MEM_REF)
    4595                 :            :             {
    4596                 :       2826 :               var = TREE_OPERAND (var, 0);
    4597                 :       2826 :               if (TREE_CODE (var) == POINTER_PLUS_EXPR)
    4598                 :        777 :                 var = TREE_OPERAND (var, 0);
    4599                 :       2826 :               if (TREE_CODE (var) == INDIRECT_REF
    4600                 :       2648 :                   || TREE_CODE (var) == ADDR_EXPR)
    4601                 :       1457 :                 var = TREE_OPERAND (var, 0);
    4602                 :       2826 :               if (is_variable_sized (var))
    4603                 :            :                 {
    4604                 :         59 :                   gcc_assert (DECL_HAS_VALUE_EXPR_P (var));
    4605                 :         59 :                   var = DECL_VALUE_EXPR (var);
    4606                 :         59 :                   gcc_assert (TREE_CODE (var) == INDIRECT_REF);
    4607                 :         59 :                   var = TREE_OPERAND (var, 0);
    4608                 :         59 :                   gcc_assert (DECL_P (var));
    4609                 :            :                 }
    4610                 :            :               new_var = var;
    4611                 :            :             }
    4612                 :     260332 :           if (c_kind != OMP_CLAUSE_COPYIN)
    4613                 :     519756 :             new_var = lookup_decl (var, ctx);
    4614                 :            : 
    4615                 :     260332 :           if (c_kind == OMP_CLAUSE_SHARED || c_kind == OMP_CLAUSE_COPYIN)
    4616                 :            :             {
    4617                 :      15462 :               if (pass != 0)
    4618                 :       7731 :                 continue;
    4619                 :            :             }
    4620                 :            :           /* C/C++ array section reductions.  */
    4621                 :     244870 :           else if ((c_kind == OMP_CLAUSE_REDUCTION
    4622                 :            :                     || c_kind == OMP_CLAUSE_IN_REDUCTION)
    4623                 :     244870 :                    && var != OMP_CLAUSE_DECL (c))
    4624                 :            :             {
    4625                 :       2826 :               if (pass == 0)
    4626                 :        275 :                 continue;
    4627                 :            : 
    4628                 :       2551 :               tree bias = TREE_OPERAND (OMP_CLAUSE_DECL (c), 1);
    4629                 :       2551 :               tree orig_var = TREE_OPERAND (OMP_CLAUSE_DECL (c), 0);
    4630                 :            : 
    4631                 :       2551 :               if (TREE_CODE (orig_var) == POINTER_PLUS_EXPR)
    4632                 :            :                 {
    4633                 :        725 :                   tree b = TREE_OPERAND (orig_var, 1);
    4634                 :        725 :                   b = maybe_lookup_decl (b, ctx);
    4635                 :        725 :                   if (b == NULL)
    4636                 :            :                     {
    4637                 :         17 :                       b = TREE_OPERAND (orig_var, 1);
    4638                 :         17 :                       b = maybe_lookup_decl_in_outer_ctx (b, ctx);
    4639                 :            :                     }
    4640                 :        725 :                   if (integer_zerop (bias))
    4641                 :            :                     bias = b;
    4642                 :            :                   else
    4643                 :            :                     {
    4644                 :          0 :                       bias = fold_convert_loc (clause_loc,
    4645                 :          0 :                                                TREE_TYPE (b), bias);
    4646                 :          0 :                       bias = fold_build2_loc (clause_loc, PLUS_EXPR,
    4647                 :          0 :                                               TREE_TYPE (b), b, bias);
    4648                 :            :                     }
    4649                 :        725 :                   orig_var = TREE_OPERAND (orig_var, 0);
    4650                 :            :                 }
    4651                 :       2551 :               if (pass == 2)
    4652                 :            :                 {
    4653                 :       1003 :                   tree out = maybe_lookup_decl_in_outer_ctx (var, ctx);
    4654                 :       1003 :                   if (is_global_var (out)
    4655                 :        237 :                       && TREE_CODE (TREE_TYPE (out)) != POINTER_TYPE
    4656                 :       1204 :                       && (TREE_CODE (TREE_TYPE (out)) != REFERENCE_TYPE
    4657                 :         81 :                           || (TREE_CODE (TREE_TYPE (TREE_TYPE (out)))
    4658                 :            :                               != POINTER_TYPE)))
    4659                 :            :                     x = var;
    4660                 :            :                   else
    4661                 :            :                     {
    4662                 :        820 :                       bool by_ref = use_pointer_for_field (var, NULL);
    4663                 :        820 :                       x = build_receiver_ref (var, by_ref, ctx);
    4664                 :        820 :                       if (TREE_CODE (TREE_TYPE (var)) == REFERENCE_TYPE
    4665                 :        820 :                           && (TREE_CODE (TREE_TYPE (TREE_TYPE (var)))
    4666                 :            :                               == POINTER_TYPE))
    4667                 :         68 :                         x = build_fold_addr_expr (x);
    4668                 :            :                     }
    4669                 :       1003 :                   if (TREE_CODE (orig_var) == INDIRECT_REF)
    4670                 :         68 :                     x = build_simple_mem_ref (x);
    4671                 :        935 :                   else if (TREE_CODE (orig_var) == ADDR_EXPR)
    4672                 :            :                     {
    4673                 :        432 :                       if (var == TREE_OPERAND (orig_var, 0))
    4674                 :        417 :                         x = build_fold_addr_expr (x);
    4675                 :            :                     }
    4676                 :       1003 :                   bias = fold_convert (sizetype, bias);
    4677                 :       1003 :                   x = fold_convert (ptr_type_node, x);
    4678                 :       1003 :                   x = fold_build2_loc (clause_loc, POINTER_PLUS_EXPR,
    4679                 :       1003 :                                        TREE_TYPE (x), x, bias);
    4680                 :       1003 :                   unsigned cnt = task_reduction_cnt - 1;
    4681                 :       1003 :                   if (!task_reduction_needs_orig_p)
    4682                 :        915 :                     cnt += (task_reduction_cntorig_full
    4683                 :        915 :                             - task_reduction_cntorig);
    4684                 :            :                   else
    4685                 :         88 :                     cnt = task_reduction_cntorig - 1;
    4686                 :       1003 :                   tree r = build4 (ARRAY_REF, ptr_type_node, tskred_avar,
    4687                 :            :                                    size_int (cnt), NULL_TREE, NULL_TREE);
    4688                 :       1003 :                   gimplify_assign (r, x, ilist);
    4689                 :       1003 :                   continue;
    4690                 :            :                 }
    4691                 :            : 
    4692                 :       1548 :               if (TREE_CODE (orig_var) == INDIRECT_REF
    4693                 :       1454 :                   || TREE_CODE (orig_var) == ADDR_EXPR)
    4694                 :        814 :                 orig_var = TREE_OPERAND (orig_var, 0);
    4695                 :       1548 :               tree d = OMP_CLAUSE_DECL (c);
    4696                 :       1548 :               tree type = TREE_TYPE (d);
    4697                 :       1548 :               gcc_assert (TREE_CODE (type) == ARRAY_TYPE);
    4698                 :       1548 :               tree v = TYPE_MAX_VALUE (TYPE_DOMAIN (type));
    4699                 :       1548 :               const char *name = get_name (orig_var);
    4700                 :       1548 :               if (pass == 3)
    4701                 :            :                 {
    4702                 :       1273 :                   tree xv = create_tmp_var (ptr_type_node);
    4703                 :       1273 :                   if (OMP_CLAUSE_CODE (c) != OMP_CLAUSE_REDUCTION)
    4704                 :            :                     {
    4705                 :       1003 :                       unsigned cnt = task_reduction_cnt - 1;
    4706                 :       1003 :                       if (!task_reduction_needs_orig_p)
    4707                 :        915 :                         cnt += (task_reduction_cntorig_full
    4708                 :        915 :                                 - task_reduction_cntorig);
    4709                 :            :                       else
    4710                 :         88 :                         cnt = task_reduction_cntorig - 1;
    4711                 :       1003 :                       x = build4 (ARRAY_REF, ptr_type_node, tskred_avar,
    4712                 :            :                                   size_int (cnt), NULL_TREE, NULL_TREE);
    4713                 :            : 
    4714                 :       1003 :                       gimple *g = gimple_build_assign (xv, x);
    4715                 :       1003 :                       gimple_seq_add_stmt (ilist, g);
    4716                 :            :                     }
    4717                 :            :                   else
    4718                 :            :                     {
    4719                 :        270 :                       unsigned int idx = *ctx->task_reduction_map->get (c);
    4720                 :        270 :                       tree off;
    4721                 :        270 :                       if (ctx->task_reductions[1 + idx])
    4722                 :         39 :                         off = fold_convert (sizetype,
    4723                 :            :                                             ctx->task_reductions[1 + idx]);
    4724                 :            :                       else
    4725                 :        231 :                         off = task_reduction_read (ilist, tskred_temp, sizetype,
    4726                 :        231 :                                                    7 + 3 * idx + 1);
    4727                 :        270 :                       gimple *g = gimple_build_assign (xv, POINTER_PLUS_EXPR,
    4728                 :            :                                                        tskred_base, off);
    4729                 :        270 :                       gimple_seq_add_stmt (ilist, g);
    4730                 :            :                     }
    4731                 :       1273 :                   x = fold_convert (build_pointer_type (boolean_type_node),
    4732                 :            :                                     xv);
    4733                 :       1273 :                   if (TREE_CONSTANT (v))
    4734                 :        961 :                     x = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (x), x,
    4735                 :            :                                      TYPE_SIZE_UNIT (type));
    4736                 :            :                   else
    4737                 :            :                     {
    4738                 :        312 :                       tree t = maybe_lookup_decl (v, ctx);
    4739                 :        312 :                       if (t)
    4740                 :        292 :                         v = t;
    4741                 :            :                       else
    4742                 :         20 :                         v = maybe_lookup_decl_in_outer_ctx (v, ctx);
    4743                 :        312 :                       gimplify_expr (&v, ilist, NULL, is_gimple_val,
    4744                 :            :                                      fb_rvalue);
    4745                 :       1560 :                       t = fold_build2_loc (clause_loc, PLUS_EXPR,
    4746                 :        312 :                                            TREE_TYPE (v), v,
    4747                 :        312 :                                            build_int_cst (TREE_TYPE (v), 1));
    4748                 :        312 :                       t = fold_build2_loc (clause_loc, MULT_EXPR,
    4749                 :        312 :                                            TREE_TYPE (v), t,
    4750                 :        312 :                                            TYPE_SIZE_UNIT (TREE_TYPE (type)));
    4751                 :        312 :                       x = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (x), x, t);
    4752                 :            :                     }
    4753                 :       1273 :                   cond = create_tmp_var (TREE_TYPE (x));
    4754                 :       1273 :                   gimplify_assign (cond, x, ilist);
    4755                 :       1273 :                   x = xv;
    4756                 :            :                 }
    4757                 :        275 :               else if (TREE_CONSTANT (v))
    4758                 :            :                 {
    4759                 :        199 :                   x = create_tmp_var_raw (type, name);
    4760                 :        199 :                   gimple_add_tmp_var (x);
    4761                 :        199 :                   TREE_ADDRESSABLE (x) = 1;
    4762                 :        199 :                   x = build_fold_addr_expr_loc (clause_loc, x);
    4763                 :            :                 }
    4764                 :            :               else
    4765                 :            :                 {
    4766                 :         76 :                   tree atmp
    4767                 :         76 :                     = builtin_decl_explicit (BUILT_IN_ALLOCA_WITH_ALIGN);
    4768                 :         76 :                   tree t = maybe_lookup_decl (v, ctx);
    4769                 :         76 :                   if (t)
    4770                 :         76 :                     v = t;
    4771                 :            :                   else
    4772                 :          0 :                     v = maybe_lookup_decl_in_outer_ctx (v, ctx);
    4773                 :         76 :                   gimplify_expr (&v, ilist, NULL, is_gimple_val, fb_rvalue);
    4774                 :        380 :                   t = fold_build2_loc (clause_loc, PLUS_EXPR,
    4775                 :         76 :                                        TREE_TYPE (v), v,
    4776                 :         76 :                                        build_int_cst (TREE_TYPE (v), 1));
    4777                 :         76 :                   t = fold_build2_loc (clause_loc, MULT_EXPR,
    4778                 :         76 :                                        TREE_TYPE (v), t,
    4779                 :         76 :                                        TYPE_SIZE_UNIT (TREE_TYPE (type)));
    4780                 :         76 :                   tree al = size_int (TYPE_ALIGN (TREE_TYPE (type)));
    4781                 :         76 :                   x = build_call_expr_loc (clause_loc, atmp, 2, t, al);
    4782                 :            :                 }
    4783                 :            : 
    4784                 :       1548 :               tree ptype = build_pointer_type (TREE_TYPE (type));
    4785                 :       1548 :               x = fold_convert_loc (clause_loc, ptype, x);
    4786                 :       1548 :               tree y = create_tmp_var (ptype, name);
    4787                 :       1548 :               gimplify_assign (y, x, ilist);
    4788                 :       1548 :               x = y;
    4789                 :       1548 :               tree yb = y;
    4790                 :            : 
    4791                 :       1548 :               if (!integer_zerop (bias))
    4792                 :            :                 {
    4793                 :        948 :                   bias = fold_convert_loc (clause_loc, pointer_sized_int_node,
    4794                 :            :                                            bias);
    4795                 :        948 :                   yb = fold_convert_loc (clause_loc, pointer_sized_int_node,
    4796                 :            :                                          x);
    4797                 :        948 :                   yb = fold_build2_loc (clause_loc, MINUS_EXPR,
    4798                 :            :                                         pointer_sized_int_node, yb, bias);
    4799                 :        948 :                   x = fold_convert_loc (clause_loc, TREE_TYPE (x), yb);
    4800                 :        948 :                   yb = create_tmp_var (ptype, name);
    4801                 :        948 :                   gimplify_assign (yb, x, ilist);
    4802                 :        948 :                   x = yb;
    4803                 :            :                 }
    4804                 :            : 
    4805                 :       1548 :               d = TREE_OPERAND (d, 0);
    4806                 :       1548 :               if (TREE_CODE (d) == POINTER_PLUS_EXPR)
    4807                 :        422 :                 d = TREE_OPERAND (d, 0);
    4808                 :       1548 :               if (TREE_CODE (d) == ADDR_EXPR)
    4809                 :            :                 {
    4810                 :        720 :                   if (orig_var != var)
    4811                 :            :                     {
    4812                 :         31 :                       gcc_assert (is_variable_sized (orig_var));
    4813                 :         31 :                       x = fold_convert_loc (clause_loc, TREE_TYPE (new_var),
    4814                 :            :                                             x);
    4815                 :         31 :                       gimplify_assign (new_var, x, ilist);
    4816                 :         31 :                       tree new_orig_var = lookup_decl (orig_var, ctx);
    4817                 :         31 :                       tree t = build_fold_indirect_ref (new_var);
    4818                 :         31 :                       DECL_IGNORED_P (new_var) = 0;
    4819                 :         31 :                       TREE_THIS_NOTRAP (t) = 1;
    4820                 :         31 :                       SET_DECL_VALUE_EXPR (new_orig_var, t);
    4821                 :         31 :                       DECL_HAS_VALUE_EXPR_P (new_orig_var) = 1;
    4822                 :            :                     }
    4823                 :            :                   else
    4824                 :            :                     {
    4825                 :        689 :                       x = build2 (MEM_REF, TREE_TYPE (new_var), x,
    4826                 :        689 :                                   build_int_cst (ptype, 0));
    4827                 :        689 :                       SET_DECL_VALUE_EXPR (new_var, x);
    4828                 :        689 :                       DECL_HAS_VALUE_EXPR_P (new_var) = 1;
    4829                 :            :                     }
    4830                 :            :                 }
    4831                 :            :               else
    4832                 :            :                 {
    4833                 :        828 :                   gcc_assert (orig_var == var);
    4834                 :        828 :                   if (TREE_CODE (d) == INDIRECT_REF)
    4835                 :            :                     {
    4836                 :         94 :                       x = create_tmp_var (ptype, name);
    4837                 :         94 :                       TREE_ADDRESSABLE (x) = 1;
    4838                 :         94 :                       gimplify_assign (x, yb, ilist);
    4839                 :         94 :                       x = build_fold_addr_expr_loc (clause_loc, x);
    4840                 :            :                     }
    4841                 :        828 :                   x = fold_convert_loc (clause_loc, TREE_TYPE (new_var), x);
    4842                 :        828 :                   gimplify_assign (new_var, x, ilist);
    4843                 :            :                 }
    4844                 :            :               /* GOMP_taskgroup_reduction_register memsets the whole
    4845                 :            :                  array to zero.  If the initializer is zero, we don't
    4846                 :            :                  need to initialize it again, just mark it as ever
    4847                 :            :                  used unconditionally, i.e. cond = true.  */
    4848                 :       1548 :               if (cond
    4849                 :       1273 :                   && OMP_CLAUSE_REDUCTION_PLACEHOLDER (c) == NULL_TREE
    4850                 :       2363 :                   && initializer_zerop (omp_reduction_init (c,
    4851                 :        815 :                                                             TREE_TYPE (type))))
    4852                 :            :                 {
    4853                 :        512 :                   gimple *g = gimple_build_assign (build_simple_mem_ref (cond),
    4854                 :            :                                                    boolean_true_node);
    4855                 :        512 :                   gimple_seq_add_stmt (ilist, g);
    4856                 :        512 :                   continue;
    4857                 :            :                 }
    4858                 :       1036 :               tree end = create_artificial_label (UNKNOWN_LOCATION);
    4859                 :       1036 :               if (cond)
    4860                 :            :                 {
    4861                 :        761 :                   gimple *g;
    4862                 :        761 :                   if (!is_parallel_ctx (ctx))
    4863                 :            :                     {
    4864                 :        710 :                       tree condv = create_tmp_var (boolean_type_node);
    4865                 :        710 :                       g = gimple_build_assign (condv,
    4866                 :            :                                                build_simple_mem_ref (cond));
    4867                 :        710 :                       gimple_seq_add_stmt (ilist, g);
    4868                 :        710 :                       tree lab1 = create_artificial_label (UNKNOWN_LOCATION);
    4869                 :        710 :                       g = gimple_build_cond (NE_EXPR, condv,
    4870                 :            :                                              boolean_false_node, end, lab1);
    4871                 :        710 :                       gimple_seq_add_stmt (ilist, g);
    4872                 :        710 :                       gimple_seq_add_stmt (ilist, gimple_build_label (lab1));
    4873                 :            :                     }
    4874                 :        761 :                   g = gimple_build_assign (build_simple_mem_ref (cond),
    4875                 :            :                                            boolean_true_node);
    4876                 :        761 :                   gimple_seq_add_stmt (ilist, g);
    4877                 :            :                 }
    4878                 :            : 
    4879                 :       1036 :               tree y1 = create_tmp_var (ptype);
    4880                 :       1036 :               gimplify_assign (y1, y, ilist);
    4881                 :       1036 :               tree i2 = NULL_TREE, y2 = NULL_TREE;
    4882                 :       1036 :               tree body2 = NULL_TREE, end2 = NULL_TREE;
    4883                 :       1036 :               tree y3 = NULL_TREE, y4 = NULL_TREE;
    4884                 :       1036 :               if (task_reduction_needs_orig_p)
    4885                 :            :                 {
    4886                 :        112 :                   y3 = create_tmp_var (ptype);
    4887                 :        112 :                   tree ref;
    4888                 :        112 :                   if (OMP_CLAUSE_CODE (c) != OMP_CLAUSE_REDUCTION)
    4889                 :         88 :                     ref = build4 (ARRAY_REF, ptr_type_node, tskred_avar,
    4890                 :         88 :                                   size_int (task_reduction_cnt_full
    4891                 :            :                                             + task_reduction_cntorig - 1),
    4892                 :            :                                   NULL_TREE, NULL_TREE);
    4893                 :            :                   else
    4894                 :            :                     {
    4895                 :         24 :                       unsigned int idx = *ctx->task_reduction_map->get (c);
    4896                 :         24 :                       ref = task_reduction_read (ilist, tskred_temp, ptype,
    4897                 :         24 :                                                  7 + 3 * idx);
    4898                 :            :                     }
    4899                 :        112 :                   gimplify_assign (y3, ref, ilist);
    4900                 :            :                 }
    4901                 :        924 :               else if (OMP_CLAUSE_REDUCTION_PLACEHOLDER (c) || is_simd)
    4902                 :            :                 {
    4903                 :        458 :                   if (pass != 3)
    4904                 :            :                     {
    4905                 :        112 :                       y2 = create_tmp_var (ptype);
    4906                 :        112 :                       gimplify_assign (y2, y, ilist);
    4907                 :            :                     }
    4908                 :        458 :                   if (is_simd || OMP_CLAUSE_REDUCTION_OMP_ORIG_REF (c))
    4909                 :            :                     {
    4910                 :         48 :                       tree ref = build_outer_var_ref (var, ctx);
    4911                 :            :                       /* For ref build_outer_var_ref already performs this.  */
    4912                 :         48 :                       if (TREE_CODE (d) == INDIRECT_REF)
    4913                 :          0 :                         gcc_assert (omp_is_reference (var));
    4914                 :         48 :                       else if (TREE_CODE (d) == ADDR_EXPR)
    4915                 :         20 :                         ref = build_fold_addr_expr (ref);
    4916                 :         28 :                       else if (omp_is_reference (var))
    4917                 :          8 :                         ref = build_fold_addr_expr (ref);
    4918                 :         48 :                       ref = fold_convert_loc (clause_loc, ptype, ref);
    4919                 :         48 :                       if (OMP_CLAUSE_REDUCTION_PLACEHOLDER (c)
    4920                 :         48 :                           && OMP_CLAUSE_REDUCTION_OMP_ORIG_REF (c))
    4921                 :            :                         {
    4922                 :          8 :                           y3 = create_tmp_var (ptype);
    4923                 :          8 :                           gimplify_assign (y3, unshare_expr (ref), ilist);
    4924                 :            :                         }
    4925                 :         48 :                       if (is_simd)
    4926                 :            :                         {
    4927                 :         40 :                           y4 = create_tmp_var (ptype);
    4928                 :         40 :                           gimplify_assign (y4, ref, dlist);
    4929                 :            :                         }
    4930                 :            :                     }
    4931                 :            :                 }
    4932                 :       1036 :               tree i = create_tmp_var (TREE_TYPE (v));
    4933                 :       1036 :               gimplify_assign (i, build_int_cst (TREE_TYPE (v), 0), ilist);
    4934                 :       1036 :               tree body = create_artificial_label (UNKNOWN_LOCATION);
    4935                 :       1036 :               gimple_seq_add_stmt (ilist, gimple_build_label (body));
    4936                 :       1036 :               if (y2)
    4937                 :            :                 {
    4938                 :        112 :                   i2 = create_tmp_var (TREE_TYPE (v));
    4939                 :        112 :                   gimplify_assign (i2, build_int_cst (TREE_TYPE (v), 0), dlist);
    4940                 :        112 :                   body2 = create_artificial_label (UNKNOWN_LOCATION);
    4941                 :        112 :                   end2 = create_artificial_label (UNKNOWN_LOCATION);
    4942                 :        112 :                   gimple_seq_add_stmt (dlist, gimple_build_label (body2));
    4943                 :            :                 }
    4944                 :       1036 :               if (OMP_CLAUSE_REDUCTION_PLACEHOLDER (c))
    4945                 :            :                 {
    4946                 :        530 :                   tree placeholder = OMP_CLAUSE_REDUCTION_PLACEHOLDER (c);
    4947                 :        530 :                   tree decl_placeholder
    4948                 :        530 :                     = OMP_CLAUSE_REDUCTION_DECL_PLACEHOLDER (c);
    4949                 :        530 :                   SET_DECL_VALUE_EXPR (decl_placeholder,
    4950                 :            :                                        build_simple_mem_ref (y1));
    4951                 :        530 :                   DECL_HAS_VALUE_EXPR_P (decl_placeholder) = 1;
    4952                 :       1060 :                   SET_DECL_VALUE_EXPR (placeholder,
    4953                 :            :                                        y3 ? build_simple_mem_ref (y3)
    4954                 :            :                                        : error_mark_node);
    4955                 :        530 :                   DECL_HAS_VALUE_EXPR_P (placeholder) = 1;
    4956                 :        530 :                   x = lang_hooks.decls.omp_clause_default_ctor
    4957                 :        650 :                                 (c, build_simple_mem_ref (y1),
    4958                 :        120 :                                  y3 ? build_simple_mem_ref (y3) : NULL_TREE);
    4959                 :        530 :                   if (x)
    4960                 :        154 :                     gimplify_and_add (x, ilist);
    4961                 :        530 :                   if (OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c))
    4962                 :            :                     {
    4963                 :        504 :                       gimple_seq tseq = OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c);
    4964                 :        504 :                       lower_omp (&tseq, ctx);
    4965                 :        504 :                       gimple_seq_add_seq (ilist, tseq);
    4966                 :            :                     }
    4967                 :        530 :                   OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c) = NULL;
    4968                 :        530 :                   if (is_simd)
    4969                 :            :                     {
    4970                 :          0 :                       SET_DECL_VALUE_EXPR (decl_placeholder,
    4971                 :            :                                            build_simple_mem_ref (y2));
    4972                 :          0 :                       SET_DECL_VALUE_EXPR (placeholder,
    4973                 :            :                                            build_simple_mem_ref (y4));
    4974                 :          0 :                       gimple_seq tseq = OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c);
    4975                 :          0 :                       lower_omp (&tseq, ctx);
    4976                 :          0 :                       gimple_seq_add_seq (dlist, tseq);
    4977                 :          0 :                       OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c) = NULL;
    4978                 :            :                     }
    4979                 :        530 :                   DECL_HAS_VALUE_EXPR_P (placeholder) = 0;
    4980                 :        530 :                   DECL_HAS_VALUE_EXPR_P (decl_placeholder) = 0;
    4981                 :        530 :                   if (y2)
    4982                 :            :                     {
    4983                 :         72 :                       x = lang_hooks.decls.omp_clause_dtor
    4984                 :         72 :                                                 (c, build_simple_mem_ref (y2));
    4985                 :         72 :                       if (x)
    4986                 :         40 :                         gimplify_and_add (x, dlist);
    4987                 :            :                     }
    4988                 :            :                 }
    4989                 :            :               else
    4990                 :            :                 {
    4991                 :        506 :                   x = omp_reduction_init (c, TREE_TYPE (type));
    4992                 :        506 :                   enum tree_code code = OMP_CLAUSE_REDUCTION_CODE (c);
    4993                 :            : 
    4994                 :            :                   /* reduction(-:var) sums up the partial results, so it
    4995                 :            :                      acts identically to reduction(+:var).  */
    4996                 :        506 :                   if (code == MINUS_EXPR)
    4997                 :          0 :                     code = PLUS_EXPR;
    4998                 :            : 
    4999                 :        506 :                   gimplify_assign (build_simple_mem_ref (y1), x, ilist);
    5000                 :        506 :                   if (is_simd)
    5001                 :            :                     {
    5002                 :         40 :                       x = build2 (code, TREE_TYPE (type),
    5003                 :            :                                   build_simple_mem_ref (y4),
    5004                 :            :                                   build_simple_mem_ref (y2));
    5005                 :         40 :                       gimplify_assign (build_simple_mem_ref (y4), x, dlist);
    5006                 :            :                     }
    5007                 :            :                 }
    5008                 :       1036 :               gimple *g
    5009                 :       2072 :                 = gimple_build_assign (y1, POINTER_PLUS_EXPR, y1,
    5010                 :       1036 :                                        TYPE_SIZE_UNIT (TREE_TYPE (type)));
    5011                 :       1036 :               gimple_seq_add_stmt (ilist, g);
    5012                 :       1036 :               if (y3)
    5013                 :            :                 {
    5014                 :        120 :                   g = gimple_build_assign (y3, POINTER_PLUS_EXPR, y3,
    5015                 :        120 :                                            TYPE_SIZE_UNIT (TREE_TYPE (type)));
    5016                 :        120 :                   gimple_seq_add_stmt (ilist, g);
    5017                 :            :                 }
    5018                 :       1036 :               g = gimple_build_assign (i, PLUS_EXPR, i,
    5019                 :       1036 :                                        build_int_cst (TREE_TYPE (i), 1));
    5020                 :       1036 :               gimple_seq_add_stmt (ilist, g);
    5021                 :       1036 :               g = gimple_build_cond (LE_EXPR, i, v, body, end);
    5022                 :       1036 :               gimple_seq_add_stmt (ilist, g);
    5023                 :       1036 :               gimple_seq_add_stmt (ilist, gimple_build_label (end));
    5024                 :       1036 :               if (y2)
    5025                 :            :                 {
    5026                 :        112 :                   g = gimple_build_assign (y2, POINTER_PLUS_EXPR, y2,
    5027                 :        112 :                                            TYPE_SIZE_UNIT (TREE_TYPE (type)));
    5028                 :        112 :                   gimple_seq_add_stmt (dlist, g);
    5029                 :        112 :                   if (y4)
    5030                 :            :                     {
    5031                 :         40 :                       g = gimple_build_assign
    5032                 :         80 :                                         (y4, POINTER_PLUS_EXPR, y4,
    5033                 :         40 :                                          TYPE_SIZE_UNIT (TREE_TYPE (type)));
    5034                 :         40 :                       gimple_seq_add_stmt (dlist, g);
    5035                 :            :                     }
    5036                 :        112 :                   g = gimple_build_assign (i2, PLUS_EXPR, i2,
    5037                 :        112 :                                            build_int_cst (TREE_TYPE (i2), 1));
    5038                 :        112 :                   gimple_seq_add_stmt (dlist, g);
    5039                 :        112 :                   g = gimple_build_cond (LE_EXPR, i2, v, body2, end2);
    5040                 :        112 :                   gimple_seq_add_stmt (dlist, g);
    5041                 :        112 :                   gimple_seq_add_stmt (dlist, gimple_build_label (end2));
    5042                 :            :                 }
    5043                 :       1036 :               continue;
    5044                 :            :             }
    5045                 :     242044 :           else if (pass == 2)
    5046                 :            :             {
    5047                 :        296 :               if (is_global_var (maybe_lookup_decl_in_outer_ctx (var, ctx)))
    5048                 :            :                 x = var;
    5049                 :            :               else
    5050                 :            :                 {
    5051                 :        206 :                   bool by_ref = use_pointer_for_field (var, ctx);
    5052                 :        206 :                   x = build_receiver_ref (var, by_ref, ctx);
    5053                 :            :                 }
    5054                 :        296 :               if (!omp_is_reference (var))
    5055                 :        218 :                 x = build_fold_addr_expr (x);
    5056                 :        296 :               x = fold_convert (ptr_type_node, x);
    5057                 :        296 :               unsigned cnt = task_reduction_cnt - 1;
    5058                 :        296 :               if (!task_reduction_needs_orig_p)
    5059                 :        256 :                 cnt += task_reduction_cntorig_full - task_reduction_cntorig;
    5060                 :            :               else
    5061                 :         40 :                 cnt = task_reduction_cntorig - 1;
    5062                 :        296 :               tree r = build4 (ARRAY_REF, ptr_type_node, tskred_avar,
    5063                 :            :                                size_int (cnt), NULL_TREE, NULL_TREE);
    5064                 :        296 :               gimplify_assign (r, x, ilist);
    5065                 :        296 :               continue;
    5066                 :            :             }
    5067                 :     241748 :           else if (pass == 3)
    5068                 :            :             {
    5069                 :        670 :               tree type = TREE_TYPE (new_var);
    5070                 :        670 :               if (!omp_is_reference (var))
    5071                 :        570 :                 type = build_pointer_type (type);
    5072                 :        670 :               if (OMP_CLAUSE_CODE (c) != OMP_CLAUSE_REDUCTION)
    5073                 :            :                 {
    5074                 :        296 :                   unsigned cnt = task_reduction_cnt - 1;
    5075                 :        296 :                   if (!task_reduction_needs_orig_p)
    5076                 :        256 :                     cnt += (task_reduction_cntorig_full
    5077                 :        256 :                             - task_reduction_cntorig);
    5078                 :            :                   else
    5079                 :         40 :                     cnt = task_reduction_cntorig - 1;
    5080                 :        296 :                   x = build4 (ARRAY_REF, ptr_type_node, tskred_avar,
    5081                 :            :                               size_int (cnt), NULL_TREE, NULL_TREE);
    5082                 :            :                 }
    5083                 :            :               else
    5084                 :            :                 {
    5085                 :        374 :                   unsigned int idx = *ctx->task_reduction_map->get (c);
    5086                 :        374 :                   tree off;
    5087                 :        374 :                   if (ctx->task_reductions[1 + idx])
    5088                 :        374 :                     off = fold_convert (sizetype,
    5089                 :            :                                         ctx->task_reductions[1 + idx]);
    5090                 :            :                   else
    5091                 :          0 :                     off = task_reduction_read (ilist, tskred_temp, sizetype,
    5092                 :          0 :                                                7 + 3 * idx + 1);
    5093                 :        374 :                   x = fold_build2 (POINTER_PLUS_EXPR, ptr_type_node,
    5094                 :            :                                    tskred_base, off);
    5095                 :            :                 }
    5096                 :        670 :               x = fold_convert (type, x);
    5097                 :        670 :               tree t;
    5098                 :        670 :               if (omp_is_reference (var))
    5099                 :            :                 {
    5100                 :        100 :                   gimplify_assign (new_var, x, ilist);
    5101                 :        100 :                   t = new_var;
    5102                 :        100 :                   new_var = build_simple_mem_ref (new_var);
    5103                 :            :                 }
    5104                 :            :               else
    5105                 :            :                 {
    5106                 :        570 :                   t = create_tmp_var (type);
    5107                 :        570 :                   gimplify_assign (t, x, ilist);
    5108                 :        570 :                   SET_DECL_VALUE_EXPR (new_var, build_simple_mem_ref (t));
    5109                 :        570 :                   DECL_HAS_VALUE_EXPR_P (new_var) = 1;
    5110                 :            :                 }
    5111                 :        670 :               t = fold_convert (build_pointer_type (boolean_type_node), t);
    5112                 :        670 :               t = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (t), t,
    5113                 :            :                                TYPE_SIZE_UNIT (TREE_TYPE (type)));
    5114                 :        670 :               cond = create_tmp_var (TREE_TYPE (t));
    5115                 :        670 :               gimplify_assign (cond, t, ilist);
    5116                 :            :             }
    5117                 :     241078 :           else if (is_variable_sized (var))
    5118                 :            :             {
    5119                 :            :               /* For variable sized types, we need to allocate the
    5120                 :            :                  actual storage here.  Call alloca and store the
    5121                 :            :                  result in the pointer decl that we created elsewhere.  */
    5122                 :        234 :               if (pass == 0)
    5123                 :        120 :                 continue;
    5124                 :            : 
    5125                 :        114 :               if (c_kind != OMP_CLAUSE_FIRSTPRIVATE || !is_task_ctx (ctx))
    5126                 :            :                 {
    5127                 :        100 :                   gcall *stmt;
    5128                 :        100 :                   tree tmp, atmp;
    5129                 :            : 
    5130                 :        100 :                   ptr = DECL_VALUE_EXPR (new_var);
    5131                 :        100 :                   gcc_assert (TREE_CODE (ptr) == INDIRECT_REF);
    5132                 :        100 :                   ptr = TREE_OPERAND (ptr, 0);
    5133                 :        100 :                   gcc_assert (DECL_P (ptr));
    5134                 :        100 :                   x = TYPE_SIZE_UNIT (TREE_TYPE (new_var));
    5135                 :            : 
    5136                 :            :                   /* void *tmp = __builtin_alloca */
    5137                 :        100 :                   atmp = builtin_decl_explicit (BUILT_IN_ALLOCA_WITH_ALIGN);
    5138                 :        200 :                   stmt = gimple_build_call (atmp, 2, x,
    5139                 :        100 :                                             size_int (DECL_ALIGN (var)));
    5140                 :        100 :                   tmp = create_tmp_var_raw (ptr_type_node);
    5141                 :        100 :                   gimple_add_tmp_var (tmp);
    5142                 :        100 :                   gimple_call_set_lhs (stmt, tmp);
    5143                 :            : 
    5144                 :        100 :                   gimple_seq_add_stmt (ilist, stmt);
    5145                 :            : 
    5146                 :        100 :                   x = fold_convert_loc (clause_loc, TREE_TYPE (ptr), tmp);
    5147                 :        100 :                   gimplify_assign (ptr, x, ilist);
    5148                 :            :                 }
    5149                 :            :             }
    5150                 :     240844 :           else if (omp_is_reference (var)
    5151                 :     240844 :                    && (c_kind != OMP_CLAUSE_FIRSTPRIVATE
    5152                 :       1110 :                        || !OMP_CLAUSE_FIRSTPRIVATE_NO_REFERENCE (c)))
    5153                 :            :             {
    5154                 :            :               /* For references that are being privatized for Fortran,
    5155                 :            :                  allocate new backing storage for the new pointer
    5156                 :            :                  variable.  This allows us to avoid changing all the
    5157                 :            :                  code that expects a pointer to something that expects
    5158                 :            :                  a direct variable.  */
    5159                 :       3776 :               if (pass == 0)
    5160                 :       1981 :                 continue;
    5161                 :            : 
    5162                 :       1795 :               x = TYPE_SIZE_UNIT (TREE_TYPE (TREE_TYPE (new_var)));
    5163                 :       1795 :               if (c_kind == OMP_CLAUSE_FIRSTPRIVATE && is_task_ctx (ctx))
    5164                 :            :                 {
    5165                 :        123 :                   x = build_receiver_ref (var, false, ctx);
    5166                 :        123 :                   x = build_fold_addr_expr_loc (clause_loc, x);
    5167                 :            :                 }
    5168                 :       1672 :               else if (TREE_CONSTANT (x))
    5169                 :            :                 {
    5170                 :            :                   /* For reduction in SIMD loop, defer adding the
    5171                 :            :                      initialization of the reference, because if we decide
    5172                 :            :                      to use SIMD array for it, the initilization could cause
    5173                 :            :                      expansion ICE.  Ditto for other privatization clauses.  */
    5174                 :       1004 :                   if (is_simd)
    5175                 :            :                     x = NULL_TREE;
    5176                 :            :                   else
    5177                 :            :                     {
    5178                 :        633 :                       x = create_tmp_var_raw (TREE_TYPE (TREE_TYPE (new_var)),
    5179                 :            :                                               get_name (var));
    5180                 :        633 :                       gimple_add_tmp_var (x);
    5181                 :        633 :                       TREE_ADDRESSABLE (x) = 1;
    5182                 :        633 :                       x = build_fold_addr_expr_loc (clause_loc, x);
    5183                 :            :                     }
    5184                 :            :                 }
    5185                 :            :               else
    5186                 :            :                 {
    5187                 :        668 :                   tree atmp
    5188                 :        668 :                     = builtin_decl_explicit (BUILT_IN_ALLOCA_WITH_ALIGN);
    5189                 :        668 :                   tree rtype = TREE_TYPE (TREE_TYPE (new_var));
    5190                 :        668 :                   tree al = size_int (TYPE_ALIGN (rtype));
    5191                 :        668 :                   x = build_call_expr_loc (clause_loc, atmp, 2, x, al);
    5192                 :            :                 }
    5193                 :            : 
    5194                 :       1424 :               if (x)
    5195                 :            :                 {
    5196                 :       1424 :                   x = fold_convert_loc (clause_loc, TREE_TYPE (new_var), x);
    5197                 :       1424 :                   gimplify_assign (new_var, x, ilist);
    5198                 :            :                 }
    5199                 :            : 
    5200                 :       1795 :               new_var = build_simple_mem_ref_loc (clause_loc, new_var);
    5201                 :            :             }
    5202                 :     237068 :           else if ((c_kind == OMP_CLAUSE_REDUCTION
    5203                 :            :                     || c_kind == OMP_CLAUSE_IN_REDUCTION)
    5204                 :     237068 :                    && OMP_CLAUSE_REDUCTION_PLACEHOLDER (c))
    5205                 :            :             {
    5206                 :       1914 :               if (pass == 0)
    5207                 :        957 :                 continue;
    5208                 :            :             }
    5209                 :     235154 :           else if (pass != 0)
    5210                 :     117381 :             continue;
    5211                 :            : 
    5212                 :     129040 :           switch (OMP_CLAUSE_CODE (c))
    5213                 :            :             {
    5214                 :       7504 :             case OMP_CLAUSE_SHARED:
    5215                 :            :               /* Ignore shared directives in teams construct inside
    5216                 :            :                  target construct.  */
    5217                 :       7504 :               if (gimple_code (ctx->stmt) == GIMPLE_OMP_TEAMS
    5218                 :       7504 :                   && !is_host_teams_ctx (ctx))
    5219                 :          0 :                 continue;
    5220                 :            :               /* Shared global vars are just accessed directly.  */
    5221                 :       7504 :               if (is_global_var (new_var))
    5222                 :            :                 break;
    5223                 :            :               /* For taskloop firstprivate/lastprivate, represented
    5224                 :            :                  as firstprivate and shared clause on the task, new_var
    5225                 :            :                  is the firstprivate var.  */
    5226                 :       7424 :               if (OMP_CLAUSE_SHARED_FIRSTPRIVATE (c))
    5227                 :            :                 break;
    5228                 :            :               /* Set up the DECL_VALUE_EXPR for shared variables now.  This
    5229                 :            :                  needs to be delayed until after fixup_child_record_type so
    5230                 :            :                  that we get the correct type during the dereference.  */
    5231                 :       7316 :               by_ref = use_pointer_for_field (var, ctx);
    5232                 :       7316 :               x = build_receiver_ref (var, by_ref, ctx);
    5233                 :       7316 :               SET_DECL_VALUE_EXPR (new_var, x);
    5234                 :       7316 :               DECL_HAS_VALUE_EXPR_P (new_var) = 1;
    5235                 :            : 
    5236                 :            :               /* ??? If VAR is not passed by reference, and the variable
    5237                 :            :                  hasn't been initialized yet, then we'll get a warning for
    5238                 :            :                  the store into the omp_data_s structure.  Ideally, we'd be
    5239                 :            :                  able to notice this and not store anything at all, but
    5240                 :            :                  we're generating code too early.  Suppress the warning.  */
    5241                 :       7316 :               if (!by_ref)
    5242                 :       3333 :                 TREE_NO_WARNING (var) = 1;
    5243                 :            :               break;
    5244                 :            : 
    5245                 :        152 :             case OMP_CLAUSE__CONDTEMP_:
    5246                 :        152 :               if (is_parallel_ctx (ctx))
    5247                 :            :                 {
    5248                 :         69 :                   x = build_receiver_ref (var, false, ctx);
    5249                 :         69 :                   SET_DECL_VALUE_EXPR (new_var, x);
    5250                 :         69 :                   DECL_HAS_VALUE_EXPR_P (new_var) = 1;
    5251                 :            :                 }
    5252                 :         83 :               else if (is_simd && !OMP_CLAUSE__CONDTEMP__ITER (c))
    5253                 :            :                 {
    5254                 :         83 :                   x = build_zero_cst (TREE_TYPE (var));
    5255                 :         83 :                   goto do_private;
    5256                 :            :                 }
    5257                 :            :               break;
    5258                 :            : 
    5259                 :      16129 :             case OMP_CLAUSE_LASTPRIVATE:
    5260                 :      16129 :               if (OMP_CLAUSE_LASTPRIVATE_FIRSTPRIVATE (c))
    5261                 :            :                 break;
    5262                 :            :               /* FALLTHRU */
    5263                 :            : 
    5264                 :      69346 :             case OMP_CLAUSE_PRIVATE:
    5265                 :      69346 :               if (OMP_CLAUSE_CODE (c) != OMP_CLAUSE_PRIVATE)
    5266                 :      15737 :                 x = build_outer_var_ref (var, ctx);
    5267                 :      53609 :               else if (OMP_CLAUSE_PRIVATE_OUTER_REF (c))
    5268                 :            :                 {
    5269                 :        161 :                   if (is_task_ctx (ctx))
    5270                 :         12 :                     x = build_receiver_ref (var, false, ctx);
    5271                 :            :                   else
    5272                 :        149 :                     x = build_outer_var_ref (var, ctx, OMP_CLAUSE_PRIVATE);
    5273                 :            :                 }
    5274                 :            :               else
    5275                 :            :                 x = NULL;
    5276                 :      74084 :             do_private:
    5277                 :      74084 :               tree nx;
    5278                 :      74084 :               bool copy_ctor;
    5279                 :      74084 :               copy_ctor = false;
    5280                 :      74084 :               nx = unshare_expr (new_var);
    5281                 :      74084 :               if (is_simd
    5282                 :      18371 :                   && OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    5283                 :      79483 :                   && OMP_CLAUSE_LASTPRIVATE_LOOP_IV (c))
    5284                 :         22 :                 copy_ctor = true;
    5285                 :      74084 :               if (copy_ctor)
    5286                 :         22 :                 nx = lang_hooks.decls.omp_clause_copy_ctor (c, nx, x);
    5287                 :            :               else
    5288                 :      74062 :                 nx = lang_hooks.decls.omp_clause_default_ctor (c, nx, x);
    5289                 :      74084 :               if (is_simd)
    5290                 :            :                 {
    5291                 :      18371 :                   tree y = lang_hooks.decls.omp_clause_dtor (c, new_var);
    5292                 :      18004 :                   if ((TREE_ADDRESSABLE (new_var) || nx || y
    5293                 :      17994 :                        || (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    5294                 :       5267 :                            && (gimple_omp_for_collapse (ctx->stmt) != 1
    5295                 :        801 :                                || (gimple_omp_for_index (ctx->stmt, 0)
    5296                 :            :                                    != new_var)))
    5297                 :      12987 :                        || OMP_CLAUSE_CODE (c) == OMP_CLAUSE__CONDTEMP_
    5298                 :      12904 :                        || omp_is_reference (var))
    5299                 :      23511 :                       && lower_rec_simd_input_clauses (new_var, ctx, &sctx,
    5300                 :            :                                                        ivar, lvar))
    5301                 :            :                     {
    5302                 :       4821 :                       if (omp_is_reference (var))
    5303                 :            :                         {
    5304                 :         46 :                           gcc_assert (TREE_CODE (new_var) == MEM_REF);
    5305                 :         46 :                           tree new_vard = TREE_OPERAND (new_var, 0);
    5306                 :         46 :                           gcc_assert (DECL_P (new_vard));
    5307                 :         46 :                           SET_DECL_VALUE_EXPR (new_vard,
    5308                 :            :                                                build_fold_addr_expr (lvar));
    5309                 :         46 :                           DECL_HAS_VALUE_EXPR_P (new_vard) = 1;
    5310                 :            :                         }
    5311                 :            : 
    5312                 :       4821 :                       if (nx)
    5313                 :            :                         {
    5314                 :         24 :                           tree iv = unshare_expr (ivar);
    5315                 :         24 :                           if (copy_ctor)
    5316                 :         22 :                             x = lang_hooks.decls.omp_clause_copy_ctor (c, iv,
    5317                 :            :                                                                        x);
    5318                 :            :                           else
    5319                 :          2 :                             x = lang_hooks.decls.omp_clause_default_ctor (c,
    5320                 :            :                                                                           iv,
    5321                 :            :                                                                           x);
    5322                 :            :                         }
    5323                 :       4797 :                       else if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE__CONDTEMP_)
    5324                 :            :                         {
    5325                 :         34 :                           x = build2 (MODIFY_EXPR, TREE_TYPE (ivar),
    5326                 :            :                                       unshare_expr (ivar), x);
    5327                 :         34 :                           nx = x;
    5328                 :            :                         }
    5329                 :       4821 :                       if (nx && x)
    5330                 :         58 :                         gimplify_and_add (x, &llist[0]);
    5331                 :       4821 :                       if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    5332                 :       4821 :                           && OMP_CLAUSE_LASTPRIVATE_CONDITIONAL (c))
    5333                 :            :                         {
    5334                 :         34 :                           tree v = new_var;
    5335                 :         34 :                           if (!DECL_P (v))
    5336                 :            :                             {
    5337                 :          4 :                               gcc_assert (TREE_CODE (v) == MEM_REF);
    5338                 :          4 :                               v = TREE_OPERAND (v, 0);
    5339                 :          4 :                               gcc_assert (DECL_P (v));
    5340                 :            :                             }
    5341                 :         34 :                           v = *ctx->lastprivate_conditional_map->get (v);
    5342                 :         34 :                           tree t = create_tmp_var (TREE_TYPE (v));
    5343                 :         34 :                           tree z = build_zero_cst (TREE_TYPE (v));
    5344                 :         34 :                           tree orig_v
    5345                 :         34 :                             = build_outer_var_ref (var, ctx,
    5346                 :            :                                                    OMP_CLAUSE_LASTPRIVATE);
    5347                 :         34 :                           gimple_seq_add_stmt (dlist,
    5348                 :         34 :                                                gimple_build_assign (t, z));
    5349                 :         34 :                           gcc_assert (DECL_HAS_VALUE_EXPR_P (v));
    5350                 :         34 :                           tree civar = DECL_VALUE_EXPR (v);
    5351                 :         34 :                           gcc_assert (TREE_CODE (civar) == ARRAY_REF);
    5352                 :         34 :                           civar = unshare_expr (civar);
    5353                 :         34 :                           TREE_OPERAND (civar, 1) = sctx.idx;
    5354                 :         34 :                           x = build2 (MODIFY_EXPR, TREE_TYPE (t), t,
    5355                 :            :                                       unshare_expr (civar));
    5356                 :         68 :                           x = build2 (COMPOUND_EXPR, TREE_TYPE (orig_v), x,
    5357                 :         34 :                                       build2 (MODIFY_EXPR, TREE_TYPE (orig_v),
    5358                 :            :                                               orig_v, unshare_expr (ivar)));
    5359                 :         34 :                           tree cond = build2 (LT_EXPR, boolean_type_node, t,
    5360                 :            :                                               civar);
    5361                 :         34 :                           x = build3 (COND_EXPR, void_type_node, cond, x,
    5362                 :            :                                       void_node);
    5363                 :         34 :                           gimple_seq tseq = NULL;
    5364                 :         34 :                           gimplify_and_add (x, &tseq);
    5365                 :         34 :                           if (ctx->outer)
    5366                 :         25 :                             lower_omp (&tseq, ctx->outer);
    5367                 :         34 :                           gimple_seq_add_seq (&llist[1], tseq);
    5368                 :            :                         }
    5369                 :       4821 :                       if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    5370                 :       4821 :                           && ctx->for_simd_scan_phase)
    5371                 :            :                         {
    5372                 :          5 :                           x = unshare_expr (ivar);
    5373                 :          5 :                           tree orig_v
    5374                 :          5 :                             = build_outer_var_ref (var, ctx,
    5375                 :            :                                                    OMP_CLAUSE_LASTPRIVATE);
    5376                 :          5 :                           x = lang_hooks.decls.omp_clause_assign_op (c, x,
    5377                 :            :                                                                      orig_v);
    5378                 :          5 :                           gimplify_and_add (x, &llist[0]);
    5379                 :            :                         }
    5380                 :       4821 :                       if (y)
    5381                 :            :                         {
    5382                 :         24 :                           y = lang_hooks.decls.omp_clause_dtor (c, ivar);
    5383                 :         24 :                           if (y)
    5384                 :         24 :                             gimplify_and_add (y, &llist[1]);
    5385                 :            :                         }
    5386                 :            :                       break;
    5387                 :            :                     }
    5388                 :      13550 :                   if (omp_is_reference (var))
    5389                 :            :                     {
    5390                 :         36 :                       gcc_assert (TREE_CODE (new_var) == MEM_REF);
    5391                 :         36 :                       tree new_vard = TREE_OPERAND (new_var, 0);
    5392                 :         36 :                       gcc_assert (DECL_P (new_vard));
    5393                 :         36 :                       tree type = TREE_TYPE (TREE_TYPE (new_vard));
    5394                 :         36 :                       x = TYPE_SIZE_UNIT (type);
    5395                 :         36 :                       if (TREE_CONSTANT (x))
    5396                 :            :                         {
    5397                 :         36 :                           x = create_tmp_var_raw (type, get_name (var));
    5398                 :         36 :                           gimple_add_tmp_var (x);
    5399                 :         36 :                           TREE_ADDRESSABLE (x) = 1;
    5400                 :         36 :                           x = build_fold_addr_expr_loc (clause_loc, x);
    5401                 :         36 :                           x = fold_convert_loc (clause_loc,
    5402                 :         36 :                                                 TREE_TYPE (new_vard), x);
    5403                 :         36 :                           gimplify_assign (new_vard, x, ilist);
    5404                 :            :                         }
    5405                 :            :                     }
    5406                 :            :                 }
    5407                 :      69263 :               if (nx)
    5408                 :        483 :                 gimplify_and_add (nx, ilist);
    5409                 :      69263 :               if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    5410                 :      11204 :                   && is_simd
    5411                 :      70129 :                   && ctx->for_simd_scan_phase)
    5412                 :            :                 {
    5413                 :          5 :                   tree orig_v = build_outer_var_ref (var, ctx,
    5414                 :            :                                                      OMP_CLAUSE_LASTPRIVATE);
    5415                 :          5 :                   x = lang_hooks.decls.omp_clause_assign_op (c, new_var,
    5416                 :            :                                                              orig_v);
    5417                 :          5 :                   gimplify_and_add (x, ilist);
    5418                 :            :                 }
    5419                 :            :               /* FALLTHRU */
    5420                 :            : 
    5421                 :      92607 :             do_dtor:
    5422                 :      92607 :               x = lang_hooks.decls.omp_clause_dtor (c, new_var);
    5423                 :      92607 :               if (x)
    5424                 :       1084 :                 gimplify_and_add (x, dlist);
    5425                 :            :               break;
    5426                 :            : 
    5427                 :       5415 :             case OMP_CLAUSE_LINEAR:
    5428                 :       5415 :               if (!OMP_CLAUSE_LINEAR_NO_COPYIN (c))
    5429                 :        760 :                 goto do_firstprivate;
    5430                 :       4655 :               if (OMP_CLAUSE_LINEAR_NO_COPYOUT (c))
    5431                 :            :                 x = NULL;
    5432                 :            :               else
    5433                 :       3074 :                 x = build_outer_var_ref (var, ctx);
    5434                 :       4655 :               goto do_private;
    5435                 :            : 
    5436                 :      21745 :             case OMP_CLAUSE_FIRSTPRIVATE:
    5437                 :      21745 :               if (is_task_ctx (ctx))
    5438                 :            :                 {
    5439                 :       2872 :                   if ((omp_is_reference (var)
    5440                 :        123 :                        && !OMP_CLAUSE_FIRSTPRIVATE_NO_REFERENCE (c))
    5441                 :       2872 :                       || is_variable_sized (var))
    5442                 :        137 :                     goto do_dtor;
    5443                 :       2735 :                   else if (is_global_var (maybe_lookup_decl_in_outer_ctx (var,
    5444                 :            :                                                                           ctx))
    5445                 :       2735 :                            || use_pointer_for_field (var, NULL))
    5446                 :            :                     {
    5447                 :        179 :                       x = build_receiver_ref (var, false, ctx);
    5448                 :        179 :                       SET_DECL_VALUE_EXPR (new_var, x);
    5449                 :        179 :                       DECL_HAS_VALUE_EXPR_P (new_var) = 1;
    5450                 :        179 :                       goto do_dtor;
    5451                 :            :                     }
    5452                 :            :                 }
    5453                 :      21429 :               if (OMP_CLAUSE_FIRSTPRIVATE_NO_REFERENCE (c)
    5454                 :      21429 :                   && omp_is_reference (var))
    5455                 :            :                 {
    5456                 :         23 :                   x = build_outer_var_ref (var, ctx);
    5457                 :         23 :                   gcc_assert (TREE_CODE (x) == MEM_REF
    5458                 :            :                               && integer_zerop (TREE_OPERAND (x, 1)));
    5459                 :         23 :                   x = TREE_OPERAND (x, 0);
    5460                 :         23 :                   x = lang_hooks.decls.omp_clause_copy_ctor
    5461                 :         23 :                                                 (c, unshare_expr (new_var), x);
    5462                 :         23 :                   gimplify_and_add (x, ilist);
    5463                 :         23 :                   goto do_dtor;
    5464                 :            :                 }
    5465                 :      22166 :             do_firstprivate:
    5466                 :      22166 :               x = build_outer_var_ref (var, ctx);
    5467                 :      22166 :               if (is_simd)
    5468                 :            :                 {
    5469                 :        722 :                   if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LINEAR
    5470                 :        722 :                       && gimple_omp_for_combined_into_p (ctx->stmt))
    5471                 :            :                     {
    5472                 :        380 :                       tree t = OMP_CLAUSE_LINEAR_STEP (c);
    5473                 :        380 :                       tree stept = TREE_TYPE (t);
    5474                 :        380 :                       tree ct = omp_find_clause (clauses,
    5475                 :            :                                                  OMP_CLAUSE__LOOPTEMP_);
    5476                 :        380 :                       gcc_assert (ct);
    5477                 :        380 :                       tree l = OMP_CLAUSE_DECL (ct);
    5478                 :        380 :                       tree n1 = fd->loop.n1;
    5479                 :        380 :                       tree step = fd->loop.step;
    5480                 :        380 :                       tree itype = TREE_TYPE (l);
    5481                 :        380 :                       if (POINTER_TYPE_P (itype))
    5482                 :          0 :                         itype = signed_type_for (itype);
    5483                 :        380 :                       l = fold_build2 (MINUS_EXPR, itype, l, n1);
    5484                 :        380 :                       if (TYPE_UNSIGNED (itype)
    5485                 :        380 :                           && fd->loop.cond_code == GT_EXPR)
    5486                 :          0 :                         l = fold_build2 (TRUNC_DIV_EXPR, itype,
    5487                 :            :                                          fold_build1 (NEGATE_EXPR, itype, l),
    5488                 :            :                                          fold_build1 (NEGATE_EXPR,
    5489                 :            :                                                       itype, step));
    5490                 :            :                       else
    5491                 :        380 :                         l = fold_build2 (TRUNC_DIV_EXPR, itype, l, step);
    5492                 :        380 :                       t = fold_build2 (MULT_EXPR, stept,
    5493                 :            :                                        fold_convert (stept, l), t);
    5494                 :            : 
    5495                 :        380 :                       if (OMP_CLAUSE_LINEAR_ARRAY (c))
    5496                 :            :                         {
    5497                 :        108 :                           if (omp_is_reference (var))
    5498                 :            :                             {
    5499                 :         72 :                               gcc_assert (TREE_CODE (new_var) == MEM_REF);
    5500                 :         72 :                               tree new_vard = TREE_OPERAND (new_var, 0);
    5501                 :         72 :                               gcc_assert (DECL_P (new_vard));
    5502                 :         72 :                               tree type = TREE_TYPE (TREE_TYPE (new_vard));
    5503                 :         72 :                               nx = TYPE_SIZE_UNIT (type);
    5504                 :         72 :                               if (TREE_CONSTANT (nx))
    5505                 :            :                                 {
    5506                 :         24 :                                   nx = create_tmp_var_raw (type,
    5507                 :            :                                                            get_name (var));
    5508                 :         24 :                                   gimple_add_tmp_var (nx);
    5509                 :         24 :                                   TREE_ADDRESSABLE (nx) = 1;
    5510                 :         24 :                                   nx = build_fold_addr_expr_loc (clause_loc,
    5511                 :            :                                                                  nx);
    5512                 :         24 :                                   nx = fold_convert_loc (clause_loc,
    5513                 :         24 :                                                          TREE_TYPE (new_vard),
    5514                 :            :                                                          nx);
    5515                 :         24 :                                   gimplify_assign (new_vard, nx, ilist);
    5516                 :            :                                 }
    5517                 :            :                             }
    5518                 :            : 
    5519                 :        108 :                           x = lang_hooks.decls.omp_clause_linear_ctor
    5520                 :        108 :                                                         (c, new_var, x, t);
    5521                 :        108 :                           gimplify_and_add (x, ilist);
    5522                 :        108 :                           goto do_dtor;
    5523                 :            :                         }
    5524                 :            : 
    5525                 :        272 :                       if (POINTER_TYPE_P (TREE_TYPE (x)))
    5526                 :          1 :                         x = fold_build2 (POINTER_PLUS_EXPR,
    5527                 :            :                                          TREE_TYPE (x), x, t);
    5528                 :            :                       else
    5529                 :        271 :                         x = fold_build2 (PLUS_EXPR, TREE_TYPE (x), x, t);
    5530                 :            :                     }
    5531                 :            : 
    5532                 :        614 :                   if ((OMP_CLAUSE_CODE (c) != OMP_CLAUSE_LINEAR
    5533                 :        593 :                        || TREE_ADDRESSABLE (new_var)
    5534                 :        458 :                        || omp_is_reference (var))
    5535                 :        848 :                       && lower_rec_simd_input_clauses (new_var, ctx, &sctx,
    5536                 :            :                                                        ivar, lvar))
    5537                 :            :                     {
    5538                 :        141 :                       if (omp_is_reference (var))
    5539                 :            :                         {
    5540                 :         11 :                           gcc_assert (TREE_CODE (new_var) == MEM_REF);
    5541                 :         11 :                           tree new_vard = TREE_OPERAND (new_var, 0);
    5542                 :         11 :                           gcc_assert (DECL_P (new_vard));
    5543                 :         11 :                           SET_DECL_VALUE_EXPR (new_vard,
    5544                 :            :                                                build_fold_addr_expr (lvar));
    5545                 :         11 :                           DECL_HAS_VALUE_EXPR_P (new_vard) = 1;
    5546                 :            :                         }
    5547                 :        141 :                       if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LINEAR)
    5548                 :            :                         {
    5549                 :        120 :                           tree iv = create_tmp_var (TREE_TYPE (new_var));
    5550                 :        120 :                           x = lang_hooks.decls.omp_clause_copy_ctor (c, iv, x);
    5551                 :        120 :                           gimplify_and_add (x, ilist);
    5552                 :        120 :                           gimple_stmt_iterator gsi
    5553                 :        120 :                             = gsi_start_1 (gimple_omp_body_ptr (ctx->stmt));
    5554                 :        120 :                           gassign *g
    5555                 :        120 :                             = gimple_build_assign (unshare_expr (lvar), iv);
    5556                 :        120 :                           gsi_insert_before_without_update (&gsi, g,
    5557                 :            :                                                             GSI_SAME_STMT);
    5558                 :        120 :                           tree t = OMP_CLAUSE_LINEAR_STEP (c);
    5559                 :        120 :                           enum tree_code code = PLUS_EXPR;
    5560                 :        120 :                           if (POINTER_TYPE_P (TREE_TYPE (new_var)))
    5561                 :            :                             code = POINTER_PLUS_EXPR;
    5562                 :        120 :                           g = gimple_build_assign (iv, code, iv, t);
    5563                 :        120 :                           gsi_insert_before_without_update (&gsi, g,
    5564                 :            :                                                             GSI_SAME_STMT);
    5565                 :        120 :                           break;
    5566                 :            :                         }
    5567                 :         21 :                       x = lang_hooks.decls.omp_clause_copy_ctor
    5568                 :         21 :                                                 (c, unshare_expr (ivar), x);
    5569                 :         21 :                       gimplify_and_add (x, &llist[0]);
    5570                 :         21 :                       x = lang_hooks.decls.omp_clause_dtor (c, ivar);
    5571                 :         21 :                       if (x)
    5572                 :         21 :                         gimplify_and_add (x, &llist[1]);
    5573                 :            :                       break;
    5574                 :            :                     }
    5575                 :        473 :                   if (omp_is_reference (var))
    5576                 :            :                     {
    5577                 :         88 :                       gcc_assert (TREE_CODE (new_var) == MEM_REF);
    5578                 :         88 :                       tree new_vard = TREE_OPERAND (new_var, 0);
    5579                 :         88 :                       gcc_assert (DECL_P (new_vard));
    5580                 :         88 :                       tree type = TREE_TYPE (TREE_TYPE (new_vard));
    5581                 :         88 :                       nx = TYPE_SIZE_UNIT (type);
    5582                 :         88 :                       if (TREE_CONSTANT (nx))
    5583                 :            :                         {
    5584                 :         40 :                           nx = create_tmp_var_raw (type, get_name (var));
    5585                 :         40 :                           gimple_add_tmp_var (nx);
    5586                 :         40 :                           TREE_ADDRESSABLE (nx) = 1;
    5587                 :         40 :                           nx = build_fold_addr_expr_loc (clause_loc, nx);
    5588                 :         40 :                           nx = fold_convert_loc (clause_loc,
    5589                 :         40 :                                                  TREE_TYPE (new_vard), nx);
    5590                 :         40 :                           gimplify_assign (new_vard, nx, ilist);
    5591                 :            :                         }
    5592                 :            :                     }
    5593                 :            :                 }
    5594                 :      21917 :               x = lang_hooks.decls.omp_clause_copy_ctor
    5595                 :      21917 :                                                 (c, unshare_expr (new_var), x);
    5596                 :      21917 :               gimplify_and_add (x, ilist);
    5597                 :      21917 :               goto do_dtor;
    5598                 :            : 
    5599                 :      15326 :             case OMP_CLAUSE__LOOPTEMP_:
    5600                 :      15326 :             case OMP_CLAUSE__REDUCTEMP_:
    5601                 :      15326 :               gcc_assert (is_taskreg_ctx (ctx));
    5602                 :      15326 :               x = build_outer_var_ref (var, ctx);
    5603                 :      15326 :               x = build2 (MODIFY_EXPR, TREE_TYPE (new_var), new_var, x);
    5604                 :      15326 :               gimplify_and_add (x, ilist);
    5605                 :      15326 :               break;
    5606                 :            : 
    5607                 :        227 :             case OMP_CLAUSE_COPYIN:
    5608                 :        227 :               by_ref = use_pointer_for_field (var, NULL);
    5609                 :        227 :               x = build_receiver_ref (var, by_ref, ctx);
    5610                 :        227 :               x = lang_hooks.decls.omp_clause_assign_op (c, new_var, x);
    5611                 :        227 :               append_to_statement_list (x, &copyin_seq);
    5612                 :        227 :               copyin_by_ref |= by_ref;
    5613                 :        227 :               break;
    5614                 :            : 
    5615                 :       8933 :             case OMP_CLAUSE_REDUCTION:
    5616                 :       8933 :             case OMP_CLAUSE_IN_REDUCTION:
    5617                 :            :               /* OpenACC reductions are initialized using the
    5618                 :            :                  GOACC_REDUCTION internal function.  */
    5619                 :       8933 :               if (is_gimple_omp_oacc (ctx->stmt))
    5620                 :            :                 break;
    5621                 :       5532 :               if (OMP_CLAUSE_REDUCTION_PLACEHOLDER (c))
    5622                 :            :                 {
    5623                 :       1435 :                   tree placeholder = OMP_CLAUSE_REDUCTION_PLACEHOLDER (c);
    5624                 :       1435 :                   gimple *tseq;
    5625                 :       1435 :                   tree ptype = TREE_TYPE (placeholder);
    5626                 :       1435 :                   if (cond)
    5627                 :            :                     {
    5628                 :        268 :                       x = error_mark_node;
    5629                 :        268 :                       if (OMP_CLAUSE_REDUCTION_OMP_ORIG_REF (c)
    5630                 :        268 :                           && !task_reduction_needs_orig_p)
    5631                 :            :                         x = var;
    5632                 :        248 :                       else if (OMP_CLAUSE_REDUCTION_OMP_ORIG_REF (c))
    5633                 :            :                         {
    5634                 :         53 :                           tree pptype = build_pointer_type (ptype);
    5635                 :         53 :                           if (OMP_CLAUSE_CODE (c) != OMP_CLAUSE_REDUCTION)
    5636                 :         40 :                             x = build4 (ARRAY_REF, ptr_type_node, tskred_avar,
    5637                 :         40 :                                         size_int (task_reduction_cnt_full
    5638                 :            :                                                   + task_reduction_cntorig - 1),
    5639                 :            :                                         NULL_TREE, NULL_TREE);
    5640                 :            :                           else
    5641                 :            :                             {
    5642                 :         13 :                               unsigned int idx
    5643                 :         13 :                                 = *ctx->task_reduction_map->get (c);
    5644                 :         13 :                               x = task_reduction_read (ilist, tskred_temp,
    5645                 :         13 :                                                        pptype, 7 + 3 * idx);
    5646                 :            :                             }
    5647                 :         53 :                           x = fold_convert (pptype, x);
    5648                 :         53 :                           x = build_simple_mem_ref (x);
    5649                 :            :                         }
    5650                 :            :                     }
    5651                 :            :                   else
    5652                 :            :                     {
    5653                 :       1167 :                       x = build_outer_var_ref (var, ctx);
    5654                 :            : 
    5655                 :       1167 :                       if (omp_is_reference (var)
    5656                 :       1377 :                           && !useless_type_conversion_p (ptype, TREE_TYPE (x)))
    5657                 :         36 :                         x = build_fold_addr_expr_loc (clause_loc, x);
    5658                 :            :                     }
    5659                 :       1435 :                   SET_DECL_VALUE_EXPR (placeholder, x);
    5660                 :       1435 :                   DECL_HAS_VALUE_EXPR_P (placeholder) = 1;
    5661                 :       1435 :                   tree new_vard = new_var;
    5662                 :       1435 :                   if (omp_is_reference (var))
    5663                 :            :                     {
    5664                 :        260 :                       gcc_assert (TREE_CODE (new_var) == MEM_REF);
    5665                 :        260 :                       new_vard = TREE_OPERAND (new_var, 0);
    5666                 :        260 :                       gcc_assert (DECL_P (new_vard));
    5667                 :            :                     }
    5668                 :       1435 :                   tree rvar = NULL_TREE, *rvarp = NULL, rvar2 = NULL_TREE;
    5669                 :       1435 :                   if (is_simd
    5670                 :        335 :                       && OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION
    5671                 :       1770 :                       && OMP_CLAUSE_REDUCTION_INSCAN (c))
    5672                 :            :                     rvarp = &rvar;
    5673                 :       1435 :                   if (is_simd
    5674                 :       1435 :                       && lower_rec_simd_input_clauses (new_var, ctx, &sctx,
    5675                 :            :                                                        ivar, lvar, rvarp,
    5676                 :            :                                                        &rvar2))
    5677                 :            :                     {
    5678                 :        187 :                       if (new_vard == new_var)
    5679                 :            :                         {
    5680                 :        120 :                           gcc_assert (DECL_VALUE_EXPR (new_var) == lvar);
    5681                 :        120 :                           SET_DECL_VALUE_EXPR (new_var, ivar);
    5682                 :            :                         }
    5683                 :            :                       else
    5684                 :            :                         {
    5685                 :         67 :                           SET_DECL_VALUE_EXPR (new_vard,
    5686                 :            :                                                build_fold_addr_expr (ivar));
    5687                 :         67 :                           DECL_HAS_VALUE_EXPR_P (new_vard) = 1;
    5688                 :            :                         }
    5689                 :        187 :                       x = lang_hooks.decls.omp_clause_default_ctor
    5690                 :        187 :                                 (c, unshare_expr (ivar),
    5691                 :            :                                  build_outer_var_ref (var, ctx));
    5692                 :        187 :                       if (rvarp && ctx->for_simd_scan_phase)
    5693                 :            :                         {
    5694                 :         16 :                           if (x)
    5695                 :          8 :                             gimplify_and_add (x, &llist[0]);
    5696                 :         16 :                           x = lang_hooks.decls.omp_clause_dtor (c, ivar);
    5697                 :         16 :                           if (x)
    5698                 :          8 :                             gimplify_and_add (x, &llist[1]);
    5699                 :        455 :                           break;
    5700                 :            :                         }
    5701                 :        171 :                       else if (rvarp)
    5702                 :            :                         {
    5703                 :         92 :                           if (x)
    5704                 :            :                             {
    5705                 :         48 :                               gimplify_and_add (x, &llist[0]);
    5706                 :            : 
    5707                 :         48 :                               tree ivar2 = unshare_expr (lvar);
    5708                 :         48 :                               TREE_OPERAND (ivar2, 1) = sctx.idx;
    5709                 :         48 :                               x = lang_hooks.decls.omp_clause_default_ctor
    5710                 :         48 :                                     (c, ivar2, build_outer_var_ref (var, ctx));
    5711                 :         48 :                               gimplify_and_add (x, &llist[0]);
    5712                 :            : 
    5713                 :         48 :                               if (rvar2)
    5714                 :            :                                 {
    5715                 :         20 :                                   x = lang_hooks.decls.omp_clause_default_ctor
    5716                 :         20 :                                         (c, unshare_expr (rvar2),
    5717                 :            :                                          build_outer_var_ref (var, ctx));
    5718                 :         20 :                                   gimplify_and_add (x, &llist[0]);
    5719                 :            :                                 }
    5720                 :            : 
    5721                 :            :                               /* For types that need construction, add another
    5722                 :            :                                  private var which will be default constructed
    5723                 :            :                                  and optionally initialized with
    5724                 :            :                                  OMP_CLAUSE_REDUCTION_GIMPLE_INIT, as in the
    5725                 :            :                                  loop we want to assign this value instead of
    5726                 :            :                                  constructing and destructing it in each
    5727                 :            :                                  iteration.  */
    5728                 :         48 :                               tree nv = create_tmp_var_raw (TREE_TYPE (ivar));
    5729                 :         48 :                               gimple_add_tmp_var (nv);
    5730                 :         48 :                               ctx->cb.decl_map->put (TREE_OPERAND (rvar2
    5731                 :            :                                                                    ? rvar2
    5732                 :            :                                                                    : ivar, 0),
    5733                 :            :                                                      nv);
    5734                 :         48 :                               x = lang_hooks.decls.omp_clause_default_ctor
    5735                 :         48 :                                     (c, nv, build_outer_var_ref (var, ctx));
    5736                 :         48 :                               gimplify_and_add (x, ilist);
    5737                 :            : 
    5738                 :         48 :                               if (OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c))
    5739                 :            :                                 {
    5740                 :         24 :                                   tseq = OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c);
    5741                 :         24 :                                   x = DECL_VALUE_EXPR (new_vard);
    5742                 :         24 :                                   tree vexpr = nv;
    5743                 :         24 :                                   if (new_vard != new_var)
    5744                 :         14 :                                     vexpr = build_fold_addr_expr (nv);
    5745                 :         24 :                                   SET_DECL_VALUE_EXPR (new_vard, vexpr);
    5746                 :         24 :                                   lower_omp (&tseq, ctx);
    5747                 :         24 :                                   SET_DECL_VALUE_EXPR (new_vard, x);
    5748                 :         24 :                                   gimple_seq_add_seq (ilist, tseq);
    5749                 :         24 :                                   OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c) = NULL;
    5750                 :            :                                 }
    5751                 :            : 
    5752                 :         48 :                               x = lang_hooks.decls.omp_clause_dtor (c, nv);
    5753                 :         48 :                               if (x)
    5754                 :         48 :                                 gimplify_and_add (x, dlist);
    5755                 :            :                             }
    5756                 :            : 
    5757                 :         92 :                           tree ref = build_outer_var_ref (var, ctx);
    5758                 :         92 :                           x = unshare_expr (ivar);
    5759                 :         92 :                           x = lang_hooks.decls.omp_clause_assign_op (c, x,
    5760                 :            :                                                                      ref);
    5761                 :         92 :                           gimplify_and_add (x, &llist[0]);
    5762                 :            : 
    5763                 :         92 :                           ref = build_outer_var_ref (var, ctx);
    5764                 :         92 :                           x = lang_hooks.decls.omp_clause_assign_op (c, ref,
    5765                 :            :                                                                      rvar);
    5766                 :         92 :                           gimplify_and_add (x, &llist[3]);
    5767                 :            : 
    5768                 :         92 :                           DECL_HAS_VALUE_EXPR_P (placeholder) = 0;
    5769                 :         92 :                           if (new_vard == new_var)
    5770                 :         44 :                             SET_DECL_VALUE_EXPR (new_var, lvar);
    5771                 :            :                           else
    5772                 :         48 :                             SET_DECL_VALUE_EXPR (new_vard,
    5773                 :            :                                                  build_fold_addr_expr (lvar));
    5774                 :            : 
    5775                 :         92 :                           x = lang_hooks.decls.omp_clause_dtor (c, ivar);
    5776                 :         92 :                           if (x)
    5777                 :         48 :                             gimplify_and_add (x, &llist[1]);
    5778                 :            : 
    5779                 :         92 :                           tree ivar2 = unshare_expr (lvar);
    5780                 :         92 :                           TREE_OPERAND (ivar2, 1) = sctx.idx;
    5781                 :         92 :                           x = lang_hooks.decls.omp_clause_dtor (c, ivar2);
    5782                 :         92 :                           if (x)
    5783                 :         48 :                             gimplify_and_add (x, &llist[1]);
    5784                 :            : 
    5785                 :         92 :                           if (rvar2)
    5786                 :            :                             {
    5787                 :         42 :                               x = lang_hooks.decls.omp_clause_dtor (c, rvar2);
    5788                 :         42 :                               if (x)
    5789                 :         20 :                                 gimplify_and_add (x, &llist[1]);
    5790                 :            :                             }
    5791                 :            :                           break;
    5792                 :            :                         }
    5793                 :         79 :                       if (x)
    5794                 :         34 :                         gimplify_and_add (x, &llist[0]);
    5795                 :         79 :                       if (OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c))
    5796                 :            :                         {
    5797                 :         75 :                           tseq = OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c);
    5798                 :         75 :                           lower_omp (&tseq, ctx);
    5799                 :         75 :                           gimple_seq_add_seq (&llist[0], tseq);
    5800                 :            :                         }
    5801                 :         79 :                       OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c) = NULL;
    5802                 :         79 :                       tseq = OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c);
    5803                 :         79 :                       lower_omp (&tseq, ctx);
    5804                 :         79 :                       gimple_seq_add_seq (&llist[1], tseq);
    5805                 :         79 :                       OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c) = NULL;
    5806                 :         79 :                       DECL_HAS_VALUE_EXPR_P (placeholder) = 0;
    5807                 :         79 :                       if (new_vard == new_var)
    5808                 :         68 :                         SET_DECL_VALUE_EXPR (new_var, lvar);
    5809                 :            :                       else
    5810                 :         11 :                         SET_DECL_VALUE_EXPR (new_vard,
    5811                 :            :                                              build_fold_addr_expr (lvar));
    5812                 :         79 :                       x = lang_hooks.decls.omp_clause_dtor (c, ivar);
    5813                 :         79 :                       if (x)
    5814                 :         38 :                         gimplify_and_add (x, &llist[1]);
    5815                 :            :                       break;
    5816                 :            :                     }
    5817                 :            :                   /* If this is a reference to constant size reduction var
    5818                 :            :                      with placeholder, we haven't emitted the initializer
    5819                 :            :                      for it because it is undesirable if SIMD arrays are used.
    5820                 :            :                      But if they aren't used, we need to emit the deferred
    5821                 :            :                      initialization now.  */
    5822                 :       1248 :                   else if (omp_is_reference (var) && is_simd)
    5823                 :         67 :                     handle_simd_reference (clause_loc, new_vard, ilist);
    5824                 :            : 
    5825                 :       1248 :                   tree lab2 = NULL_TREE;
    5826                 :       1248 :                   if (cond)
    5827                 :            :                     {
    5828                 :        268 :                       gimple *g;
    5829                 :        268 :                       if (!is_parallel_ctx (ctx))
    5830                 :            :                         {
    5831                 :        252 :                           tree condv = create_tmp_var (boolean_type_node);
    5832                 :        252 :                           tree m = build_simple_mem_ref (cond);
    5833                 :        252 :                           g = gimple_build_assign (condv, m);
    5834                 :        252 :                           gimple_seq_add_stmt (ilist, g);
    5835                 :        252 :                           tree lab1
    5836                 :        252 :                             = create_artificial_label (UNKNOWN_LOCATION);
    5837                 :        252 :                           lab2 = create_artificial_label (UNKNOWN_LOCATION);
    5838                 :        252 :                           g = gimple_build_cond (NE_EXPR, condv,
    5839                 :            :                                                  boolean_false_node,
    5840                 :            :                                                  lab2, lab1);
    5841                 :        252 :                           gimple_seq_add_stmt (ilist, g);
    5842                 :        252 :                           gimple_seq_add_stmt (ilist,
    5843                 :        252 :                                                gimple_build_label (lab1));
    5844                 :            :                         }
    5845                 :        268 :                       g = gimple_build_assign (build_simple_mem_ref (cond),
    5846                 :            :                                                boolean_true_node);
    5847                 :        268 :                       gimple_seq_add_stmt (ilist, g);
    5848                 :            :                     }
    5849                 :       1248 :                   x = lang_hooks.decls.omp_clause_default_ctor
    5850                 :       2228 :                                 (c, unshare_expr (new_var),
    5851                 :            :                                  cond ? NULL_TREE
    5852                 :        980 :                                  : build_outer_var_ref (var, ctx));
    5853                 :       1248 :                   if (x)
    5854                 :        289 :                     gimplify_and_add (x, ilist);
    5855                 :            : 
    5856                 :       1248 :                   if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION
    5857                 :       1248 :                       && OMP_CLAUSE_REDUCTION_INSCAN (c))
    5858                 :            :                     {
    5859                 :        172 :                       if (ctx->for_simd_scan_phase)
    5860                 :        980 :                         goto do_dtor;
    5861                 :        156 :                       if (x || (!is_simd
    5862                 :         32 :                                 && OMP_CLAUSE_REDUCTION_OMP_ORIG_REF (c)))
    5863                 :            :                         {
    5864                 :         80 :                           tree nv = create_tmp_var_raw (TREE_TYPE (new_var));
    5865                 :         80 :                           gimple_add_tmp_var (nv);
    5866                 :         80 :                           ctx->cb.decl_map->put (new_vard, nv);
    5867                 :         80 :                           x = lang_hooks.decls.omp_clause_default_ctor
    5868                 :         80 :                                 (c, nv, build_outer_var_ref (var, ctx));
    5869                 :         80 :                           if (x)
    5870                 :         80 :                             gimplify_and_add (x, ilist);
    5871                 :         80 :                           if (OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c))
    5872                 :            :                             {
    5873                 :         40 :                               tseq = OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c);
    5874                 :         40 :                               tree vexpr = nv;
    5875                 :         40 :                               if (new_vard != new_var)
    5876                 :         22 :                                 vexpr = build_fold_addr_expr (nv);
    5877                 :         40 :                               SET_DECL_VALUE_EXPR (new_vard, vexpr);
    5878                 :         40 :                               DECL_HAS_VALUE_EXPR_P (new_vard) = 1;
    5879                 :         40 :                               lower_omp (&tseq, ctx);
    5880                 :         40 :                               SET_DECL_VALUE_EXPR (new_vard, NULL_TREE);
    5881                 :         40 :                               DECL_HAS_VALUE_EXPR_P (new_vard) = 0;
    5882                 :         40 :                               gimple_seq_add_seq (ilist, tseq);
    5883                 :            :                             }
    5884                 :         80 :                           OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c) = NULL;
    5885                 :         80 :                           if (is_simd && ctx->scan_exclusive)
    5886                 :            :                             {
    5887                 :         20 :                               tree nv2
    5888                 :         20 :                                 = create_tmp_var_raw (TREE_TYPE (new_var));
    5889                 :         20 :                               gimple_add_tmp_var (nv2);
    5890                 :         20 :                               ctx->cb.decl_map->put (nv, nv2);
    5891                 :         20 :                               x = lang_hooks.decls.omp_clause_default_ctor
    5892                 :         20 :                                     (c, nv2, build_outer_var_ref (var, ctx));
    5893                 :         20 :                               gimplify_and_add (x, ilist);
    5894                 :         20 :                               x = lang_hooks.decls.omp_clause_dtor (c, nv2);
    5895                 :         20 :                               if (x)
    5896                 :         20 :                                 gimplify_and_add (x, dlist);
    5897                 :            :                             }
    5898                 :         80 :                           x = lang_hooks.decls.omp_clause_dtor (c, nv);
    5899                 :         80 :                           if (x)
    5900                 :         80 :                             gimplify_and_add (x, dlist);
    5901                 :            :                         }
    5902                 :         76 :                       else if (is_simd
    5903                 :         44 :                                && ctx->scan_exclusive
    5904                 :         98 :                                && TREE_ADDRESSABLE (TREE_TYPE (new_var)))
    5905                 :            :                         {
    5906                 :          0 :                           tree nv2 = create_tmp_var_raw (TREE_TYPE (new_var));
    5907                 :          0 :                           gimple_add_tmp_var (nv2);
    5908                 :          0 :                           ctx->cb.decl_map->put (new_vard, nv2);
    5909                 :          0 :                           x = lang_hooks.decls.omp_clause_dtor (c, nv2);
    5910                 :          0 :                           if (x)
    5911                 :          0 :                             gimplify_and_add (x, dlist);
    5912                 :            :                         }
    5913                 :        156 :                       DECL_HAS_VALUE_EXPR_P (placeholder) = 0;
    5914                 :        156 :                       goto do_dtor;
    5915                 :            :                     }
    5916                 :            : 
    5917                 :       1076 :                   if (OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c))
    5918                 :            :                     {
    5919                 :       1034 :                       tseq = OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c);
    5920                 :       1034 :                       lower_omp (&tseq, ctx);
    5921                 :       1034 :                       gimple_seq_add_seq (ilist, tseq);
    5922                 :            :                     }
    5923                 :       1076 :                   OMP_CLAUSE_REDUCTION_GIMPLE_INIT (c) = NULL;
    5924                 :       1076 :                   if (is_simd)
    5925                 :            :                     {
    5926                 :         40 :                       tseq = OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c);
    5927                 :         40 :                       lower_omp (&tseq, ctx);
    5928                 :         40 :                       gimple_seq_add_seq (dlist, tseq);
    5929                 :         40 :                       OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c) = NULL;
    5930                 :            :                     }
    5931                 :       1076 :                   DECL_HAS_VALUE_EXPR_P (placeholder) = 0;
    5932                 :       1076 :                   if (cond)
    5933                 :            :                     {
    5934                 :        268 :                       if (lab2)
    5935                 :        252 :                         gimple_seq_add_stmt (ilist, gimple_build_label (lab2));
    5936                 :            :                       break;
    5937                 :            :                     }
    5938                 :        808 :                   goto do_dtor;
    5939                 :            :                 }
    5940                 :            :               else
    5941                 :            :                 {
    5942                 :       4097 :                   x = omp_reduction_init (c, TREE_TYPE (new_var));
    5943                 :       4097 :                   gcc_assert (TREE_CODE (TREE_TYPE (new_var)) != ARRAY_TYPE);
    5944                 :       4097 :                   enum tree_code code = OMP_CLAUSE_REDUCTION_CODE (c);
    5945                 :            : 
    5946                 :       4097 :                   if (cond)
    5947                 :            :                     {
    5948                 :        402 :                       gimple *g;
    5949                 :        402 :                       tree lab2 = NULL_TREE;
    5950                 :            :                       /* GOMP_taskgroup_reduction_register memsets the whole
    5951                 :            :                          array to zero.  If the initializer is zero, we don't
    5952                 :            :                          need to initialize it again, just mark it as ever
    5953                 :            :                          used unconditionally, i.e. cond = true.  */
    5954                 :        402 :                       if (initializer_zerop (x))
    5955                 :            :                         {
    5956                 :        282 :                           g = gimple_build_assign (build_simple_mem_ref (cond),
    5957                 :            :                                                    boolean_true_node);
    5958                 :        282 :                           gimple_seq_add_stmt (ilist, g);
    5959                 :       1146 :                           break;
    5960                 :            :                         }
    5961                 :            : 
    5962                 :            :                       /* Otherwise, emit
    5963                 :            :                          if (!cond) { cond = true; new_var = x; }  */
    5964                 :        120 :                       if (!is_parallel_ctx (ctx))
    5965                 :            :                         {
    5966                 :        116 :                           tree condv = create_tmp_var (boolean_type_node);
    5967                 :        116 :                           tree m = build_simple_mem_ref (cond);
    5968                 :        116 :                           g = gimple_build_assign (condv, m);
    5969                 :        116 :                           gimple_seq_add_stmt (ilist, g);
    5970                 :        116 :                           tree lab1
    5971                 :        116 :                             = create_artificial_label (UNKNOWN_LOCATION);
    5972                 :        116 :                           lab2 = create_artificial_label (UNKNOWN_LOCATION);
    5973                 :        116 :                           g = gimple_build_cond (NE_EXPR, condv,
    5974                 :            :                                                  boolean_false_node,
    5975                 :            :                                                  lab2, lab1);
    5976                 :        116 :                           gimple_seq_add_stmt (ilist, g);
    5977                 :        116 :                           gimple_seq_add_stmt (ilist,
    5978                 :        116 :                                                gimple_build_label (lab1));
    5979                 :            :                         }
    5980                 :        120 :                       g = gimple_build_assign (build_simple_mem_ref (cond),
    5981                 :            :                                                boolean_true_node);
    5982                 :        120 :                       gimple_seq_add_stmt (ilist, g);
    5983                 :        120 :                       gimplify_assign (new_var, x, ilist);
    5984                 :        120 :                       if (lab2)
    5985                 :        116 :                         gimple_seq_add_stmt (ilist, gimple_build_label (lab2));
    5986                 :            :                       break;
    5987                 :            :                     }
    5988                 :            : 
    5989                 :            :                   /* reduction(-:var) sums up the partial results, so it
    5990                 :            :                      acts identically to reduction(+:var).  */
    5991                 :       3695 :                   if (code == MINUS_EXPR)
    5992                 :         25 :                     code = PLUS_EXPR;
    5993                 :            : 
    5994                 :       3695 :                   tree new_vard = new_var;
    5995                 :       3695 :                   if (is_simd && omp_is_reference (var))
    5996                 :            :                     {
    5997                 :         80 :                       gcc_assert (TREE_CODE (new_var) == MEM_REF);
    5998                 :         80 :                       new_vard = TREE_OPERAND (new_var, 0);
    5999                 :         80 :                       gcc_assert (DECL_P (new_vard));
    6000                 :            :                     }
    6001                 :       3695 :                   tree rvar = NULL_TREE, *rvarp = NULL, rvar2 = NULL_TREE;
    6002                 :       3695 :                   if (is_simd
    6003                 :       1193 :                       && OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION
    6004                 :       4888 :                       && OMP_CLAUSE_REDUCTION_INSCAN (c))
    6005                 :            :                     rvarp = &rvar;
    6006                 :       3695 :                   if (is_simd
    6007                 :       3695 :                       && lower_rec_simd_input_clauses (new_var, ctx, &sctx,
    6008                 :            :                                                        ivar, lvar, rvarp,
    6009                 :            :                                                        &rvar2))
    6010                 :            :                     {
    6011                 :        619 :                       if (new_vard != new_var)
    6012                 :            :                         {
    6013                 :         46 :                           SET_DECL_VALUE_EXPR (new_vard,
    6014                 :            :                                                build_fold_addr_expr (lvar));
    6015                 :         46 :                           DECL_HAS_VALUE_EXPR_P (new_vard) = 1;
    6016                 :            :                         }
    6017                 :            : 
    6018                 :        619 :                       tree ref = build_outer_var_ref (var, ctx);
    6019                 :            : 
    6020                 :        619 :                       if (rvarp)
    6021                 :            :                         {
    6022                 :        180 :                           if (ctx->for_simd_scan_phase)
    6023                 :            :                             break;
    6024                 :        148 :                           gimplify_assign (ivar, ref, &llist[0]);
    6025                 :        148 :                           ref = build_outer_var_ref (var, ctx);
    6026                 :        148 :                           gimplify_assign (ref, rvar, &llist[3]);
    6027                 :        148 :                           break;
    6028                 :            :                         }
    6029                 :            : 
    6030                 :        439 :                       gimplify_assign (unshare_expr (ivar), x, &llist[0]);
    6031                 :            : 
    6032                 :        439 :                       if (sctx.is_simt)
    6033                 :            :                         {
    6034                 :          0 :                           if (!simt_lane)
    6035                 :          0 :                             simt_lane = create_tmp_var (unsigned_type_node);
    6036                 :          0 :                           x = build_call_expr_internal_loc
    6037                 :          0 :                             (UNKNOWN_LOCATION, IFN_GOMP_SIMT_XCHG_BFLY,
    6038                 :          0 :                              TREE_TYPE (ivar), 2, ivar, simt_lane);
    6039                 :          0 :                           x = build2 (code, TREE_TYPE (ivar), ivar, x);
    6040                 :          0 :                           gimplify_assign (ivar, x, &llist[2]);
    6041                 :            :                         }
    6042                 :        439 :                       x = build2 (code, TREE_TYPE (ref), ref, ivar);
    6043                 :        439 :                       ref = build_outer_var_ref (var, ctx);
    6044                 :        439 :                       gimplify_assign (ref, x, &llist[1]);
    6045                 :            : 
    6046                 :            :                     }
    6047                 :            :                   else
    6048                 :            :                     {
    6049                 :       3076 :                       if (omp_is_reference (var) && is_simd)
    6050                 :         34 :                         handle_simd_reference (clause_loc, new_vard, ilist);
    6051                 :       3076 :                       if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION
    6052                 :       3076 :                           && OMP_CLAUSE_REDUCTION_INSCAN (c))
    6053                 :            :                         break;
    6054                 :       2794 :                       gimplify_assign (new_var, x, ilist);
    6055                 :       2794 :                       if (is_simd)
    6056                 :            :                         {
    6057                 :        415 :                           tree ref = build_outer_var_ref (var, ctx);
    6058                 :            : 
    6059                 :        415 :                           x = build2 (code, TREE_TYPE (ref), ref, new_var);
    6060                 :        415 :                           ref = build_outer_var_ref (var, ctx);
    6061                 :        415 :                           gimplify_assign (ref, x, dlist);
    6062                 :            :                         }
    6063                 :            :                     }
    6064                 :            :                 }
    6065                 :       3233 :               break;
    6066                 :            : 
    6067                 :          0 :             default:
    6068                 :          0 :               gcc_unreachable ();
    6069                 :            :             }
    6070                 :            :         }
    6071                 :            :     }
    6072                 :      55975 :   if (tskred_avar)
    6073                 :            :     {
    6074                 :        279 :       tree clobber = build_clobber (TREE_TYPE (tskred_avar));
    6075                 :        279 :       gimple_seq_add_stmt (ilist, gimple_build_assign (tskred_avar, clobber));
    6076                 :            :     }
    6077                 :            : 
    6078                 :      55975 :   if (known_eq (sctx.max_vf, 1U))
    6079                 :            :     {
    6080                 :        767 :       sctx.is_simt = false;
    6081                 :        767 :       if (ctx->lastprivate_conditional_map)
    6082                 :            :         {
    6083                 :         37 :           if (gimple_omp_for_combined_into_p (ctx->stmt))
    6084                 :            :             {
    6085                 :            :               /* Signal to lower_omp_1 that it should use parent context.  */
    6086                 :         27 :               ctx->combined_into_simd_safelen1 = true;
    6087                 :        228 :               for (c = clauses; c ; c = OMP_CLAUSE_CHAIN (c))
    6088                 :        201 :                 if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    6089                 :        201 :                     && OMP_CLAUSE_LASTPRIVATE_CONDITIONAL (c))
    6090                 :            :                   {
    6091                 :         35 :                     tree o = lookup_decl (OMP_CLAUSE_DECL (c), ctx);
    6092                 :         35 :                     omp_context *outer = ctx->outer;
    6093                 :         35 :                     if (gimple_code (outer->stmt) == GIMPLE_OMP_SCAN)
    6094                 :          6 :                       outer = outer->outer;
    6095                 :         35 :                     tree *v = ctx->lastprivate_conditional_map->get (o);
    6096                 :         35 :                     tree po = lookup_decl (OMP_CLAUSE_DECL (c), outer);
    6097                 :         35 :                     tree *pv = outer->lastprivate_conditional_map->get (po);
    6098                 :         35 :                     *v = *pv;
    6099                 :            :                   }
    6100                 :            :             }
    6101                 :            :           else
    6102                 :            :             {
    6103                 :            :               /* When not vectorized, treat lastprivate(conditional:) like
    6104                 :            :                  normal lastprivate, as there will be just one simd lane
    6105                 :            :                  writing the privatized variable.  */
    6106                 :         10 :               delete ctx->lastprivate_conditional_map;
    6107                 :         10 :               ctx->lastprivate_conditional_map = NULL;
    6108                 :            :             }
    6109                 :            :         }
    6110                 :            :     }
    6111                 :            : 
    6112                 :      55975 :   if (nonconst_simd_if)
    6113                 :            :     {
    6114                 :        223 :       if (sctx.lane == NULL_TREE)
    6115                 :            :         {
    6116                 :        222 :           sctx.idx = create_tmp_var (unsigned_type_node);
    6117                 :        222 :           sctx.lane = create_tmp_var (unsigned_type_node);
    6118                 :            :         }
    6119                 :            :       /* FIXME: For now.  */
    6120                 :        223 :       sctx.is_simt = false;
    6121                 :            :     }
    6122                 :            : 
    6123                 :      55975 :   if (sctx.lane || sctx.is_simt)
    6124                 :            :     {
    6125                 :       2990 :       uid = create_tmp_var (ptr_type_node, "simduid");
    6126                 :            :       /* Don't want uninit warnings on simduid, it is always uninitialized,
    6127                 :            :          but we use it not for the value, but for the DECL_UID only.  */
    6128                 :       2990 :       TREE_NO_WARNING (uid) = 1;
    6129                 :       2990 :       c = build_omp_clause (UNKNOWN_LOCATION, OMP_CLAUSE__SIMDUID_);
    6130                 :       2990 :       OMP_CLAUSE__SIMDUID__DECL (c) = uid;
    6131                 :       2990 :       OMP_CLAUSE_CHAIN (c) = gimple_omp_for_clauses (ctx->stmt);
    6132                 :       2990 :       gimple_omp_for_set_clauses (ctx->stmt, c);
    6133                 :            :     }
    6134                 :            :   /* Emit calls denoting privatized variables and initializing a pointer to
    6135                 :            :      structure that holds private variables as fields after ompdevlow pass.  */
    6136                 :      55975 :   if (sctx.is_simt)
    6137                 :            :     {
    6138                 :          0 :       sctx.simt_eargs[0] = uid;
    6139                 :          0 :       gimple *g
    6140                 :          0 :         = gimple_build_call_internal_vec (IFN_GOMP_SIMT_ENTER, sctx.simt_eargs);
    6141                 :          0 :       gimple_call_set_lhs (g, uid);
    6142                 :          0 :       gimple_seq_add_stmt (ilist, g);
    6143                 :          0 :       sctx.simt_eargs.release ();
    6144                 :            : 
    6145                 :          0 :       simtrec = create_tmp_var (ptr_type_node, ".omp_simt");
    6146                 :          0 :       g = gimple_build_call_internal (IFN_GOMP_SIMT_ENTER_ALLOC, 1, uid);
    6147                 :          0 :       gimple_call_set_lhs (g, simtrec);
    6148                 :          0 :       gimple_seq_add_stmt (ilist, g);
    6149                 :            :     }
    6150                 :      55975 :   if (sctx.lane)
    6151                 :            :     {
    6152                 :       5757 :       gimple *g = gimple_build_call_internal (IFN_GOMP_SIMD_LANE,
    6153                 :            :                                               2 + (nonconst_simd_if != NULL),
    6154                 :            :                                               uid, integer_zero_node,
    6155                 :            :                                               nonconst_simd_if);
    6156                 :       2990 :       gimple_call_set_lhs (g, sctx.lane);
    6157                 :       2990 :       gimple_stmt_iterator gsi = gsi_start_1 (gimple_omp_body_ptr (ctx->stmt));
    6158                 :       2990 :       gsi_insert_before_without_update (&gsi, g, GSI_SAME_STMT);
    6159                 :       2990 :       g = gimple_build_assign (sctx.lane, INTEGER_CST,
    6160                 :       2990 :                                build_int_cst (unsigned_type_node, 0));
    6161                 :       2990 :       gimple_seq_add_stmt (ilist, g);
    6162                 :       2990 :       if (sctx.lastlane)
    6163                 :            :         {
    6164                 :        192 :           g = gimple_build_call_internal (IFN_GOMP_SIMD_LAST_LANE,
    6165                 :            :                                           2, uid, sctx.lane);
    6166                 :        192 :           gimple_call_set_lhs (g, sctx.lastlane);
    6167                 :        192 :           gimple_seq_add_stmt (dlist, g);
    6168                 :        192 :           gimple_seq_add_seq (dlist, llist[3]);
    6169                 :            :         }
    6170                 :            :       /* Emit reductions across SIMT lanes in log_2(simt_vf) steps.  */
    6171                 :       2990 :       if (llist[2])
    6172                 :            :         {
    6173                 :          0 :           tree simt_vf = create_tmp_var (unsigned_type_node);
    6174                 :          0 :           g = gimple_build_call_internal (IFN_GOMP_SIMT_VF, 0);
    6175                 :          0 :           gimple_call_set_lhs (g, simt_vf);
    6176                 :          0 :           gimple_seq_add_stmt (dlist, g);
    6177                 :            : 
    6178                 :          0 :           tree t = build_int_cst (unsigned_type_node, 1);
    6179                 :          0 :           g = gimple_build_assign (simt_lane, INTEGER_CST, t);
    6180                 :          0 :           gimple_seq_add_stmt (dlist, g);
    6181                 :            : 
    6182                 :          0 :           t = build_int_cst (unsigned_type_node, 0);
    6183                 :          0 :           g = gimple_build_assign (sctx.idx, INTEGER_CST, t);
    6184                 :          0 :           gimple_seq_add_stmt (dlist, g);
    6185                 :            : 
    6186                 :          0 :           tree body = create_artificial_label (UNKNOWN_LOCATION);
    6187                 :          0 :           tree header = create_artificial_label (UNKNOWN_LOCATION);
    6188                 :          0 :           tree end = create_artificial_label (UNKNOWN_LOCATION);
    6189                 :          0 :           gimple_seq_add_stmt (dlist, gimple_build_goto (header));
    6190                 :          0 :           gimple_seq_add_stmt (dlist, gimple_build_label (body));
    6191                 :            : 
    6192                 :          0 :           gimple_seq_add_seq (dlist, llist[2]);
    6193                 :            : 
    6194                 :          0 :           g = gimple_build_assign (simt_lane, LSHIFT_EXPR, simt_lane, integer_one_node);
    6195                 :          0 :           gimple_seq_add_stmt (dlist, g);
    6196                 :            : 
    6197                 :          0 :           gimple_seq_add_stmt (dlist, gimple_build_label (header));
    6198                 :          0 :           g = gimple_build_cond (LT_EXPR, simt_lane, simt_vf, body, end);
    6199                 :          0 :           gimple_seq_add_stmt (dlist, g);
    6200                 :            : 
    6201                 :          0 :           gimple_seq_add_stmt (dlist, gimple_build_label (end));
    6202                 :            :         }
    6203                 :       8970 :       for (int i = 0; i < 2; i++)
    6204                 :       5980 :         if (llist[i])
    6205                 :            :           {
    6206                 :       1314 :             tree vf = create_tmp_var (unsigned_type_node);
    6207                 :       1314 :             g = gimple_build_call_internal (IFN_GOMP_SIMD_VF, 1, uid);
    6208                 :       1314 :             gimple_call_set_lhs (g, vf);
    6209                 :       1314 :             gimple_seq *seq = i == 0 ? ilist : dlist;
    6210                 :       1314 :             gimple_seq_add_stmt (seq, g);
    6211                 :       1314 :             tree t = build_int_cst (unsigned_type_node, 0);
    6212                 :       1314 :             g = gimple_build_assign (sctx.idx, INTEGER_CST, t);
    6213                 :       1314 :             gimple_seq_add_stmt (seq, g);
    6214                 :       1314 :             tree body = create_artificial_label (UNKNOWN_LOCATION);
    6215                 :       1314 :             tree header = create_artificial_label (UNKNOWN_LOCATION);
    6216                 :       1314 :             tree end = create_artificial_label (UNKNOWN_LOCATION);
    6217                 :       1314 :             gimple_seq_add_stmt (seq, gimple_build_goto (header));
    6218                 :       1314 :             gimple_seq_add_stmt (seq, gimple_build_label (body));
    6219                 :       1314 :             gimple_seq_add_seq (seq, llist[i]);
    6220                 :       1314 :             t = build_int_cst (unsigned_type_node, 1);
    6221                 :       1314 :             g = gimple_build_assign (sctx.idx, PLUS_EXPR, sctx.idx, t);
    6222                 :       1314 :             gimple_seq_add_stmt (seq, g);
    6223                 :       1314 :             gimple_seq_add_stmt (seq, gimple_build_label (header));
    6224                 :       1314 :             g = gimple_build_cond (LT_EXPR, sctx.idx, vf, body, end);
    6225                 :       1314 :             gimple_seq_add_stmt (seq, g);
    6226                 :       1314 :             gimple_seq_add_stmt (seq, gimple_build_label (end));
    6227                 :            :           }
    6228                 :            :     }
    6229                 :      55975 :   if (sctx.is_simt)
    6230                 :            :     {
    6231                 :          0 :       gimple_seq_add_seq (dlist, sctx.simt_dlist);
    6232                 :          0 :       gimple *g
    6233                 :          0 :         = gimple_build_call_internal (IFN_GOMP_SIMT_EXIT, 1, simtrec);
    6234                 :          0 :       gimple_seq_add_stmt (dlist, g);
    6235                 :            :     }
    6236                 :            : 
    6237                 :            :   /* The copyin sequence is not to be executed by the main thread, since
    6238                 :            :      that would result in self-copies.  Perhaps not visible to scalars,
    6239                 :            :      but it certainly is to C++ operator=.  */
    6240                 :      55975 :   if (copyin_seq)
    6241                 :            :     {
    6242                 :        153 :       x = build_call_expr (builtin_decl_explicit (BUILT_IN_OMP_GET_THREAD_NUM),
    6243                 :            :                            0);
    6244                 :        153 :       x = build2 (NE_EXPR, boolean_type_node, x,
    6245                 :        153 :                   build_int_cst (TREE_TYPE (x), 0));
    6246                 :        153 :       x = build3 (COND_EXPR, void_type_node, x, copyin_seq, NULL);
    6247                 :        153 :       gimplify_and_add (x, ilist);
    6248                 :            :     }
    6249                 :            : 
    6250                 :            :   /* If any copyin variable is passed by reference, we must ensure the
    6251                 :            :      master thread doesn't modify it before it is copied over in all
    6252                 :            :      threads.  Similarly for variables in both firstprivate and
    6253                 :            :      lastprivate clauses we need to ensure the lastprivate copying
    6254                 :            :      happens after firstprivate copying in all threads.  And similarly
    6255                 :            :      for UDRs if initializer expression refers to omp_orig.  */
    6256                 :      55975 :   if (copyin_by_ref || lastprivate_firstprivate
    6257                 :      54906 :       || (reduction_omp_orig_ref
    6258                 :        108 :           && !ctx->scan_inclusive
    6259                 :        108 :           && !ctx->scan_exclusive))
    6260                 :            :     {
    6261                 :            :       /* Don't add any barrier for #pragma omp simd or
    6262                 :            :          #pragma omp distribute.  */
    6263                 :       1177 :       if (!is_task_ctx (ctx)
    6264                 :       1177 :           && (gimple_code (ctx->stmt) != GIMPLE_OMP_FOR
    6265                 :        730 :               || gimple_omp_for_kind (ctx->stmt) == GF_OMP_FOR_KIND_FOR))
    6266                 :        597 :         gimple_seq_add_stmt (ilist, omp_build_barrier (NULL_TREE));
    6267                 :            :     }
    6268                 :            : 
    6269                 :            :   /* If max_vf is non-zero, then we can use only a vectorization factor
    6270                 :            :      up to the max_vf we chose.  So stick it into the safelen clause.  */
    6271                 :      55975 :   if (maybe_ne (sctx.max_vf, 0U))
    6272                 :            :     {
    6273                 :       3535 :       tree c = omp_find_clause (gimple_omp_for_clauses (ctx->stmt),
    6274                 :            :                                 OMP_CLAUSE_SAFELEN);
    6275                 :       3535 :       poly_uint64 safe_len;
    6276                 :       3535 :       if (c == NULL_TREE
    6277                 :       3535 :           || (poly_int_tree_p (OMP_CLAUSE_SAFELEN_EXPR (c), &safe_len)
    6278                 :        243 :               && maybe_gt (safe_len, sctx.max_vf)))
    6279                 :            :         {
    6280                 :       3482 :           c = build_omp_clause (UNKNOWN_LOCATION, OMP_CLAUSE_SAFELEN);
    6281                 :       3482 :           OMP_CLAUSE_SAFELEN_EXPR (c) = build_int_cst (integer_type_node,
    6282                 :            :                                                        sctx.max_vf);
    6283                 :       3482 :           OMP_CLAUSE_CHAIN (c) = gimple_omp_for_clauses (ctx->stmt);
    6284                 :       7017 :           gimple_omp_for_set_clauses (ctx->stmt, c);
    6285                 :            :         }
    6286                 :            :     }
    6287                 :      55975 : }
    6288                 :            : 
    6289                 :            : /* Create temporary variables for lastprivate(conditional:) implementation
    6290                 :            :    in context CTX with CLAUSES.  */
    6291                 :            : 
    6292                 :            : static void
    6293                 :      36169 : lower_lastprivate_conditional_clauses (tree *clauses, omp_context *ctx)
    6294                 :            : {
    6295                 :      36169 :   tree iter_type = NULL_TREE;
    6296                 :      36169 :   tree cond_ptr = NULL_TREE;
    6297                 :      36169 :   tree iter_var = NULL_TREE;
    6298                 :      36169 :   bool is_simd = (gimple_code (ctx->stmt) == GIMPLE_OMP_FOR
    6299                 :      36169 :                   && gimple_omp_for_kind (ctx->stmt) == GF_OMP_FOR_KIND_SIMD);
    6300                 :      36169 :   tree next = *clauses;
    6301                 :     175760 :   for (tree c = *clauses; c; c = OMP_CLAUSE_CHAIN (c))
    6302                 :     139591 :     if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    6303                 :     139591 :         && OMP_CLAUSE_LASTPRIVATE_CONDITIONAL (c))
    6304                 :            :       {
    6305                 :        320 :         if (is_simd)
    6306                 :            :           {
    6307                 :         83 :             tree cc = omp_find_clause (next, OMP_CLAUSE__CONDTEMP_);
    6308                 :         83 :             gcc_assert (cc);
    6309                 :         83 :             if (iter_type == NULL_TREE)
    6310                 :            :               {
    6311                 :         59 :                 iter_type = TREE_TYPE (OMP_CLAUSE_DECL (cc));
    6312                 :         59 :                 iter_var = create_tmp_var_raw (iter_type);
    6313                 :         59 :                 DECL_CONTEXT (iter_var) = current_function_decl;
    6314                 :         59 :                 DECL_SEEN_IN_BIND_EXPR_P (iter_var) = 1;
    6315                 :         59 :                 DECL_CHAIN (iter_var) = ctx->block_vars;
    6316                 :         59 :                 ctx->block_vars = iter_var;
    6317                 :         59 :                 tree c3
    6318                 :         59 :                   = build_omp_clause (UNKNOWN_LOCATION, OMP_CLAUSE__CONDTEMP_);
    6319                 :         59 :                 OMP_CLAUSE__CONDTEMP__ITER (c3) = 1;
    6320                 :         59 :                 OMP_CLAUSE_DECL (c3) = iter_var;
    6321                 :         59 :                 OMP_CLAUSE_CHAIN (c3) = *clauses;
    6322                 :         59 :                 *clauses = c3;
    6323                 :         59 :                 ctx->lastprivate_conditional_map = new hash_map<tree, tree>;
    6324                 :            :               }
    6325                 :         83 :             next = OMP_CLAUSE_CHAIN (cc);
    6326                 :         83 :             tree o = lookup_decl (OMP_CLAUSE_DECL (c), ctx);
    6327                 :         83 :             tree v = lookup_decl (OMP_CLAUSE_DECL (cc), ctx);
    6328                 :         83 :             ctx->lastprivate_conditional_map->put (o, v);
    6329                 :         83 :             continue;
    6330                 :            :           }
    6331                 :        237 :         if (iter_type == NULL)
    6332                 :            :           {
    6333                 :        170 :             if (gimple_code (ctx->stmt) == GIMPLE_OMP_FOR)
    6334                 :            :               {
    6335                 :        158 :                 struct omp_for_data fd;
    6336                 :        158 :                 omp_extract_for_data (as_a <gomp_for *> (ctx->stmt), &fd,
    6337                 :            :                                       NULL);
    6338                 :        158 :                 iter_type = unsigned_type_for (fd.iter_type);
    6339                 :            :               }
    6340                 :         12 :             else if (gimple_code (ctx->stmt) == GIMPLE_OMP_SECTIONS)
    6341                 :         12 :               iter_type = unsigned_type_node;
    6342                 :        170 :             tree c2 = omp_find_clause (*clauses, OMP_CLAUSE__CONDTEMP_);
    6343                 :        170 :             if (c2)
    6344                 :            :               {
    6345                 :         69 :                 cond_ptr
    6346                 :         69 :                   = lookup_decl_in_outer_ctx (OMP_CLAUSE_DECL (c2), ctx);
    6347                 :         69 :                 OMP_CLAUSE_DECL (c2) = cond_ptr;
    6348                 :            :               }
    6349                 :            :             else
    6350                 :            :               {
    6351                 :        101 :                 cond_ptr = create_tmp_var_raw (build_pointer_type (iter_type));
    6352                 :        101 :                 DECL_CONTEXT (cond_ptr) = current_function_decl;
    6353                 :        101 :                 DECL_SEEN_IN_BIND_EXPR_P (cond_ptr) = 1;
    6354                 :        101 :                 DECL_CHAIN (cond_ptr) = ctx->block_vars;
    6355                 :        101 :                 ctx->block_vars = cond_ptr;
    6356                 :        101 :                 c2 = build_omp_clause (UNKNOWN_LOCATION,
    6357                 :            :                                        OMP_CLAUSE__CONDTEMP_);
    6358                 :        101 :                 OMP_CLAUSE_DECL (c2) = cond_ptr;
    6359                 :        101 :                 OMP_CLAUSE_CHAIN (c2) = *clauses;
    6360                 :        101 :                 *clauses = c2;
    6361                 :            :               }
    6362                 :        170 :             iter_var = create_tmp_var_raw (iter_type);
    6363                 :        170 :             DECL_CONTEXT (iter_var) = current_function_decl;
    6364                 :        170 :             DECL_SEEN_IN_BIND_EXPR_P (iter_var) = 1;
    6365                 :        170 :             DECL_CHAIN (iter_var) = ctx->block_vars;
    6366                 :        170 :             ctx->block_vars = iter_var;
    6367                 :        170 :             tree c3
    6368                 :        170 :               = build_omp_clause (UNKNOWN_LOCATION, OMP_CLAUSE__CONDTEMP_);
    6369                 :        170 :             OMP_CLAUSE__CONDTEMP__ITER (c3) = 1;
    6370                 :        170 :             OMP_CLAUSE_DECL (c3) = iter_var;
    6371                 :        170 :             OMP_CLAUSE_CHAIN (c3) = OMP_CLAUSE_CHAIN (c2);
    6372                 :        170 :             OMP_CLAUSE_CHAIN (c2) = c3;
    6373                 :        170 :             ctx->lastprivate_conditional_map = new hash_map<tree, tree>;
    6374                 :            :           }
    6375                 :        237 :         tree v = create_tmp_var_raw (iter_type);
    6376                 :        237 :         DECL_CONTEXT (v) = current_function_decl;
    6377                 :        237 :         DECL_SEEN_IN_BIND_EXPR_P (v) = 1;
    6378                 :        237 :         DECL_CHAIN (v) = ctx->block_vars;
    6379                 :        237 :         ctx->block_vars = v;
    6380                 :        237 :         tree o = lookup_decl (OMP_CLAUSE_DECL (c), ctx);
    6381                 :        237 :         ctx->lastprivate_conditional_map->put (o, v);
    6382                 :            :       }
    6383                 :      36169 : }
    6384                 :            : 
    6385                 :            : 
    6386                 :            : /* Generate code to implement the LASTPRIVATE clauses.  This is used for
    6387                 :            :    both parallel and workshare constructs.  PREDICATE may be NULL if it's
    6388                 :            :    always true.  BODY_P is the sequence to insert early initialization
    6389                 :            :    if needed, STMT_LIST is where the non-conditional lastprivate handling
    6390                 :            :    goes into and CSTMT_LIST is a sequence that needs to be run in a critical
    6391                 :            :    section.  */
    6392                 :            : 
    6393                 :            : static void
    6394                 :      36169 : lower_lastprivate_clauses (tree clauses, tree predicate, gimple_seq *body_p,
    6395                 :            :                            gimple_seq *stmt_list, gimple_seq *cstmt_list,
    6396                 :            :                            omp_context *ctx)
    6397                 :            : {
    6398                 :      36169 :   tree x, c, label = NULL, orig_clauses = clauses;
    6399                 :      36169 :   bool par_clauses = false;
    6400                 :      36169 :   tree simduid = NULL, lastlane = NULL, simtcond = NULL, simtlast = NULL;
    6401                 :      36169 :   unsigned HOST_WIDE_INT conditional_off = 0;
    6402                 :      36169 :   gimple_seq post_stmt_list = NULL;
    6403                 :            : 
    6404                 :            :   /* Early exit if there are no lastprivate or linear clauses.  */
    6405                 :     154914 :   for (; clauses ; clauses = OMP_CLAUSE_CHAIN (clauses))
    6406                 :     127842 :     if (OMP_CLAUSE_CODE (clauses) == OMP_CLAUSE_LASTPRIVATE
    6407                 :     127842 :         || (OMP_CLAUSE_CODE (clauses) == OMP_CLAUSE_LINEAR
    6408                 :       4675 :             && !OMP_CLAUSE_LINEAR_NO_COPYOUT (clauses)))
    6409                 :            :       break;
    6410                 :      36169 :   if (clauses == NULL)
    6411                 :            :     {
    6412                 :            :       /* If this was a workshare clause, see if it had been combined
    6413                 :            :          with its parallel.  In that case, look for the clauses on the
    6414                 :            :          parallel statement itself.  */
    6415                 :      27072 :       if (is_parallel_ctx (ctx))
    6416                 :      23792 :         return;
    6417                 :            : 
    6418                 :      27072 :       ctx = ctx->outer;
    6419                 :      27072 :       if (ctx == NULL || !is_parallel_ctx (ctx))
    6420                 :            :         return;
    6421                 :            : 
    6422                 :       9912 :       clauses = omp_find_clause (gimple_omp_parallel_clauses (ctx->stmt),
    6423                 :            :                                  OMP_CLAUSE_LASTPRIVATE);
    6424                 :       9912 :       if (clauses == NULL)
    6425                 :            :         return;
    6426                 :            :       par_clauses = true;
    6427                 :            :     }
    6428                 :            : 
    6429                 :      12377 :   bool maybe_simt = false;
    6430                 :      12377 :   if (gimple_code (ctx->stmt) == GIMPLE_OMP_FOR
    6431                 :      12377 :       && gimple_omp_for_kind (ctx->stmt) == GF_OMP_FOR_KIND_SIMD)
    6432                 :            :     {
    6433                 :       5721 :       maybe_simt = omp_find_clause (orig_clauses, OMP_CLAUSE__SIMT_);
    6434                 :       5721 :       simduid = omp_find_clause (orig_clauses, OMP_CLAUSE__SIMDUID_);
    6435                 :       5721 :       if (simduid)
    6436                 :       2689 :         simduid = OMP_CLAUSE__SIMDUID__DECL (simduid);
    6437                 :            :     }
    6438                 :            : 
    6439                 :      12377 :   if (predicate)
    6440                 :            :     {
    6441                 :      12274 :       gcond *stmt;
    6442                 :      12274 :       tree label_true, arm1, arm2;
    6443                 :      12274 :       enum tree_code pred_code = TREE_CODE (predicate);
    6444                 :            : 
    6445                 :      12274 :       label = create_artificial_label (UNKNOWN_LOCATION);
    6446                 :      12274 :       label_true = create_artificial_label (UNKNOWN_LOCATION);
    6447                 :      12274 :       if (TREE_CODE_CLASS (pred_code) == tcc_comparison)
    6448                 :            :         {
    6449                 :      12274 :           arm1 = TREE_OPERAND (predicate, 0);
    6450                 :      12274 :           arm2 = TREE_OPERAND (predicate, 1);
    6451                 :      12274 :           gimplify_expr (&arm1, stmt_list, NULL, is_gimple_val, fb_rvalue);
    6452                 :      12274 :           gimplify_expr (&arm2, stmt_list, NULL, is_gimple_val, fb_rvalue);
    6453                 :            :         }
    6454                 :            :       else
    6455                 :            :         {
    6456                 :          0 :           arm1 = predicate;
    6457                 :          0 :           gimplify_expr (&arm1, stmt_list, NULL, is_gimple_val, fb_rvalue);
    6458                 :          0 :           arm2 = boolean_false_node;
    6459                 :          0 :           pred_code = NE_EXPR;
    6460                 :            :         }
    6461                 :      12274 :       if (maybe_simt)
    6462                 :            :         {
    6463                 :          0 :           c = build2 (pred_code, boolean_type_node, arm1, arm2);
    6464                 :          0 :           c = fold_convert (integer_type_node, c);
    6465                 :          0 :           simtcond = create_tmp_var (integer_type_node);
    6466                 :          0 :           gimplify_assign (simtcond, c, stmt_list);
    6467                 :          0 :           gcall *g = gimple_build_call_internal (IFN_GOMP_SIMT_VOTE_ANY,
    6468                 :            :                                                  1, simtcond);
    6469                 :          0 :           c = create_tmp_var (integer_type_node);
    6470                 :          0 :           gimple_call_set_lhs (g, c);
    6471                 :          0 :           gimple_seq_add_stmt (stmt_list, g);
    6472                 :          0 :           stmt = gimple_build_cond (NE_EXPR, c, integer_zero_node,
    6473                 :            :                                     label_true, label);
    6474                 :            :         }
    6475                 :            :       else
    6476                 :      12274 :         stmt = gimple_build_cond (pred_code, arm1, arm2, label_true, label);
    6477                 :      12274 :       gimple_seq_add_stmt (stmt_list, stmt);
    6478                 :      12274 :       gimple_seq_add_stmt (stmt_list, gimple_build_label (label_true));
    6479                 :            :     }
    6480                 :            : 
    6481                 :      12377 :   tree cond_ptr = NULL_TREE;
    6482                 :      45318 :   for (c = clauses; c ;)
    6483                 :            :     {
    6484                 :      41307 :       tree var, new_var;
    6485                 :      41307 :       location_t clause_loc = OMP_CLAUSE_LOCATION (c);
    6486                 :      41307 :       gimple_seq *this_stmt_list = stmt_list;
    6487                 :      41307 :       tree lab2 = NULL_TREE;
    6488                 :            : 
    6489                 :      41307 :       if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    6490                 :      16429 :           && OMP_CLAUSE_LASTPRIVATE_CONDITIONAL (c)
    6491                 :        320 :           && ctx->lastprivate_conditional_map
    6492                 :      41613 :           && !ctx->combined_into_simd_safelen1)
    6493                 :            :         {
    6494                 :        271 :           gcc_assert (body_p);
    6495                 :        271 :           if (simduid)
    6496                 :         34 :             goto next;
    6497                 :        237 :           if (cond_ptr == NULL_TREE)
    6498                 :            :             {
    6499                 :        170 :               cond_ptr = omp_find_clause (orig_clauses, OMP_CLAUSE__CONDTEMP_);
    6500                 :        170 :               cond_ptr = OMP_CLAUSE_DECL (cond_ptr);
    6501                 :            :             }
    6502                 :        237 :           tree type = TREE_TYPE (TREE_TYPE (cond_ptr));
    6503                 :        237 :           tree o = lookup_decl (OMP_CLAUSE_DECL (c), ctx);
    6504                 :        237 :           tree v = *ctx->lastprivate_conditional_map->get (o);
    6505                 :        237 :           gimplify_assign (v, build_zero_cst (type), body_p);
    6506                 :        237 :           this_stmt_list = cstmt_list;
    6507                 :        237 :           tree mem;
    6508                 :        237 :           if (POINTER_TYPE_P (TREE_TYPE (cond_ptr)))
    6509                 :            :             {
    6510                 :        135 :               mem = build2 (MEM_REF, type, cond_ptr,
    6511                 :        135 :                             build_int_cst (TREE_TYPE (cond_ptr),
    6512                 :            :                                            conditional_off));
    6513                 :        135 :               conditional_off += tree_to_uhwi (TYPE_SIZE_UNIT (type));
    6514                 :            :             }
    6515                 :            :           else
    6516                 :        102 :             mem = build4 (ARRAY_REF, type, cond_ptr,
    6517                 :        102 :                           size_int (conditional_off++), NULL_TREE, NULL_TREE);
    6518                 :        237 :           tree mem2 = copy_node (mem);
    6519                 :        237 :           gimple_seq seq = NULL;
    6520                 :        237 :           mem = force_gimple_operand (mem, &seq, true, NULL_TREE);
    6521                 :        237 :           gimple_seq_add_seq (this_stmt_list, seq);
    6522                 :        237 :           tree lab1 = create_artificial_label (UNKNOWN_LOCATION);
    6523                 :        237 :           lab2 = create_artificial_label (UNKNOWN_LOCATION);
    6524                 :        237 :           gimple *g = gimple_build_cond (GT_EXPR, v, mem, lab1, lab2);
    6525                 :        237 :           gimple_seq_add_stmt (this_stmt_list, g);
    6526                 :        237 :           gimple_seq_add_stmt (this_stmt_list, gimple_build_label (lab1));
    6527                 :        237 :           gimplify_assign (mem2, v, this_stmt_list);
    6528                 :            :         }
    6529                 :      41036 :       else if (predicate
    6530                 :      40832 :                && ctx->combined_into_simd_safelen1
    6531                 :         60 :                && OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    6532                 :         35 :                && OMP_CLAUSE_LASTPRIVATE_CONDITIONAL (c)
    6533                 :      41071 :                && ctx->lastprivate_conditional_map)
    6534                 :            :         this_stmt_list = &post_stmt_list;
    6535                 :            : 
    6536                 :      41273 :       if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    6537                 :      41273 :           || (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LINEAR
    6538                 :       3834 :               && !OMP_CLAUSE_LINEAR_NO_COPYOUT (c)))
    6539                 :            :         {
    6540                 :      20229 :           var = OMP_CLAUSE_DECL (c);
    6541                 :      20229 :           if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    6542                 :      16395 :               && OMP_CLAUSE_LASTPRIVATE_FIRSTPRIVATE (c)
    6543                 :      20921 :               && is_taskloop_ctx (ctx))
    6544                 :            :             {
    6545                 :        108 :               gcc_checking_assert (ctx->outer && is_task_ctx (ctx->outer));
    6546                 :        216 :               new_var = lookup_decl (var, ctx->outer);
    6547                 :            :             }
    6548                 :            :           else
    6549                 :            :             {
    6550                 :      20121 :               new_var = lookup_decl (var, ctx);
    6551                 :            :               /* Avoid uninitialized warnings for lastprivate and
    6552                 :            :                  for linear iterators.  */
    6553                 :      20121 :               if (predicate
    6554                 :      40063 :                   && (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    6555                 :       3834 :                       || OMP_CLAUSE_LINEAR_NO_COPYIN (c)))
    6556                 :      19182 :                 TREE_NO_WARNING (new_var) = 1;
    6557                 :            :             }
    6558                 :            : 
    6559                 :      25794 :           if (!maybe_simt && simduid && DECL_HAS_VALUE_EXPR_P (new_var))
    6560                 :            :             {
    6561                 :       4704 :               tree val = DECL_VALUE_EXPR (new_var);
    6562                 :       4704 :               if (TREE_CODE (val) == ARRAY_REF
    6563                 :       4675 :                   && VAR_P (TREE_OPERAND (val, 0))
    6564                 :       9379 :                   && lookup_attribute ("omp simd array",
    6565                 :       4675 :                                        DECL_ATTRIBUTES (TREE_OPERAND (val,
    6566                 :            :                                                                       0))))
    6567                 :            :                 {
    6568                 :       4675 :                   if (lastlane == NULL)
    6569                 :            :                     {
    6570                 :       2226 :                       lastlane = create_tmp_var (unsigned_type_node);
    6571                 :       2226 :                       gcall *g
    6572                 :       2226 :                         = gimple_build_call_internal (IFN_GOMP_SIMD_LAST_LANE,
    6573                 :            :                                                       2, simduid,
    6574                 :       2226 :                                                       TREE_OPERAND (val, 1));
    6575                 :       2226 :                       gimple_call_set_lhs (g, lastlane);
    6576                 :       2226 :                       gimple_seq_add_stmt (this_stmt_list, g);
    6577                 :            :                     }
    6578                 :       4675 :                   new_var = build4 (ARRAY_REF, TREE_TYPE (val),
    6579                 :       4675 :                                     TREE_OPERAND (val, 0), lastlane,
    6580                 :            :                                     NULL_TREE, NULL_TREE);
    6581                 :       4675 :                   TREE_THIS_NOTRAP (new_var) = 1;
    6582                 :            :                 }
    6583                 :            :             }
    6584                 :      15525 :           else if (maybe_simt)
    6585                 :            :             {
    6586                 :          0 :               tree val = (DECL_HAS_VALUE_EXPR_P (new_var)
    6587                 :          0 :                           ? DECL_VALUE_EXPR (new_var)
    6588                 :          0 :                           : new_var);
    6589                 :          0 :               if (simtlast == NULL)
    6590                 :            :                 {
    6591                 :          0 :                   simtlast = create_tmp_var (unsigned_type_node);
    6592                 :          0 :                   gcall *g = gimple_build_call_internal
    6593                 :          0 :                     (IFN_GOMP_SIMT_LAST_LANE, 1, simtcond);
    6594                 :          0 :                   gimple_call_set_lhs (g, simtlast);
    6595                 :          0 :                   gimple_seq_add_stmt (this_stmt_list, g);
    6596                 :            :                 }
    6597                 :          0 :               x = build_call_expr_internal_loc
    6598                 :          0 :                 (UNKNOWN_LOCATION, IFN_GOMP_SIMT_XCHG_IDX,
    6599                 :          0 :                  TREE_TYPE (val), 2, val, simtlast);
    6600                 :          0 :               new_var = unshare_expr (new_var);
    6601                 :          0 :               gimplify_assign (new_var, x, this_stmt_list);
    6602                 :          0 :               new_var = unshare_expr (new_var);
    6603                 :            :             }
    6604                 :            : 
    6605                 :      20229 :           if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    6606                 :      20229 :               && OMP_CLAUSE_LASTPRIVATE_GIMPLE_SEQ (c))
    6607                 :            :             {
    6608                 :       5259 :               lower_omp (&OMP_CLAUSE_LASTPRIVATE_GIMPLE_SEQ (c), ctx);
    6609                 :       5259 :               gimple_seq_add_seq (this_stmt_list,
    6610                 :       5259 :                                   OMP_CLAUSE_LASTPRIVATE_GIMPLE_SEQ (c));
    6611                 :       5259 :               OMP_CLAUSE_LASTPRIVATE_GIMPLE_SEQ (c) = NULL;
    6612                 :            :             }
    6613                 :      14970 :           else if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LINEAR
    6614                 :      14970 :                    && OMP_CLAUSE_LINEAR_GIMPLE_SEQ (c))
    6615                 :            :             {
    6616                 :        215 :               lower_omp (&OMP_CLAUSE_LINEAR_GIMPLE_SEQ (c), ctx);
    6617                 :        215 :               gimple_seq_add_seq (this_stmt_list,
    6618                 :        215 :                                   OMP_CLAUSE_LINEAR_GIMPLE_SEQ (c));
    6619                 :        215 :               OMP_CLAUSE_LINEAR_GIMPLE_SEQ (c) = NULL;
    6620                 :            :             }
    6621                 :            : 
    6622                 :      20229 :           x = NULL_TREE;
    6623                 :      20229 :           if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    6624                 :      16395 :               && OMP_CLAUSE_LASTPRIVATE_LOOP_IV (c)
    6625                 :      20289 :               && is_taskloop_ctx (ctx))
    6626                 :            :             {
    6627                 :         76 :               tree ovar = maybe_lookup_decl_in_outer_ctx (var,
    6628                 :         38 :                                                           ctx->outer->outer);
    6629                 :         38 :               if (is_global_var (ovar))
    6630                 :          7 :                 x = ovar;
    6631                 :            :             }
    6632                 :          7 :           if (!x)
    6633                 :      20222 :             x = build_outer_var_ref (var, ctx, OMP_CLAUSE_LASTPRIVATE);
    6634                 :      20229 :           if (omp_is_reference (var))
    6635                 :        588 :             new_var = build_simple_mem_ref_loc (clause_loc, new_var);
    6636                 :      20229 :           x = lang_hooks.decls.omp_clause_assign_op (c, x, new_var);
    6637                 :      20229 :           gimplify_and_add (x, this_stmt_list);
    6638                 :            : 
    6639                 :      20229 :           if (lab2)
    6640                 :        237 :             gimple_seq_add_stmt (this_stmt_list, gimple_build_label (lab2));
    6641                 :            :         }
    6642                 :            : 
    6643                 :      41307 :      next:
    6644                 :      41307 :       c = OMP_CLAUSE_CHAIN (c);
    6645                 :      41307 :       if (c == NULL && !par_clauses)
    6646                 :            :         {
    6647                 :            :           /* If this was a workshare clause, see if it had been combined
    6648                 :            :              with its parallel.  In that case, continue looking for the
    6649                 :            :              clauses also on the parallel statement itself.  */
    6650                 :       9097 :           if (is_parallel_ctx (ctx))
    6651                 :            :             break;
    6652                 :            : 
    6653                 :       9097 :           ctx = ctx->outer;
    6654                 :       9097 :           if (ctx == NULL || !is_parallel_ctx (ctx))
    6655                 :            :             break;
    6656                 :            : 
    6657                 :        731 :           c = omp_find_clause (gimple_omp_parallel_clauses (ctx->stmt),
    6658                 :            :                                OMP_CLAUSE_LASTPRIVATE);
    6659                 :        731 :           par_clauses = true;
    6660                 :            :         }
    6661                 :            :     }
    6662                 :            : 
    6663                 :      12377 :   if (label)
    6664                 :      12274 :     gimple_seq_add_stmt (stmt_list, gimple_build_label (label));
    6665                 :      12377 :   gimple_seq_add_seq (stmt_list, post_stmt_list);
    6666                 :            : }
    6667                 :            : 
    6668                 :            : /* Lower the OpenACC reductions of CLAUSES for compute axis LEVEL
    6669                 :            :    (which might be a placeholder).  INNER is true if this is an inner
    6670                 :            :    axis of a multi-axis loop.  FORK and JOIN are (optional) fork and
    6671                 :            :    join markers.  Generate the before-loop forking sequence in
    6672                 :            :    FORK_SEQ and the after-loop joining sequence to JOIN_SEQ.  The
    6673                 :            :    general form of these sequences is
    6674                 :            : 
    6675                 :            :      GOACC_REDUCTION_SETUP
    6676                 :            :      GOACC_FORK
    6677                 :            :      GOACC_REDUCTION_INIT
    6678                 :            :      ...
    6679                 :            :      GOACC_REDUCTION_FINI
    6680                 :            :      GOACC_JOIN
    6681                 :            :      GOACC_REDUCTION_TEARDOWN.  */
    6682                 :            : 
    6683                 :            : static void
    6684                 :      19454 : lower_oacc_reductions (location_t loc, tree clauses, tree level, bool inner,
    6685                 :            :                        gcall *fork, gcall *join, gimple_seq *fork_seq,
    6686                 :            :                        gimple_seq *join_seq, omp_context *ctx)
    6687                 :            : {
    6688                 :      19454 :   gimple_seq before_fork = NULL;
    6689                 :      19454 :   gimple_seq after_fork = NULL;
    6690                 :      19454 :   gimple_seq before_join = NULL;
    6691                 :      19454 :   gimple_seq after_join = NULL;
    6692                 :      19454 :   tree init_code = NULL_TREE, fini_code = NULL_TREE,
    6693                 :      19454 :     setup_code = NULL_TREE, teardown_code = NULL_TREE;
    6694                 :      19454 :   unsigned offset = 0;
    6695                 :            : 
    6696                 :      71806 :   for (tree c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
    6697                 :      52352 :     if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION)
    6698                 :            :       {
    6699                 :       6249 :         tree orig = OMP_CLAUSE_DECL (c);
    6700                 :       6249 :         tree var = maybe_lookup_decl (orig, ctx);
    6701                 :       6249 :         tree ref_to_res = NULL_TREE;
    6702                 :       6249 :         tree incoming, outgoing, v1, v2, v3;
    6703                 :       6249 :         bool is_private = false;
    6704                 :            : 
    6705                 :       6249 :         enum tree_code rcode = OMP_CLAUSE_REDUCTION_CODE (c);
    6706                 :       6249 :         if (rcode == MINUS_EXPR)
    6707                 :            :           rcode = PLUS_EXPR;
    6708                 :       5481 :         else if (rcode == TRUTH_ANDIF_EXPR)
    6709                 :            :           rcode = BIT_AND_EXPR;
    6710                 :       5301 :         else if (rcode == TRUTH_ORIF_EXPR)
    6711                 :        435 :           rcode = BIT_IOR_EXPR;
    6712                 :       6249 :         tree op = build_int_cst (unsigned_type_node, rcode);
    6713                 :            : 
    6714                 :       6249 :         if (!var)
    6715                 :          0 :           var = orig;
    6716                 :            : 
    6717                 :       6249 :         incoming = outgoing = var;
    6718                 :            : 
    6719                 :       6249 :         if (!inner)
    6720                 :            :           {
    6721                 :            :             /* See if an outer construct also reduces this variable.  */
    6722                 :            :             omp_context *outer = ctx;
    6723                 :            : 
    6724                 :       6270 :             while (omp_context *probe = outer->outer)
    6725                 :            :               {
    6726                 :       3708 :                 enum gimple_code type = gimple_code (probe->stmt);
    6727                 :       3708 :                 tree cls;
    6728                 :            : 
    6729                 :       3708 :                 switch (type)
    6730                 :            :                   {
    6731                 :       1516 :                   case GIMPLE_OMP_FOR:
    6732                 :       1516 :                     cls = gimple_omp_for_clauses (probe->stmt);
    6733                 :       1516 :                     break;
    6734                 :            : 
    6735                 :       2192 :                   case GIMPLE_OMP_TARGET:
    6736                 :       2192 :                     if ((gimple_omp_target_kind (probe->stmt)
    6737                 :            :                          != GF_OMP_TARGET_KIND_OACC_PARALLEL)
    6738                 :       2192 :                         && (gimple_omp_target_kind (probe->stmt)
    6739                 :            :                             != GF_OMP_TARGET_KIND_OACC_SERIAL))
    6740                 :         19 :                       goto do_lookup;
    6741                 :            : 
    6742                 :       2173 :                     cls = gimple_omp_target_clauses (probe->stmt);
    6743                 :       2173 :                     break;
    6744                 :            : 
    6745                 :          0 :                   default:
    6746                 :          0 :                     goto do_lookup;
    6747                 :            :                   }
    6748                 :            : 
    6749                 :      12555 :                 outer = probe;
    6750                 :      12555 :                 for (; cls;  cls = OMP_CLAUSE_CHAIN (cls))
    6751                 :      10163 :                   if (OMP_CLAUSE_CODE (cls) == OMP_CLAUSE_REDUCTION
    6752                 :      10163 :                       && orig == OMP_CLAUSE_DECL (cls))
    6753                 :            :                     {
    6754                 :       1228 :                       incoming = outgoing = lookup_decl (orig, probe);
    6755                 :       1228 :                       goto has_outer_reduction;
    6756                 :            :                     }
    6757                 :       8935 :                   else if ((OMP_CLAUSE_CODE (cls) == OMP_CLAUSE_FIRSTPRIVATE
    6758                 :       8372 :                             || OMP_CLAUSE_CODE (cls) == OMP_CLAUSE_PRIVATE)
    6759                 :       9801 :                            && orig == OMP_CLAUSE_DECL (cls))
    6760                 :            :                     {
    6761                 :         69 :                       is_private = true;
    6762                 :         69 :                       goto do_lookup;
    6763                 :            :                     }
    6764                 :            :               }
    6765                 :            : 
    6766                 :       2562 :           do_lookup:
    6767                 :            :             /* This is the outermost construct with this reduction,
    6768                 :            :                see if there's a mapping for it.  */
    6769                 :       2650 :             if (gimple_code (outer->stmt) == GIMPLE_OMP_TARGET
    6770                 :       5011 :                 && maybe_lookup_field (orig, outer) && !is_private)
    6771                 :            :               {
    6772                 :       2315 :                 ref_to_res = build_receiver_ref (orig, false, outer);
    6773                 :       2315 :                 if (omp_is_reference (orig))
    6774                 :         79 :                   ref_to_res = build_simple_mem_ref (ref_to_res);
    6775                 :            : 
    6776                 :       2315 :                 tree type = TREE_TYPE (var);
    6777                 :       2315 :                 if (POINTER_TYPE_P (type))
    6778                 :         79 :                   type = TREE_TYPE (type);
    6779                 :            : 
    6780                 :       2315 :                 outgoing = var;
    6781                 :       2315 :                 incoming = omp_reduction_init_op (loc, rcode, type);
    6782                 :            :               }
    6783                 :            :             else
    6784                 :            :               {
    6785                 :            :                 /* Try to look at enclosing contexts for reduction var,
    6786                 :            :                    use original if no mapping found.  */
    6787                 :        335 :                 tree t = NULL_TREE;
    6788                 :        335 :                 omp_context *c = ctx->outer;
    6789                 :        408 :                 while (c && !t)
    6790                 :            :                   {
    6791                 :         73 :                     t = maybe_lookup_decl (orig, c);
    6792                 :         73 :                     c = c->outer;
    6793                 :            :                   }
    6794                 :        335 :                 incoming = outgoing = (t ? t : orig);
    6795                 :            :               }
    6796                 :            : 
    6797                 :       6249 :           has_outer_reduction:;
    6798                 :            :           }
    6799                 :            : 
    6800                 :       6249 :         if (!ref_to_res)
    6801                 :       3934 :           ref_to_res = integer_zero_node;
    6802                 :            : 
    6803                 :       6249 :         if (omp_is_reference (orig))
    6804                 :            :           {
    6805                 :        159 :             tree type = TREE_TYPE (var);
    6806                 :        159 :             const char *id = IDENTIFIER_POINTER (DECL_NAME (var));
    6807                 :            : 
    6808                 :        159 :             if (!inner)
    6809                 :            :               {
    6810                 :        110 :                 tree x = create_tmp_var (TREE_TYPE (type), id);
    6811                 :        110 :                 gimplify_assign (var, build_fold_addr_expr (x), fork_seq);
    6812                 :            :               }
    6813                 :            : 
    6814                 :        159 :             v1 = create_tmp_var (type, id);
    6815                 :        159 :             v2 = create_tmp_var (type, id);
    6816                 :        159 :             v3 = create_tmp_var (type, id);
    6817                 :            : 
    6818                 :        159 :             gimplify_assign (v1, var, fork_seq);
    6819                 :        159 :             gimplify_assign (v2, var, fork_seq);
    6820                 :        159 :             gimplify_assign (v3, var, fork_seq);
    6821                 :            : 
    6822                 :        159 :             var = build_simple_mem_ref (var);
    6823                 :        159 :             v1 = build_simple_mem_ref (v1);
    6824                 :        159 :             v2 = build_simple_mem_ref (v2);
    6825                 :        159 :             v3 = build_simple_mem_ref (v3);
    6826                 :        159 :             outgoing = build_simple_mem_ref (outgoing);
    6827                 :            : 
    6828                 :        159 :             if (!TREE_CONSTANT (incoming))
    6829                 :         80 :               incoming = build_simple_mem_ref (incoming);
    6830                 :            :           }
    6831                 :            :         else
    6832                 :            :           v1 = v2 = v3 = var;
    6833                 :            : 
    6834                 :            :         /* Determine position in reduction buffer, which may be used
    6835                 :            :            by target.  The parser has ensured that this is not a
    6836                 :            :            variable-sized type.  */
    6837                 :       6249 :         fixed_size_mode mode
    6838                 :       6249 :           = as_a <fixed_size_mode> (TYPE_MODE (TREE_TYPE (var)));
    6839                 :       6249 :         unsigned align = GET_MODE_ALIGNMENT (mode) /  BITS_PER_UNIT;
    6840                 :       6249 :         offset = (offset + align - 1) & ~(align - 1);
    6841                 :       6249 :         tree off = build_int_cst (sizetype, offset);
    6842                 :       6249 :         offset += GET_MODE_SIZE (mode);
    6843                 :            : 
    6844                 :       6249 :         if (!init_code)
    6845                 :            :           {
    6846                 :      11254 :             init_code = build_int_cst (integer_type_node,
    6847                 :       5627 :                                        IFN_GOACC_REDUCTION_INIT);
    6848                 :      11254 :             fini_code = build_int_cst (integer_type_node,
    6849                 :       5627 :                                        IFN_GOACC_REDUCTION_FINI);
    6850                 :      11254 :             setup_code = build_int_cst (integer_type_node,
    6851                 :       5627 :                                         IFN_GOACC_REDUCTION_SETUP);
    6852                 :       5627 :             teardown_code = build_int_cst (integer_type_node,
    6853                 :       5627 :                                            IFN_GOACC_REDUCTION_TEARDOWN);
    6854                 :            :           }
    6855                 :            : 
    6856                 :       6249 :         tree setup_call
    6857                 :       6249 :           = build_call_expr_internal_loc (loc, IFN_GOACC_REDUCTION,
    6858                 :       6249 :                                           TREE_TYPE (var), 6, setup_code,
    6859                 :            :                                           unshare_expr (ref_to_res),
    6860                 :            :                                           incoming, level, op, off);
    6861                 :       6249 :         tree init_call
    6862                 :       6249 :           = build_call_expr_internal_loc (loc, IFN_GOACC_REDUCTION,
    6863                 :       6249 :                                           TREE_TYPE (var), 6, init_code,
    6864                 :            :                                           unshare_expr (ref_to_res),
    6865                 :            :                                           v1, level, op, off);
    6866                 :       6249 :         tree fini_call
    6867                 :       6249 :           = build_call_expr_internal_loc (loc, IFN_GOACC_REDUCTION,
    6868                 :       6249 :                                           TREE_TYPE (var), 6, fini_code,
    6869                 :            :                                           unshare_expr (ref_to_res),
    6870                 :            :                                           v2, level, op, off);
    6871                 :       6249 :         tree teardown_call
    6872                 :      12498 :           = build_call_expr_internal_loc (loc, IFN_GOACC_REDUCTION,
    6873                 :       6249 :                                           TREE_TYPE (var), 6, teardown_code,
    6874                 :            :                                           ref_to_res, v3, level, op, off);
    6875                 :            : 
    6876                 :       6249 :         gimplify_assign (v1, setup_call, &before_fork);
    6877                 :       6249 :         gimplify_assign (v2, init_call, &after_fork);
    6878                 :       6249 :         gimplify_assign (v3, fini_call, &before_join);
    6879                 :       6249 :         gimplify_assign (outgoing, teardown_call, &after_join);
    6880                 :            :       }
    6881                 :            : 
    6882                 :            :   /* Now stitch things together.  */
    6883                 :      19454 :   gimple_seq_add_seq (fork_seq, before_fork);
    6884                 :      19454 :   if (fork)
    6885                 :      13360 :     gimple_seq_add_stmt (fork_seq, fork);
    6886                 :      19454 :   gimple_seq_add_seq (fork_seq, after_fork);
    6887                 :            : 
    6888                 :      19454 :   gimple_seq_add_seq (join_seq, before_join);
    6889                 :      19454 :   if (join)
    6890                 :      13360 :     gimple_seq_add_stmt (join_seq, join);
    6891                 :      19454 :   gimple_seq_add_seq (join_seq, after_join);
    6892                 :      19454 : }
    6893                 :            : 
    6894                 :            : /* Generate code to implement the REDUCTION clauses, append it
    6895                 :            :    to STMT_SEQP.  CLIST if non-NULL is a pointer to a sequence
    6896                 :            :    that should be emitted also inside of the critical section,
    6897                 :            :    in that case clear *CLIST afterwards, otherwise leave it as is
    6898                 :            :    and let the caller emit it itself.  */
    6899                 :            : 
    6900                 :            : static void
    6901                 :      52032 : lower_reduction_clauses (tree clauses, gimple_seq *stmt_seqp,
    6902                 :            :                          gimple_seq *clist, omp_context *ctx)
    6903                 :            : {
    6904                 :      52032 :   gimple_seq sub_seq = NULL;
    6905                 :      52032 :   gimple *stmt;
    6906                 :      52032 :   tree x, c;
    6907                 :      52032 :   int count = 0;
    6908                 :            : 
    6909                 :            :   /* OpenACC loop reductions are handled elsewhere.  */
    6910                 :      52032 :   if (is_gimple_omp_oacc (ctx->stmt))
    6911                 :      51476 :     return;
    6912                 :            : 
    6913                 :            :   /* SIMD reductions are handled in lower_rec_input_clauses.  */
    6914                 :      43225 :   if (gimple_code (ctx->stmt) == GIMPLE_OMP_FOR
    6915                 :      43225 :       && gimple_omp_for_kind (ctx->stmt) == GF_OMP_FOR_KIND_SIMD)
    6916                 :            :     return;
    6917                 :            : 
    6918                 :            :   /* inscan reductions are handled elsewhere.  */
    6919                 :      36314 :   if (ctx->scan_inclusive || ctx->scan_exclusive)
    6920                 :            :     return;
    6921                 :            : 
    6922                 :            :   /* First see if there is exactly one reduction clause.  Use OMP_ATOMIC
    6923                 :            :      update in that case, otherwise use a lock.  */
    6924                 :     183345 :   for (c = clauses; c && count < 2; c = OMP_CLAUSE_CHAIN (c))
    6925                 :     147575 :     if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION
    6926                 :     147575 :         && !OMP_CLAUSE_REDUCTION_TASK (c))
    6927                 :            :       {
    6928                 :       2526 :         if (OMP_CLAUSE_REDUCTION_PLACEHOLDER (c)
    6929                 :       2526 :             || TREE_CODE (OMP_CLAUSE_DECL (c)) == MEM_REF)
    6930                 :            :           {
    6931                 :            :             /* Never use OMP_ATOMIC for array reductions or UDRs.  */
    6932                 :            :             count = -1;
    6933                 :            :             break;
    6934                 :            :           }
    6935                 :       2137 :         count++;
    6936                 :            :       }
    6937                 :            : 
    6938                 :      36159 :   if (count == 0)
    6939                 :            :     return;
    6940                 :            : 
    6941                 :       8732 :   for (c = clauses; c ; c = OMP_CLAUSE_CHAIN (c))
    6942                 :            :     {
    6943                 :       8176 :       tree var, ref, new_var, orig_var;
    6944                 :       8176 :       enum tree_code code;
    6945                 :       8176 :       location_t clause_loc = OMP_CLAUSE_LOCATION (c);
    6946                 :            : 
    6947                 :       8176 :       if (OMP_CLAUSE_CODE (c) != OMP_CLAUSE_REDUCTION
    6948                 :       8176 :           || OMP_CLAUSE_REDUCTION_TASK (c))
    6949                 :       4839 :         continue;
    6950                 :            : 
    6951                 :       3337 :       enum omp_clause_code ccode = OMP_CLAUSE_REDUCTION;
    6952                 :       3337 :       orig_var = var = OMP_CLAUSE_DECL (c);
    6953                 :       3337 :       if (TREE_CODE (var) == MEM_REF)
    6954                 :            :         {
    6955                 :        235 :           var = TREE_OPERAND (var, 0);
    6956                 :        235 :           if (TREE_CODE (var) == POINTER_PLUS_EXPR)
    6957                 :         52 :             var = TREE_OPERAND (var, 0);
    6958                 :        235 :           if (TREE_CODE (var) == ADDR_EXPR)
    6959                 :        107 :             var = TREE_OPERAND (var, 0);
    6960                 :            :           else
    6961                 :            :             {
    6962                 :            :               /* If this is a pointer or referenced based array
    6963                 :            :                  section, the var could be private in the outer
    6964                 :            :                  context e.g. on orphaned loop construct.  Pretend this
    6965                 :            :                  is private variable's outer reference.  */
    6966                 :        128 :               ccode = OMP_CLAUSE_PRIVATE;
    6967                 :        128 :               if (TREE_CODE (var) == INDIRECT_REF)
    6968                 :         16 :                 var = TREE_OPERAND (var, 0);
    6969                 :            :             }
    6970                 :        235 :           orig_var = var;
    6971                 :        235 :           if (is_variable_sized (var))
    6972                 :            :             {
    6973                 :         13 :               gcc_assert (DECL_HAS_VALUE_EXPR_P (var));
    6974                 :         13 :               var = DECL_VALUE_EXPR (var);
    6975                 :         13 :               gcc_assert (TREE_CODE (var) == INDIRECT_REF);
    6976                 :         13 :               var = TREE_OPERAND (var, 0);
    6977                 :         13 :               gcc_assert (DECL_P (var));
    6978                 :            :             }
    6979                 :            :         }
    6980                 :       3337 :       new_var = lookup_decl (var, ctx);
    6981                 :       3337 :       if (var == OMP_CLAUSE_DECL (c) && omp_is_reference (var))
    6982                 :        121 :         new_var = build_simple_mem_ref_loc (clause_loc, new_var);
    6983                 :       3337 :       ref = build_outer_var_ref (var, ctx, ccode);
    6984                 :       3337 :       code = OMP_CLAUSE_REDUCTION_CODE (c);
    6985                 :            : 
    6986                 :            :       /* reduction(-:var) sums up the partial results, so it acts
    6987                 :            :          identically to reduction(+:var).  */
    6988                 :       3337 :       if (code == MINUS_EXPR)
    6989                 :         49 :         code = PLUS_EXPR;
    6990                 :            : 
    6991                 :       3337 :       if (count == 1)
    6992                 :            :         {
    6993                 :       1742 :           tree addr = build_fold_addr_expr_loc (clause_loc, ref);
    6994                 :            : 
    6995                 :       1742 :           addr = save_expr (addr);
    6996                 :       1742 :           ref = build1 (INDIRECT_REF, TREE_TYPE (TREE_TYPE (addr)), addr);
    6997                 :       1742 :           x = fold_build2_loc (clause_loc, code, TREE_TYPE (ref), ref, new_var);
    6998                 :       1742 :           x = build2 (OMP_ATOMIC, void_type_node, addr, x);
    6999                 :       1742 :           OMP_ATOMIC_MEMORY_ORDER (x) = OMP_MEMORY_ORDER_RELAXED;
    7000                 :       1742 :           gimplify_and_add (x, stmt_seqp);
    7001                 :       1742 :           return;
    7002                 :            :         }
    7003                 :       1595 :       else if (TREE_CODE (OMP_CLAUSE_DECL (c)) == MEM_REF)
    7004                 :            :         {
    7005                 :        235 :           tree d = OMP_CLAUSE_DECL (c);
    7006                 :        235 :           tree type = TREE_TYPE (d);
    7007                 :        235 :           tree v = TYPE_MAX_VALUE (TYPE_DOMAIN (type));
    7008                 :        235 :           tree i = create_tmp_var (TREE_TYPE (v));
    7009                 :        235 :           tree ptype = build_pointer_type (TREE_TYPE (type));
    7010                 :        235 :           tree bias = TREE_OPERAND (d, 1);
    7011                 :        235 :           d = TREE_OPERAND (d, 0);
    7012                 :        235 :           if (TREE_CODE (d) == POINTER_PLUS_EXPR)
    7013                 :            :             {
    7014                 :         52 :               tree b = TREE_OPERAND (d, 1);
    7015                 :         52 :               b = maybe_lookup_decl (b, ctx);
    7016                 :         52 :               if (b == NULL)
    7017                 :            :                 {
    7018                 :          2 :                   b = TREE_OPERAND (d, 1);
    7019                 :          2 :                   b = maybe_lookup_decl_in_outer_ctx (b, ctx);
    7020                 :            :                 }
    7021                 :         52 :               if (integer_zerop (bias))
    7022                 :            :                 bias = b;
    7023                 :            :               else
    7024                 :            :                 {
    7025                 :          0 :                   bias = fold_convert_loc (clause_loc, TREE_TYPE (b), bias);
    7026                 :          0 :                   bias = fold_build2_loc (clause_loc, PLUS_EXPR,
    7027                 :          0 :                                           TREE_TYPE (b), b, bias);
    7028                 :            :                 }
    7029                 :         52 :               d = TREE_OPERAND (d, 0);
    7030                 :            :             }
    7031                 :            :           /* For ref build_outer_var_ref already performs this, so
    7032                 :            :              only new_var needs a dereference.  */
    7033                 :        235 :           if (TREE_CODE (d) == INDIRECT_REF)
    7034                 :            :             {
    7035                 :         16 :               new_var = build_simple_mem_ref_loc (clause_loc, new_var);
    7036                 :         16 :               gcc_assert (omp_is_reference (var) && var == orig_var);
    7037                 :            :             }
    7038                 :        219 :           else if (TREE_CODE (d) == ADDR_EXPR)
    7039                 :            :             {
    7040                 :        107 :               if (orig_var == var)
    7041                 :            :                 {
    7042                 :         94 :                   new_var = build_fold_addr_expr (new_var);
    7043                 :         94 :                   ref = build_fold_addr_expr (ref);
    7044                 :            :                 }
    7045                 :            :             }
    7046                 :            :           else
    7047                 :            :             {
    7048                 :        112 :               gcc_assert (orig_var == var);
    7049                 :        112 :               if (omp_is_reference (var))
    7050                 :         24 :                 ref = build_fold_addr_expr (ref);
    7051                 :            :             }
    7052                 :        235 :           if (DECL_P (v))
    7053                 :            :             {
    7054                 :         76 :               tree t = maybe_lookup_decl (v, ctx);
    7055                 :         76 :               if (t)
    7056                 :         76 :                 v = t;
    7057                 :            :               else
    7058                 :          0 :                 v = maybe_lookup_decl_in_outer_ctx (v, ctx);
    7059                 :         76 :               gimplify_expr (&v, stmt_seqp, NULL, is_gimple_val, fb_rvalue);
    7060                 :            :             }
    7061                 :        235 :           if (!integer_zerop (bias))
    7062                 :            :             {
    7063                 :         88 :               bias = fold_convert_loc (clause_loc, sizetype, bias);
    7064                 :         88 :               new_var = fold_build2_loc (clause_loc, POINTER_PLUS_EXPR,
    7065                 :         88 :                                          TREE_TYPE (new_var), new_var,
    7066                 :            :                                          unshare_expr (bias));
    7067                 :         88 :               ref = fold_build2_loc (clause_loc, POINTER_PLUS_EXPR,
    7068                 :         88 :                                          TREE_TYPE (ref), ref, bias);
    7069                 :            :             }
    7070                 :        235 :           new_var = fold_convert_loc (clause_loc, ptype, new_var);
    7071                 :        235 :           ref = fold_convert_loc (clause_loc, ptype, ref);
    7072                 :        235 :           tree m = create_tmp_var (ptype);
    7073                 :        235 :           gimplify_assign (m, new_var, stmt_seqp);
    7074                 :        235 :           new_var = m;
    7075                 :        235 :           m = create_tmp_var (ptype);
    7076                 :        235 :           gimplify_assign (m, ref, stmt_seqp);
    7077                 :        235 :           ref = m;
    7078                 :        235 :           gimplify_assign (i, build_int_cst (TREE_TYPE (v), 0), stmt_seqp);
    7079                 :        235 :           tree body = create_artificial_label (UNKNOWN_LOCATION);
    7080                 :        235 :           tree end = create_artificial_label (UNKNOWN_LOCATION);
    7081                 :        235 :           gimple_seq_add_stmt (&sub_seq, gimple_build_label (body));
    7082                 :        235 :           tree priv = build_simple_mem_ref_loc (clause_loc, new_var);
    7083                 :        235 :           tree out = build_simple_mem_ref_loc (clause_loc, ref);
    7084                 :        235 :           if (OMP_CLAUSE_REDUCTION_PLACEHOLDER (c))
    7085                 :            :             {
    7086                 :         72 :               tree placeholder = OMP_CLAUSE_REDUCTION_PLACEHOLDER (c);
    7087                 :         72 :               tree decl_placeholder
    7088                 :         72 :                 = OMP_CLAUSE_REDUCTION_DECL_PLACEHOLDER (c);
    7089                 :         72 :               SET_DECL_VALUE_EXPR (placeholder, out);
    7090                 :         72 :               DECL_HAS_VALUE_EXPR_P (placeholder) = 1;
    7091                 :         72 :               SET_DECL_VALUE_EXPR (decl_placeholder, priv);
    7092                 :         72 :               DECL_HAS_VALUE_EXPR_P (decl_placeholder) = 1;
    7093                 :         72 :               lower_omp (&OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c), ctx);
    7094                 :         72 :               gimple_seq_add_seq (&sub_seq,
    7095                 :         72 :                                   OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c));
    7096                 :         72 :               OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c) = NULL;
    7097                 :         72 :               OMP_CLAUSE_REDUCTION_PLACEHOLDER (c) = NULL;
    7098                 :         72 :               OMP_CLAUSE_REDUCTION_DECL_PLACEHOLDER (c) = NULL;
    7099                 :            :             }
    7100                 :            :           else
    7101                 :            :             {
    7102                 :        163 :               x = build2 (code, TREE_TYPE (out), out, priv);
    7103                 :        163 :               out = unshare_expr (out);
    7104                 :        163 :               gimplify_assign (out, x, &sub_seq);
    7105                 :            :             }
    7106                 :        235 :           gimple *g = gimple_build_assign (new_var, POINTER_PLUS_EXPR, new_var,
    7107                 :        235 :                                            TYPE_SIZE_UNIT (TREE_TYPE (type)));
    7108                 :        235 :           gimple_seq_add_stmt (&sub_seq, g);
    7109                 :        235 :           g = gimple_build_assign (ref, POINTER_PLUS_EXPR, ref,
    7110                 :        235 :                                    TYPE_SIZE_UNIT (TREE_TYPE (type)));
    7111                 :        235 :           gimple_seq_add_stmt (&sub_seq, g);
    7112                 :        235 :           g = gimple_build_assign (i, PLUS_EXPR, i,
    7113                 :        235 :                                    build_int_cst (TREE_TYPE (i), 1));
    7114                 :        235 :           gimple_seq_add_stmt (&sub_seq, g);
    7115                 :        235 :           g = gimple_build_cond (LE_EXPR, i, v, body, end);
    7116                 :        235 :           gimple_seq_add_stmt (&sub_seq, g);
    7117                 :        235 :           gimple_seq_add_stmt (&sub_seq, gimple_build_label (end));
    7118                 :            :         }
    7119                 :       1360 :       else if (OMP_CLAUSE_REDUCTION_PLACEHOLDER (c))
    7120                 :            :         {
    7121                 :        768 :           tree placeholder = OMP_CLAUSE_REDUCTION_PLACEHOLDER (c);
    7122                 :            : 
    7123                 :        768 :           if (omp_is_reference (var)
    7124                 :        812 :               && !useless_type_conversion_p (TREE_TYPE (placeholder),
    7125                 :         44 :                                              TREE_TYPE (ref)))
    7126                 :         36 :             ref = build_fold_addr_expr_loc (clause_loc, ref);
    7127                 :        768 :           SET_DECL_VALUE_EXPR (placeholder, ref);
    7128                 :        768 :           DECL_HAS_VALUE_EXPR_P (placeholder) = 1;
    7129                 :        768 :           lower_omp (&OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c), ctx);
    7130                 :        768 :           gimple_seq_add_seq (&sub_seq, OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c));
    7131                 :        768 :           OMP_CLAUSE_REDUCTION_GIMPLE_MERGE (c) = NULL;
    7132                 :        768 :           OMP_CLAUSE_REDUCTION_PLACEHOLDER (c) = NULL;
    7133                 :            :         }
    7134                 :            :       else
    7135                 :            :         {
    7136                 :        592 :           x = build2 (code, TREE_TYPE (ref), ref, new_var);
    7137                 :        592 :           ref = build_outer_var_ref (var, ctx);
    7138                 :        592 :           gimplify_assign (ref, x, &sub_seq);
    7139                 :            :         }
    7140                 :            :     }
    7141                 :            : 
    7142                 :        556 :   stmt = gimple_build_call (builtin_decl_explicit (BUILT_IN_GOMP_ATOMIC_START),
    7143                 :            :                             0);
    7144                 :        556 :   gimple_seq_add_stmt (stmt_seqp, stmt);
    7145                 :            : 
    7146                 :        556 :   gimple_seq_add_seq (stmt_seqp, sub_seq);
    7147                 :            : 
    7148                 :        556 :   if (clist)
    7149                 :            :     {
    7150                 :         80 :       gimple_seq_add_seq (stmt_seqp, *clist);
    7151                 :         80 :       *clist = NULL;
    7152                 :            :     }
    7153                 :            : 
    7154                 :        556 :   stmt = gimple_build_call (builtin_decl_explicit (BUILT_IN_GOMP_ATOMIC_END),
    7155                 :            :                             0);
    7156                 :        556 :   gimple_seq_add_stmt (stmt_seqp, stmt);
    7157                 :            : }
    7158                 :            : 
    7159                 :            : 
    7160                 :            : /* Generate code to implement the COPYPRIVATE clauses.  */
    7161                 :            : 
    7162                 :            : static void
    7163                 :        110 : lower_copyprivate_clauses (tree clauses, gimple_seq *slist, gimple_seq *rlist,
    7164                 :            :                             omp_context *ctx)
    7165                 :            : {
    7166                 :        110 :   tree c;
    7167                 :            : 
    7168                 :        453 :   for (c = clauses; c ; c = OMP_CLAUSE_CHAIN (c))
    7169                 :            :     {
    7170                 :        343 :       tree var, new_var, ref, x;
    7171                 :        343 :       bool by_ref;
    7172                 :        343 :       location_t clause_loc = OMP_CLAUSE_LOCATION (c);
    7173                 :            : 
    7174                 :        343 :       if (OMP_CLAUSE_CODE (c) != OMP_CLAUSE_COPYPRIVATE)
    7175                 :          6 :         continue;
    7176                 :            : 
    7177                 :        337 :       var = OMP_CLAUSE_DECL (c);
    7178                 :        337 :       by_ref = use_pointer_for_field (var, NULL);
    7179                 :            : 
    7180                 :        337 :       ref = build_sender_ref (var, ctx);
    7181                 :        337 :       x = new_var = lookup_decl_in_outer_ctx (var, ctx);
    7182                 :        337 :       if (by_ref)
    7183                 :            :         {
    7184                 :         74 :           x = build_fold_addr_expr_loc (clause_loc, new_var);
    7185                 :         74 :           x = fold_convert_loc (clause_loc, TREE_TYPE (ref), x);
    7186                 :            :         }
    7187                 :        337 :       gimplify_assign (ref, x, slist);
    7188                 :            : 
    7189                 :        337 :       ref = build_receiver_ref (var, false, ctx);
    7190                 :        337 :       if (by_ref)
    7191                 :            :         {
    7192                 :        148 :           ref = fold_convert_loc (clause_loc,
    7193                 :         74 :                                   build_pointer_type (TREE_TYPE (new_var)),
    7194                 :            :                                   ref);
    7195                 :         74 :           ref = build_fold_indirect_ref_loc (clause_loc, ref);
    7196                 :            :         }
    7197                 :        337 :       if (omp_is_reference (var))
    7198                 :            :         {
    7199                 :        173 :           ref = fold_convert_loc (clause_loc, TREE_TYPE (new_var), ref);
    7200                 :        173 :           ref = build_simple_mem_ref_loc (clause_loc, ref);
    7201                 :        173 :           new_var = build_simple_mem_ref_loc (clause_loc, new_var);
    7202                 :            :         }
    7203                 :        337 :       x = lang_hooks.decls.omp_clause_assign_op (c, new_var, ref);
    7204                 :        337 :       gimplify_and_add (x, rlist);
    7205                 :            :     }
    7206                 :        110 : }
    7207                 :            : 
    7208                 :            : 
    7209                 :            : /* Generate code to implement the clauses, FIRSTPRIVATE, COPYIN, LASTPRIVATE,
    7210                 :            :    and REDUCTION from the sender (aka parent) side.  */
    7211                 :            : 
    7212                 :            : static void
    7213                 :      15300 : lower_send_clauses (tree clauses, gimple_seq *ilist, gimple_seq *olist,
    7214                 :            :                     omp_context *ctx)
    7215                 :            : {
    7216                 :      15300 :   tree c, t;
    7217                 :      15300 :   int ignored_looptemp = 0;
    7218                 :      15300 :   bool is_taskloop = false;
    7219                 :            : 
    7220                 :            :   /* For taskloop, ignore first two _looptemp_ clauses, those are initialized
    7221                 :            :      by GOMP_taskloop.  */
    7222                 :      15300 :   if (is_task_ctx (ctx) && gimple_omp_task_taskloop_p (ctx->stmt))
    7223                 :            :     {
    7224                 :            :       ignored_looptemp = 2;
    7225                 :            :       is_taskloop = true;
    7226                 :            :     }
    7227                 :            : 
    7228                 :      81845 :   for (c = clauses; c ; c = OMP_CLAUSE_CHAIN (c))
    7229                 :            :     {
    7230                 :      66545 :       tree val, ref, x, var;
    7231                 :      66545 :       bool by_ref, do_in = false, do_out = false;
    7232                 :      66545 :       location_t clause_loc = OMP_CLAUSE_LOCATION (c);
    7233                 :            : 
    7234                 :      66545 :       switch (OMP_CLAUSE_CODE (c))
    7235                 :            :         {
    7236                 :       2955 :         case OMP_CLAUSE_PRIVATE:
    7237                 :       2955 :           if (OMP_CLAUSE_PRIVATE_OUTER_REF (c))
    7238                 :            :             break;
    7239                 :       2801 :           continue;
    7240                 :            :         case OMP_CLAUSE_FIRSTPRIVATE:
    7241                 :            :         case OMP_CLAUSE_COPYIN:
    7242                 :            :         case OMP_CLAUSE_LASTPRIVATE:
    7243                 :            :         case OMP_CLAUSE_IN_REDUCTION:
    7244                 :            :         case OMP_CLAUSE__REDUCTEMP_:
    7245                 :            :           break;
    7246                 :       3088 :         case OMP_CLAUSE_REDUCTION:
    7247                 :       3088 :           if (is_task_ctx (ctx) || OMP_CLAUSE_REDUCTION_TASK (c))
    7248                 :        354 :             continue;
    7249                 :            :           break;
    7250                 :      12334 :         case OMP_CLAUSE_SHARED:
    7251                 :      12334 :           if (OMP_CLAUSE_SHARED_FIRSTPRIVATE (c))
    7252                 :            :             break;
    7253                 :      12226 :           continue;
    7254                 :      15160 :         case OMP_CLAUSE__LOOPTEMP_:
    7255                 :      15160 :           if (ignored_looptemp)
    7256                 :            :             {
    7257                 :       1180 :               ignored_looptemp--;
    7258                 :       1180 :               continue;
    7259                 :            :             }
    7260                 :            :           break;
    7261                 :       4695 :         default:
    7262                 :       4695 :           continue;
    7263                 :            :         }
    7264                 :            : 
    7265                 :      45289 :       val = OMP_CLAUSE_DECL (c);
    7266                 :      45289 :       if ((OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION
    7267                 :      42555 :            || OMP_CLAUSE_CODE (c) == OMP_CLAUSE_IN_REDUCTION)