LCOV - code coverage report
Current view: top level - gcc - omp-expand.c (source / functions) Hit Total Coverage
Test: gcc.info Lines: 4436 4821 92.0 %
Date: 2020-03-28 11:57:23 Functions: 68 79 86.1 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : /* Expansion pass for OMP directives.  Outlines regions of certain OMP
       2                 :            :    directives to separate functions, converts others into explicit calls to the
       3                 :            :    runtime library (libgomp) and so forth
       4                 :            : 
       5                 :            : Copyright (C) 2005-2020 Free Software Foundation, Inc.
       6                 :            : 
       7                 :            : This file is part of GCC.
       8                 :            : 
       9                 :            : GCC is free software; you can redistribute it and/or modify it under
      10                 :            : the terms of the GNU General Public License as published by the Free
      11                 :            : Software Foundation; either version 3, or (at your option) any later
      12                 :            : version.
      13                 :            : 
      14                 :            : GCC is distributed in the hope that it will be useful, but WITHOUT ANY
      15                 :            : WARRANTY; without even the implied warranty of MERCHANTABILITY or
      16                 :            : FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
      17                 :            : for more details.
      18                 :            : 
      19                 :            : You should have received a copy of the GNU General Public License
      20                 :            : along with GCC; see the file COPYING3.  If not see
      21                 :            : <http://www.gnu.org/licenses/>.  */
      22                 :            : 
      23                 :            : #include "config.h"
      24                 :            : #include "system.h"
      25                 :            : #include "coretypes.h"
      26                 :            : #include "memmodel.h"
      27                 :            : #include "backend.h"
      28                 :            : #include "target.h"
      29                 :            : #include "rtl.h"
      30                 :            : #include "tree.h"
      31                 :            : #include "gimple.h"
      32                 :            : #include "cfghooks.h"
      33                 :            : #include "tree-pass.h"
      34                 :            : #include "ssa.h"
      35                 :            : #include "optabs.h"
      36                 :            : #include "cgraph.h"
      37                 :            : #include "pretty-print.h"
      38                 :            : #include "diagnostic-core.h"
      39                 :            : #include "fold-const.h"
      40                 :            : #include "stor-layout.h"
      41                 :            : #include "cfganal.h"
      42                 :            : #include "internal-fn.h"
      43                 :            : #include "gimplify.h"
      44                 :            : #include "gimple-iterator.h"
      45                 :            : #include "gimplify-me.h"
      46                 :            : #include "gimple-walk.h"
      47                 :            : #include "tree-cfg.h"
      48                 :            : #include "tree-into-ssa.h"
      49                 :            : #include "tree-ssa.h"
      50                 :            : #include "splay-tree.h"
      51                 :            : #include "cfgloop.h"
      52                 :            : #include "omp-general.h"
      53                 :            : #include "omp-offload.h"
      54                 :            : #include "tree-cfgcleanup.h"
      55                 :            : #include "alloc-pool.h"
      56                 :            : #include "symbol-summary.h"
      57                 :            : #include "gomp-constants.h"
      58                 :            : #include "gimple-pretty-print.h"
      59                 :            : #include "hsa-common.h"
      60                 :            : #include "stringpool.h"
      61                 :            : #include "attribs.h"
      62                 :            : 
      63                 :            : /* OMP region information.  Every parallel and workshare
      64                 :            :    directive is enclosed between two markers, the OMP_* directive
      65                 :            :    and a corresponding GIMPLE_OMP_RETURN statement.  */
      66                 :            : 
      67                 :            : struct omp_region
      68                 :            : {
      69                 :            :   /* The enclosing region.  */
      70                 :            :   struct omp_region *outer;
      71                 :            : 
      72                 :            :   /* First child region.  */
      73                 :            :   struct omp_region *inner;
      74                 :            : 
      75                 :            :   /* Next peer region.  */
      76                 :            :   struct omp_region *next;
      77                 :            : 
      78                 :            :   /* Block containing the omp directive as its last stmt.  */
      79                 :            :   basic_block entry;
      80                 :            : 
      81                 :            :   /* Block containing the GIMPLE_OMP_RETURN as its last stmt.  */
      82                 :            :   basic_block exit;
      83                 :            : 
      84                 :            :   /* Block containing the GIMPLE_OMP_CONTINUE as its last stmt.  */
      85                 :            :   basic_block cont;
      86                 :            : 
      87                 :            :   /* If this is a combined parallel+workshare region, this is a list
      88                 :            :      of additional arguments needed by the combined parallel+workshare
      89                 :            :      library call.  */
      90                 :            :   vec<tree, va_gc> *ws_args;
      91                 :            : 
      92                 :            :   /* The code for the omp directive of this region.  */
      93                 :            :   enum gimple_code type;
      94                 :            : 
      95                 :            :   /* Schedule kind, only used for GIMPLE_OMP_FOR type regions.  */
      96                 :            :   enum omp_clause_schedule_kind sched_kind;
      97                 :            : 
      98                 :            :   /* Schedule modifiers.  */
      99                 :            :   unsigned char sched_modifiers;
     100                 :            : 
     101                 :            :   /* True if this is a combined parallel+workshare region.  */
     102                 :            :   bool is_combined_parallel;
     103                 :            : 
     104                 :            :   /* Copy of fd.lastprivate_conditional != 0.  */
     105                 :            :   bool has_lastprivate_conditional;
     106                 :            : 
     107                 :            :   /* The ordered stmt if type is GIMPLE_OMP_ORDERED and it has
     108                 :            :      a depend clause.  */
     109                 :            :   gomp_ordered *ord_stmt;
     110                 :            : };
     111                 :            : 
     112                 :            : static struct omp_region *root_omp_region;
     113                 :            : static bool omp_any_child_fn_dumped;
     114                 :            : 
     115                 :            : static void expand_omp_build_assign (gimple_stmt_iterator *, tree, tree,
     116                 :            :                                      bool = false);
     117                 :            : static gphi *find_phi_with_arg_on_edge (tree, edge);
     118                 :            : static void expand_omp (struct omp_region *region);
     119                 :            : 
     120                 :            : /* Return true if REGION is a combined parallel+workshare region.  */
     121                 :            : 
     122                 :            : static inline bool
     123                 :      32157 : is_combined_parallel (struct omp_region *region)
     124                 :            : {
     125                 :      32157 :   return region->is_combined_parallel;
     126                 :            : }
     127                 :            : 
     128                 :            : /* Given two blocks PAR_ENTRY_BB and WS_ENTRY_BB such that WS_ENTRY_BB
     129                 :            :    is the immediate dominator of PAR_ENTRY_BB, return true if there
     130                 :            :    are no data dependencies that would prevent expanding the parallel
     131                 :            :    directive at PAR_ENTRY_BB as a combined parallel+workshare region.
     132                 :            : 
     133                 :            :    When expanding a combined parallel+workshare region, the call to
     134                 :            :    the child function may need additional arguments in the case of
     135                 :            :    GIMPLE_OMP_FOR regions.  In some cases, these arguments are
     136                 :            :    computed out of variables passed in from the parent to the child
     137                 :            :    via 'struct .omp_data_s'.  For instance:
     138                 :            : 
     139                 :            :         #pragma omp parallel for schedule (guided, i * 4)
     140                 :            :         for (j ...)
     141                 :            : 
     142                 :            :    Is lowered into:
     143                 :            : 
     144                 :            :         # BLOCK 2 (PAR_ENTRY_BB)
     145                 :            :         .omp_data_o.i = i;
     146                 :            :         #pragma omp parallel [child fn: bar.omp_fn.0 ( ..., D.1598)
     147                 :            : 
     148                 :            :         # BLOCK 3 (WS_ENTRY_BB)
     149                 :            :         .omp_data_i = &.omp_data_o;
     150                 :            :         D.1667 = .omp_data_i->i;
     151                 :            :         D.1598 = D.1667 * 4;
     152                 :            :         #pragma omp for schedule (guided, D.1598)
     153                 :            : 
     154                 :            :    When we outline the parallel region, the call to the child function
     155                 :            :    'bar.omp_fn.0' will need the value D.1598 in its argument list, but
     156                 :            :    that value is computed *after* the call site.  So, in principle we
     157                 :            :    cannot do the transformation.
     158                 :            : 
     159                 :            :    To see whether the code in WS_ENTRY_BB blocks the combined
     160                 :            :    parallel+workshare call, we collect all the variables used in the
     161                 :            :    GIMPLE_OMP_FOR header check whether they appear on the LHS of any
     162                 :            :    statement in WS_ENTRY_BB.  If so, then we cannot emit the combined
     163                 :            :    call.
     164                 :            : 
     165                 :            :    FIXME.  If we had the SSA form built at this point, we could merely
     166                 :            :    hoist the code in block 3 into block 2 and be done with it.  But at
     167                 :            :    this point we don't have dataflow information and though we could
     168                 :            :    hack something up here, it is really not worth the aggravation.  */
     169                 :            : 
     170                 :            : static bool
     171                 :       7481 : workshare_safe_to_combine_p (basic_block ws_entry_bb)
     172                 :            : {
     173                 :       7481 :   struct omp_for_data fd;
     174                 :       7481 :   gimple *ws_stmt = last_stmt (ws_entry_bb);
     175                 :            : 
     176                 :       7481 :   if (gimple_code (ws_stmt) == GIMPLE_OMP_SECTIONS)
     177                 :            :     return true;
     178                 :            : 
     179                 :       7377 :   gcc_assert (gimple_code (ws_stmt) == GIMPLE_OMP_FOR);
     180                 :       7377 :   if (gimple_omp_for_kind (ws_stmt) != GF_OMP_FOR_KIND_FOR)
     181                 :            :     return false;
     182                 :            : 
     183                 :       7359 :   omp_extract_for_data (as_a <gomp_for *> (ws_stmt), &fd, NULL);
     184                 :            : 
     185                 :       7359 :   if (fd.collapse > 1 && TREE_CODE (fd.loop.n2) != INTEGER_CST)
     186                 :            :     return false;
     187                 :       5880 :   if (fd.iter_type != long_integer_type_node)
     188                 :            :     return false;
     189                 :            : 
     190                 :            :   /* FIXME.  We give up too easily here.  If any of these arguments
     191                 :            :      are not constants, they will likely involve variables that have
     192                 :            :      been mapped into fields of .omp_data_s for sharing with the child
     193                 :            :      function.  With appropriate data flow, it would be possible to
     194                 :            :      see through this.  */
     195                 :       1497 :   if (!is_gimple_min_invariant (fd.loop.n1)
     196                 :       1282 :       || !is_gimple_min_invariant (fd.loop.n2)
     197                 :       1147 :       || !is_gimple_min_invariant (fd.loop.step)
     198                 :       2634 :       || (fd.chunk_size && !is_gimple_min_invariant (fd.chunk_size)))
     199                 :        362 :     return false;
     200                 :            : 
     201                 :            :   return true;
     202                 :            : }
     203                 :            : 
     204                 :            : /* Adjust CHUNK_SIZE from SCHEDULE clause, depending on simd modifier
     205                 :            :    presence (SIMD_SCHEDULE).  */
     206                 :            : 
     207                 :            : static tree
     208                 :       7561 : omp_adjust_chunk_size (tree chunk_size, bool simd_schedule)
     209                 :            : {
     210                 :       7561 :   if (!simd_schedule || integer_zerop (chunk_size))
     211                 :       7538 :     return chunk_size;
     212                 :            : 
     213                 :         23 :   poly_uint64 vf = omp_max_vf ();
     214                 :         23 :   if (known_eq (vf, 1U))
     215                 :            :     return chunk_size;
     216                 :            : 
     217                 :         23 :   tree type = TREE_TYPE (chunk_size);
     218                 :         23 :   chunk_size = fold_build2 (PLUS_EXPR, type, chunk_size,
     219                 :            :                             build_int_cst (type, vf - 1));
     220                 :         23 :   return fold_build2 (BIT_AND_EXPR, type, chunk_size,
     221                 :            :                       build_int_cst (type, -vf));
     222                 :            : }
     223                 :            : 
     224                 :            : /* Collect additional arguments needed to emit a combined
     225                 :            :    parallel+workshare call.  WS_STMT is the workshare directive being
     226                 :            :    expanded.  */
     227                 :            : 
     228                 :            : static vec<tree, va_gc> *
     229                 :       1184 : get_ws_args_for (gimple *par_stmt, gimple *ws_stmt)
     230                 :            : {
     231                 :       1184 :   tree t;
     232                 :       1184 :   location_t loc = gimple_location (ws_stmt);
     233                 :       1184 :   vec<tree, va_gc> *ws_args;
     234                 :            : 
     235                 :       1184 :   if (gomp_for *for_stmt = dyn_cast <gomp_for *> (ws_stmt))
     236                 :            :     {
     237                 :       1087 :       struct omp_for_data fd;
     238                 :       1087 :       tree n1, n2;
     239                 :            : 
     240                 :       1087 :       omp_extract_for_data (for_stmt, &fd, NULL);
     241                 :       1087 :       n1 = fd.loop.n1;
     242                 :       1087 :       n2 = fd.loop.n2;
     243                 :            : 
     244                 :       1087 :       if (gimple_omp_for_combined_into_p (for_stmt))
     245                 :            :         {
     246                 :        768 :           tree innerc
     247                 :        768 :             = omp_find_clause (gimple_omp_parallel_clauses (par_stmt),
     248                 :            :                                OMP_CLAUSE__LOOPTEMP_);
     249                 :        768 :           gcc_assert (innerc);
     250                 :        768 :           n1 = OMP_CLAUSE_DECL (innerc);
     251                 :        768 :           innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
     252                 :            :                                     OMP_CLAUSE__LOOPTEMP_);
     253                 :        768 :           gcc_assert (innerc);
     254                 :        768 :           n2 = OMP_CLAUSE_DECL (innerc);
     255                 :            :         }
     256                 :            : 
     257                 :       1087 :       vec_alloc (ws_args, 3 + (fd.chunk_size != 0));
     258                 :            : 
     259                 :       1087 :       t = fold_convert_loc (loc, long_integer_type_node, n1);
     260                 :       1087 :       ws_args->quick_push (t);
     261                 :            : 
     262                 :       1087 :       t = fold_convert_loc (loc, long_integer_type_node, n2);
     263                 :       1087 :       ws_args->quick_push (t);
     264                 :            : 
     265                 :       1087 :       t = fold_convert_loc (loc, long_integer_type_node, fd.loop.step);
     266                 :       1087 :       ws_args->quick_push (t);
     267                 :            : 
     268                 :       1087 :       if (fd.chunk_size)
     269                 :            :         {
     270                 :        527 :           t = fold_convert_loc (loc, long_integer_type_node, fd.chunk_size);
     271                 :        527 :           t = omp_adjust_chunk_size (t, fd.simd_schedule);
     272                 :        527 :           ws_args->quick_push (t);
     273                 :            :         }
     274                 :            : 
     275                 :       1087 :       return ws_args;
     276                 :            :     }
     277                 :         97 :   else if (gimple_code (ws_stmt) == GIMPLE_OMP_SECTIONS)
     278                 :            :     {
     279                 :            :       /* Number of sections is equal to the number of edges from the
     280                 :            :          GIMPLE_OMP_SECTIONS_SWITCH statement, except for the one to
     281                 :            :          the exit of the sections region.  */
     282                 :         97 :       basic_block bb = single_succ (gimple_bb (ws_stmt));
     283                 :        194 :       t = build_int_cst (unsigned_type_node, EDGE_COUNT (bb->succs) - 1);
     284                 :         97 :       vec_alloc (ws_args, 1);
     285                 :         97 :       ws_args->quick_push (t);
     286                 :         97 :       return ws_args;
     287                 :            :     }
     288                 :            : 
     289                 :          0 :   gcc_unreachable ();
     290                 :            : }
     291                 :            : 
     292                 :            : /* Discover whether REGION is a combined parallel+workshare region.  */
     293                 :            : 
     294                 :            : static void
     295                 :      12475 : determine_parallel_type (struct omp_region *region)
     296                 :            : {
     297                 :      12475 :   basic_block par_entry_bb, par_exit_bb;
     298                 :      12475 :   basic_block ws_entry_bb, ws_exit_bb;
     299                 :            : 
     300                 :      12475 :   if (region == NULL || region->inner == NULL
     301                 :      11401 :       || region->exit == NULL || region->inner->exit == NULL
     302                 :      11396 :       || region->inner->cont == NULL)
     303                 :            :     return;
     304                 :            : 
     305                 :            :   /* We only support parallel+for and parallel+sections.  */
     306                 :       8239 :   if (region->type != GIMPLE_OMP_PARALLEL
     307                 :       8239 :       || (region->inner->type != GIMPLE_OMP_FOR
     308                 :        178 :           && region->inner->type != GIMPLE_OMP_SECTIONS))
     309                 :            :     return;
     310                 :            : 
     311                 :            :   /* Check for perfect nesting PAR_ENTRY_BB -> WS_ENTRY_BB and
     312                 :            :      WS_EXIT_BB -> PAR_EXIT_BB.  */
     313                 :       8212 :   par_entry_bb = region->entry;
     314                 :       8212 :   par_exit_bb = region->exit;
     315                 :       8212 :   ws_entry_bb = region->inner->entry;
     316                 :       8212 :   ws_exit_bb = region->inner->exit;
     317                 :            : 
     318                 :            :   /* Give up for task reductions on the parallel, while it is implementable,
     319                 :            :      adding another big set of APIs or slowing down the normal paths is
     320                 :            :      not acceptable.  */
     321                 :       8212 :   tree pclauses = gimple_omp_parallel_clauses (last_stmt (par_entry_bb));
     322                 :       8212 :   if (omp_find_clause (pclauses, OMP_CLAUSE__REDUCTEMP_))
     323                 :            :     return;
     324                 :            : 
     325                 :       8186 :   if (single_succ (par_entry_bb) == ws_entry_bb
     326                 :       7487 :       && single_succ (ws_exit_bb) == par_exit_bb
     327                 :       7481 :       && workshare_safe_to_combine_p (ws_entry_bb)
     328                 :       9425 :       && (gimple_omp_parallel_combined_p (last_stmt (par_entry_bb))
     329                 :          7 :           || (last_and_only_stmt (ws_entry_bb)
     330                 :          2 :               && last_and_only_stmt (par_exit_bb))))
     331                 :            :     {
     332                 :       1232 :       gimple *par_stmt = last_stmt (par_entry_bb);
     333                 :       1232 :       gimple *ws_stmt = last_stmt (ws_entry_bb);
     334                 :            : 
     335                 :       1232 :       if (region->inner->type == GIMPLE_OMP_FOR)
     336                 :            :         {
     337                 :            :           /* If this is a combined parallel loop, we need to determine
     338                 :            :              whether or not to use the combined library calls.  There
     339                 :            :              are two cases where we do not apply the transformation:
     340                 :            :              static loops and any kind of ordered loop.  In the first
     341                 :            :              case, we already open code the loop so there is no need
     342                 :            :              to do anything else.  In the latter case, the combined
     343                 :            :              parallel loop call would still need extra synchronization
     344                 :            :              to implement ordered semantics, so there would not be any
     345                 :            :              gain in using the combined call.  */
     346                 :       1131 :           tree clauses = gimple_omp_for_clauses (ws_stmt);
     347                 :       1131 :           tree c = omp_find_clause (clauses, OMP_CLAUSE_SCHEDULE);
     348                 :       1131 :           if (c == NULL
     349                 :       1110 :               || ((OMP_CLAUSE_SCHEDULE_KIND (c) & OMP_CLAUSE_SCHEDULE_MASK)
     350                 :            :                   == OMP_CLAUSE_SCHEDULE_STATIC)
     351                 :       1099 :               || omp_find_clause (clauses, OMP_CLAUSE_ORDERED)
     352                 :       1087 :               || omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_)
     353                 :       2218 :               || ((c = omp_find_clause (clauses, OMP_CLAUSE__CONDTEMP_))
     354                 :          8 :                   && POINTER_TYPE_P (TREE_TYPE (OMP_CLAUSE_DECL (c)))))
     355                 :         44 :             return;
     356                 :            :         }
     357                 :        101 :       else if (region->inner->type == GIMPLE_OMP_SECTIONS
     358                 :        202 :                && (omp_find_clause (gimple_omp_sections_clauses (ws_stmt),
     359                 :            :                                     OMP_CLAUSE__REDUCTEMP_)
     360                 :        101 :                    || omp_find_clause (gimple_omp_sections_clauses (ws_stmt),
     361                 :            :                                        OMP_CLAUSE__CONDTEMP_)))
     362                 :          4 :         return;
     363                 :            : 
     364                 :       1184 :       region->is_combined_parallel = true;
     365                 :       1184 :       region->inner->is_combined_parallel = true;
     366                 :       1184 :       region->ws_args = get_ws_args_for (par_stmt, ws_stmt);
     367                 :            :     }
     368                 :            : }
     369                 :            : 
     370                 :            : /* Debugging dumps for parallel regions.  */
     371                 :            : void dump_omp_region (FILE *, struct omp_region *, int);
     372                 :            : void debug_omp_region (struct omp_region *);
     373                 :            : void debug_all_omp_regions (void);
     374                 :            : 
     375                 :            : /* Dump the parallel region tree rooted at REGION.  */
     376                 :            : 
     377                 :            : void
     378                 :        144 : dump_omp_region (FILE *file, struct omp_region *region, int indent)
     379                 :            : {
     380                 :        171 :   fprintf (file, "%*sbb %d: %s\n", indent, "", region->entry->index,
     381                 :        171 :            gimple_code_name[region->type]);
     382                 :            : 
     383                 :        171 :   if (region->inner)
     384                 :         26 :     dump_omp_region (file, region->inner, indent + 4);
     385                 :            : 
     386                 :        171 :   if (region->cont)
     387                 :            :     {
     388                 :         92 :       fprintf (file, "%*sbb %d: GIMPLE_OMP_CONTINUE\n", indent, "",
     389                 :            :                region->cont->index);
     390                 :            :     }
     391                 :            : 
     392                 :        171 :   if (region->exit)
     393                 :        171 :     fprintf (file, "%*sbb %d: GIMPLE_OMP_RETURN\n", indent, "",
     394                 :            :              region->exit->index);
     395                 :            :   else
     396                 :          0 :     fprintf (file, "%*s[no exit marker]\n", indent, "");
     397                 :            : 
     398                 :        171 :   if (region->next)
     399                 :            :     dump_omp_region (file, region->next, indent);
     400                 :        144 : }
     401                 :            : 
     402                 :            : DEBUG_FUNCTION void
     403                 :          0 : debug_omp_region (struct omp_region *region)
     404                 :            : {
     405                 :          0 :   dump_omp_region (stderr, region, 0);
     406                 :          0 : }
     407                 :            : 
     408                 :            : DEBUG_FUNCTION void
     409                 :          0 : debug_all_omp_regions (void)
     410                 :            : {
     411                 :          0 :   dump_omp_region (stderr, root_omp_region, 0);
     412                 :          0 : }
     413                 :            : 
     414                 :            : /* Create a new parallel region starting at STMT inside region PARENT.  */
     415                 :            : 
     416                 :            : static struct omp_region *
     417                 :     170168 : new_omp_region (basic_block bb, enum gimple_code type,
     418                 :            :                 struct omp_region *parent)
     419                 :            : {
     420                 :     170168 :   struct omp_region *region = XCNEW (struct omp_region);
     421                 :            : 
     422                 :     170168 :   region->outer = parent;
     423                 :     170168 :   region->entry = bb;
     424                 :     170168 :   region->type = type;
     425                 :            : 
     426                 :     170168 :   if (parent)
     427                 :            :     {
     428                 :            :       /* This is a nested region.  Add it to the list of inner
     429                 :            :          regions in PARENT.  */
     430                 :     100517 :       region->next = parent->inner;
     431                 :     100517 :       parent->inner = region;
     432                 :            :     }
     433                 :            :   else
     434                 :            :     {
     435                 :            :       /* This is a toplevel region.  Add it to the list of toplevel
     436                 :            :          regions in ROOT_OMP_REGION.  */
     437                 :      69651 :       region->next = root_omp_region;
     438                 :      69651 :       root_omp_region = region;
     439                 :            :     }
     440                 :            : 
     441                 :     170168 :   return region;
     442                 :            : }
     443                 :            : 
     444                 :            : /* Release the memory associated with the region tree rooted at REGION.  */
     445                 :            : 
     446                 :            : static void
     447                 :     170168 : free_omp_region_1 (struct omp_region *region)
     448                 :            : {
     449                 :     170168 :   struct omp_region *i, *n;
     450                 :            : 
     451                 :     270685 :   for (i = region->inner; i ; i = n)
     452                 :            :     {
     453                 :     100517 :       n = i->next;
     454                 :     100517 :       free_omp_region_1 (i);
     455                 :            :     }
     456                 :            : 
     457                 :     170168 :   free (region);
     458                 :     170168 : }
     459                 :            : 
     460                 :            : /* Release the memory for the entire omp region tree.  */
     461                 :            : 
     462                 :            : void
     463                 :    1875320 : omp_free_regions (void)
     464                 :            : {
     465                 :    1875320 :   struct omp_region *r, *n;
     466                 :    1944970 :   for (r = root_omp_region; r ; r = n)
     467                 :            :     {
     468                 :      69651 :       n = r->next;
     469                 :      69651 :       free_omp_region_1 (r);
     470                 :            :     }
     471                 :    1875320 :   root_omp_region = NULL;
     472                 :    1875320 : }
     473                 :            : 
     474                 :            : /* A convenience function to build an empty GIMPLE_COND with just the
     475                 :            :    condition.  */
     476                 :            : 
     477                 :            : static gcond *
     478                 :      82737 : gimple_build_cond_empty (tree cond)
     479                 :            : {
     480                 :      82737 :   enum tree_code pred_code;
     481                 :      82737 :   tree lhs, rhs;
     482                 :            : 
     483                 :      82737 :   gimple_cond_get_ops_from_tree (cond, &pred_code, &lhs, &rhs);
     484                 :      82737 :   return gimple_build_cond (pred_code, lhs, rhs, NULL_TREE, NULL_TREE);
     485                 :            : }
     486                 :            : 
     487                 :            : /* Return true if a parallel REGION is within a declare target function or
     488                 :            :    within a target region and is not a part of a gridified target.  */
     489                 :            : 
     490                 :            : static bool
     491                 :          0 : parallel_needs_hsa_kernel_p (struct omp_region *region)
     492                 :            : {
     493                 :          0 :   bool indirect = false;
     494                 :          0 :   for (region = region->outer; region; region = region->outer)
     495                 :            :     {
     496                 :          0 :       if (region->type == GIMPLE_OMP_PARALLEL)
     497                 :            :         indirect = true;
     498                 :          0 :       else if (region->type == GIMPLE_OMP_TARGET)
     499                 :            :         {
     500                 :          0 :           gomp_target *tgt_stmt
     501                 :          0 :             = as_a <gomp_target *> (last_stmt (region->entry));
     502                 :            : 
     503                 :          0 :           if (omp_find_clause (gimple_omp_target_clauses (tgt_stmt),
     504                 :            :                                OMP_CLAUSE__GRIDDIM_))
     505                 :            :             return indirect;
     506                 :            :           else
     507                 :          0 :             return true;
     508                 :            :         }
     509                 :            :     }
     510                 :            : 
     511                 :          0 :   if (lookup_attribute ("omp declare target",
     512                 :          0 :                         DECL_ATTRIBUTES (current_function_decl)))
     513                 :          0 :     return true;
     514                 :            : 
     515                 :            :   return false;
     516                 :            : }
     517                 :            : 
     518                 :            : /* Change DECL_CONTEXT of CHILD_FNDECL to that of the parent function.
     519                 :            :    Add CHILD_FNDECL to decl chain of the supercontext of the block
     520                 :            :    ENTRY_BLOCK - this is the block which originally contained the
     521                 :            :    code from which CHILD_FNDECL was created.
     522                 :            :    
     523                 :            :    Together, these actions ensure that the debug info for the outlined
     524                 :            :    function will be emitted with the correct lexical scope.  */
     525                 :            : 
     526                 :            : static void
     527                 :      28215 : adjust_context_and_scope (struct omp_region *region, tree entry_block,
     528                 :            :                           tree child_fndecl)
     529                 :            : {
     530                 :      28215 :   tree parent_fndecl = NULL_TREE;
     531                 :      28215 :   gimple *entry_stmt;
     532                 :            :   /* OMP expansion expands inner regions before outer ones, so if
     533                 :            :      we e.g. have explicit task region nested in parallel region, when
     534                 :            :      expanding the task region current_function_decl will be the original
     535                 :            :      source function, but we actually want to use as context the child
     536                 :            :      function of the parallel.  */
     537                 :      28215 :   for (region = region->outer;
     538                 :      45622 :        region && parent_fndecl == NULL_TREE; region = region->outer)
     539                 :      17407 :     switch (region->type)
     540                 :            :       {
     541                 :       4842 :       case GIMPLE_OMP_PARALLEL:
     542                 :       4842 :       case GIMPLE_OMP_TASK:
     543                 :       4842 :       case GIMPLE_OMP_TEAMS:
     544                 :       4842 :         entry_stmt = last_stmt (region->entry);
     545                 :       4842 :         parent_fndecl = gimple_omp_taskreg_child_fn (entry_stmt);
     546                 :       4842 :         break;
     547                 :       5193 :       case GIMPLE_OMP_TARGET:
     548                 :       5193 :         entry_stmt = last_stmt (region->entry);
     549                 :       5193 :         parent_fndecl
     550                 :       5193 :           = gimple_omp_target_child_fn (as_a <gomp_target *> (entry_stmt));
     551                 :       5193 :         break;
     552                 :            :       default:
     553                 :            :         break;
     554                 :            :       }
     555                 :            : 
     556                 :      28215 :   if (parent_fndecl == NULL_TREE)
     557                 :      22462 :     parent_fndecl = current_function_decl;
     558                 :      28215 :   DECL_CONTEXT (child_fndecl) = parent_fndecl;
     559                 :            : 
     560                 :      28215 :   if (entry_block != NULL_TREE && TREE_CODE (entry_block) == BLOCK)
     561                 :            :     {
     562                 :      28185 :       tree b = BLOCK_SUPERCONTEXT (entry_block);
     563                 :      28185 :       if (TREE_CODE (b) == BLOCK)
     564                 :            :         {
     565                 :      28063 :           DECL_CHAIN (child_fndecl) = BLOCK_VARS (b);
     566                 :      28063 :           BLOCK_VARS (b) = child_fndecl;
     567                 :            :         }
     568                 :            :     }
     569                 :      28215 : }
     570                 :            : 
     571                 :            : /* Build the function calls to GOMP_parallel etc to actually
     572                 :            :    generate the parallel operation.  REGION is the parallel region
     573                 :            :    being expanded.  BB is the block where to insert the code.  WS_ARGS
     574                 :            :    will be set if this is a call to a combined parallel+workshare
     575                 :            :    construct, it contains the list of additional arguments needed by
     576                 :            :    the workshare construct.  */
     577                 :            : 
     578                 :            : static void
     579                 :      12475 : expand_parallel_call (struct omp_region *region, basic_block bb,
     580                 :            :                       gomp_parallel *entry_stmt,
     581                 :            :                       vec<tree, va_gc> *ws_args)
     582                 :            : {
     583                 :      12475 :   tree t, t1, t2, val, cond, c, clauses, flags;
     584                 :      12475 :   gimple_stmt_iterator gsi;
     585                 :      12475 :   gimple *stmt;
     586                 :      12475 :   enum built_in_function start_ix;
     587                 :      12475 :   int start_ix2;
     588                 :      12475 :   location_t clause_loc;
     589                 :      12475 :   vec<tree, va_gc> *args;
     590                 :            : 
     591                 :      12475 :   clauses = gimple_omp_parallel_clauses (entry_stmt);
     592                 :            : 
     593                 :            :   /* Determine what flavor of GOMP_parallel we will be
     594                 :            :      emitting.  */
     595                 :      12475 :   start_ix = BUILT_IN_GOMP_PARALLEL;
     596                 :      12475 :   tree rtmp = omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_);
     597                 :      12475 :   if (rtmp)
     598                 :            :     start_ix = BUILT_IN_GOMP_PARALLEL_REDUCTIONS;
     599                 :      12430 :   else if (is_combined_parallel (region))
     600                 :            :     {
     601                 :       1184 :       switch (region->inner->type)
     602                 :            :         {
     603                 :       1087 :         case GIMPLE_OMP_FOR:
     604                 :       1087 :           gcc_assert (region->inner->sched_kind != OMP_CLAUSE_SCHEDULE_AUTO);
     605                 :       1087 :           switch (region->inner->sched_kind)
     606                 :            :             {
     607                 :        560 :             case OMP_CLAUSE_SCHEDULE_RUNTIME:
     608                 :            :               /* For lastprivate(conditional:), our implementation
     609                 :            :                  requires monotonic behavior.  */
     610                 :        560 :               if (region->inner->has_lastprivate_conditional != 0)
     611                 :            :                 start_ix2 = 3;
     612                 :        558 :               else if ((region->inner->sched_modifiers
     613                 :            :                        & OMP_CLAUSE_SCHEDULE_NONMONOTONIC) != 0)
     614                 :            :                 start_ix2 = 6;
     615                 :        541 :               else if ((region->inner->sched_modifiers
     616                 :            :                         & OMP_CLAUSE_SCHEDULE_MONOTONIC) == 0)
     617                 :            :                 start_ix2 = 7;
     618                 :            :               else
     619                 :         17 :                 start_ix2 = 3;
     620                 :            :               break;
     621                 :        527 :             case OMP_CLAUSE_SCHEDULE_DYNAMIC:
     622                 :        527 :             case OMP_CLAUSE_SCHEDULE_GUIDED:
     623                 :        527 :               if ((region->inner->sched_modifiers
     624                 :            :                    & OMP_CLAUSE_SCHEDULE_MONOTONIC) == 0
     625                 :        523 :                   && !region->inner->has_lastprivate_conditional)
     626                 :            :                 {
     627                 :        517 :                   start_ix2 = 3 + region->inner->sched_kind;
     628                 :        517 :                   break;
     629                 :            :                 }
     630                 :            :               /* FALLTHRU */
     631                 :            :             default:
     632                 :            :               start_ix2 = region->inner->sched_kind;
     633                 :            :               break;
     634                 :            :             }
     635                 :       1087 :           start_ix2 += (int) BUILT_IN_GOMP_PARALLEL_LOOP_STATIC;
     636                 :       1087 :           start_ix = (enum built_in_function) start_ix2;
     637                 :       1087 :           break;
     638                 :            :         case GIMPLE_OMP_SECTIONS:
     639                 :            :           start_ix = BUILT_IN_GOMP_PARALLEL_SECTIONS;
     640                 :            :           break;
     641                 :          0 :         default:
     642                 :          0 :           gcc_unreachable ();
     643                 :            :         }
     644                 :            :     }
     645                 :            : 
     646                 :            :   /* By default, the value of NUM_THREADS is zero (selected at run time)
     647                 :            :      and there is no conditional.  */
     648                 :      12475 :   cond = NULL_TREE;
     649                 :      12475 :   val = build_int_cst (unsigned_type_node, 0);
     650                 :      12475 :   flags = build_int_cst (unsigned_type_node, 0);
     651                 :            : 
     652                 :      12475 :   c = omp_find_clause (clauses, OMP_CLAUSE_IF);
     653                 :      12475 :   if (c)
     654                 :        402 :     cond = OMP_CLAUSE_IF_EXPR (c);
     655                 :            : 
     656                 :      12475 :   c = omp_find_clause (clauses, OMP_CLAUSE_NUM_THREADS);
     657                 :      12475 :   if (c)
     658                 :            :     {
     659                 :       1657 :       val = OMP_CLAUSE_NUM_THREADS_EXPR (c);
     660                 :       1657 :       clause_loc = OMP_CLAUSE_LOCATION (c);
     661                 :            :     }
     662                 :            :   else
     663                 :      10818 :     clause_loc = gimple_location (entry_stmt);
     664                 :            : 
     665                 :      12475 :   c = omp_find_clause (clauses, OMP_CLAUSE_PROC_BIND);
     666                 :      12475 :   if (c)
     667                 :        285 :     flags = build_int_cst (unsigned_type_node, OMP_CLAUSE_PROC_BIND_KIND (c));
     668                 :            : 
     669                 :            :   /* Ensure 'val' is of the correct type.  */
     670                 :      12475 :   val = fold_convert_loc (clause_loc, unsigned_type_node, val);
     671                 :            : 
     672                 :            :   /* If we found the clause 'if (cond)', build either
     673                 :            :      (cond != 0) or (cond ? val : 1u).  */
     674                 :      12475 :   if (cond)
     675                 :            :     {
     676                 :        402 :       cond = gimple_boolify (cond);
     677                 :            : 
     678                 :        402 :       if (integer_zerop (val))
     679                 :         98 :         val = fold_build2_loc (clause_loc,
     680                 :            :                            EQ_EXPR, unsigned_type_node, cond,
     681                 :         98 :                            build_int_cst (TREE_TYPE (cond), 0));
     682                 :            :       else
     683                 :            :         {
     684                 :        304 :           basic_block cond_bb, then_bb, else_bb;
     685                 :        304 :           edge e, e_then, e_else;
     686                 :        304 :           tree tmp_then, tmp_else, tmp_join, tmp_var;
     687                 :            : 
     688                 :        304 :           tmp_var = create_tmp_var (TREE_TYPE (val));
     689                 :        304 :           if (gimple_in_ssa_p (cfun))
     690                 :            :             {
     691                 :          0 :               tmp_then = make_ssa_name (tmp_var);
     692                 :          0 :               tmp_else = make_ssa_name (tmp_var);
     693                 :          0 :               tmp_join = make_ssa_name (tmp_var);
     694                 :            :             }
     695                 :            :           else
     696                 :            :             {
     697                 :            :               tmp_then = tmp_var;
     698                 :            :               tmp_else = tmp_var;
     699                 :            :               tmp_join = tmp_var;
     700                 :            :             }
     701                 :            : 
     702                 :        304 :           e = split_block_after_labels (bb);
     703                 :        304 :           cond_bb = e->src;
     704                 :        304 :           bb = e->dest;
     705                 :        304 :           remove_edge (e);
     706                 :            : 
     707                 :        304 :           then_bb = create_empty_bb (cond_bb);
     708                 :        304 :           else_bb = create_empty_bb (then_bb);
     709                 :        304 :           set_immediate_dominator (CDI_DOMINATORS, then_bb, cond_bb);
     710                 :        304 :           set_immediate_dominator (CDI_DOMINATORS, else_bb, cond_bb);
     711                 :            : 
     712                 :        304 :           stmt = gimple_build_cond_empty (cond);
     713                 :        304 :           gsi = gsi_start_bb (cond_bb);
     714                 :        304 :           gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
     715                 :            : 
     716                 :        304 :           gsi = gsi_start_bb (then_bb);
     717                 :        304 :           expand_omp_build_assign (&gsi, tmp_then, val, true);
     718                 :            : 
     719                 :        304 :           gsi = gsi_start_bb (else_bb);
     720                 :        304 :           expand_omp_build_assign (&gsi, tmp_else,
     721                 :        304 :                                    build_int_cst (unsigned_type_node, 1),
     722                 :            :                                    true);
     723                 :            : 
     724                 :        304 :           make_edge (cond_bb, then_bb, EDGE_TRUE_VALUE);
     725                 :        304 :           make_edge (cond_bb, else_bb, EDGE_FALSE_VALUE);
     726                 :        304 :           add_bb_to_loop (then_bb, cond_bb->loop_father);
     727                 :        304 :           add_bb_to_loop (else_bb, cond_bb->loop_father);
     728                 :        304 :           e_then = make_edge (then_bb, bb, EDGE_FALLTHRU);
     729                 :        304 :           e_else = make_edge (else_bb, bb, EDGE_FALLTHRU);
     730                 :            : 
     731                 :        304 :           if (gimple_in_ssa_p (cfun))
     732                 :            :             {
     733                 :          0 :               gphi *phi = create_phi_node (tmp_join, bb);
     734                 :          0 :               add_phi_arg (phi, tmp_then, e_then, UNKNOWN_LOCATION);
     735                 :          0 :               add_phi_arg (phi, tmp_else, e_else, UNKNOWN_LOCATION);
     736                 :            :             }
     737                 :            : 
     738                 :            :           val = tmp_join;
     739                 :            :         }
     740                 :            : 
     741                 :        402 :       gsi = gsi_start_bb (bb);
     742                 :        402 :       val = force_gimple_operand_gsi (&gsi, val, true, NULL_TREE,
     743                 :            :                                       false, GSI_CONTINUE_LINKING);
     744                 :            :     }
     745                 :            : 
     746                 :      12475 :   gsi = gsi_last_nondebug_bb (bb);
     747                 :      12475 :   t = gimple_omp_parallel_data_arg (entry_stmt);
     748                 :      12475 :   if (t == NULL)
     749                 :       1884 :     t1 = null_pointer_node;
     750                 :            :   else
     751                 :      10591 :     t1 = build_fold_addr_expr (t);
     752                 :      12475 :   tree child_fndecl = gimple_omp_parallel_child_fn (entry_stmt);
     753                 :      12475 :   t2 = build_fold_addr_expr (child_fndecl);
     754                 :            : 
     755                 :      13659 :   vec_alloc (args, 4 + vec_safe_length (ws_args));
     756                 :      12475 :   args->quick_push (t2);
     757                 :      12475 :   args->quick_push (t1);
     758                 :      12475 :   args->quick_push (val);
     759                 :      12475 :   if (ws_args)
     760                 :       1184 :     args->splice (*ws_args);
     761                 :      12475 :   args->quick_push (flags);
     762                 :            : 
     763                 :      12475 :   t = build_call_expr_loc_vec (UNKNOWN_LOCATION,
     764                 :            :                                builtin_decl_explicit (start_ix), args);
     765                 :            : 
     766                 :      12475 :   if (rtmp)
     767                 :            :     {
     768                 :         45 :       tree type = TREE_TYPE (OMP_CLAUSE_DECL (rtmp));
     769                 :         45 :       t = build2 (MODIFY_EXPR, type, OMP_CLAUSE_DECL (rtmp),
     770                 :            :                   fold_convert (type,
     771                 :            :                                 fold_convert (pointer_sized_int_node, t)));
     772                 :            :     }
     773                 :      12475 :   force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
     774                 :            :                             false, GSI_CONTINUE_LINKING);
     775                 :            : 
     776                 :      12475 :   if (hsa_gen_requested_p ()
     777                 :            :       && parallel_needs_hsa_kernel_p (region))
     778                 :            :     {
     779                 :            :       cgraph_node *child_cnode = cgraph_node::get (child_fndecl);
     780                 :            :       hsa_register_kernel (child_cnode);
     781                 :            :     }
     782                 :      12475 : }
     783                 :            : 
     784                 :            : /* Build the function call to GOMP_task to actually
     785                 :            :    generate the task operation.  BB is the block where to insert the code.  */
     786                 :            : 
     787                 :            : static void
     788                 :       2062 : expand_task_call (struct omp_region *region, basic_block bb,
     789                 :            :                   gomp_task *entry_stmt)
     790                 :            : {
     791                 :       2062 :   tree t1, t2, t3;
     792                 :       2062 :   gimple_stmt_iterator gsi;
     793                 :       2062 :   location_t loc = gimple_location (entry_stmt);
     794                 :            : 
     795                 :       2062 :   tree clauses = gimple_omp_task_clauses (entry_stmt);
     796                 :            : 
     797                 :       2062 :   tree ifc = omp_find_clause (clauses, OMP_CLAUSE_IF);
     798                 :       2062 :   tree untied = omp_find_clause (clauses, OMP_CLAUSE_UNTIED);
     799                 :       2062 :   tree mergeable = omp_find_clause (clauses, OMP_CLAUSE_MERGEABLE);
     800                 :       2062 :   tree depend = omp_find_clause (clauses, OMP_CLAUSE_DEPEND);
     801                 :       2062 :   tree finalc = omp_find_clause (clauses, OMP_CLAUSE_FINAL);
     802                 :       2062 :   tree priority = omp_find_clause (clauses, OMP_CLAUSE_PRIORITY);
     803                 :            : 
     804                 :       4124 :   unsigned int iflags
     805                 :       2062 :     = (untied ? GOMP_TASK_FLAG_UNTIED : 0)
     806                 :       2062 :       | (mergeable ? GOMP_TASK_FLAG_MERGEABLE : 0)
     807                 :       2062 :       | (depend ? GOMP_TASK_FLAG_DEPEND : 0);
     808                 :            : 
     809                 :       2062 :   bool taskloop_p = gimple_omp_task_taskloop_p (entry_stmt);
     810                 :       2062 :   tree startvar = NULL_TREE, endvar = NULL_TREE, step = NULL_TREE;
     811                 :       2062 :   tree num_tasks = NULL_TREE;
     812                 :       2062 :   bool ull = false;
     813                 :       2062 :   if (taskloop_p)
     814                 :            :     {
     815                 :        590 :       gimple *g = last_stmt (region->outer->entry);
     816                 :        590 :       gcc_assert (gimple_code (g) == GIMPLE_OMP_FOR
     817                 :            :                   && gimple_omp_for_kind (g) == GF_OMP_FOR_KIND_TASKLOOP);
     818                 :        590 :       struct omp_for_data fd;
     819                 :        590 :       omp_extract_for_data (as_a <gomp_for *> (g), &fd, NULL);
     820                 :        590 :       startvar = omp_find_clause (clauses, OMP_CLAUSE__LOOPTEMP_);
     821                 :        590 :       endvar = omp_find_clause (OMP_CLAUSE_CHAIN (startvar),
     822                 :            :                                 OMP_CLAUSE__LOOPTEMP_);
     823                 :        590 :       startvar = OMP_CLAUSE_DECL (startvar);
     824                 :        590 :       endvar = OMP_CLAUSE_DECL (endvar);
     825                 :        590 :       step = fold_convert_loc (loc, fd.iter_type, fd.loop.step);
     826                 :        590 :       if (fd.loop.cond_code == LT_EXPR)
     827                 :        538 :         iflags |= GOMP_TASK_FLAG_UP;
     828                 :        590 :       tree tclauses = gimple_omp_for_clauses (g);
     829                 :        590 :       num_tasks = omp_find_clause (tclauses, OMP_CLAUSE_NUM_TASKS);
     830                 :        590 :       if (num_tasks)
     831                 :         33 :         num_tasks = OMP_CLAUSE_NUM_TASKS_EXPR (num_tasks);
     832                 :            :       else
     833                 :            :         {
     834                 :        557 :           num_tasks = omp_find_clause (tclauses, OMP_CLAUSE_GRAINSIZE);
     835                 :        557 :           if (num_tasks)
     836                 :            :             {
     837                 :         47 :               iflags |= GOMP_TASK_FLAG_GRAINSIZE;
     838                 :         47 :               num_tasks = OMP_CLAUSE_GRAINSIZE_EXPR (num_tasks);
     839                 :            :             }
     840                 :            :           else
     841                 :        510 :             num_tasks = integer_zero_node;
     842                 :            :         }
     843                 :        590 :       num_tasks = fold_convert_loc (loc, long_integer_type_node, num_tasks);
     844                 :        590 :       if (ifc == NULL_TREE)
     845                 :        510 :         iflags |= GOMP_TASK_FLAG_IF;
     846                 :        590 :       if (omp_find_clause (tclauses, OMP_CLAUSE_NOGROUP))
     847                 :         42 :         iflags |= GOMP_TASK_FLAG_NOGROUP;
     848                 :        590 :       ull = fd.iter_type == long_long_unsigned_type_node;
     849                 :        590 :       if (omp_find_clause (clauses, OMP_CLAUSE_REDUCTION))
     850                 :        121 :         iflags |= GOMP_TASK_FLAG_REDUCTION;
     851                 :            :     }
     852                 :       1472 :   else if (priority)
     853                 :         12 :     iflags |= GOMP_TASK_FLAG_PRIORITY;
     854                 :            : 
     855                 :       2062 :   tree flags = build_int_cst (unsigned_type_node, iflags);
     856                 :            : 
     857                 :       2062 :   tree cond = boolean_true_node;
     858                 :       2062 :   if (ifc)
     859                 :            :     {
     860                 :        152 :       if (taskloop_p)
     861                 :            :         {
     862                 :         80 :           tree t = gimple_boolify (OMP_CLAUSE_IF_EXPR (ifc));
     863                 :         80 :           t = fold_build3_loc (loc, COND_EXPR, unsigned_type_node, t,
     864                 :            :                                build_int_cst (unsigned_type_node,
     865                 :         80 :                                               GOMP_TASK_FLAG_IF),
     866                 :         80 :                                build_int_cst (unsigned_type_node, 0));
     867                 :         80 :           flags = fold_build2_loc (loc, PLUS_EXPR, unsigned_type_node,
     868                 :            :                                    flags, t);
     869                 :            :         }
     870                 :            :       else
     871                 :         72 :         cond = gimple_boolify (OMP_CLAUSE_IF_EXPR (ifc));
     872                 :            :     }
     873                 :            : 
     874                 :       2062 :   if (finalc)
     875                 :            :     {
     876                 :         85 :       tree t = gimple_boolify (OMP_CLAUSE_FINAL_EXPR (finalc));
     877                 :         85 :       t = fold_build3_loc (loc, COND_EXPR, unsigned_type_node, t,
     878                 :            :                            build_int_cst (unsigned_type_node,
     879                 :         85 :                                           GOMP_TASK_FLAG_FINAL),
     880                 :         85 :                            build_int_cst (unsigned_type_node, 0));
     881                 :         85 :       flags = fold_build2_loc (loc, PLUS_EXPR, unsigned_type_node, flags, t);
     882                 :            :     }
     883                 :       2062 :   if (depend)
     884                 :        763 :     depend = OMP_CLAUSE_DECL (depend);
     885                 :            :   else
     886                 :       1299 :     depend = build_int_cst (ptr_type_node, 0);
     887                 :       2062 :   if (priority)
     888                 :         77 :     priority = fold_convert (integer_type_node,
     889                 :            :                              OMP_CLAUSE_PRIORITY_EXPR (priority));
     890                 :            :   else
     891                 :       1985 :     priority = integer_zero_node;
     892                 :            : 
     893                 :       2062 :   gsi = gsi_last_nondebug_bb (bb);
     894                 :       2062 :   tree t = gimple_omp_task_data_arg (entry_stmt);
     895                 :       2062 :   if (t == NULL)
     896                 :        323 :     t2 = null_pointer_node;
     897                 :            :   else
     898                 :       1739 :     t2 = build_fold_addr_expr_loc (loc, t);
     899                 :       2062 :   t1 = build_fold_addr_expr_loc (loc, gimple_omp_task_child_fn (entry_stmt));
     900                 :       2062 :   t = gimple_omp_task_copy_fn (entry_stmt);
     901                 :       2062 :   if (t == NULL)
     902                 :       1815 :     t3 = null_pointer_node;
     903                 :            :   else
     904                 :        247 :     t3 = build_fold_addr_expr_loc (loc, t);
     905                 :            : 
     906                 :       2062 :   if (taskloop_p)
     907                 :       1180 :     t = build_call_expr (ull
     908                 :         44 :                          ? builtin_decl_explicit (BUILT_IN_GOMP_TASKLOOP_ULL)
     909                 :        546 :                          : builtin_decl_explicit (BUILT_IN_GOMP_TASKLOOP),
     910                 :            :                          11, t1, t2, t3,
     911                 :            :                          gimple_omp_task_arg_size (entry_stmt),
     912                 :            :                          gimple_omp_task_arg_align (entry_stmt), flags,
     913                 :            :                          num_tasks, priority, startvar, endvar, step);
     914                 :            :   else
     915                 :       1472 :     t = build_call_expr (builtin_decl_explicit (BUILT_IN_GOMP_TASK),
     916                 :            :                          9, t1, t2, t3,
     917                 :            :                          gimple_omp_task_arg_size (entry_stmt),
     918                 :            :                          gimple_omp_task_arg_align (entry_stmt), cond, flags,
     919                 :            :                          depend, priority);
     920                 :            : 
     921                 :       2062 :   force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
     922                 :            :                             false, GSI_CONTINUE_LINKING);
     923                 :       2062 : }
     924                 :            : 
     925                 :            : /* Build the function call to GOMP_taskwait_depend to actually
     926                 :            :    generate the taskwait operation.  BB is the block where to insert the
     927                 :            :    code.  */
     928                 :            : 
     929                 :            : static void
     930                 :          7 : expand_taskwait_call (basic_block bb, gomp_task *entry_stmt)
     931                 :            : {
     932                 :          7 :   tree clauses = gimple_omp_task_clauses (entry_stmt);
     933                 :          7 :   tree depend = omp_find_clause (clauses, OMP_CLAUSE_DEPEND);
     934                 :          7 :   if (depend == NULL_TREE)
     935                 :          0 :     return;
     936                 :            : 
     937                 :          7 :   depend = OMP_CLAUSE_DECL (depend);
     938                 :            : 
     939                 :          7 :   gimple_stmt_iterator gsi = gsi_last_nondebug_bb (bb);
     940                 :          7 :   tree t
     941                 :          7 :     = build_call_expr (builtin_decl_explicit (BUILT_IN_GOMP_TASKWAIT_DEPEND),
     942                 :            :                        1, depend);
     943                 :            : 
     944                 :          7 :   force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
     945                 :            :                             false, GSI_CONTINUE_LINKING);
     946                 :            : }
     947                 :            : 
     948                 :            : /* Build the function call to GOMP_teams_reg to actually
     949                 :            :    generate the host teams operation.  REGION is the teams region
     950                 :            :    being expanded.  BB is the block where to insert the code.  */
     951                 :            : 
     952                 :            : static void
     953                 :        940 : expand_teams_call (basic_block bb, gomp_teams *entry_stmt)
     954                 :            : {
     955                 :        940 :   tree clauses = gimple_omp_teams_clauses (entry_stmt);
     956                 :        940 :   tree num_teams = omp_find_clause (clauses, OMP_CLAUSE_NUM_TEAMS);
     957                 :        940 :   if (num_teams == NULL_TREE)
     958                 :        905 :     num_teams = build_int_cst (unsigned_type_node, 0);
     959                 :            :   else
     960                 :            :     {
     961                 :         35 :       num_teams = OMP_CLAUSE_NUM_TEAMS_EXPR (num_teams);
     962                 :         35 :       num_teams = fold_convert (unsigned_type_node, num_teams);
     963                 :            :     }
     964                 :        940 :   tree thread_limit = omp_find_clause (clauses, OMP_CLAUSE_THREAD_LIMIT);
     965                 :        940 :   if (thread_limit == NULL_TREE)
     966                 :        911 :     thread_limit = build_int_cst (unsigned_type_node, 0);
     967                 :            :   else
     968                 :            :     {
     969                 :         29 :       thread_limit = OMP_CLAUSE_THREAD_LIMIT_EXPR (thread_limit);
     970                 :         29 :       thread_limit = fold_convert (unsigned_type_node, thread_limit);
     971                 :            :     }
     972                 :            : 
     973                 :        940 :   gimple_stmt_iterator gsi = gsi_last_nondebug_bb (bb);
     974                 :        940 :   tree t = gimple_omp_teams_data_arg (entry_stmt), t1;
     975                 :        940 :   if (t == NULL)
     976                 :        332 :     t1 = null_pointer_node;
     977                 :            :   else
     978                 :        608 :     t1 = build_fold_addr_expr (t);
     979                 :        940 :   tree child_fndecl = gimple_omp_teams_child_fn (entry_stmt);
     980                 :        940 :   tree t2 = build_fold_addr_expr (child_fndecl);
     981                 :            : 
     982                 :        940 :   vec<tree, va_gc> *args;
     983                 :        940 :   vec_alloc (args, 5);
     984                 :        940 :   args->quick_push (t2);
     985                 :        940 :   args->quick_push (t1);
     986                 :        940 :   args->quick_push (num_teams);
     987                 :        940 :   args->quick_push (thread_limit);
     988                 :            :   /* For future extensibility.  */
     989                 :        940 :   args->quick_push (build_zero_cst (unsigned_type_node));
     990                 :            : 
     991                 :        940 :   t = build_call_expr_loc_vec (UNKNOWN_LOCATION,
     992                 :            :                                builtin_decl_explicit (BUILT_IN_GOMP_TEAMS_REG),
     993                 :            :                                args);
     994                 :            : 
     995                 :        940 :   force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
     996                 :            :                             false, GSI_CONTINUE_LINKING);
     997                 :        940 : }
     998                 :            : 
     999                 :            : /* Chain all the DECLs in LIST by their TREE_CHAIN fields.  */
    1000                 :            : 
    1001                 :            : static tree
    1002                 :      28215 : vec2chain (vec<tree, va_gc> *v)
    1003                 :            : {
    1004                 :      28215 :   tree chain = NULL_TREE, t;
    1005                 :      28215 :   unsigned ix;
    1006                 :            : 
    1007                 :     323914 :   FOR_EACH_VEC_SAFE_ELT_REVERSE (v, ix, t)
    1008                 :            :     {
    1009                 :     269688 :       DECL_CHAIN (t) = chain;
    1010                 :     269688 :       chain = t;
    1011                 :            :     }
    1012                 :            : 
    1013                 :      28215 :   return chain;
    1014                 :            : }
    1015                 :            : 
    1016                 :            : /* Remove barriers in REGION->EXIT's block.  Note that this is only
    1017                 :            :    valid for GIMPLE_OMP_PARALLEL regions.  Since the end of a parallel region
    1018                 :            :    is an implicit barrier, any workshare inside the GIMPLE_OMP_PARALLEL that
    1019                 :            :    left a barrier at the end of the GIMPLE_OMP_PARALLEL region can now be
    1020                 :            :    removed.  */
    1021                 :            : 
    1022                 :            : static void
    1023                 :      10384 : remove_exit_barrier (struct omp_region *region)
    1024                 :            : {
    1025                 :      10384 :   gimple_stmt_iterator gsi;
    1026                 :      10384 :   basic_block exit_bb;
    1027                 :      10384 :   edge_iterator ei;
    1028                 :      10384 :   edge e;
    1029                 :      10384 :   gimple *stmt;
    1030                 :      10384 :   int any_addressable_vars = -1;
    1031                 :            : 
    1032                 :      10384 :   exit_bb = region->exit;
    1033                 :            : 
    1034                 :            :   /* If the parallel region doesn't return, we don't have REGION->EXIT
    1035                 :            :      block at all.  */
    1036                 :      10384 :   if (! exit_bb)
    1037                 :       1027 :     return;
    1038                 :            : 
    1039                 :            :   /* The last insn in the block will be the parallel's GIMPLE_OMP_RETURN.  The
    1040                 :            :      workshare's GIMPLE_OMP_RETURN will be in a preceding block.  The kinds of
    1041                 :            :      statements that can appear in between are extremely limited -- no
    1042                 :            :      memory operations at all.  Here, we allow nothing at all, so the
    1043                 :            :      only thing we allow to precede this GIMPLE_OMP_RETURN is a label.  */
    1044                 :      10360 :   gsi = gsi_last_nondebug_bb (exit_bb);
    1045                 :      10360 :   gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_RETURN);
    1046                 :      10360 :   gsi_prev_nondebug (&gsi);
    1047                 :      10360 :   if (!gsi_end_p (gsi) && gimple_code (gsi_stmt (gsi)) != GIMPLE_LABEL)
    1048                 :            :     return;
    1049                 :            : 
    1050                 :      18995 :   FOR_EACH_EDGE (e, ei, exit_bb->preds)
    1051                 :            :     {
    1052                 :       9638 :       gsi = gsi_last_nondebug_bb (e->src);
    1053                 :       9638 :       if (gsi_end_p (gsi))
    1054                 :          0 :         continue;
    1055                 :       9638 :       stmt = gsi_stmt (gsi);
    1056                 :       9638 :       if (gimple_code (stmt) == GIMPLE_OMP_RETURN
    1057                 :       9638 :           && !gimple_omp_return_nowait_p (stmt))
    1058                 :            :         {
    1059                 :            :           /* OpenMP 3.0 tasks unfortunately prevent this optimization
    1060                 :            :              in many cases.  If there could be tasks queued, the barrier
    1061                 :            :              might be needed to let the tasks run before some local
    1062                 :            :              variable of the parallel that the task uses as shared
    1063                 :            :              runs out of scope.  The task can be spawned either
    1064                 :            :              from within current function (this would be easy to check)
    1065                 :            :              or from some function it calls and gets passed an address
    1066                 :            :              of such a variable.  */
    1067                 :        760 :           if (any_addressable_vars < 0)
    1068                 :            :             {
    1069                 :        760 :               gomp_parallel *parallel_stmt
    1070                 :        760 :                 = as_a <gomp_parallel *> (last_stmt (region->entry));
    1071                 :        760 :               tree child_fun = gimple_omp_parallel_child_fn (parallel_stmt);
    1072                 :        760 :               tree local_decls, block, decl;
    1073                 :        760 :               unsigned ix;
    1074                 :            : 
    1075                 :        760 :               any_addressable_vars = 0;
    1076                 :       6485 :               FOR_EACH_LOCAL_DECL (DECL_STRUCT_FUNCTION (child_fun), ix, decl)
    1077                 :       5403 :                 if (TREE_ADDRESSABLE (decl))
    1078                 :            :                   {
    1079                 :            :                     any_addressable_vars = 1;
    1080                 :            :                     break;
    1081                 :            :                   }
    1082                 :       1390 :               for (block = gimple_block (stmt);
    1083                 :       1390 :                    !any_addressable_vars
    1084                 :       1390 :                    && block
    1085                 :       1390 :                    && TREE_CODE (block) == BLOCK;
    1086                 :        630 :                    block = BLOCK_SUPERCONTEXT (block))
    1087                 :            :                 {
    1088                 :       2484 :                   for (local_decls = BLOCK_VARS (block);
    1089                 :       2484 :                        local_decls;
    1090                 :       1527 :                        local_decls = DECL_CHAIN (local_decls))
    1091                 :       1579 :                     if (TREE_ADDRESSABLE (local_decls))
    1092                 :            :                       {
    1093                 :            :                         any_addressable_vars = 1;
    1094                 :            :                         break;
    1095                 :            :                       }
    1096                 :       1914 :                   if (block == gimple_block (parallel_stmt))
    1097                 :            :                     break;
    1098                 :            :                 }
    1099                 :            :             }
    1100                 :        760 :           if (!any_addressable_vars)
    1101                 :        327 :             gimple_omp_return_set_nowait (stmt);
    1102                 :            :         }
    1103                 :            :     }
    1104                 :            : }
    1105                 :            : 
    1106                 :            : static void
    1107                 :      59173 : remove_exit_barriers (struct omp_region *region)
    1108                 :            : {
    1109                 :      59173 :   if (region->type == GIMPLE_OMP_PARALLEL)
    1110                 :      10384 :     remove_exit_barrier (region);
    1111                 :            : 
    1112                 :      59173 :   if (region->inner)
    1113                 :            :     {
    1114                 :      33958 :       region = region->inner;
    1115                 :      33958 :       remove_exit_barriers (region);
    1116                 :      40033 :       while (region->next)
    1117                 :            :         {
    1118                 :       6075 :           region = region->next;
    1119                 :       6075 :           remove_exit_barriers (region);
    1120                 :            :         }
    1121                 :            :     }
    1122                 :      59173 : }
    1123                 :            : 
    1124                 :            : /* Optimize omp_get_thread_num () and omp_get_num_threads ()
    1125                 :            :    calls.  These can't be declared as const functions, but
    1126                 :            :    within one parallel body they are constant, so they can be
    1127                 :            :    transformed there into __builtin_omp_get_{thread_num,num_threads} ()
    1128                 :            :    which are declared const.  Similarly for task body, except
    1129                 :            :    that in untied task omp_get_thread_num () can change at any task
    1130                 :            :    scheduling point.  */
    1131                 :            : 
    1132                 :            : static void
    1133                 :      12716 : optimize_omp_library_calls (gimple *entry_stmt)
    1134                 :            : {
    1135                 :      12716 :   basic_block bb;
    1136                 :      12716 :   gimple_stmt_iterator gsi;
    1137                 :      12716 :   tree thr_num_tree = builtin_decl_explicit (BUILT_IN_OMP_GET_THREAD_NUM);
    1138                 :      12716 :   tree thr_num_id = DECL_ASSEMBLER_NAME (thr_num_tree);
    1139                 :      12716 :   tree num_thr_tree = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_THREADS);
    1140                 :      12716 :   tree num_thr_id = DECL_ASSEMBLER_NAME (num_thr_tree);
    1141                 :      12716 :   bool untied_task = (gimple_code (entry_stmt) == GIMPLE_OMP_TASK
    1142                 :      12716 :                       && omp_find_clause (gimple_omp_task_clauses (entry_stmt),
    1143                 :      12716 :                                           OMP_CLAUSE_UNTIED) != NULL);
    1144                 :            : 
    1145                 :     223874 :   FOR_EACH_BB_FN (bb, cfun)
    1146                 :    1207810 :     for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
    1147                 :            :       {
    1148                 :     785493 :         gimple *call = gsi_stmt (gsi);
    1149                 :     785493 :         tree decl;
    1150                 :            : 
    1151                 :     785493 :         if (is_gimple_call (call)
    1152                 :      68215 :             && (decl = gimple_call_fndecl (call))
    1153                 :      62837 :             && DECL_EXTERNAL (decl)
    1154                 :      52755 :             && TREE_PUBLIC (decl)
    1155                 :     838248 :             && DECL_INITIAL (decl) == NULL)
    1156                 :            :           {
    1157                 :      52754 :             tree built_in;
    1158                 :            : 
    1159                 :      52754 :             if (DECL_NAME (decl) == thr_num_id)
    1160                 :            :               {
    1161                 :            :                 /* In #pragma omp task untied omp_get_thread_num () can change
    1162                 :            :                    during the execution of the task region.  */
    1163                 :       1233 :                 if (untied_task)
    1164                 :          0 :                   continue;
    1165                 :       1233 :                 built_in = builtin_decl_explicit (BUILT_IN_OMP_GET_THREAD_NUM);
    1166                 :            :               }
    1167                 :      51521 :             else if (DECL_NAME (decl) == num_thr_id)
    1168                 :        363 :               built_in = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_THREADS);
    1169                 :            :             else
    1170                 :      51158 :               continue;
    1171                 :            : 
    1172                 :       1596 :             if (DECL_ASSEMBLER_NAME (decl) != DECL_ASSEMBLER_NAME (built_in)
    1173                 :       1596 :                 || gimple_call_num_args (call) != 0)
    1174                 :       1132 :               continue;
    1175                 :            : 
    1176                 :        464 :             if (flag_exceptions && !TREE_NOTHROW (decl))
    1177                 :          0 :               continue;
    1178                 :            : 
    1179                 :        464 :             if (TREE_CODE (TREE_TYPE (decl)) != FUNCTION_TYPE
    1180                 :        928 :                 || !types_compatible_p (TREE_TYPE (TREE_TYPE (decl)),
    1181                 :        464 :                                         TREE_TYPE (TREE_TYPE (built_in))))
    1182                 :          0 :               continue;
    1183                 :            : 
    1184                 :        464 :             gimple_call_set_fndecl (call, built_in);
    1185                 :            :           }
    1186                 :            :       }
    1187                 :      12716 : }
    1188                 :            : 
    1189                 :            : /* Callback for expand_omp_build_assign.  Return non-NULL if *tp needs to be
    1190                 :            :    regimplified.  */
    1191                 :            : 
    1192                 :            : static tree
    1193                 :     173925 : expand_omp_regimplify_p (tree *tp, int *walk_subtrees, void *)
    1194                 :            : {
    1195                 :     173925 :   tree t = *tp;
    1196                 :            : 
    1197                 :            :   /* Any variable with DECL_VALUE_EXPR needs to be regimplified.  */
    1198                 :     173925 :   if (VAR_P (t) && DECL_HAS_VALUE_EXPR_P (t))
    1199                 :            :     return t;
    1200                 :            : 
    1201                 :     173915 :   if (TREE_CODE (t) == ADDR_EXPR)
    1202                 :       1667 :     recompute_tree_invariant_for_addr_expr (t);
    1203                 :            : 
    1204                 :     173915 :   *walk_subtrees = !TYPE_P (t) && !DECL_P (t);
    1205                 :     173915 :   return NULL_TREE;
    1206                 :            : }
    1207                 :            : 
    1208                 :            : /* Prepend or append TO = FROM assignment before or after *GSI_P.  */
    1209                 :            : 
    1210                 :            : static void
    1211                 :      37529 : expand_omp_build_assign (gimple_stmt_iterator *gsi_p, tree to, tree from,
    1212                 :            :                          bool after)
    1213                 :            : {
    1214                 :      37529 :   bool simple_p = DECL_P (to) && TREE_ADDRESSABLE (to);
    1215                 :      37529 :   from = force_gimple_operand_gsi (gsi_p, from, simple_p, NULL_TREE,
    1216                 :      37529 :                                    !after, after ? GSI_CONTINUE_LINKING
    1217                 :            :                                                  : GSI_SAME_STMT);
    1218                 :      37529 :   gimple *stmt = gimple_build_assign (to, from);
    1219                 :      37529 :   if (after)
    1220                 :        881 :     gsi_insert_after (gsi_p, stmt, GSI_CONTINUE_LINKING);
    1221                 :            :   else
    1222                 :      36648 :     gsi_insert_before (gsi_p, stmt, GSI_SAME_STMT);
    1223                 :      37529 :   if (walk_tree (&from, expand_omp_regimplify_p, NULL, NULL)
    1224                 :      37529 :       || walk_tree (&to, expand_omp_regimplify_p, NULL, NULL))
    1225                 :            :     {
    1226                 :          5 :       gimple_stmt_iterator gsi = gsi_for_stmt (stmt);
    1227                 :          5 :       gimple_regimplify_operands (stmt, &gsi);
    1228                 :            :     }
    1229                 :      37529 : }
    1230                 :            : 
    1231                 :            : /* Expand the OpenMP parallel or task directive starting at REGION.  */
    1232                 :            : 
    1233                 :            : static void
    1234                 :      15484 : expand_omp_taskreg (struct omp_region *region)
    1235                 :            : {
    1236                 :      15484 :   basic_block entry_bb, exit_bb, new_bb;
    1237                 :      15484 :   struct function *child_cfun;
    1238                 :      15484 :   tree child_fn, block, t;
    1239                 :      15484 :   gimple_stmt_iterator gsi;
    1240                 :      15484 :   gimple *entry_stmt, *stmt;
    1241                 :      15484 :   edge e;
    1242                 :      15484 :   vec<tree, va_gc> *ws_args;
    1243                 :            : 
    1244                 :      15484 :   entry_stmt = last_stmt (region->entry);
    1245                 :      15484 :   if (gimple_code (entry_stmt) == GIMPLE_OMP_TASK
    1246                 :      15484 :       && gimple_omp_task_taskwait_p (entry_stmt))
    1247                 :            :     {
    1248                 :          7 :       new_bb = region->entry;
    1249                 :          7 :       gsi = gsi_last_nondebug_bb (region->entry);
    1250                 :          7 :       gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_TASK);
    1251                 :          7 :       gsi_remove (&gsi, true);
    1252                 :          7 :       expand_taskwait_call (new_bb, as_a <gomp_task *> (entry_stmt));
    1253                 :          7 :       return;
    1254                 :            :     }
    1255                 :            : 
    1256                 :      15477 :   child_fn = gimple_omp_taskreg_child_fn (entry_stmt);
    1257                 :      15477 :   child_cfun = DECL_STRUCT_FUNCTION (child_fn);
    1258                 :            : 
    1259                 :      15477 :   entry_bb = region->entry;
    1260                 :      15477 :   if (gimple_code (entry_stmt) == GIMPLE_OMP_TASK)
    1261                 :       2062 :     exit_bb = region->cont;
    1262                 :            :   else
    1263                 :      13415 :     exit_bb = region->exit;
    1264                 :            : 
    1265                 :      15477 :   if (is_combined_parallel (region))
    1266                 :       1184 :     ws_args = region->ws_args;
    1267                 :            :   else
    1268                 :            :     ws_args = NULL;
    1269                 :            : 
    1270                 :      15477 :   if (child_cfun->cfg)
    1271                 :            :     {
    1272                 :            :       /* Due to inlining, it may happen that we have already outlined
    1273                 :            :          the region, in which case all we need to do is make the
    1274                 :            :          sub-graph unreachable and emit the parallel call.  */
    1275                 :          0 :       edge entry_succ_e, exit_succ_e;
    1276                 :            : 
    1277                 :          0 :       entry_succ_e = single_succ_edge (entry_bb);
    1278                 :            : 
    1279                 :          0 :       gsi = gsi_last_nondebug_bb (entry_bb);
    1280                 :          0 :       gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_PARALLEL
    1281                 :            :                   || gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_TASK
    1282                 :            :                   || gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_TEAMS);
    1283                 :          0 :       gsi_remove (&gsi, true);
    1284                 :            : 
    1285                 :          0 :       new_bb = entry_bb;
    1286                 :          0 :       if (exit_bb)
    1287                 :            :         {
    1288                 :          0 :           exit_succ_e = single_succ_edge (exit_bb);
    1289                 :          0 :           make_edge (new_bb, exit_succ_e->dest, EDGE_FALLTHRU);
    1290                 :            :         }
    1291                 :          0 :       remove_edge_and_dominated_blocks (entry_succ_e);
    1292                 :            :     }
    1293                 :            :   else
    1294                 :            :     {
    1295                 :      15477 :       unsigned srcidx, dstidx, num;
    1296                 :            : 
    1297                 :            :       /* If the parallel region needs data sent from the parent
    1298                 :            :          function, then the very first statement (except possible
    1299                 :            :          tree profile counter updates) of the parallel body
    1300                 :            :          is a copy assignment .OMP_DATA_I = &.OMP_DATA_O.  Since
    1301                 :            :          &.OMP_DATA_O is passed as an argument to the child function,
    1302                 :            :          we need to replace it with the argument as seen by the child
    1303                 :            :          function.
    1304                 :            : 
    1305                 :            :          In most cases, this will end up being the identity assignment
    1306                 :            :          .OMP_DATA_I = .OMP_DATA_I.  However, if the parallel body had
    1307                 :            :          a function call that has been inlined, the original PARM_DECL
    1308                 :            :          .OMP_DATA_I may have been converted into a different local
    1309                 :            :          variable.  In which case, we need to keep the assignment.  */
    1310                 :      15477 :       if (gimple_omp_taskreg_data_arg (entry_stmt))
    1311                 :            :         {
    1312                 :      12938 :           basic_block entry_succ_bb
    1313                 :      24137 :             = single_succ_p (entry_bb) ? single_succ (entry_bb)
    1314                 :       1739 :                                        : FALLTHRU_EDGE (entry_bb)->dest;
    1315                 :      12938 :           tree arg;
    1316                 :      12938 :           gimple *parcopy_stmt = NULL;
    1317                 :            : 
    1318                 :      25876 :           for (gsi = gsi_start_bb (entry_succ_bb); ; gsi_next (&gsi))
    1319                 :            :             {
    1320                 :      12938 :               gimple *stmt;
    1321                 :            : 
    1322                 :      12938 :               gcc_assert (!gsi_end_p (gsi));
    1323                 :      12938 :               stmt = gsi_stmt (gsi);
    1324                 :      12938 :               if (gimple_code (stmt) != GIMPLE_ASSIGN)
    1325                 :          0 :                 continue;
    1326                 :            : 
    1327                 :      12938 :               if (gimple_num_ops (stmt) == 2)
    1328                 :            :                 {
    1329                 :      12938 :                   tree arg = gimple_assign_rhs1 (stmt);
    1330                 :            : 
    1331                 :            :                   /* We're ignore the subcode because we're
    1332                 :            :                      effectively doing a STRIP_NOPS.  */
    1333                 :            : 
    1334                 :      12938 :                   if (TREE_CODE (arg) == ADDR_EXPR
    1335                 :      12938 :                       && (TREE_OPERAND (arg, 0)
    1336                 :      12938 :                           == gimple_omp_taskreg_data_arg (entry_stmt)))
    1337                 :            :                     {
    1338                 :      12938 :                       parcopy_stmt = stmt;
    1339                 :      12938 :                       break;
    1340                 :            :                     }
    1341                 :            :                 }
    1342                 :            :             }
    1343                 :            : 
    1344                 :      12938 :           gcc_assert (parcopy_stmt != NULL);
    1345                 :      12938 :           arg = DECL_ARGUMENTS (child_fn);
    1346                 :            : 
    1347                 :      12938 :           if (!gimple_in_ssa_p (cfun))
    1348                 :            :             {
    1349                 :      12765 :               if (gimple_assign_lhs (parcopy_stmt) == arg)
    1350                 :      12765 :                 gsi_remove (&gsi, true);
    1351                 :            :               else
    1352                 :            :                 {
    1353                 :            :                   /* ?? Is setting the subcode really necessary ??  */
    1354                 :          0 :                   gimple_omp_set_subcode (parcopy_stmt, TREE_CODE (arg));
    1355                 :          0 :                   gimple_assign_set_rhs1 (parcopy_stmt, arg);
    1356                 :            :                 }
    1357                 :            :             }
    1358                 :            :           else
    1359                 :            :             {
    1360                 :        173 :               tree lhs = gimple_assign_lhs (parcopy_stmt);
    1361                 :        346 :               gcc_assert (SSA_NAME_VAR (lhs) == arg);
    1362                 :            :               /* We'd like to set the rhs to the default def in the child_fn,
    1363                 :            :                  but it's too early to create ssa names in the child_fn.
    1364                 :            :                  Instead, we set the rhs to the parm.  In
    1365                 :            :                  move_sese_region_to_fn, we introduce a default def for the
    1366                 :            :                  parm, map the parm to it's default def, and once we encounter
    1367                 :            :                  this stmt, replace the parm with the default def.  */
    1368                 :        173 :               gimple_assign_set_rhs1 (parcopy_stmt, arg);
    1369                 :        173 :               update_stmt (parcopy_stmt);
    1370                 :            :             }
    1371                 :            :         }
    1372                 :            : 
    1373                 :            :       /* Declare local variables needed in CHILD_CFUN.  */
    1374                 :      15477 :       block = DECL_INITIAL (child_fn);
    1375                 :      15477 :       BLOCK_VARS (block) = vec2chain (child_cfun->local_decls);
    1376                 :            :       /* The gimplifier could record temporaries in parallel/task block
    1377                 :            :          rather than in containing function's local_decls chain,
    1378                 :            :          which would mean cgraph missed finalizing them.  Do it now.  */
    1379                 :     197002 :       for (t = BLOCK_VARS (block); t; t = DECL_CHAIN (t))
    1380                 :     181525 :         if (VAR_P (t) && TREE_STATIC (t) && !DECL_EXTERNAL (t))
    1381                 :          0 :           varpool_node::finalize_decl (t);
    1382                 :      15477 :       DECL_SAVED_TREE (child_fn) = NULL;
    1383                 :            :       /* We'll create a CFG for child_fn, so no gimple body is needed.  */
    1384                 :      15477 :       gimple_set_body (child_fn, NULL);
    1385                 :      15477 :       TREE_USED (block) = 1;
    1386                 :            : 
    1387                 :            :       /* Reset DECL_CONTEXT on function arguments.  */
    1388                 :      30954 :       for (t = DECL_ARGUMENTS (child_fn); t; t = DECL_CHAIN (t))
    1389                 :      15477 :         DECL_CONTEXT (t) = child_fn;
    1390                 :            : 
    1391                 :            :       /* Split ENTRY_BB at GIMPLE_OMP_PARALLEL or GIMPLE_OMP_TASK,
    1392                 :            :          so that it can be moved to the child function.  */
    1393                 :      15477 :       gsi = gsi_last_nondebug_bb (entry_bb);
    1394                 :      15477 :       stmt = gsi_stmt (gsi);
    1395                 :      15477 :       gcc_assert (stmt && (gimple_code (stmt) == GIMPLE_OMP_PARALLEL
    1396                 :            :                            || gimple_code (stmt) == GIMPLE_OMP_TASK
    1397                 :            :                            || gimple_code (stmt) == GIMPLE_OMP_TEAMS));
    1398                 :      15477 :       e = split_block (entry_bb, stmt);
    1399                 :      15477 :       gsi_remove (&gsi, true);
    1400                 :      15477 :       entry_bb = e->dest;
    1401                 :      15477 :       edge e2 = NULL;
    1402                 :      15477 :       if (gimple_code (entry_stmt) != GIMPLE_OMP_TASK)
    1403                 :      13415 :         single_succ_edge (entry_bb)->flags = EDGE_FALLTHRU;
    1404                 :            :       else
    1405                 :            :         {
    1406                 :       2062 :           e2 = make_edge (e->src, BRANCH_EDGE (entry_bb)->dest, EDGE_ABNORMAL);
    1407                 :       2062 :           gcc_assert (e2->dest == region->exit);
    1408                 :       2062 :           remove_edge (BRANCH_EDGE (entry_bb));
    1409                 :       2062 :           set_immediate_dominator (CDI_DOMINATORS, e2->dest, e->src);
    1410                 :       2062 :           gsi = gsi_last_nondebug_bb (region->exit);
    1411                 :       2062 :           gcc_assert (!gsi_end_p (gsi)
    1412                 :            :                       && gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_RETURN);
    1413                 :       2062 :           gsi_remove (&gsi, true);
    1414                 :            :         }
    1415                 :            : 
    1416                 :            :       /* Convert GIMPLE_OMP_{RETURN,CONTINUE} into a RETURN_EXPR.  */
    1417                 :      15477 :       if (exit_bb)
    1418                 :            :         {
    1419                 :      15436 :           gsi = gsi_last_nondebug_bb (exit_bb);
    1420                 :      28827 :           gcc_assert (!gsi_end_p (gsi)
    1421                 :            :                       && (gimple_code (gsi_stmt (gsi))
    1422                 :            :                           == (e2 ? GIMPLE_OMP_CONTINUE : GIMPLE_OMP_RETURN)));
    1423                 :      15436 :           stmt = gimple_build_return (NULL);
    1424                 :      15436 :           gsi_insert_after (&gsi, stmt, GSI_SAME_STMT);
    1425                 :      15436 :           gsi_remove (&gsi, true);
    1426                 :            :         }
    1427                 :            : 
    1428                 :            :       /* Move the parallel region into CHILD_CFUN.  */
    1429                 :            : 
    1430                 :      15477 :       if (gimple_in_ssa_p (cfun))
    1431                 :            :         {
    1432                 :        185 :           init_tree_ssa (child_cfun);
    1433                 :        185 :           init_ssa_operands (child_cfun);
    1434                 :        185 :           child_cfun->gimple_df->in_ssa_p = true;
    1435                 :        185 :           block = NULL_TREE;
    1436                 :            :         }
    1437                 :            :       else
    1438                 :      15292 :         block = gimple_block (entry_stmt);
    1439                 :            : 
    1440                 :      15477 :       new_bb = move_sese_region_to_fn (child_cfun, entry_bb, exit_bb, block);
    1441                 :      15477 :       if (exit_bb)
    1442                 :      15436 :         single_succ_edge (new_bb)->flags = EDGE_FALLTHRU;
    1443                 :      15477 :       if (e2)
    1444                 :            :         {
    1445                 :       2062 :           basic_block dest_bb = e2->dest;
    1446                 :       2062 :           if (!exit_bb)
    1447                 :         17 :             make_edge (new_bb, dest_bb, EDGE_FALLTHRU);
    1448                 :       2062 :           remove_edge (e2);
    1449                 :       2062 :           set_immediate_dominator (CDI_DOMINATORS, dest_bb, new_bb);
    1450                 :            :         }
    1451                 :            :       /* When the OMP expansion process cannot guarantee an up-to-date
    1452                 :            :          loop tree arrange for the child function to fixup loops.  */
    1453                 :      15477 :       if (loops_state_satisfies_p (LOOPS_NEED_FIXUP))
    1454                 :      15292 :         child_cfun->x_current_loops->state |= LOOPS_NEED_FIXUP;
    1455                 :            : 
    1456                 :            :       /* Remove non-local VAR_DECLs from child_cfun->local_decls list.  */
    1457                 :      15477 :       num = vec_safe_length (child_cfun->local_decls);
    1458                 :     789274 :       for (srcidx = 0, dstidx = 0; srcidx < num; srcidx++)
    1459                 :            :         {
    1460                 :     773797 :           t = (*child_cfun->local_decls)[srcidx];
    1461                 :     773797 :           if (DECL_CONTEXT (t) == cfun->decl)
    1462                 :     181525 :             continue;
    1463                 :     592272 :           if (srcidx != dstidx)
    1464                 :     589204 :             (*child_cfun->local_decls)[dstidx] = t;
    1465                 :     592272 :           dstidx++;
    1466                 :            :         }
    1467                 :      15477 :       if (dstidx != num)
    1468                 :      14484 :         vec_safe_truncate (child_cfun->local_decls, dstidx);
    1469                 :            : 
    1470                 :            :       /* Inform the callgraph about the new function.  */
    1471                 :      15477 :       child_cfun->curr_properties = cfun->curr_properties;
    1472                 :      15477 :       child_cfun->has_simduid_loops |= cfun->has_simduid_loops;
    1473                 :      15477 :       child_cfun->has_force_vectorize_loops |= cfun->has_force_vectorize_loops;
    1474                 :      15477 :       cgraph_node *node = cgraph_node::get_create (child_fn);
    1475                 :      15477 :       node->parallelized_function = 1;
    1476                 :      15477 :       cgraph_node::add_new_function (child_fn, true);
    1477                 :            : 
    1478                 :      15477 :       bool need_asm = DECL_ASSEMBLER_NAME_SET_P (current_function_decl)
    1479                 :      30954 :                       && !DECL_ASSEMBLER_NAME_SET_P (child_fn);
    1480                 :            : 
    1481                 :            :       /* Fix the callgraph edges for child_cfun.  Those for cfun will be
    1482                 :            :          fixed in a following pass.  */
    1483                 :      15477 :       push_cfun (child_cfun);
    1484                 :      15477 :       if (need_asm)
    1485                 :      15237 :         assign_assembler_name_if_needed (child_fn);
    1486                 :            : 
    1487                 :      15477 :       if (optimize)
    1488                 :      12716 :         optimize_omp_library_calls (entry_stmt);
    1489                 :      15477 :       update_max_bb_count ();
    1490                 :      15477 :       cgraph_edge::rebuild_edges ();
    1491                 :            : 
    1492                 :            :       /* Some EH regions might become dead, see PR34608.  If
    1493                 :            :          pass_cleanup_cfg isn't the first pass to happen with the
    1494                 :            :          new child, these dead EH edges might cause problems.
    1495                 :            :          Clean them up now.  */
    1496                 :      15477 :       if (flag_exceptions)
    1497                 :            :         {
    1498                 :       7129 :           basic_block bb;
    1499                 :       7129 :           bool changed = false;
    1500                 :            : 
    1501                 :      92691 :           FOR_EACH_BB_FN (bb, cfun)
    1502                 :      85562 :             changed |= gimple_purge_dead_eh_edges (bb);
    1503                 :       7129 :           if (changed)
    1504                 :          0 :             cleanup_tree_cfg ();
    1505                 :            :         }
    1506                 :      15477 :       if (gimple_in_ssa_p (cfun))
    1507                 :        185 :         update_ssa (TODO_update_ssa);
    1508                 :      15477 :       if (flag_checking && !loops_state_satisfies_p (LOOPS_NEED_FIXUP))
    1509                 :        185 :         verify_loop_structure ();
    1510                 :      15477 :       pop_cfun ();
    1511                 :            : 
    1512                 :      15477 :       if (dump_file && !gimple_in_ssa_p (cfun))
    1513                 :            :         {
    1514                 :         16 :           omp_any_child_fn_dumped = true;
    1515                 :         16 :           dump_function_header (dump_file, child_fn, dump_flags);
    1516                 :         16 :           dump_function_to_file (child_fn, dump_file, dump_flags);
    1517                 :            :         }
    1518                 :            :     }
    1519                 :            : 
    1520                 :      30924 :   adjust_context_and_scope (region, gimple_block (entry_stmt), child_fn);
    1521                 :            : 
    1522                 :      15477 :   if (gimple_code (entry_stmt) == GIMPLE_OMP_PARALLEL)
    1523                 :      12475 :     expand_parallel_call (region, new_bb,
    1524                 :            :                           as_a <gomp_parallel *> (entry_stmt), ws_args);
    1525                 :       3002 :   else if (gimple_code (entry_stmt) == GIMPLE_OMP_TEAMS)
    1526                 :        940 :     expand_teams_call (new_bb, as_a <gomp_teams *> (entry_stmt));
    1527                 :            :   else
    1528                 :       2062 :     expand_task_call (region, new_bb, as_a <gomp_task *> (entry_stmt));
    1529                 :      30954 :   if (gimple_in_ssa_p (cfun))
    1530                 :        185 :     update_ssa (TODO_update_ssa_only_virtuals);
    1531                 :            : }
    1532                 :            : 
    1533                 :            : /* Information about members of an OpenACC collapsed loop nest.  */
    1534                 :            : 
    1535                 :            : struct oacc_collapse
    1536                 :            : {
    1537                 :            :   tree base;  /* Base value.  */
    1538                 :            :   tree iters; /* Number of steps.  */
    1539                 :            :   tree step;  /* Step size.  */
    1540                 :            :   tree tile;  /* Tile increment (if tiled).  */
    1541                 :            :   tree outer; /* Tile iterator var. */
    1542                 :            : };
    1543                 :            : 
    1544                 :            : /* Helper for expand_oacc_for.  Determine collapsed loop information.
    1545                 :            :    Fill in COUNTS array.  Emit any initialization code before GSI.
    1546                 :            :    Return the calculated outer loop bound of BOUND_TYPE.  */
    1547                 :            : 
    1548                 :            : static tree
    1549                 :        480 : expand_oacc_collapse_init (const struct omp_for_data *fd,
    1550                 :            :                            gimple_stmt_iterator *gsi,
    1551                 :            :                            oacc_collapse *counts, tree bound_type,
    1552                 :            :                            location_t loc)
    1553                 :            : {
    1554                 :        480 :   tree tiling = fd->tiling;
    1555                 :        480 :   tree total = build_int_cst (bound_type, 1);
    1556                 :        480 :   int ix;
    1557                 :            : 
    1558                 :        480 :   gcc_assert (integer_onep (fd->loop.step));
    1559                 :        480 :   gcc_assert (integer_zerop (fd->loop.n1));
    1560                 :            : 
    1561                 :            :   /* When tiling, the first operand of the tile clause applies to the
    1562                 :            :      innermost loop, and we work outwards from there.  Seems
    1563                 :            :      backwards, but whatever.  */
    1564                 :       1533 :   for (ix = fd->collapse; ix--;)
    1565                 :            :     {
    1566                 :       1053 :       const omp_for_data_loop *loop = &fd->loops[ix];
    1567                 :            : 
    1568                 :       1053 :       tree iter_type = TREE_TYPE (loop->v);
    1569                 :       1053 :       tree diff_type = iter_type;
    1570                 :       1053 :       tree plus_type = iter_type;
    1571                 :            : 
    1572                 :       1053 :       gcc_assert (loop->cond_code == fd->loop.cond_code);
    1573                 :            : 
    1574                 :       1053 :       if (POINTER_TYPE_P (iter_type))
    1575                 :          0 :         plus_type = sizetype;
    1576                 :       2106 :       if (POINTER_TYPE_P (diff_type) || TYPE_UNSIGNED (diff_type))
    1577                 :          0 :         diff_type = signed_type_for (diff_type);
    1578                 :       1053 :       if (TYPE_PRECISION (diff_type) < TYPE_PRECISION (integer_type_node))
    1579                 :         14 :         diff_type = integer_type_node;
    1580                 :            : 
    1581                 :       1053 :       if (tiling)
    1582                 :            :         {
    1583                 :        271 :           tree num = build_int_cst (integer_type_node, fd->collapse);
    1584                 :        271 :           tree loop_no = build_int_cst (integer_type_node, ix);
    1585                 :        271 :           tree tile = TREE_VALUE (tiling);
    1586                 :        271 :           gcall *call
    1587                 :        271 :             = gimple_build_call_internal (IFN_GOACC_TILE, 5, num, loop_no, tile,
    1588                 :            :                                           /* gwv-outer=*/integer_zero_node,
    1589                 :            :                                           /* gwv-inner=*/integer_zero_node);
    1590                 :            : 
    1591                 :        271 :           counts[ix].outer = create_tmp_var (iter_type, ".outer");
    1592                 :        271 :           counts[ix].tile = create_tmp_var (diff_type, ".tile");
    1593                 :        271 :           gimple_call_set_lhs (call, counts[ix].tile);
    1594                 :        271 :           gimple_set_location (call, loc);
    1595                 :        271 :           gsi_insert_before (gsi, call, GSI_SAME_STMT);
    1596                 :            : 
    1597                 :        271 :           tiling = TREE_CHAIN (tiling);
    1598                 :            :         }
    1599                 :            :       else
    1600                 :            :         {
    1601                 :        782 :           counts[ix].tile = NULL;
    1602                 :        782 :           counts[ix].outer = loop->v;
    1603                 :            :         }
    1604                 :            : 
    1605                 :       1053 :       tree b = loop->n1;
    1606                 :       1053 :       tree e = loop->n2;
    1607                 :       1053 :       tree s = loop->step;
    1608                 :       1053 :       bool up = loop->cond_code == LT_EXPR;
    1609                 :       1053 :       tree dir = build_int_cst (diff_type, up ? +1 : -1);
    1610                 :       1053 :       bool negating;
    1611                 :       1053 :       tree expr;
    1612                 :            : 
    1613                 :       1053 :       b = force_gimple_operand_gsi (gsi, b, true, NULL_TREE,
    1614                 :            :                                     true, GSI_SAME_STMT);
    1615                 :       1053 :       e = force_gimple_operand_gsi (gsi, e, true, NULL_TREE,
    1616                 :            :                                     true, GSI_SAME_STMT);
    1617                 :            : 
    1618                 :            :       /* Convert the step, avoiding possible unsigned->signed overflow.  */
    1619                 :       1053 :       negating = !up && TYPE_UNSIGNED (TREE_TYPE (s));
    1620                 :          0 :       if (negating)
    1621                 :          0 :         s = fold_build1 (NEGATE_EXPR, TREE_TYPE (s), s);
    1622                 :       1053 :       s = fold_convert (diff_type, s);
    1623                 :       1053 :       if (negating)
    1624                 :          0 :         s = fold_build1 (NEGATE_EXPR, diff_type, s);
    1625                 :       1053 :       s = force_gimple_operand_gsi (gsi, s, true, NULL_TREE,
    1626                 :            :                                     true, GSI_SAME_STMT);
    1627                 :            : 
    1628                 :            :       /* Determine the range, avoiding possible unsigned->signed overflow.  */
    1629                 :       1053 :       negating = !up && TYPE_UNSIGNED (iter_type);
    1630                 :       2106 :       expr = fold_build2 (MINUS_EXPR, plus_type,
    1631                 :            :                           fold_convert (plus_type, negating ? b : e),
    1632                 :            :                           fold_convert (plus_type, negating ? e : b));
    1633                 :       1053 :       expr = fold_convert (diff_type, expr);
    1634                 :       1053 :       if (negating)
    1635                 :          0 :         expr = fold_build1 (NEGATE_EXPR, diff_type, expr);
    1636                 :       1053 :       tree range = force_gimple_operand_gsi
    1637                 :       1053 :         (gsi, expr, true, NULL_TREE, true, GSI_SAME_STMT);
    1638                 :            : 
    1639                 :            :       /* Determine number of iterations.  */
    1640                 :       1053 :       expr = fold_build2 (MINUS_EXPR, diff_type, range, dir);
    1641                 :       1053 :       expr = fold_build2 (PLUS_EXPR, diff_type, expr, s);
    1642                 :       1053 :       expr = fold_build2 (TRUNC_DIV_EXPR, diff_type, expr, s);
    1643                 :            : 
    1644                 :       1053 :       tree iters = force_gimple_operand_gsi (gsi, expr, true, NULL_TREE,
    1645                 :            :                                              true, GSI_SAME_STMT);
    1646                 :            : 
    1647                 :       1053 :       counts[ix].base = b;
    1648                 :       1053 :       counts[ix].iters = iters;
    1649                 :       1053 :       counts[ix].step = s;
    1650                 :            : 
    1651                 :       1053 :       total = fold_build2 (MULT_EXPR, bound_type, total,
    1652                 :            :                            fold_convert (bound_type, iters));
    1653                 :            :     }
    1654                 :            : 
    1655                 :        480 :   return total;
    1656                 :            : }
    1657                 :            : 
    1658                 :            : /* Emit initializers for collapsed loop members.  INNER is true if
    1659                 :            :    this is for the element loop of a TILE.  IVAR is the outer
    1660                 :            :    loop iteration variable, from which collapsed loop iteration values
    1661                 :            :    are  calculated.  COUNTS array has been initialized by
    1662                 :            :    expand_oacc_collapse_inits.  */
    1663                 :            : 
    1664                 :            : static void
    1665                 :        657 : expand_oacc_collapse_vars (const struct omp_for_data *fd, bool inner,
    1666                 :            :                            gimple_stmt_iterator *gsi,
    1667                 :            :                            const oacc_collapse *counts, tree ivar)
    1668                 :            : {
    1669                 :        657 :   tree ivar_type = TREE_TYPE (ivar);
    1670                 :            : 
    1671                 :            :   /*  The most rapidly changing iteration variable is the innermost
    1672                 :            :       one.  */
    1673                 :       1981 :   for (int ix = fd->collapse; ix--;)
    1674                 :            :     {
    1675                 :       1324 :       const omp_for_data_loop *loop = &fd->loops[ix];
    1676                 :       1324 :       const oacc_collapse *collapse = &counts[ix];
    1677                 :       1324 :       tree v = inner ? loop->v : collapse->outer;
    1678                 :       1324 :       tree iter_type = TREE_TYPE (v);
    1679                 :       1324 :       tree diff_type = TREE_TYPE (collapse->step);
    1680                 :       1324 :       tree plus_type = iter_type;
    1681                 :       1324 :       enum tree_code plus_code = PLUS_EXPR;
    1682                 :       1324 :       tree expr;
    1683                 :            : 
    1684                 :       1324 :       if (POINTER_TYPE_P (iter_type))
    1685                 :            :         {
    1686                 :          0 :           plus_code = POINTER_PLUS_EXPR;
    1687                 :          0 :           plus_type = sizetype;
    1688                 :            :         }
    1689                 :            : 
    1690                 :       1324 :       expr = ivar;
    1691                 :       1324 :       if (ix)
    1692                 :            :         {
    1693                 :        667 :           tree mod = fold_convert (ivar_type, collapse->iters);
    1694                 :        667 :           ivar = fold_build2 (TRUNC_DIV_EXPR, ivar_type, expr, mod);
    1695                 :        667 :           expr = fold_build2 (TRUNC_MOD_EXPR, ivar_type, expr, mod);
    1696                 :        667 :           ivar = force_gimple_operand_gsi (gsi, ivar, true, NULL_TREE,
    1697                 :            :                                            true, GSI_SAME_STMT);
    1698                 :            :         }
    1699                 :            : 
    1700                 :       1324 :       expr = fold_build2 (MULT_EXPR, diff_type, fold_convert (diff_type, expr),
    1701                 :            :                           collapse->step);
    1702                 :       1324 :       expr = fold_build2 (plus_code, iter_type,
    1703                 :            :                           inner ? collapse->outer : collapse->base,
    1704                 :            :                           fold_convert (plus_type, expr));
    1705                 :       1324 :       expr = force_gimple_operand_gsi (gsi, expr, false, NULL_TREE,
    1706                 :            :                                        true, GSI_SAME_STMT);
    1707                 :       1324 :       gassign *ass = gimple_build_assign (v, expr);
    1708                 :       1324 :       gsi_insert_before (gsi, ass, GSI_SAME_STMT);
    1709                 :            :     }
    1710                 :        657 : }
    1711                 :            : 
    1712                 :            : /* Helper function for expand_omp_{for_*,simd}.  If this is the outermost
    1713                 :            :    of the combined collapse > 1 loop constructs, generate code like:
    1714                 :            :         if (__builtin_expect (N32 cond3 N31, 0)) goto ZERO_ITER_BB;
    1715                 :            :         if (cond3 is <)
    1716                 :            :           adj = STEP3 - 1;
    1717                 :            :         else
    1718                 :            :           adj = STEP3 + 1;
    1719                 :            :         count3 = (adj + N32 - N31) / STEP3;
    1720                 :            :         if (__builtin_expect (N22 cond2 N21, 0)) goto ZERO_ITER_BB;
    1721                 :            :         if (cond2 is <)
    1722                 :            :           adj = STEP2 - 1;
    1723                 :            :         else
    1724                 :            :           adj = STEP2 + 1;
    1725                 :            :         count2 = (adj + N22 - N21) / STEP2;
    1726                 :            :         if (__builtin_expect (N12 cond1 N11, 0)) goto ZERO_ITER_BB;
    1727                 :            :         if (cond1 is <)
    1728                 :            :           adj = STEP1 - 1;
    1729                 :            :         else
    1730                 :            :           adj = STEP1 + 1;
    1731                 :            :         count1 = (adj + N12 - N11) / STEP1;
    1732                 :            :         count = count1 * count2 * count3;
    1733                 :            :    Furthermore, if ZERO_ITER_BB is NULL, create a BB which does:
    1734                 :            :         count = 0;
    1735                 :            :    and set ZERO_ITER_BB to that bb.  If this isn't the outermost
    1736                 :            :    of the combined loop constructs, just initialize COUNTS array
    1737                 :            :    from the _looptemp_ clauses.  */
    1738                 :            : 
    1739                 :            : /* NOTE: It *could* be better to moosh all of the BBs together,
    1740                 :            :    creating one larger BB with all the computation and the unexpected
    1741                 :            :    jump at the end.  I.e.
    1742                 :            : 
    1743                 :            :    bool zero3, zero2, zero1, zero;
    1744                 :            : 
    1745                 :            :    zero3 = N32 c3 N31;
    1746                 :            :    count3 = (N32 - N31) /[cl] STEP3;
    1747                 :            :    zero2 = N22 c2 N21;
    1748                 :            :    count2 = (N22 - N21) /[cl] STEP2;
    1749                 :            :    zero1 = N12 c1 N11;
    1750                 :            :    count1 = (N12 - N11) /[cl] STEP1;
    1751                 :            :    zero = zero3 || zero2 || zero1;
    1752                 :            :    count = count1 * count2 * count3;
    1753                 :            :    if (__builtin_expect(zero, false)) goto zero_iter_bb;
    1754                 :            : 
    1755                 :            :    After all, we expect the zero=false, and thus we expect to have to
    1756                 :            :    evaluate all of the comparison expressions, so short-circuiting
    1757                 :            :    oughtn't be a win.  Since the condition isn't protecting a
    1758                 :            :    denominator, we're not concerned about divide-by-zero, so we can
    1759                 :            :    fully evaluate count even if a numerator turned out to be wrong.
    1760                 :            : 
    1761                 :            :    It seems like putting this all together would create much better
    1762                 :            :    scheduling opportunities, and less pressure on the chip's branch
    1763                 :            :    predictor.  */
    1764                 :            : 
    1765                 :            : static void
    1766                 :       9156 : expand_omp_for_init_counts (struct omp_for_data *fd, gimple_stmt_iterator *gsi,
    1767                 :            :                             basic_block &entry_bb, tree *counts,
    1768                 :            :                             basic_block &zero_iter1_bb, int &first_zero_iter1,
    1769                 :            :                             basic_block &zero_iter2_bb, int &first_zero_iter2,
    1770                 :            :                             basic_block &l2_dom_bb)
    1771                 :            : {
    1772                 :       9156 :   tree t, type = TREE_TYPE (fd->loop.v);
    1773                 :       9156 :   edge e, ne;
    1774                 :       9156 :   int i;
    1775                 :            : 
    1776                 :            :   /* Collapsed loops need work for expansion into SSA form.  */
    1777                 :       9156 :   gcc_assert (!gimple_in_ssa_p (cfun));
    1778                 :            : 
    1779                 :       9156 :   if (gimple_omp_for_combined_into_p (fd->for_stmt)
    1780                 :       9156 :       && TREE_CODE (fd->loop.n2) != INTEGER_CST)
    1781                 :            :     {
    1782                 :       2444 :       gcc_assert (fd->ordered == 0);
    1783                 :            :       /* First two _looptemp_ clauses are for istart/iend, counts[0]
    1784                 :            :          isn't supposed to be handled, as the inner loop doesn't
    1785                 :            :          use it.  */
    1786                 :       2444 :       tree innerc = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    1787                 :            :                                      OMP_CLAUSE__LOOPTEMP_);
    1788                 :       2444 :       gcc_assert (innerc);
    1789                 :       9685 :       for (i = 0; i < fd->collapse; i++)
    1790                 :            :         {
    1791                 :       7241 :           innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    1792                 :            :                                     OMP_CLAUSE__LOOPTEMP_);
    1793                 :       7241 :           gcc_assert (innerc);
    1794                 :       7241 :           if (i)
    1795                 :       4797 :             counts[i] = OMP_CLAUSE_DECL (innerc);
    1796                 :            :           else
    1797                 :       2444 :             counts[0] = NULL_TREE;
    1798                 :            :         }
    1799                 :            :       return;
    1800                 :            :     }
    1801                 :            : 
    1802                 :       7300 :   for (i = fd->collapse; i < fd->ordered; i++)
    1803                 :            :     {
    1804                 :        588 :       tree itype = TREE_TYPE (fd->loops[i].v);
    1805                 :        588 :       counts[i] = NULL_TREE;
    1806                 :        588 :       t = fold_binary (fd->loops[i].cond_code, boolean_type_node,
    1807                 :            :                        fold_convert (itype, fd->loops[i].n1),
    1808                 :            :                        fold_convert (itype, fd->loops[i].n2));
    1809                 :        588 :       if (t && integer_zerop (t))
    1810                 :            :         {
    1811                 :          0 :           for (i = fd->collapse; i < fd->ordered; i++)
    1812                 :          0 :             counts[i] = build_int_cst (type, 0);
    1813                 :            :           break;
    1814                 :            :         }
    1815                 :            :     }
    1816                 :      26430 :   for (i = 0; i < (fd->ordered ? fd->ordered : fd->collapse); i++)
    1817                 :            :     {
    1818                 :      19718 :       tree itype = TREE_TYPE (fd->loops[i].v);
    1819                 :            : 
    1820                 :      19718 :       if (i >= fd->collapse && counts[i])
    1821                 :          0 :         continue;
    1822                 :      11816 :       if ((SSA_VAR_P (fd->loop.n2) || i >= fd->collapse)
    1823                 :      19877 :           && ((t = fold_binary (fd->loops[i].cond_code, boolean_type_node,
    1824                 :            :                                 fold_convert (itype, fd->loops[i].n1),
    1825                 :            :                                 fold_convert (itype, fd->loops[i].n2)))
    1826                 :       4461 :               == NULL_TREE || !integer_onep (t)))
    1827                 :            :         {
    1828                 :       4695 :           gcond *cond_stmt;
    1829                 :       4695 :           tree n1, n2;
    1830                 :       4695 :           n1 = fold_convert (itype, unshare_expr (fd->loops[i].n1));
    1831                 :       4695 :           n1 = force_gimple_operand_gsi (gsi, n1, true, NULL_TREE,
    1832                 :            :                                          true, GSI_SAME_STMT);
    1833                 :       4695 :           n2 = fold_convert (itype, unshare_expr (fd->loops[i].n2));
    1834                 :       4695 :           n2 = force_gimple_operand_gsi (gsi, n2, true, NULL_TREE,
    1835                 :            :                                          true, GSI_SAME_STMT);
    1836                 :       4695 :           cond_stmt = gimple_build_cond (fd->loops[i].cond_code, n1, n2,
    1837                 :            :                                          NULL_TREE, NULL_TREE);
    1838                 :       4695 :           gsi_insert_before (gsi, cond_stmt, GSI_SAME_STMT);
    1839                 :       4695 :           if (walk_tree (gimple_cond_lhs_ptr (cond_stmt),
    1840                 :            :                          expand_omp_regimplify_p, NULL, NULL)
    1841                 :       4695 :               || walk_tree (gimple_cond_rhs_ptr (cond_stmt),
    1842                 :            :                             expand_omp_regimplify_p, NULL, NULL))
    1843                 :            :             {
    1844                 :          1 :               *gsi = gsi_for_stmt (cond_stmt);
    1845                 :          1 :               gimple_regimplify_operands (cond_stmt, gsi);
    1846                 :            :             }
    1847                 :       4695 :           e = split_block (entry_bb, cond_stmt);
    1848                 :       9390 :           basic_block &zero_iter_bb
    1849                 :       4695 :             = i < fd->collapse ? zero_iter1_bb : zero_iter2_bb;
    1850                 :       9390 :           int &first_zero_iter
    1851                 :       4695 :             = i < fd->collapse ? first_zero_iter1 : first_zero_iter2;
    1852                 :       4695 :           if (zero_iter_bb == NULL)
    1853                 :            :             {
    1854                 :        515 :               gassign *assign_stmt;
    1855                 :        515 :               first_zero_iter = i;
    1856                 :        515 :               zero_iter_bb = create_empty_bb (entry_bb);
    1857                 :        515 :               add_bb_to_loop (zero_iter_bb, entry_bb->loop_father);
    1858                 :        515 :               *gsi = gsi_after_labels (zero_iter_bb);
    1859                 :        515 :               if (i < fd->collapse)
    1860                 :        420 :                 assign_stmt = gimple_build_assign (fd->loop.n2,
    1861                 :            :                                                    build_zero_cst (type));
    1862                 :            :               else
    1863                 :            :                 {
    1864                 :         95 :                   counts[i] = create_tmp_reg (type, ".count");
    1865                 :         95 :                   assign_stmt
    1866                 :         95 :                     = gimple_build_assign (counts[i], build_zero_cst (type));
    1867                 :            :                 }
    1868                 :        515 :               gsi_insert_before (gsi, assign_stmt, GSI_SAME_STMT);
    1869                 :        515 :               set_immediate_dominator (CDI_DOMINATORS, zero_iter_bb,
    1870                 :            :                                        entry_bb);
    1871                 :            :             }
    1872                 :       4695 :           ne = make_edge (entry_bb, zero_iter_bb, EDGE_FALSE_VALUE);
    1873                 :       4695 :           ne->probability = profile_probability::very_unlikely ();
    1874                 :       4695 :           e->flags = EDGE_TRUE_VALUE;
    1875                 :       4695 :           e->probability = ne->probability.invert ();
    1876                 :       4695 :           if (l2_dom_bb == NULL)
    1877                 :       2071 :             l2_dom_bb = entry_bb;
    1878                 :       4695 :           entry_bb = e->dest;
    1879                 :       4695 :           *gsi = gsi_last_nondebug_bb (entry_bb);
    1880                 :            :         }
    1881                 :            : 
    1882                 :      19718 :       if (POINTER_TYPE_P (itype))
    1883                 :       1667 :         itype = signed_type_for (itype);
    1884                 :      19718 :       t = build_int_cst (itype, (fd->loops[i].cond_code == LT_EXPR
    1885                 :      24768 :                                  ? -1 : 1));
    1886                 :      19718 :       t = fold_build2 (PLUS_EXPR, itype,
    1887                 :            :                        fold_convert (itype, fd->loops[i].step), t);
    1888                 :      19718 :       t = fold_build2 (PLUS_EXPR, itype, t,
    1889                 :            :                        fold_convert (itype, fd->loops[i].n2));
    1890                 :      19718 :       t = fold_build2 (MINUS_EXPR, itype, t,
    1891                 :            :                        fold_convert (itype, fd->loops[i].n1));
    1892                 :            :       /* ?? We could probably use CEIL_DIV_EXPR instead of
    1893                 :            :          TRUNC_DIV_EXPR and adjusting by hand.  Unless we can't
    1894                 :            :          generate the same code in the end because generically we
    1895                 :            :          don't know that the values involved must be negative for
    1896                 :            :          GT??  */
    1897                 :      19718 :       if (TYPE_UNSIGNED (itype) && fd->loops[i].cond_code == GT_EXPR)
    1898                 :       2262 :         t = fold_build2 (TRUNC_DIV_EXPR, itype,
    1899                 :            :                          fold_build1 (NEGATE_EXPR, itype, t),
    1900                 :            :                          fold_build1 (NEGATE_EXPR, itype,
    1901                 :            :                                       fold_convert (itype,
    1902                 :            :                                                     fd->loops[i].step)));
    1903                 :            :       else
    1904                 :      17456 :         t = fold_build2 (TRUNC_DIV_EXPR, itype, t,
    1905                 :            :                          fold_convert (itype, fd->loops[i].step));
    1906                 :      19718 :       t = fold_convert (type, t);
    1907                 :      19718 :       if (TREE_CODE (t) == INTEGER_CST)
    1908                 :      14999 :         counts[i] = t;
    1909                 :            :       else
    1910                 :            :         {
    1911                 :       4719 :           if (i < fd->collapse || i != first_zero_iter2)
    1912                 :       4624 :             counts[i] = create_tmp_reg (type, ".count");
    1913                 :       4719 :           expand_omp_build_assign (gsi, counts[i], t);
    1914                 :            :         }
    1915                 :      19718 :       if (SSA_VAR_P (fd->loop.n2) && i < fd->collapse)
    1916                 :            :         {
    1917                 :       7473 :           if (i == 0)
    1918                 :       2594 :             t = counts[0];
    1919                 :            :           else
    1920                 :       4879 :             t = fold_build2 (MULT_EXPR, type, fd->loop.n2, counts[i]);
    1921                 :       7473 :           expand_omp_build_assign (gsi, fd->loop.n2, t);
    1922                 :            :         }
    1923                 :            :     }
    1924                 :            : }
    1925                 :            : 
    1926                 :            : /* Helper function for expand_omp_{for_*,simd}.  Generate code like:
    1927                 :            :         T = V;
    1928                 :            :         V3 = N31 + (T % count3) * STEP3;
    1929                 :            :         T = T / count3;
    1930                 :            :         V2 = N21 + (T % count2) * STEP2;
    1931                 :            :         T = T / count2;
    1932                 :            :         V1 = N11 + T * STEP1;
    1933                 :            :    if this loop doesn't have an inner loop construct combined with it.
    1934                 :            :    If it does have an inner loop construct combined with it and the
    1935                 :            :    iteration count isn't known constant, store values from counts array
    1936                 :            :    into its _looptemp_ temporaries instead.  */
    1937                 :            : 
    1938                 :            : static void
    1939                 :       8868 : expand_omp_for_init_vars (struct omp_for_data *fd, gimple_stmt_iterator *gsi,
    1940                 :            :                           tree *counts, gimple *inner_stmt, tree startvar)
    1941                 :            : {
    1942                 :       8868 :   int i;
    1943                 :       8868 :   if (gimple_omp_for_combined_p (fd->for_stmt))
    1944                 :            :     {
    1945                 :            :       /* If fd->loop.n2 is constant, then no propagation of the counts
    1946                 :            :          is needed, they are constant.  */
    1947                 :       4422 :       if (TREE_CODE (fd->loop.n2) == INTEGER_CST)
    1948                 :            :         return;
    1949                 :            : 
    1950                 :       2444 :       tree clauses = gimple_code (inner_stmt) != GIMPLE_OMP_FOR
    1951                 :       3799 :                      ? gimple_omp_taskreg_clauses (inner_stmt)
    1952                 :       1089 :                      : gimple_omp_for_clauses (inner_stmt);
    1953                 :            :       /* First two _looptemp_ clauses are for istart/iend, counts[0]
    1954                 :            :          isn't supposed to be handled, as the inner loop doesn't
    1955                 :            :          use it.  */
    1956                 :       2444 :       tree innerc = omp_find_clause (clauses, OMP_CLAUSE__LOOPTEMP_);
    1957                 :       2444 :       gcc_assert (innerc);
    1958                 :       9685 :       for (i = 0; i < fd->collapse; i++)
    1959                 :            :         {
    1960                 :       7241 :           innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    1961                 :            :                                     OMP_CLAUSE__LOOPTEMP_);
    1962                 :       7241 :           gcc_assert (innerc);
    1963                 :       7241 :           if (i)
    1964                 :            :             {
    1965                 :       4797 :               tree tem = OMP_CLAUSE_DECL (innerc);
    1966                 :       4797 :               tree t = fold_convert (TREE_TYPE (tem), counts[i]);
    1967                 :       4797 :               t = force_gimple_operand_gsi (gsi, t, false, NULL_TREE,
    1968                 :            :                                             false, GSI_CONTINUE_LINKING);
    1969                 :       4797 :               gassign *stmt = gimple_build_assign (tem, t);
    1970                 :       4797 :               gsi_insert_after (gsi, stmt, GSI_CONTINUE_LINKING);
    1971                 :            :             }
    1972                 :            :         }
    1973                 :            :       return;
    1974                 :            :     }
    1975                 :            : 
    1976                 :       4446 :   tree type = TREE_TYPE (fd->loop.v);
    1977                 :       4446 :   tree tem = create_tmp_reg (type, ".tem");
    1978                 :       4446 :   gassign *stmt = gimple_build_assign (tem, startvar);
    1979                 :       4446 :   gsi_insert_after (gsi, stmt, GSI_CONTINUE_LINKING);
    1980                 :            : 
    1981                 :      17341 :   for (i = fd->collapse - 1; i >= 0; i--)
    1982                 :            :     {
    1983                 :      12895 :       tree vtype = TREE_TYPE (fd->loops[i].v), itype, t;
    1984                 :      12895 :       itype = vtype;
    1985                 :      12895 :       if (POINTER_TYPE_P (vtype))
    1986                 :       1613 :         itype = signed_type_for (vtype);
    1987                 :      12895 :       if (i != 0)
    1988                 :       8449 :         t = fold_build2 (TRUNC_MOD_EXPR, type, tem, counts[i]);
    1989                 :            :       else
    1990                 :            :         t = tem;
    1991                 :      12895 :       t = fold_convert (itype, t);
    1992                 :      12895 :       t = fold_build2 (MULT_EXPR, itype, t,
    1993                 :            :                        fold_convert (itype, fd->loops[i].step));
    1994                 :      12895 :       if (POINTER_TYPE_P (vtype))
    1995                 :       1613 :         t = fold_build_pointer_plus (fd->loops[i].n1, t);
    1996                 :            :       else
    1997                 :      11282 :         t = fold_build2 (PLUS_EXPR, itype, fd->loops[i].n1, t);
    1998                 :      12895 :       t = force_gimple_operand_gsi (gsi, t,
    1999                 :      12895 :                                     DECL_P (fd->loops[i].v)
    2000                 :      12895 :                                     && TREE_ADDRESSABLE (fd->loops[i].v),
    2001                 :            :                                     NULL_TREE, false,
    2002                 :            :                                     GSI_CONTINUE_LINKING);
    2003                 :      12895 :       stmt = gimple_build_assign (fd->loops[i].v, t);
    2004                 :      12895 :       gsi_insert_after (gsi, stmt, GSI_CONTINUE_LINKING);
    2005                 :      12895 :       if (i != 0)
    2006                 :            :         {
    2007                 :       8449 :           t = fold_build2 (TRUNC_DIV_EXPR, type, tem, counts[i]);
    2008                 :       8449 :           t = force_gimple_operand_gsi (gsi, t, false, NULL_TREE,
    2009                 :            :                                         false, GSI_CONTINUE_LINKING);
    2010                 :       8449 :           stmt = gimple_build_assign (tem, t);
    2011                 :       8449 :           gsi_insert_after (gsi, stmt, GSI_CONTINUE_LINKING);
    2012                 :            :         }
    2013                 :            :     }
    2014                 :            : }
    2015                 :            : 
    2016                 :            : /* Helper function for expand_omp_for_*.  Generate code like:
    2017                 :            :     L10:
    2018                 :            :         V3 += STEP3;
    2019                 :            :         if (V3 cond3 N32) goto BODY_BB; else goto L11;
    2020                 :            :     L11:
    2021                 :            :         V3 = N31;
    2022                 :            :         V2 += STEP2;
    2023                 :            :         if (V2 cond2 N22) goto BODY_BB; else goto L12;
    2024                 :            :     L12:
    2025                 :            :         V2 = N21;
    2026                 :            :         V1 += STEP1;
    2027                 :            :         goto BODY_BB;  */
    2028                 :            : 
    2029                 :            : static basic_block
    2030                 :       1924 : extract_omp_for_update_vars (struct omp_for_data *fd, basic_block cont_bb,
    2031                 :            :                              basic_block body_bb)
    2032                 :            : {
    2033                 :       1924 :   basic_block last_bb, bb, collapse_bb = NULL;
    2034                 :       1924 :   int i;
    2035                 :       1924 :   gimple_stmt_iterator gsi;
    2036                 :       1924 :   edge e;
    2037                 :       1924 :   tree t;
    2038                 :       1924 :   gimple *stmt;
    2039                 :            : 
    2040                 :       1924 :   last_bb = cont_bb;
    2041                 :       7442 :   for (i = fd->collapse - 1; i >= 0; i--)
    2042                 :            :     {
    2043                 :       5518 :       tree vtype = TREE_TYPE (fd->loops[i].v);
    2044                 :            : 
    2045                 :       5518 :       bb = create_empty_bb (last_bb);
    2046                 :       5518 :       add_bb_to_loop (bb, last_bb->loop_father);
    2047                 :       5518 :       gsi = gsi_start_bb (bb);
    2048                 :            : 
    2049                 :       5518 :       if (i < fd->collapse - 1)
    2050                 :            :         {
    2051                 :       3594 :           e = make_edge (last_bb, bb, EDGE_FALSE_VALUE);
    2052                 :       3594 :           e->probability = profile_probability::guessed_always ().apply_scale (1, 8);
    2053                 :            : 
    2054                 :       3594 :           t = fd->loops[i + 1].n1;
    2055                 :       3594 :           t = force_gimple_operand_gsi (&gsi, t,
    2056                 :       3594 :                                         DECL_P (fd->loops[i + 1].v)
    2057                 :       3594 :                                         && TREE_ADDRESSABLE (fd->loops[i
    2058                 :            :                                                                        + 1].v),
    2059                 :            :                                         NULL_TREE, false,
    2060                 :            :                                         GSI_CONTINUE_LINKING);
    2061                 :       3594 :           stmt = gimple_build_assign (fd->loops[i + 1].v, t);
    2062                 :       3594 :           gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
    2063                 :            :         }
    2064                 :            :       else
    2065                 :            :         collapse_bb = bb;
    2066                 :            : 
    2067                 :       5518 :       set_immediate_dominator (CDI_DOMINATORS, bb, last_bb);
    2068                 :            : 
    2069                 :       5518 :       if (POINTER_TYPE_P (vtype))
    2070                 :        830 :         t = fold_build_pointer_plus (fd->loops[i].v, fd->loops[i].step);
    2071                 :            :       else
    2072                 :       4688 :         t = fold_build2 (PLUS_EXPR, vtype, fd->loops[i].v, fd->loops[i].step);
    2073                 :       5518 :       t = force_gimple_operand_gsi (&gsi, t,
    2074                 :       5518 :                                     DECL_P (fd->loops[i].v)
    2075                 :       5518 :                                     && TREE_ADDRESSABLE (fd->loops[i].v),
    2076                 :            :                                     NULL_TREE, false, GSI_CONTINUE_LINKING);
    2077                 :       5518 :       stmt = gimple_build_assign (fd->loops[i].v, t);
    2078                 :       5518 :       gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
    2079                 :            : 
    2080                 :       5518 :       if (i > 0)
    2081                 :            :         {
    2082                 :       3594 :           t = fd->loops[i].n2;
    2083                 :       3594 :           t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    2084                 :            :                                         false, GSI_CONTINUE_LINKING);
    2085                 :       3594 :           tree v = fd->loops[i].v;
    2086                 :       3594 :           if (DECL_P (v) && TREE_ADDRESSABLE (v))
    2087                 :          0 :             v = force_gimple_operand_gsi (&gsi, v, true, NULL_TREE,
    2088                 :            :                                           false, GSI_CONTINUE_LINKING);
    2089                 :       3594 :           t = fold_build2 (fd->loops[i].cond_code, boolean_type_node, v, t);
    2090                 :       3594 :           stmt = gimple_build_cond_empty (t);
    2091                 :       3594 :           gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
    2092                 :       3594 :           if (walk_tree (gimple_cond_lhs_ptr (as_a <gcond *> (stmt)),
    2093                 :            :                          expand_omp_regimplify_p, NULL, NULL)
    2094                 :       7184 :               || walk_tree (gimple_cond_rhs_ptr (as_a <gcond *> (stmt)),
    2095                 :            :                             expand_omp_regimplify_p, NULL, NULL))
    2096                 :          4 :             gimple_regimplify_operands (stmt, &gsi);
    2097                 :       3594 :           e = make_edge (bb, body_bb, EDGE_TRUE_VALUE);
    2098                 :       3594 :           e->probability = profile_probability::guessed_always ().apply_scale (7, 8);
    2099                 :            :         }
    2100                 :            :       else
    2101                 :       1924 :         make_edge (bb, body_bb, EDGE_FALLTHRU);
    2102                 :       5518 :       last_bb = bb;
    2103                 :            :     }
    2104                 :            : 
    2105                 :       1924 :   return collapse_bb;
    2106                 :            : }
    2107                 :            : 
    2108                 :            : /* Expand #pragma omp ordered depend(source).  */
    2109                 :            : 
    2110                 :            : static void
    2111                 :        248 : expand_omp_ordered_source (gimple_stmt_iterator *gsi, struct omp_for_data *fd,
    2112                 :            :                            tree *counts, location_t loc)
    2113                 :            : {
    2114                 :        496 :   enum built_in_function source_ix
    2115                 :        248 :     = fd->iter_type == long_integer_type_node
    2116                 :        248 :       ? BUILT_IN_GOMP_DOACROSS_POST : BUILT_IN_GOMP_DOACROSS_ULL_POST;
    2117                 :        248 :   gimple *g
    2118                 :        248 :     = gimple_build_call (builtin_decl_explicit (source_ix), 1,
    2119                 :        248 :                          build_fold_addr_expr (counts[fd->ordered]));
    2120                 :        248 :   gimple_set_location (g, loc);
    2121                 :        248 :   gsi_insert_before (gsi, g, GSI_SAME_STMT);
    2122                 :        248 : }
    2123                 :            : 
    2124                 :            : /* Expand a single depend from #pragma omp ordered depend(sink:...).  */
    2125                 :            : 
    2126                 :            : static void
    2127                 :        365 : expand_omp_ordered_sink (gimple_stmt_iterator *gsi, struct omp_for_data *fd,
    2128                 :            :                          tree *counts, tree c, location_t loc)
    2129                 :            : {
    2130                 :        365 :   auto_vec<tree, 10> args;
    2131                 :        730 :   enum built_in_function sink_ix
    2132                 :        365 :     = fd->iter_type == long_integer_type_node
    2133                 :        365 :       ? BUILT_IN_GOMP_DOACROSS_WAIT : BUILT_IN_GOMP_DOACROSS_ULL_WAIT;
    2134                 :        365 :   tree t, off, coff = NULL_TREE, deps = OMP_CLAUSE_DECL (c), cond = NULL_TREE;
    2135                 :        365 :   int i;
    2136                 :        365 :   gimple_stmt_iterator gsi2 = *gsi;
    2137                 :        365 :   bool warned_step = false;
    2138                 :            : 
    2139                 :        445 :   for (i = 0; i < fd->ordered; i++)
    2140                 :            :     {
    2141                 :        443 :       tree step = NULL_TREE;
    2142                 :        443 :       off = TREE_PURPOSE (deps);
    2143                 :        443 :       if (TREE_CODE (off) == TRUNC_DIV_EXPR)
    2144                 :            :         {
    2145                 :        108 :           step = TREE_OPERAND (off, 1);
    2146                 :        108 :           off = TREE_OPERAND (off, 0);
    2147                 :            :         }
    2148                 :        443 :       if (!integer_zerop (off))
    2149                 :            :         {
    2150                 :        363 :           gcc_assert (fd->loops[i].cond_code == LT_EXPR
    2151                 :            :                       || fd->loops[i].cond_code == GT_EXPR);
    2152                 :        363 :           bool forward = fd->loops[i].cond_code == LT_EXPR;
    2153                 :        363 :           if (step)
    2154                 :            :             {
    2155                 :            :               /* Non-simple Fortran DO loops.  If step is variable,
    2156                 :            :                  we don't know at compile even the direction, so can't
    2157                 :            :                  warn.  */
    2158                 :        108 :               if (TREE_CODE (step) != INTEGER_CST)
    2159                 :            :                 break;
    2160                 :         30 :               forward = tree_int_cst_sgn (step) != -1;
    2161                 :            :             }
    2162                 :        285 :           if (forward ^ OMP_CLAUSE_DEPEND_SINK_NEGATIVE (deps))
    2163                 :         21 :             warning_at (loc, 0, "%<depend%> clause with %<sink%> modifier "
    2164                 :            :                                 "waiting for lexically later iteration");
    2165                 :            :           break;
    2166                 :            :         }
    2167                 :         80 :       deps = TREE_CHAIN (deps);
    2168                 :            :     }
    2169                 :            :   /* If all offsets corresponding to the collapsed loops are zero,
    2170                 :            :      this depend clause can be ignored.  FIXME: but there is still a
    2171                 :            :      flush needed.  We need to emit one __sync_synchronize () for it
    2172                 :            :      though (perhaps conditionally)?  Solve this together with the
    2173                 :            :      conservative dependence folding optimization.
    2174                 :            :   if (i >= fd->collapse)
    2175                 :            :     return;  */
    2176                 :            : 
    2177                 :        365 :   deps = OMP_CLAUSE_DECL (c);
    2178                 :        365 :   gsi_prev (&gsi2);
    2179                 :        365 :   edge e1 = split_block (gsi_bb (gsi2), gsi_stmt (gsi2));
    2180                 :        365 :   edge e2 = split_block_after_labels (e1->dest);
    2181                 :            : 
    2182                 :        365 :   gsi2 = gsi_after_labels (e1->dest);
    2183                 :        365 :   *gsi = gsi_last_bb (e1->src);
    2184                 :       2363 :   for (i = 0; i < fd->ordered; i++)
    2185                 :            :     {
    2186                 :       1998 :       tree itype = TREE_TYPE (fd->loops[i].v);
    2187                 :       1998 :       tree step = NULL_TREE;
    2188                 :       1998 :       tree orig_off = NULL_TREE;
    2189                 :       1998 :       if (POINTER_TYPE_P (itype))
    2190                 :         11 :         itype = sizetype;
    2191                 :       1998 :       if (i)
    2192                 :       1633 :         deps = TREE_CHAIN (deps);
    2193                 :       1998 :       off = TREE_PURPOSE (deps);
    2194                 :       1998 :       if (TREE_CODE (off) == TRUNC_DIV_EXPR)
    2195                 :            :         {
    2196                 :        288 :           step = TREE_OPERAND (off, 1);
    2197                 :        288 :           off = TREE_OPERAND (off, 0);
    2198                 :        288 :           gcc_assert (fd->loops[i].cond_code == LT_EXPR
    2199                 :            :                       && integer_onep (fd->loops[i].step)
    2200                 :            :                       && !POINTER_TYPE_P (TREE_TYPE (fd->loops[i].v)));
    2201                 :            :         }
    2202                 :       1998 :       tree s = fold_convert_loc (loc, itype, step ? step : fd->loops[i].step);
    2203                 :       1998 :       if (step)
    2204                 :            :         {
    2205                 :        288 :           off = fold_convert_loc (loc, itype, off);
    2206                 :        288 :           orig_off = off;
    2207                 :        288 :           off = fold_build2_loc (loc, TRUNC_DIV_EXPR, itype, off, s);
    2208                 :            :         }
    2209                 :            : 
    2210                 :       1998 :       if (integer_zerop (off))
    2211                 :       1214 :         t = boolean_true_node;
    2212                 :            :       else
    2213                 :            :         {
    2214                 :        784 :           tree a;
    2215                 :        784 :           tree co = fold_convert_loc (loc, itype, off);
    2216                 :        784 :           if (POINTER_TYPE_P (TREE_TYPE (fd->loops[i].v)))
    2217                 :            :             {
    2218                 :         11 :               if (OMP_CLAUSE_DEPEND_SINK_NEGATIVE (deps))
    2219                 :          0 :                 co = fold_build1_loc (loc, NEGATE_EXPR, itype, co);
    2220                 :         22 :               a = fold_build2_loc (loc, POINTER_PLUS_EXPR,
    2221                 :         11 :                                    TREE_TYPE (fd->loops[i].v), fd->loops[i].v,
    2222                 :            :                                    co);
    2223                 :            :             }
    2224                 :        773 :           else if (OMP_CLAUSE_DEPEND_SINK_NEGATIVE (deps))
    2225                 :        566 :             a = fold_build2_loc (loc, MINUS_EXPR, TREE_TYPE (fd->loops[i].v),
    2226                 :            :                                  fd->loops[i].v, co);
    2227                 :            :           else
    2228                 :        207 :             a = fold_build2_loc (loc, PLUS_EXPR, TREE_TYPE (fd->loops[i].v),
    2229                 :            :                                  fd->loops[i].v, co);
    2230                 :        784 :           if (step)
    2231                 :            :             {
    2232                 :        288 :               tree t1, t2;
    2233                 :        288 :               if (OMP_CLAUSE_DEPEND_SINK_NEGATIVE (deps))
    2234                 :        204 :                 t1 = fold_build2_loc (loc, GE_EXPR, boolean_type_node, a,
    2235                 :        204 :                                       fd->loops[i].n1);
    2236                 :            :               else
    2237                 :         84 :                 t1 = fold_build2_loc (loc, LT_EXPR, boolean_type_node, a,
    2238                 :         84 :                                       fd->loops[i].n2);
    2239                 :        288 :               if (OMP_CLAUSE_DEPEND_SINK_NEGATIVE (deps))
    2240                 :        204 :                 t2 = fold_build2_loc (loc, LT_EXPR, boolean_type_node, a,
    2241                 :        204 :                                       fd->loops[i].n2);
    2242                 :            :               else
    2243                 :         84 :                 t2 = fold_build2_loc (loc, GE_EXPR, boolean_type_node, a,
    2244                 :         84 :                                       fd->loops[i].n1);
    2245                 :        288 :               t = fold_build2_loc (loc, LT_EXPR, boolean_type_node,
    2246                 :        288 :                                    step, build_int_cst (TREE_TYPE (step), 0));
    2247                 :        288 :               if (TREE_CODE (step) != INTEGER_CST)
    2248                 :            :                 {
    2249                 :        198 :                   t1 = unshare_expr (t1);
    2250                 :        198 :                   t1 = force_gimple_operand_gsi (gsi, t1, true, NULL_TREE,
    2251                 :            :                                                  false, GSI_CONTINUE_LINKING);
    2252                 :        198 :                   t2 = unshare_expr (t2);
    2253                 :        198 :                   t2 = force_gimple_operand_gsi (gsi, t2, true, NULL_TREE,
    2254                 :            :                                                  false, GSI_CONTINUE_LINKING);
    2255                 :            :                 }
    2256                 :        288 :               t = fold_build3_loc (loc, COND_EXPR, boolean_type_node,
    2257                 :            :                                    t, t2, t1);
    2258                 :            :             }
    2259                 :        496 :           else if (fd->loops[i].cond_code == LT_EXPR)
    2260                 :            :             {
    2261                 :        386 :               if (OMP_CLAUSE_DEPEND_SINK_NEGATIVE (deps))
    2262                 :        331 :                 t = fold_build2_loc (loc, GE_EXPR, boolean_type_node, a,
    2263                 :            :                                      fd->loops[i].n1);
    2264                 :            :               else
    2265                 :         55 :                 t = fold_build2_loc (loc, LT_EXPR, boolean_type_node, a,
    2266                 :            :                                      fd->loops[i].n2);
    2267                 :            :             }
    2268                 :        110 :           else if (OMP_CLAUSE_DEPEND_SINK_NEGATIVE (deps))
    2269                 :         31 :             t = fold_build2_loc (loc, GT_EXPR, boolean_type_node, a,
    2270                 :            :                                  fd->loops[i].n2);
    2271                 :            :           else
    2272                 :         79 :             t = fold_build2_loc (loc, LE_EXPR, boolean_type_node, a,
    2273                 :            :                                  fd->loops[i].n1);
    2274                 :            :         }
    2275                 :       1998 :       if (cond)
    2276                 :       1633 :         cond = fold_build2_loc (loc, BIT_AND_EXPR, boolean_type_node, cond, t);
    2277                 :            :       else
    2278                 :        365 :         cond = t;
    2279                 :            : 
    2280                 :       1998 :       off = fold_convert_loc (loc, itype, off);
    2281                 :            : 
    2282                 :       1998 :       if (step
    2283                 :       3583 :           || (fd->loops[i].cond_code == LT_EXPR
    2284                 :       1710 :               ? !integer_onep (fd->loops[i].step)
    2285                 :        125 :               : !integer_minus_onep (fd->loops[i].step)))
    2286                 :            :         {
    2287                 :        334 :           if (step == NULL_TREE
    2288                 :         46 :               && TYPE_UNSIGNED (itype)
    2289                 :        347 :               && fd->loops[i].cond_code == GT_EXPR)
    2290                 :         11 :             t = fold_build2_loc (loc, TRUNC_MOD_EXPR, itype, off,
    2291                 :            :                                  fold_build1_loc (loc, NEGATE_EXPR, itype,
    2292                 :            :                                                   s));
    2293                 :            :           else
    2294                 :        358 :             t = fold_build2_loc (loc, TRUNC_MOD_EXPR, itype,
    2295                 :            :                                  orig_off ? orig_off : off, s);
    2296                 :        334 :           t = fold_build2_loc (loc, EQ_EXPR, boolean_type_node, t,
    2297                 :        334 :                                build_int_cst (itype, 0));
    2298                 :        334 :           if (integer_zerop (t) && !warned_step)
    2299                 :            :             {
    2300                 :          6 :               warning_at (loc, 0, "%<depend%> clause with %<sink%> modifier "
    2301                 :            :                                   "refers to iteration never in the iteration "
    2302                 :            :                                   "space");
    2303                 :          6 :               warned_step = true;
    2304                 :            :             }
    2305                 :        334 :           cond = fold_build2_loc (loc, BIT_AND_EXPR, boolean_type_node,
    2306                 :            :                                   cond, t);
    2307                 :            :         }
    2308                 :            : 
    2309                 :       1998 :       if (i <= fd->collapse - 1 && fd->collapse > 1)
    2310                 :        296 :         t = fd->loop.v;
    2311                 :       1702 :       else if (counts[i])
    2312                 :         51 :         t = counts[i];
    2313                 :            :       else
    2314                 :            :         {
    2315                 :       1651 :           t = fold_build2_loc (loc, MINUS_EXPR, TREE_TYPE (fd->loops[i].v),
    2316                 :       1651 :                                fd->loops[i].v, fd->loops[i].n1);
    2317                 :       1651 :           t = fold_convert_loc (loc, fd->iter_type, t);
    2318                 :            :         }
    2319                 :       1998 :       if (step)
    2320                 :            :         /* We have divided off by step already earlier.  */;
    2321                 :       1710 :       else if (TYPE_UNSIGNED (itype) && fd->loops[i].cond_code == GT_EXPR)
    2322                 :         11 :         off = fold_build2_loc (loc, TRUNC_DIV_EXPR, itype, off,
    2323                 :            :                                fold_build1_loc (loc, NEGATE_EXPR, itype,
    2324                 :            :                                                 s));
    2325                 :            :       else
    2326                 :       1699 :         off = fold_build2_loc (loc, TRUNC_DIV_EXPR, itype, off, s);
    2327                 :       1998 :       if (OMP_CLAUSE_DEPEND_SINK_NEGATIVE (deps))
    2328                 :        566 :         off = fold_build1_loc (loc, NEGATE_EXPR, itype, off);
    2329                 :       1998 :       off = fold_convert_loc (loc, fd->iter_type, off);
    2330                 :       1998 :       if (i <= fd->collapse - 1 && fd->collapse > 1)
    2331                 :            :         {
    2332                 :        296 :           if (i)
    2333                 :        148 :             off = fold_build2_loc (loc, PLUS_EXPR, fd->iter_type, coff,
    2334                 :            :                                    off);
    2335                 :        296 :           if (i < fd->collapse - 1)
    2336                 :            :             {
    2337                 :        296 :               coff = fold_build2_loc (loc, MULT_EXPR, fd->iter_type, off,
    2338                 :        148 :                                       counts[i]);
    2339                 :        148 :               continue;
    2340                 :            :             }
    2341                 :            :         }
    2342                 :       1850 :       off = unshare_expr (off);
    2343                 :       1850 :       t = fold_build2_loc (loc, PLUS_EXPR, fd->iter_type, t, off);
    2344                 :       1850 :       t = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
    2345                 :            :                                     true, GSI_SAME_STMT);
    2346                 :       1850 :       args.safe_push (t);
    2347                 :            :     }
    2348                 :        365 :   gimple *g = gimple_build_call_vec (builtin_decl_explicit (sink_ix), args);
    2349                 :        365 :   gimple_set_location (g, loc);
    2350                 :        365 :   gsi_insert_before (&gsi2, g, GSI_SAME_STMT);
    2351                 :            : 
    2352                 :        365 :   cond = unshare_expr (cond);
    2353                 :        365 :   cond = force_gimple_operand_gsi (gsi, cond, true, NULL_TREE, false,
    2354                 :            :                                    GSI_CONTINUE_LINKING);
    2355                 :        365 :   gsi_insert_after (gsi, gimple_build_cond_empty (cond), GSI_NEW_STMT);
    2356                 :        365 :   edge e3 = make_edge (e1->src, e2->dest, EDGE_FALSE_VALUE);
    2357                 :        365 :   e3->probability = profile_probability::guessed_always ().apply_scale (1, 8);
    2358                 :        365 :   e1->probability = e3->probability.invert ();
    2359                 :        365 :   e1->flags = EDGE_TRUE_VALUE;
    2360                 :        365 :   set_immediate_dominator (CDI_DOMINATORS, e2->dest, e1->src);
    2361                 :            : 
    2362                 :        730 :   *gsi = gsi_after_labels (e2->dest);
    2363                 :        365 : }
    2364                 :            : 
    2365                 :            : /* Expand all #pragma omp ordered depend(source) and
    2366                 :            :    #pragma omp ordered depend(sink:...) constructs in the current
    2367                 :            :    #pragma omp for ordered(n) region.  */
    2368                 :            : 
    2369                 :            : static void
    2370                 :        248 : expand_omp_ordered_source_sink (struct omp_region *region,
    2371                 :            :                                 struct omp_for_data *fd, tree *counts,
    2372                 :            :                                 basic_block cont_bb)
    2373                 :            : {
    2374                 :        248 :   struct omp_region *inner;
    2375                 :        248 :   int i;
    2376                 :       1084 :   for (i = fd->collapse - 1; i < fd->ordered; i++)
    2377                 :        836 :     if (i == fd->collapse - 1 && fd->collapse > 1)
    2378                 :        106 :       counts[i] = NULL_TREE;
    2379                 :        730 :     else if (i >= fd->collapse && !cont_bb)
    2380                 :          0 :       counts[i] = build_zero_cst (fd->iter_type);
    2381                 :       1450 :     else if (!POINTER_TYPE_P (TREE_TYPE (fd->loops[i].v))
    2382                 :       1450 :              && integer_onep (fd->loops[i].step))
    2383                 :        697 :       counts[i] = NULL_TREE;
    2384                 :            :     else
    2385                 :         33 :       counts[i] = create_tmp_var (fd->iter_type, ".orditer");
    2386                 :        248 :   tree atype
    2387                 :        248 :     = build_array_type_nelts (fd->iter_type, fd->ordered - fd->collapse + 1);
    2388                 :        248 :   counts[fd->ordered] = create_tmp_var (atype, ".orditera");
    2389                 :        248 :   TREE_ADDRESSABLE (counts[fd->ordered]) = 1;
    2390                 :            : 
    2391                 :       1253 :   for (inner = region->inner; inner; inner = inner->next)
    2392                 :       1005 :     if (inner->type == GIMPLE_OMP_ORDERED)
    2393                 :            :       {
    2394                 :        532 :         gomp_ordered *ord_stmt = inner->ord_stmt;
    2395                 :        532 :         gimple_stmt_iterator gsi = gsi_for_stmt (ord_stmt);
    2396                 :        532 :         location_t loc = gimple_location (ord_stmt);
    2397                 :        532 :         tree c;
    2398                 :        897 :         for (c = gimple_omp_ordered_clauses (ord_stmt);
    2399                 :        897 :              c; c = OMP_CLAUSE_CHAIN (c))
    2400                 :        613 :           if (OMP_CLAUSE_DEPEND_KIND (c) == OMP_CLAUSE_DEPEND_SOURCE)
    2401                 :            :             break;
    2402                 :        532 :         if (c)
    2403                 :        248 :           expand_omp_ordered_source (&gsi, fd, counts, loc);
    2404                 :       1145 :         for (c = gimple_omp_ordered_clauses (ord_stmt);
    2405                 :       1145 :              c; c = OMP_CLAUSE_CHAIN (c))
    2406                 :        613 :           if (OMP_CLAUSE_DEPEND_KIND (c) == OMP_CLAUSE_DEPEND_SINK)
    2407                 :        365 :             expand_omp_ordered_sink (&gsi, fd, counts, c, loc);
    2408                 :        532 :         gsi_remove (&gsi, true);
    2409                 :            :       }
    2410                 :        248 : }
    2411                 :            : 
    2412                 :            : /* Wrap the body into fd->ordered - fd->collapse loops that aren't
    2413                 :            :    collapsed.  */
    2414                 :            : 
    2415                 :            : static basic_block
    2416                 :        248 : expand_omp_for_ordered_loops (struct omp_for_data *fd, tree *counts,
    2417                 :            :                               basic_block cont_bb, basic_block body_bb,
    2418                 :            :                               bool ordered_lastprivate)
    2419                 :            : {
    2420                 :        248 :   if (fd->ordered == fd->collapse)
    2421                 :            :     return cont_bb;
    2422                 :            : 
    2423                 :        129 :   if (!cont_bb)
    2424                 :            :     {
    2425                 :          0 :       gimple_stmt_iterator gsi = gsi_after_labels (body_bb);
    2426                 :          0 :       for (int i = fd->collapse; i < fd->ordered; i++)
    2427                 :            :         {
    2428                 :          0 :           tree type = TREE_TYPE (fd->loops[i].v);
    2429                 :          0 :           tree n1 = fold_convert (type, fd->loops[i].n1);
    2430                 :          0 :           expand_omp_build_assign (&gsi, fd->loops[i].v, n1);
    2431                 :          0 :           tree aref = build4 (ARRAY_REF, fd->iter_type, counts[fd->ordered],
    2432                 :          0 :                               size_int (i - fd->collapse + 1),
    2433                 :            :                               NULL_TREE, NULL_TREE);
    2434                 :          0 :           expand_omp_build_assign (&gsi, aref, build_zero_cst (fd->iter_type));
    2435                 :            :         }
    2436                 :          0 :       return NULL;
    2437                 :            :     }
    2438                 :            : 
    2439                 :        717 :   for (int i = fd->ordered - 1; i >= fd->collapse; i--)
    2440                 :            :     {
    2441                 :        588 :       tree t, type = TREE_TYPE (fd->loops[i].v);
    2442                 :        588 :       gimple_stmt_iterator gsi = gsi_after_labels (body_bb);
    2443                 :        588 :       expand_omp_build_assign (&gsi, fd->loops[i].v,
    2444                 :            :                                fold_convert (type, fd->loops[i].n1));
    2445                 :        588 :       if (counts[i])
    2446                 :          8 :         expand_omp_build_assign (&gsi, counts[i],
    2447                 :            :                                  build_zero_cst (fd->iter_type));
    2448                 :        588 :       tree aref = build4 (ARRAY_REF, fd->iter_type, counts[fd->ordered],
    2449                 :        588 :                           size_int (i - fd->collapse + 1),
    2450                 :            :                           NULL_TREE, NULL_TREE);
    2451                 :        588 :       expand_omp_build_assign (&gsi, aref, build_zero_cst (fd->iter_type));
    2452                 :        588 :       if (!gsi_end_p (gsi))
    2453                 :        588 :         gsi_prev (&gsi);
    2454                 :            :       else
    2455                 :          0 :         gsi = gsi_last_bb (body_bb);
    2456                 :        588 :       edge e1 = split_block (body_bb, gsi_stmt (gsi));
    2457                 :        588 :       basic_block new_body = e1->dest;
    2458                 :        588 :       if (body_bb == cont_bb)
    2459                 :          0 :         cont_bb = new_body;
    2460                 :        588 :       edge e2 = NULL;
    2461                 :        588 :       basic_block new_header;
    2462                 :        588 :       if (EDGE_COUNT (cont_bb->preds) > 0)
    2463                 :            :         {
    2464                 :        567 :           gsi = gsi_last_bb (cont_bb);
    2465                 :        567 :           if (POINTER_TYPE_P (type))
    2466                 :          0 :             t = fold_build_pointer_plus (fd->loops[i].v,
    2467                 :            :                                          fold_convert (sizetype,
    2468                 :            :                                                        fd->loops[i].step));
    2469                 :            :           else
    2470                 :        567 :             t = fold_build2 (PLUS_EXPR, type, fd->loops[i].v,
    2471                 :            :                              fold_convert (type, fd->loops[i].step));
    2472                 :        567 :           expand_omp_build_assign (&gsi, fd->loops[i].v, t);
    2473                 :        567 :           if (counts[i])
    2474                 :            :             {
    2475                 :          8 :               t = fold_build2 (PLUS_EXPR, fd->iter_type, counts[i],
    2476                 :            :                                build_int_cst (fd->iter_type, 1));
    2477                 :          8 :               expand_omp_build_assign (&gsi, counts[i], t);
    2478                 :          8 :               t = counts[i];
    2479                 :            :             }
    2480                 :            :           else
    2481                 :            :             {
    2482                 :        559 :               t = fold_build2 (MINUS_EXPR, TREE_TYPE (fd->loops[i].v),
    2483                 :            :                                fd->loops[i].v, fd->loops[i].n1);
    2484                 :        559 :               t = fold_convert (fd->iter_type, t);
    2485                 :        559 :               t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    2486                 :            :                                             true, GSI_SAME_STMT);
    2487                 :            :             }
    2488                 :        567 :           aref = build4 (ARRAY_REF, fd->iter_type, counts[fd->ordered],
    2489                 :        567 :                          size_int (i - fd->collapse + 1),
    2490                 :            :                          NULL_TREE, NULL_TREE);
    2491                 :        567 :           expand_omp_build_assign (&gsi, aref, t);
    2492                 :        567 :           gsi_prev (&gsi);
    2493                 :        567 :           e2 = split_block (cont_bb, gsi_stmt (gsi));
    2494                 :        567 :           new_header = e2->dest;
    2495                 :            :         }
    2496                 :            :       else
    2497                 :            :         new_header = cont_bb;
    2498                 :        588 :       gsi = gsi_after_labels (new_header);
    2499                 :        588 :       tree v = force_gimple_operand_gsi (&gsi, fd->loops[i].v, true, NULL_TREE,
    2500                 :            :                                          true, GSI_SAME_STMT);
    2501                 :        588 :       tree n2
    2502                 :        588 :         = force_gimple_operand_gsi (&gsi, fold_convert (type, fd->loops[i].n2),
    2503                 :            :                                     true, NULL_TREE, true, GSI_SAME_STMT);
    2504                 :        588 :       t = build2 (fd->loops[i].cond_code, boolean_type_node, v, n2);
    2505                 :        588 :       gsi_insert_before (&gsi, gimple_build_cond_empty (t), GSI_NEW_STMT);
    2506                 :        588 :       edge e3 = split_block (new_header, gsi_stmt (gsi));
    2507                 :        588 :       cont_bb = e3->dest;
    2508                 :        588 :       remove_edge (e1);
    2509                 :        588 :       make_edge (body_bb, new_header, EDGE_FALLTHRU);
    2510                 :        588 :       e3->flags = EDGE_FALSE_VALUE;
    2511                 :        588 :       e3->probability = profile_probability::guessed_always ().apply_scale (1, 8);
    2512                 :        588 :       e1 = make_edge (new_header, new_body, EDGE_TRUE_VALUE);
    2513                 :        588 :       e1->probability = e3->probability.invert ();
    2514                 :            : 
    2515                 :        588 :       set_immediate_dominator (CDI_DOMINATORS, new_header, body_bb);
    2516                 :        588 :       set_immediate_dominator (CDI_DOMINATORS, new_body, new_header);
    2517                 :            : 
    2518                 :        588 :       if (e2)
    2519                 :            :         {
    2520                 :        567 :           class loop *loop = alloc_loop ();
    2521                 :        567 :           loop->header = new_header;
    2522                 :        567 :           loop->latch = e2->src;
    2523                 :        567 :           add_loop (loop, body_bb->loop_father);
    2524                 :            :         }
    2525                 :            :     }
    2526                 :            : 
    2527                 :            :   /* If there are any lastprivate clauses and it is possible some loops
    2528                 :            :      might have zero iterations, ensure all the decls are initialized,
    2529                 :            :      otherwise we could crash evaluating C++ class iterators with lastprivate
    2530                 :            :      clauses.  */
    2531                 :            :   bool need_inits = false;
    2532                 :        129 :   for (int i = fd->collapse; ordered_lastprivate && i < fd->ordered; i++)
    2533                 :          0 :     if (need_inits)
    2534                 :            :       {
    2535                 :          0 :         tree type = TREE_TYPE (fd->loops[i].v);
    2536                 :          0 :         gimple_stmt_iterator gsi = gsi_after_labels (body_bb);
    2537                 :          0 :         expand_omp_build_assign (&gsi, fd->loops[i].v,
    2538                 :            :                                  fold_convert (type, fd->loops[i].n1));
    2539                 :            :       }
    2540                 :            :     else
    2541                 :            :       {
    2542                 :          0 :         tree type = TREE_TYPE (fd->loops[i].v);
    2543                 :          0 :         tree this_cond = fold_build2 (fd->loops[i].cond_code,
    2544                 :            :                                       boolean_type_node,
    2545                 :            :                                       fold_convert (type, fd->loops[i].n1),
    2546                 :            :                                       fold_convert (type, fd->loops[i].n2));
    2547                 :          0 :         if (!integer_onep (this_cond))
    2548                 :          0 :           need_inits = true;
    2549                 :            :       }
    2550                 :            : 
    2551                 :            :   return cont_bb;
    2552                 :            : }
    2553                 :            : 
    2554                 :            : /* A subroutine of expand_omp_for.  Generate code for a parallel
    2555                 :            :    loop with any schedule.  Given parameters:
    2556                 :            : 
    2557                 :            :         for (V = N1; V cond N2; V += STEP) BODY;
    2558                 :            : 
    2559                 :            :    where COND is "<" or ">", we generate pseudocode
    2560                 :            : 
    2561                 :            :         more = GOMP_loop_foo_start (N1, N2, STEP, CHUNK, &istart0, &iend0);
    2562                 :            :         if (more) goto L0; else goto L3;
    2563                 :            :     L0:
    2564                 :            :         V = istart0;
    2565                 :            :         iend = iend0;
    2566                 :            :     L1:
    2567                 :            :         BODY;
    2568                 :            :         V += STEP;
    2569                 :            :         if (V cond iend) goto L1; else goto L2;
    2570                 :            :     L2:
    2571                 :            :         if (GOMP_loop_foo_next (&istart0, &iend0)) goto L0; else goto L3;
    2572                 :            :     L3:
    2573                 :            : 
    2574                 :            :     If this is a combined omp parallel loop, instead of the call to
    2575                 :            :     GOMP_loop_foo_start, we call GOMP_loop_foo_next.
    2576                 :            :     If this is gimple_omp_for_combined_p loop, then instead of assigning
    2577                 :            :     V and iend in L0 we assign the first two _looptemp_ clause decls of the
    2578                 :            :     inner GIMPLE_OMP_FOR and V += STEP; and
    2579                 :            :     if (V cond iend) goto L1; else goto L2; are removed.
    2580                 :            : 
    2581                 :            :     For collapsed loops, given parameters:
    2582                 :            :       collapse(3)
    2583                 :            :       for (V1 = N11; V1 cond1 N12; V1 += STEP1)
    2584                 :            :         for (V2 = N21; V2 cond2 N22; V2 += STEP2)
    2585                 :            :           for (V3 = N31; V3 cond3 N32; V3 += STEP3)
    2586                 :            :             BODY;
    2587                 :            : 
    2588                 :            :     we generate pseudocode
    2589                 :            : 
    2590                 :            :         if (__builtin_expect (N32 cond3 N31, 0)) goto Z0;
    2591                 :            :         if (cond3 is <)
    2592                 :            :           adj = STEP3 - 1;
    2593                 :            :         else
    2594                 :            :           adj = STEP3 + 1;
    2595                 :            :         count3 = (adj + N32 - N31) / STEP3;
    2596                 :            :         if (__builtin_expect (N22 cond2 N21, 0)) goto Z0;
    2597                 :            :         if (cond2 is <)
    2598                 :            :           adj = STEP2 - 1;
    2599                 :            :         else
    2600                 :            :           adj = STEP2 + 1;
    2601                 :            :         count2 = (adj + N22 - N21) / STEP2;
    2602                 :            :         if (__builtin_expect (N12 cond1 N11, 0)) goto Z0;
    2603                 :            :         if (cond1 is <)
    2604                 :            :           adj = STEP1 - 1;
    2605                 :            :         else
    2606                 :            :           adj = STEP1 + 1;
    2607                 :            :         count1 = (adj + N12 - N11) / STEP1;
    2608                 :            :         count = count1 * count2 * count3;
    2609                 :            :         goto Z1;
    2610                 :            :     Z0:
    2611                 :            :         count = 0;
    2612                 :            :     Z1:
    2613                 :            :         more = GOMP_loop_foo_start (0, count, 1, CHUNK, &istart0, &iend0);
    2614                 :            :         if (more) goto L0; else goto L3;
    2615                 :            :     L0:
    2616                 :            :         V = istart0;
    2617                 :            :         T = V;
    2618                 :            :         V3 = N31 + (T % count3) * STEP3;
    2619                 :            :         T = T / count3;
    2620                 :            :         V2 = N21 + (T % count2) * STEP2;
    2621                 :            :         T = T / count2;
    2622                 :            :         V1 = N11 + T * STEP1;
    2623                 :            :         iend = iend0;
    2624                 :            :     L1:
    2625                 :            :         BODY;
    2626                 :            :         V += 1;
    2627                 :            :         if (V < iend) goto L10; else goto L2;
    2628                 :            :     L10:
    2629                 :            :         V3 += STEP3;
    2630                 :            :         if (V3 cond3 N32) goto L1; else goto L11;
    2631                 :            :     L11:
    2632                 :            :         V3 = N31;
    2633                 :            :         V2 += STEP2;
    2634                 :            :         if (V2 cond2 N22) goto L1; else goto L12;
    2635                 :            :     L12:
    2636                 :            :         V2 = N21;
    2637                 :            :         V1 += STEP1;
    2638                 :            :         goto L1;
    2639                 :            :     L2:
    2640                 :            :         if (GOMP_loop_foo_next (&istart0, &iend0)) goto L0; else goto L3;
    2641                 :            :     L3:
    2642                 :            : 
    2643                 :            :       */
    2644                 :            : 
    2645                 :            : static void
    2646                 :       3926 : expand_omp_for_generic (struct omp_region *region,
    2647                 :            :                         struct omp_for_data *fd,
    2648                 :            :                         enum built_in_function start_fn,
    2649                 :            :                         enum built_in_function next_fn,
    2650                 :            :                         tree sched_arg,
    2651                 :            :                         gimple *inner_stmt)
    2652                 :            : {
    2653                 :       3926 :   tree type, istart0, iend0, iend;
    2654                 :       3926 :   tree t, vmain, vback, bias = NULL_TREE;
    2655                 :       3926 :   basic_block entry_bb, cont_bb, exit_bb, l0_bb, l1_bb, collapse_bb;
    2656                 :       3926 :   basic_block l2_bb = NULL, l3_bb = NULL;
    2657                 :       3926 :   gimple_stmt_iterator gsi;
    2658                 :       3926 :   gassign *assign_stmt;
    2659                 :       3926 :   bool in_combined_parallel = is_combined_parallel (region);
    2660                 :       3926 :   bool broken_loop = region->cont == NULL;
    2661                 :       3926 :   edge e, ne;
    2662                 :       3926 :   tree *counts = NULL;
    2663                 :       3926 :   int i;
    2664                 :       3926 :   bool ordered_lastprivate = false;
    2665                 :            : 
    2666                 :       3926 :   gcc_assert (!broken_loop || !in_combined_parallel);
    2667                 :       3926 :   gcc_assert (fd->iter_type == long_integer_type_node
    2668                 :            :               || !in_combined_parallel);
    2669                 :            : 
    2670                 :       3926 :   entry_bb = region->entry;
    2671                 :       3926 :   cont_bb = region->cont;
    2672                 :       3926 :   collapse_bb = NULL;
    2673                 :       3926 :   gcc_assert (EDGE_COUNT (entry_bb->succs) == 2);
    2674                 :       3926 :   gcc_assert (broken_loop
    2675                 :            :               || BRANCH_EDGE (entry_bb)->dest == FALLTHRU_EDGE (cont_bb)->dest);
    2676                 :       3926 :   l0_bb = split_edge (FALLTHRU_EDGE (entry_bb));
    2677                 :       3926 :   l1_bb = single_succ (l0_bb);
    2678                 :       3926 :   if (!broken_loop)
    2679                 :            :     {
    2680                 :       3531 :       l2_bb = create_empty_bb (cont_bb);
    2681                 :       3531 :       gcc_assert (BRANCH_EDGE (cont_bb)->dest == l1_bb
    2682                 :            :                   || (single_succ_edge (BRANCH_EDGE (cont_bb)->dest)->dest
    2683                 :            :                       == l1_bb));
    2684                 :       3531 :       gcc_assert (EDGE_COUNT (cont_bb->succs) == 2);
    2685                 :            :     }
    2686                 :            :   else
    2687                 :            :     l2_bb = NULL;
    2688                 :       3926 :   l3_bb = BRANCH_EDGE (entry_bb)->dest;
    2689                 :       3926 :   exit_bb = region->exit;
    2690                 :            : 
    2691                 :       3926 :   gsi = gsi_last_nondebug_bb (entry_bb);
    2692                 :            : 
    2693                 :       3926 :   gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
    2694                 :       3926 :   if (fd->ordered
    2695                 :       3926 :       && omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    2696                 :            :                           OMP_CLAUSE_LASTPRIVATE))
    2697                 :            :     ordered_lastprivate = false;
    2698                 :       3926 :   tree reductions = NULL_TREE;
    2699                 :       3926 :   tree mem = NULL_TREE, cond_var = NULL_TREE, condtemp = NULL_TREE;
    2700                 :       3926 :   tree memv = NULL_TREE;
    2701                 :       3926 :   if (fd->lastprivate_conditional)
    2702                 :            :     {
    2703                 :         40 :       tree c = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    2704                 :            :                                 OMP_CLAUSE__CONDTEMP_);
    2705                 :         40 :       if (fd->have_pointer_condtemp)
    2706                 :         28 :         condtemp = OMP_CLAUSE_DECL (c);
    2707                 :         40 :       c = omp_find_clause (OMP_CLAUSE_CHAIN (c), OMP_CLAUSE__CONDTEMP_);
    2708                 :         40 :       cond_var = OMP_CLAUSE_DECL (c);
    2709                 :            :     }
    2710                 :       3926 :   if (sched_arg)
    2711                 :            :     {
    2712                 :        131 :       if (fd->have_reductemp)
    2713                 :            :         {
    2714                 :        111 :           tree c = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    2715                 :            :                                     OMP_CLAUSE__REDUCTEMP_);
    2716                 :        111 :           reductions = OMP_CLAUSE_DECL (c);
    2717                 :        111 :           gcc_assert (TREE_CODE (reductions) == SSA_NAME);
    2718                 :        111 :           gimple *g = SSA_NAME_DEF_STMT (reductions);
    2719                 :        111 :           reductions = gimple_assign_rhs1 (g);
    2720                 :        111 :           OMP_CLAUSE_DECL (c) = reductions;
    2721                 :        111 :           entry_bb = gimple_bb (g);
    2722                 :        111 :           edge e = split_block (entry_bb, g);
    2723                 :        111 :           if (region->entry == entry_bb)
    2724                 :          8 :             region->entry = e->dest;
    2725                 :        222 :           gsi = gsi_last_bb (entry_bb);
    2726                 :            :         }
    2727                 :            :       else
    2728                 :         20 :         reductions = null_pointer_node;
    2729                 :        131 :       if (fd->have_pointer_condtemp)
    2730                 :            :         {
    2731                 :         28 :           tree type = TREE_TYPE (condtemp);
    2732                 :         28 :           memv = create_tmp_var (type);
    2733                 :         28 :           TREE_ADDRESSABLE (memv) = 1;
    2734                 :         28 :           unsigned HOST_WIDE_INT sz
    2735                 :         28 :             = tree_to_uhwi (TYPE_SIZE_UNIT (TREE_TYPE (type)));
    2736                 :         28 :           sz *= fd->lastprivate_conditional;
    2737                 :         28 :           expand_omp_build_assign (&gsi, memv, build_int_cst (type, sz),
    2738                 :            :                                    false);
    2739                 :         28 :           mem = build_fold_addr_expr (memv);
    2740                 :            :         }
    2741                 :            :       else
    2742                 :        103 :         mem = null_pointer_node;
    2743                 :            :     }
    2744                 :       3926 :   if (fd->collapse > 1 || fd->ordered)
    2745                 :            :     {
    2746                 :       1566 :       int first_zero_iter1 = -1, first_zero_iter2 = -1;
    2747                 :       1566 :       basic_block zero_iter1_bb = NULL, zero_iter2_bb = NULL, l2_dom_bb = NULL;
    2748                 :            : 
    2749                 :       1566 :       counts = XALLOCAVEC (tree, fd->ordered ? fd->ordered + 1 : fd->collapse);
    2750                 :       1566 :       expand_omp_for_init_counts (fd, &gsi, entry_bb, counts,
    2751                 :            :                                   zero_iter1_bb, first_zero_iter1,
    2752                 :            :                                   zero_iter2_bb, first_zero_iter2, l2_dom_bb);
    2753                 :            : 
    2754                 :       1566 :       if (zero_iter1_bb)
    2755                 :            :         {
    2756                 :            :           /* Some counts[i] vars might be uninitialized if
    2757                 :            :              some loop has zero iterations.  But the body shouldn't
    2758                 :            :              be executed in that case, so just avoid uninit warnings.  */
    2759                 :       1590 :           for (i = first_zero_iter1;
    2760                 :       1590 :                i < (fd->ordered ? fd->ordered : fd->collapse); i++)
    2761                 :       1217 :             if (SSA_VAR_P (counts[i]))
    2762                 :        859 :               TREE_NO_WARNING (counts[i]) = 1;
    2763                 :        373 :           gsi_prev (&gsi);
    2764                 :        373 :           e = split_block (entry_bb, gsi_stmt (gsi));
    2765                 :        373 :           entry_bb = e->dest;
    2766                 :        373 :           make_edge (zero_iter1_bb, entry_bb, EDGE_FALLTHRU);
    2767                 :        373 :           gsi = gsi_last_nondebug_bb (entry_bb);
    2768                 :        373 :           set_immediate_dominator (CDI_DOMINATORS, entry_bb,
    2769                 :            :                                    get_immediate_dominator (CDI_DOMINATORS,
    2770                 :            :                                                             zero_iter1_bb));
    2771                 :            :         }
    2772                 :       1566 :       if (zero_iter2_bb)
    2773                 :            :         {
    2774                 :            :           /* Some counts[i] vars might be uninitialized if
    2775                 :            :              some loop has zero iterations.  But the body shouldn't
    2776                 :            :              be executed in that case, so just avoid uninit warnings.  */
    2777                 :        332 :           for (i = first_zero_iter2; i < fd->ordered; i++)
    2778                 :        237 :             if (SSA_VAR_P (counts[i]))
    2779                 :        177 :               TREE_NO_WARNING (counts[i]) = 1;
    2780                 :         95 :           if (zero_iter1_bb)
    2781                 :         87 :             make_edge (zero_iter2_bb, entry_bb, EDGE_FALLTHRU);
    2782                 :            :           else
    2783                 :            :             {
    2784                 :          8 :               gsi_prev (&gsi);
    2785                 :          8 :               e = split_block (entry_bb, gsi_stmt (gsi));
    2786                 :          8 :               entry_bb = e->dest;
    2787                 :          8 :               make_edge (zero_iter2_bb, entry_bb, EDGE_FALLTHRU);
    2788                 :          8 :               gsi = gsi_last_nondebug_bb (entry_bb);
    2789                 :          8 :               set_immediate_dominator (CDI_DOMINATORS, entry_bb,
    2790                 :            :                                        get_immediate_dominator
    2791                 :            :                                          (CDI_DOMINATORS, zero_iter2_bb));
    2792                 :            :             }
    2793                 :            :         }
    2794                 :       1566 :       if (fd->collapse == 1)
    2795                 :            :         {
    2796                 :        142 :           counts[0] = fd->loop.n2;
    2797                 :        142 :           fd->loop = fd->loops[0];
    2798                 :            :         }
    2799                 :            :     }
    2800                 :            : 
    2801                 :       3926 :   type = TREE_TYPE (fd->loop.v);
    2802                 :       3926 :   istart0 = create_tmp_var (fd->iter_type, ".istart0");
    2803                 :       3926 :   iend0 = create_tmp_var (fd->iter_type, ".iend0");
    2804                 :       3926 :   TREE_ADDRESSABLE (istart0) = 1;
    2805                 :       3926 :   TREE_ADDRESSABLE (iend0) = 1;
    2806                 :            : 
    2807                 :            :   /* See if we need to bias by LLONG_MIN.  */
    2808                 :       3926 :   if (fd->iter_type == long_long_unsigned_type_node
    2809                 :        762 :       && TREE_CODE (type) == INTEGER_TYPE
    2810                 :        512 :       && !TYPE_UNSIGNED (type)
    2811                 :       3926 :       && fd->ordered == 0)
    2812                 :            :     {
    2813                 :          0 :       tree n1, n2;
    2814                 :            : 
    2815                 :          0 :       if (fd->loop.cond_code == LT_EXPR)
    2816                 :            :         {
    2817                 :          0 :           n1 = fd->loop.n1;
    2818                 :          0 :           n2 = fold_build2 (PLUS_EXPR, type, fd->loop.n2, fd->loop.step);
    2819                 :            :         }
    2820                 :            :       else
    2821                 :            :         {
    2822                 :          0 :           n1 = fold_build2 (MINUS_EXPR, type, fd->loop.n2, fd->loop.step);
    2823                 :          0 :           n2 = fd->loop.n1;
    2824                 :            :         }
    2825                 :          0 :       if (TREE_CODE (n1) != INTEGER_CST
    2826                 :          0 :           || TREE_CODE (n2) != INTEGER_CST
    2827                 :          0 :           || ((tree_int_cst_sgn (n1) < 0) ^ (tree_int_cst_sgn (n2) < 0)))
    2828                 :          0 :         bias = fold_convert (fd->iter_type, TYPE_MIN_VALUE (type));
    2829                 :            :     }
    2830                 :            : 
    2831                 :       3926 :   gimple_stmt_iterator gsif = gsi;
    2832                 :       3926 :   gsi_prev (&gsif);
    2833                 :            : 
    2834                 :       3926 :   tree arr = NULL_TREE;
    2835                 :       3926 :   if (in_combined_parallel)
    2836                 :            :     {
    2837                 :       1087 :       gcc_assert (fd->ordered == 0);
    2838                 :            :       /* In a combined parallel loop, emit a call to
    2839                 :            :          GOMP_loop_foo_next.  */
    2840                 :       1087 :       t = build_call_expr (builtin_decl_explicit (next_fn), 2,
    2841                 :            :                            build_fold_addr_expr (istart0),
    2842                 :            :                            build_fold_addr_expr (iend0));
    2843                 :            :     }
    2844                 :            :   else
    2845                 :            :     {
    2846                 :       2839 :       tree t0, t1, t2, t3, t4;
    2847                 :            :       /* If this is not a combined parallel loop, emit a call to
    2848                 :            :          GOMP_loop_foo_start in ENTRY_BB.  */
    2849                 :       2839 :       t4 = build_fold_addr_expr (iend0);
    2850                 :       2839 :       t3 = build_fold_addr_expr (istart0);
    2851                 :       2839 :       if (fd->ordered)
    2852                 :            :         {
    2853                 :        496 :           t0 = build_int_cst (unsigned_type_node,
    2854                 :        248 :                               fd->ordered - fd->collapse + 1);
    2855                 :        248 :           arr = create_tmp_var (build_array_type_nelts (fd->iter_type,
    2856                 :        248 :                                                         fd->ordered
    2857                 :        248 :                                                         - fd->collapse + 1),
    2858                 :            :                                 ".omp_counts");
    2859                 :        248 :           DECL_NAMELESS (arr) = 1;
    2860                 :        248 :           TREE_ADDRESSABLE (arr) = 1;
    2861                 :        248 :           TREE_STATIC (arr) = 1;
    2862                 :        248 :           vec<constructor_elt, va_gc> *v;
    2863                 :        248 :           vec_alloc (v, fd->ordered - fd->collapse + 1);
    2864                 :        248 :           int idx;
    2865                 :            : 
    2866                 :       1084 :           for (idx = 0; idx < fd->ordered - fd->collapse + 1; idx++)
    2867                 :            :             {
    2868                 :        836 :               tree c;
    2869                 :        836 :               if (idx == 0 && fd->collapse > 1)
    2870                 :        106 :                 c = fd->loop.n2;
    2871                 :            :               else
    2872                 :        730 :                 c = counts[idx + fd->collapse - 1];
    2873                 :        836 :               tree purpose = size_int (idx);
    2874                 :        836 :               CONSTRUCTOR_APPEND_ELT (v, purpose, c);
    2875                 :        836 :               if (TREE_CODE (c) != INTEGER_CST)
    2876                 :        336 :                 TREE_STATIC (arr) = 0;
    2877                 :            :             }
    2878                 :            : 
    2879                 :        248 :           DECL_INITIAL (arr) = build_constructor (TREE_TYPE (arr), v);
    2880                 :        248 :           if (!TREE_STATIC (arr))
    2881                 :        167 :             force_gimple_operand_gsi (&gsi, build1 (DECL_EXPR,
    2882                 :            :                                                     void_type_node, arr),
    2883                 :            :                                       true, NULL_TREE, true, GSI_SAME_STMT);
    2884                 :        248 :           t1 = build_fold_addr_expr (arr);
    2885                 :        248 :           t2 = NULL_TREE;
    2886                 :            :         }
    2887                 :            :       else
    2888                 :            :         {
    2889                 :       2591 :           t2 = fold_convert (fd->iter_type, fd->loop.step);
    2890                 :       2591 :           t1 = fd->loop.n2;
    2891                 :       2591 :           t0 = fd->loop.n1;
    2892                 :       2591 :           if (gimple_omp_for_combined_into_p (fd->for_stmt))
    2893                 :            :             {
    2894                 :       1152 :               tree innerc
    2895                 :       1152 :                 = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    2896                 :            :                                    OMP_CLAUSE__LOOPTEMP_);
    2897                 :       1152 :               gcc_assert (innerc);
    2898                 :       1152 :               t0 = OMP_CLAUSE_DECL (innerc);
    2899                 :       1152 :               innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    2900                 :            :                                         OMP_CLAUSE__LOOPTEMP_);
    2901                 :       1152 :               gcc_assert (innerc);
    2902                 :       1152 :               t1 = OMP_CLAUSE_DECL (innerc);
    2903                 :            :             }
    2904                 :       5070 :           if (POINTER_TYPE_P (TREE_TYPE (t0))
    2905                 :       2591 :               && TYPE_PRECISION (TREE_TYPE (t0))
    2906                 :        112 :                  != TYPE_PRECISION (fd->iter_type))
    2907                 :            :             {
    2908                 :            :               /* Avoid casting pointers to integer of a different size.  */
    2909                 :          0 :               tree itype = signed_type_for (type);
    2910                 :          0 :               t1 = fold_convert (fd->iter_type, fold_convert (itype, t1));
    2911                 :          0 :               t0 = fold_convert (fd->iter_type, fold_convert (itype, t0));
    2912                 :            :             }
    2913                 :            :           else
    2914                 :            :             {
    2915                 :       2591 :               t1 = fold_convert (fd->iter_type, t1);
    2916                 :       2591 :               t0 = fold_convert (fd->iter_type, t0);
    2917                 :            :             }
    2918                 :       2591 :           if (bias)
    2919                 :            :             {
    2920                 :          0 :               t1 = fold_build2 (PLUS_EXPR, fd->iter_type, t1, bias);
    2921                 :          0 :               t0 = fold_build2 (PLUS_EXPR, fd->iter_type, t0, bias);
    2922                 :            :             }
    2923                 :            :         }
    2924                 :       2839 :       if (fd->iter_type == long_integer_type_node || fd->ordered)
    2925                 :            :         {
    2926                 :       2117 :           if (fd->chunk_size)
    2927                 :            :             {
    2928                 :       1363 :               t = fold_convert (fd->iter_type, fd->chunk_size);
    2929                 :       1363 :               t = omp_adjust_chunk_size (t, fd->simd_schedule);
    2930                 :       1363 :               if (sched_arg)
    2931                 :            :                 {
    2932                 :         97 :                   if (fd->ordered)
    2933                 :         32 :                     t = build_call_expr (builtin_decl_explicit (start_fn),
    2934                 :            :                                          8, t0, t1, sched_arg, t, t3, t4,
    2935                 :            :                                          reductions, mem);
    2936                 :            :                   else
    2937                 :         65 :                     t = build_call_expr (builtin_decl_explicit (start_fn),
    2938                 :            :                                          9, t0, t1, t2, sched_arg, t, t3, t4,
    2939                 :            :                                          reductions, mem);
    2940                 :            :                 }
    2941                 :       1266 :               else if (fd->ordered)
    2942                 :        216 :                 t = build_call_expr (builtin_decl_explicit (start_fn),
    2943                 :            :                                      5, t0, t1, t, t3, t4);
    2944                 :            :               else
    2945                 :       1050 :                 t = build_call_expr (builtin_decl_explicit (start_fn),
    2946                 :            :                                      6, t0, t1, t2, t, t3, t4);
    2947                 :            :             }
    2948                 :        754 :           else if (fd->ordered)
    2949                 :          0 :             t = build_call_expr (builtin_decl_explicit (start_fn),
    2950                 :            :                                  4, t0, t1, t3, t4);
    2951                 :            :           else
    2952                 :        754 :             t = build_call_expr (builtin_decl_explicit (start_fn),
    2953                 :            :                                  5, t0, t1, t2, t3, t4);
    2954                 :            :         }
    2955                 :            :       else
    2956                 :            :         {
    2957                 :        722 :           tree t5;
    2958                 :        722 :           tree c_bool_type;
    2959                 :        722 :           tree bfn_decl;
    2960                 :            : 
    2961                 :            :           /* The GOMP_loop_ull_*start functions have additional boolean
    2962                 :            :              argument, true for < loops and false for > loops.
    2963                 :            :              In Fortran, the C bool type can be different from
    2964                 :            :              boolean_type_node.  */
    2965                 :        722 :           bfn_decl = builtin_decl_explicit (start_fn);
    2966                 :        722 :           c_bool_type = TREE_TYPE (TREE_TYPE (bfn_decl));
    2967                 :        722 :           t5 = build_int_cst (c_bool_type,
    2968                 :        942 :                               fd->loop.cond_code == LT_EXPR ? 1 : 0);
    2969                 :        722 :           if (fd->chunk_size)
    2970                 :            :             {
    2971                 :        390 :               tree bfn_decl = builtin_decl_explicit (start_fn);
    2972                 :        390 :               t = fold_convert (fd->iter_type, fd->chunk_size);
    2973                 :        390 :               t = omp_adjust_chunk_size (t, fd->simd_schedule);
    2974                 :        390 :               if (sched_arg)
    2975                 :         34 :                 t = build_call_expr (bfn_decl, 10, t5, t0, t1, t2, sched_arg,
    2976                 :            :                                      t, t3, t4, reductions, mem);
    2977                 :            :               else
    2978                 :        356 :                 t = build_call_expr (bfn_decl, 7, t5, t0, t1, t2, t, t3, t4);
    2979                 :            :             }
    2980                 :            :           else
    2981                 :        332 :             t = build_call_expr (builtin_decl_explicit (start_fn),
    2982                 :            :                                  6, t5, t0, t1, t2, t3, t4);
    2983                 :            :         }
    2984                 :            :     }
    2985                 :       3926 :   if (TREE_TYPE (t) != boolean_type_node)
    2986                 :        451 :     t = fold_build2 (NE_EXPR, boolean_type_node,
    2987                 :            :                      t, build_int_cst (TREE_TYPE (t), 0));
    2988                 :       3926 :   t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    2989                 :            :                                 true, GSI_SAME_STMT);
    2990                 :       3926 :   if (arr && !TREE_STATIC (arr))
    2991                 :            :     {
    2992                 :        167 :       tree clobber = build_clobber (TREE_TYPE (arr));
    2993                 :        167 :       gsi_insert_before (&gsi, gimple_build_assign (arr, clobber),
    2994                 :            :                          GSI_SAME_STMT);
    2995                 :            :     }
    2996                 :       3926 :   if (fd->have_pointer_condtemp)
    2997                 :         28 :     expand_omp_build_assign (&gsi, condtemp, memv, false);
    2998                 :       3926 :   if (fd->have_reductemp)
    2999                 :            :     {
    3000                 :        111 :       gimple *g = gsi_stmt (gsi);
    3001                 :        111 :       gsi_remove (&gsi, true);
    3002                 :        111 :       release_ssa_name (gimple_assign_lhs (g));
    3003                 :            : 
    3004                 :        111 :       entry_bb = region->entry;
    3005                 :        111 :       gsi = gsi_last_nondebug_bb (entry_bb);
    3006                 :            : 
    3007                 :        111 :       gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
    3008                 :            :     }
    3009                 :       3926 :   gsi_insert_after (&gsi, gimple_build_cond_empty (t), GSI_SAME_STMT);
    3010                 :            : 
    3011                 :            :   /* Remove the GIMPLE_OMP_FOR statement.  */
    3012                 :       3926 :   gsi_remove (&gsi, true);
    3013                 :            : 
    3014                 :       3926 :   if (gsi_end_p (gsif))
    3015                 :       2274 :     gsif = gsi_after_labels (gsi_bb (gsif));
    3016                 :       3926 :   gsi_next (&gsif);
    3017                 :            : 
    3018                 :            :   /* Iteration setup for sequential loop goes in L0_BB.  */
    3019                 :       3926 :   tree startvar = fd->loop.v;
    3020                 :       3926 :   tree endvar = NULL_TREE;
    3021                 :            : 
    3022                 :       3926 :   if (gimple_omp_for_combined_p (fd->for_stmt))
    3023                 :            :     {
    3024                 :       1376 :       gcc_assert (gimple_code (inner_stmt) == GIMPLE_OMP_FOR
    3025                 :            :                   && gimple_omp_for_kind (inner_stmt)
    3026                 :            :                      == GF_OMP_FOR_KIND_SIMD);
    3027                 :       1376 :       tree innerc = omp_find_clause (gimple_omp_for_clauses (inner_stmt),
    3028                 :            :                                      OMP_CLAUSE__LOOPTEMP_);
    3029                 :       1376 :       gcc_assert (innerc);
    3030                 :       1376 :       startvar = OMP_CLAUSE_DECL (innerc);
    3031                 :       1376 :       innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    3032                 :            :                                 OMP_CLAUSE__LOOPTEMP_);
    3033                 :       1376 :       gcc_assert (innerc);
    3034                 :       1376 :       endvar = OMP_CLAUSE_DECL (innerc);
    3035                 :            :     }
    3036                 :            : 
    3037                 :       3926 :   gsi = gsi_start_bb (l0_bb);
    3038                 :       3926 :   t = istart0;
    3039                 :       3926 :   if (fd->ordered && fd->collapse == 1)
    3040                 :        142 :     t = fold_build2 (MULT_EXPR, fd->iter_type, t,
    3041                 :            :                      fold_convert (fd->iter_type, fd->loop.step));
    3042                 :       3784 :   else if (bias)
    3043                 :          0 :     t = fold_build2 (MINUS_EXPR, fd->iter_type, t, bias);
    3044                 :       3926 :   if (fd->ordered && fd->collapse == 1)
    3045                 :            :     {
    3046                 :        142 :       if (POINTER_TYPE_P (TREE_TYPE (startvar)))
    3047                 :         10 :         t = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (startvar),
    3048                 :            :                          fd->loop.n1, fold_convert (sizetype, t));
    3049                 :            :       else
    3050                 :            :         {
    3051                 :        132 :           t = fold_convert (TREE_TYPE (startvar), t);
    3052                 :        132 :           t = fold_build2 (PLUS_EXPR, TREE_TYPE (startvar),
    3053                 :            :                            fd->loop.n1, t);
    3054                 :            :         }
    3055                 :            :     }
    3056                 :            :   else
    3057                 :            :     {
    3058                 :       3784 :       if (POINTER_TYPE_P (TREE_TYPE (startvar)))
    3059                 :        240 :         t = fold_convert (signed_type_for (TREE_TYPE (startvar)), t);
    3060                 :       3784 :       t = fold_convert (TREE_TYPE (startvar), t);
    3061                 :            :     }
    3062                 :       3926 :   t = force_gimple_operand_gsi (&gsi, t,
    3063                 :       3926 :                                 DECL_P (startvar)
    3064                 :       3926 :                                 && TREE_ADDRESSABLE (startvar),
    3065                 :            :                                 NULL_TREE, false, GSI_CONTINUE_LINKING);
    3066                 :       3926 :   assign_stmt = gimple_build_assign (startvar, t);
    3067                 :       3926 :   gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    3068                 :       3926 :   if (cond_var)
    3069                 :            :     {
    3070                 :         40 :       tree itype = TREE_TYPE (cond_var);
    3071                 :            :       /* For lastprivate(conditional:) itervar, we need some iteration
    3072                 :            :          counter that starts at unsigned non-zero and increases.
    3073                 :            :          Prefer as few IVs as possible, so if we can use startvar
    3074                 :            :          itself, use that, or startvar + constant (those would be
    3075                 :            :          incremented with step), and as last resort use the s0 + 1
    3076                 :            :          incremented by 1.  */
    3077                 :         40 :       if ((fd->ordered && fd->collapse == 1)
    3078                 :         40 :           || bias
    3079                 :         40 :           || POINTER_TYPE_P (type)
    3080                 :         40 :           || TREE_CODE (fd->loop.n1) != INTEGER_CST
    3081                 :         34 :           || fd->loop.cond_code != LT_EXPR)
    3082                 :          6 :         t = fold_build2 (PLUS_EXPR, itype, fold_convert (itype, istart0),
    3083                 :            :                          build_int_cst (itype, 1));
    3084                 :         34 :       else if (tree_int_cst_sgn (fd->loop.n1) == 1)
    3085                 :          8 :         t = fold_convert (itype, t);
    3086                 :            :       else
    3087                 :            :         {
    3088                 :         26 :           tree c = fold_convert (itype, fd->loop.n1);
    3089                 :         26 :           c = fold_build2 (MINUS_EXPR, itype, build_int_cst (itype, 1), c);
    3090                 :         26 :           t = fold_build2 (PLUS_EXPR, itype, fold_convert (itype, t), c);
    3091                 :            :         }
    3092                 :         40 :       t = force_gimple_operand_gsi (&gsi, t, false,
    3093                 :            :                                     NULL_TREE, false, GSI_CONTINUE_LINKING);
    3094                 :         40 :       assign_stmt = gimple_build_assign (cond_var, t);
    3095                 :         40 :       gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    3096                 :            :     }
    3097                 :            : 
    3098                 :       3926 :   t = iend0;
    3099                 :       3926 :   if (fd->ordered && fd->collapse == 1)
    3100                 :        142 :     t = fold_build2 (MULT_EXPR, fd->iter_type, t,
    3101                 :            :                      fold_convert (fd->iter_type, fd->loop.step));
    3102                 :       3784 :   else if (bias)
    3103                 :          0 :     t = fold_build2 (MINUS_EXPR, fd->iter_type, t, bias);
    3104                 :       3926 :   if (fd->ordered && fd->collapse == 1)
    3105                 :            :     {
    3106                 :        142 :       if (POINTER_TYPE_P (TREE_TYPE (startvar)))
    3107                 :         10 :         t = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (startvar),
    3108                 :            :                          fd->loop.n1, fold_convert (sizetype, t));
    3109                 :            :       else
    3110                 :            :         {
    3111                 :        132 :           t = fold_convert (TREE_TYPE (startvar), t);
    3112                 :        132 :           t = fold_build2 (PLUS_EXPR, TREE_TYPE (startvar),
    3113                 :            :                            fd->loop.n1, t);
    3114                 :            :         }
    3115                 :            :     }
    3116                 :            :   else
    3117                 :            :     {
    3118                 :       3784 :       if (POINTER_TYPE_P (TREE_TYPE (startvar)))
    3119                 :        240 :         t = fold_convert (signed_type_for (TREE_TYPE (startvar)), t);
    3120                 :       3784 :       t = fold_convert (TREE_TYPE (startvar), t);
    3121                 :            :     }
    3122                 :       3926 :   iend = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    3123                 :            :                                    false, GSI_CONTINUE_LINKING);
    3124                 :       3926 :   if (endvar)
    3125                 :            :     {
    3126                 :       1376 :       assign_stmt = gimple_build_assign (endvar, iend);
    3127                 :       1376 :       gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    3128                 :       1376 :       if (useless_type_conversion_p (TREE_TYPE (fd->loop.v), TREE_TYPE (iend)))
    3129                 :        847 :         assign_stmt = gimple_build_assign (fd->loop.v, iend);
    3130                 :            :       else
    3131                 :        529 :         assign_stmt = gimple_build_assign (fd->loop.v, NOP_EXPR, iend);
    3132                 :       1376 :       gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    3133                 :            :     }
    3134                 :            :   /* Handle linear clause adjustments.  */
    3135                 :       3926 :   tree itercnt = NULL_TREE;
    3136                 :       3926 :   if (gimple_omp_for_kind (fd->for_stmt) == GF_OMP_FOR_KIND_FOR)
    3137                 :      25649 :     for (tree c = gimple_omp_for_clauses (fd->for_stmt);
    3138                 :      25649 :          c; c = OMP_CLAUSE_CHAIN (c))
    3139                 :      21723 :       if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LINEAR
    3140                 :      21723 :           && !OMP_CLAUSE_LINEAR_NO_COPYIN (c))
    3141                 :            :         {
    3142                 :         22 :           tree d = OMP_CLAUSE_DECL (c);
    3143                 :         22 :           bool is_ref = omp_is_reference (d);
    3144                 :         22 :           tree t = d, a, dest;
    3145                 :         22 :           if (is_ref)
    3146                 :          2 :             t = build_simple_mem_ref_loc (OMP_CLAUSE_LOCATION (c), t);
    3147                 :         22 :           tree type = TREE_TYPE (t);
    3148                 :         22 :           if (POINTER_TYPE_P (type))
    3149                 :          0 :             type = sizetype;
    3150                 :         22 :           dest = unshare_expr (t);
    3151                 :         22 :           tree v = create_tmp_var (TREE_TYPE (t), NULL);
    3152                 :         22 :           expand_omp_build_assign (&gsif, v, t);
    3153                 :         22 :           if (itercnt == NULL_TREE)
    3154                 :            :             {
    3155                 :         22 :               itercnt = startvar;
    3156                 :         22 :               tree n1 = fd->loop.n1;
    3157                 :         22 :               if (POINTER_TYPE_P (TREE_TYPE (itercnt)))
    3158                 :            :                 {
    3159                 :          0 :                   itercnt
    3160                 :          0 :                     = fold_convert (signed_type_for (TREE_TYPE (itercnt)),
    3161                 :            :                                     itercnt);
    3162                 :          0 :                   n1 = fold_convert (TREE_TYPE (itercnt), n1);
    3163                 :            :                 }
    3164                 :         22 :               itercnt = fold_build2 (MINUS_EXPR, TREE_TYPE (itercnt),
    3165                 :            :                                      itercnt, n1);
    3166                 :         22 :               itercnt = fold_build2 (EXACT_DIV_EXPR, TREE_TYPE (itercnt),
    3167                 :            :                                      itercnt, fd->loop.step);
    3168                 :         22 :               itercnt = force_gimple_operand_gsi (&gsi, itercnt, true,
    3169                 :            :                                                   NULL_TREE, false,
    3170                 :            :                                                   GSI_CONTINUE_LINKING);
    3171                 :            :             }
    3172                 :         22 :           a = fold_build2 (MULT_EXPR, type,
    3173                 :            :                            fold_convert (type, itercnt),
    3174                 :            :                            fold_convert (type, OMP_CLAUSE_LINEAR_STEP (c)));
    3175                 :         22 :           t = fold_build2 (type == TREE_TYPE (t) ? PLUS_EXPR
    3176                 :            :                            : POINTER_PLUS_EXPR, TREE_TYPE (t), v, a);
    3177                 :         22 :           t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    3178                 :            :                                         false, GSI_CONTINUE_LINKING);
    3179                 :         22 :           assign_stmt = gimple_build_assign (dest, t);
    3180                 :         22 :           gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    3181                 :            :         }
    3182                 :       3926 :   if (fd->collapse > 1)
    3183                 :       1424 :     expand_omp_for_init_vars (fd, &gsi, counts, inner_stmt, startvar);
    3184                 :            : 
    3185                 :       3926 :   if (fd->ordered)
    3186                 :            :     {
    3187                 :            :       /* Until now, counts array contained number of iterations or
    3188                 :            :          variable containing it for ith loop.  From now on, we need
    3189                 :            :          those counts only for collapsed loops, and only for the 2nd
    3190                 :            :          till the last collapsed one.  Move those one element earlier,
    3191                 :            :          we'll use counts[fd->collapse - 1] for the first source/sink
    3192                 :            :          iteration counter and so on and counts[fd->ordered]
    3193                 :            :          as the array holding the current counter values for
    3194                 :            :          depend(source).  */
    3195                 :        248 :       if (fd->collapse > 1)
    3196                 :        106 :         memmove (counts, counts + 1, (fd->collapse - 1) * sizeof (counts[0]));
    3197                 :        248 :       if (broken_loop)
    3198                 :            :         {
    3199                 :            :           int i;
    3200                 :         21 :           for (i = fd->collapse; i < fd->ordered; i++)
    3201                 :            :             {
    3202                 :         21 :               tree type = TREE_TYPE (fd->loops[i].v);
    3203                 :         21 :               tree this_cond
    3204                 :         21 :                 = fold_build2 (fd->loops[i].cond_code, boolean_type_node,
    3205                 :            :                                fold_convert (type, fd->loops[i].n1),
    3206                 :            :                                fold_convert (type, fd->loops[i].n2));
    3207                 :         21 :               if (!integer_onep (this_cond))
    3208                 :            :                 break;
    3209                 :            :             }
    3210                 :         21 :           if (i < fd->ordered)
    3211                 :            :             {
    3212                 :         21 :               cont_bb
    3213                 :         21 :                 = create_empty_bb (EXIT_BLOCK_PTR_FOR_FN (cfun)->prev_bb);
    3214                 :         21 :               add_bb_to_loop (cont_bb, l1_bb->loop_father);
    3215                 :         21 :               gimple_stmt_iterator gsi = gsi_after_labels (cont_bb);
    3216                 :         21 :               gimple *g = gimple_build_omp_continue (fd->loop.v, fd->loop.v);
    3217                 :         21 :               gsi_insert_before (&gsi, g, GSI_SAME_STMT);
    3218                 :         21 :               make_edge (cont_bb, l3_bb, EDGE_FALLTHRU);
    3219                 :         21 :               make_edge (cont_bb, l1_bb, 0);
    3220                 :         21 :               l2_bb = create_empty_bb (cont_bb);
    3221                 :         21 :               broken_loop = false;
    3222                 :            :             }
    3223                 :            :         }
    3224                 :        248 :       expand_omp_ordered_source_sink (region, fd, counts, cont_bb);
    3225                 :        248 :       cont_bb = expand_omp_for_ordered_loops (fd, counts, cont_bb, l1_bb,
    3226                 :            :                                               ordered_lastprivate);
    3227                 :        248 :       if (counts[fd->collapse - 1])
    3228                 :            :         {
    3229                 :         25 :           gcc_assert (fd->collapse == 1);
    3230                 :         25 :           gsi = gsi_last_bb (l0_bb);
    3231                 :         25 :           expand_omp_build_assign (&gsi, counts[fd->collapse - 1],
    3232                 :            :                                    istart0, true);
    3233                 :         25 :           gsi = gsi_last_bb (cont_bb);
    3234                 :         25 :           t = fold_build2 (PLUS_EXPR, fd->iter_type, counts[fd->collapse - 1],
    3235                 :            :                            build_int_cst (fd->iter_type, 1));
    3236                 :         25 :           expand_omp_build_assign (&gsi, counts[fd->collapse - 1], t);
    3237                 :         25 :           tree aref = build4 (ARRAY_REF, fd->iter_type, counts[fd->ordered],
    3238                 :            :                               size_zero_node, NULL_TREE, NULL_TREE);
    3239                 :         25 :           expand_omp_build_assign (&gsi, aref, counts[fd->collapse - 1]);
    3240                 :         25 :           t = counts[fd->collapse - 1];
    3241                 :            :         }
    3242                 :        223 :       else if (fd->collapse > 1)
    3243                 :        106 :         t = fd->loop.v;
    3244                 :            :       else
    3245                 :            :         {
    3246                 :        117 :           t = fold_build2 (MINUS_EXPR, TREE_TYPE (fd->loops[0].v),
    3247                 :            :                            fd->loops[0].v, fd->loops[0].n1);
    3248                 :        117 :           t = fold_convert (fd->iter_type, t);
    3249                 :            :         }
    3250                 :        248 :       gsi = gsi_last_bb (l0_bb);
    3251                 :        248 :       tree aref = build4 (ARRAY_REF, fd->iter_type, counts[fd->ordered],
    3252                 :            :                           size_zero_node, NULL_TREE, NULL_TREE);
    3253                 :        248 :       t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    3254                 :            :                                     false, GSI_CONTINUE_LINKING);
    3255                 :        248 :       expand_omp_build_assign (&gsi, aref, t, true);
    3256                 :            :     }
    3257                 :            : 
    3258                 :       3926 :   if (!broken_loop)
    3259                 :            :     {
    3260                 :            :       /* Code to control the increment and predicate for the sequential
    3261                 :            :          loop goes in the CONT_BB.  */
    3262                 :       3552 :       gsi = gsi_last_nondebug_bb (cont_bb);
    3263                 :       3552 :       gomp_continue *cont_stmt = as_a <gomp_continue *> (gsi_stmt (gsi));
    3264                 :       3552 :       gcc_assert (gimple_code (cont_stmt) == GIMPLE_OMP_CONTINUE);
    3265                 :       3552 :       vmain = gimple_omp_continue_control_use (cont_stmt);
    3266                 :       3552 :       vback = gimple_omp_continue_control_def (cont_stmt);
    3267                 :            : 
    3268                 :       3552 :       if (cond_var)
    3269                 :            :         {
    3270                 :         40 :           tree itype = TREE_TYPE (cond_var);
    3271                 :         40 :           tree t2;
    3272                 :         40 :           if ((fd->ordered && fd->collapse == 1)
    3273                 :         40 :                || bias
    3274                 :         40 :                || POINTER_TYPE_P (type)
    3275                 :         40 :                || TREE_CODE (fd->loop.n1) != INTEGER_CST
    3276                 :         34 :                || fd->loop.cond_code != LT_EXPR)
    3277                 :          6 :             t2 = build_int_cst (itype, 1);
    3278                 :            :           else
    3279                 :         34 :             t2 = fold_convert (itype, fd->loop.step);
    3280                 :         40 :           t2 = fold_build2 (PLUS_EXPR, itype, cond_var, t2);
    3281                 :         40 :           t2 = force_gimple_operand_gsi (&gsi, t2, false,
    3282                 :            :                                          NULL_TREE, true, GSI_SAME_STMT);
    3283                 :         40 :           assign_stmt = gimple_build_assign (cond_var, t2);
    3284                 :         40 :           gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
    3285                 :            :         }
    3286                 :            : 
    3287                 :       3552 :       if (!gimple_omp_for_combined_p (fd->for_stmt))
    3288                 :            :         {
    3289                 :       2176 :           if (POINTER_TYPE_P (type))
    3290                 :        162 :             t = fold_build_pointer_plus (vmain, fd->loop.step);
    3291                 :            :           else
    3292                 :       2014 :             t = fold_build2 (PLUS_EXPR, type, vmain, fd->loop.step);
    3293                 :       2176 :           t = force_gimple_operand_gsi (&gsi, t,
    3294                 :       2176 :                                         DECL_P (vback)
    3295                 :       2176 :                                         && TREE_ADDRESSABLE (vback),
    3296                 :            :                                         NULL_TREE, true, GSI_SAME_STMT);
    3297                 :       2176 :           assign_stmt = gimple_build_assign (vback, t);
    3298                 :       2176 :           gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
    3299                 :            : 
    3300                 :       2176 :           if (fd->ordered && counts[fd->collapse - 1] == NULL_TREE)
    3301                 :            :             {
    3302                 :        223 :               tree tem;
    3303                 :        223 :               if (fd->collapse > 1)
    3304                 :        106 :                 tem = fd->loop.v;
    3305                 :            :               else
    3306                 :            :                 {
    3307                 :        117 :                   tem = fold_build2 (MINUS_EXPR, TREE_TYPE (fd->loops[0].v),
    3308                 :            :                                      fd->loops[0].v, fd->loops[0].n1);
    3309                 :        117 :                   tem = fold_convert (fd->iter_type, tem);
    3310                 :            :                 }
    3311                 :        446 :               tree aref = build4 (ARRAY_REF, fd->iter_type,
    3312                 :        223 :                                   counts[fd->ordered], size_zero_node,
    3313                 :            :                                   NULL_TREE, NULL_TREE);
    3314                 :        223 :               tem = force_gimple_operand_gsi (&gsi, tem, true, NULL_TREE,
    3315                 :            :                                               true, GSI_SAME_STMT);
    3316                 :        223 :               expand_omp_build_assign (&gsi, aref, tem);
    3317                 :            :             }
    3318                 :            : 
    3319                 :       2176 :           t = build2 (fd->loop.cond_code, boolean_type_node,
    3320                 :       2176 :                       DECL_P (vback) && TREE_ADDRESSABLE (vback) ? t : vback,
    3321                 :            :                       iend);
    3322                 :       2176 :           gcond *cond_stmt = gimple_build_cond_empty (t);
    3323                 :       2176 :           gsi_insert_before (&gsi, cond_stmt, GSI_SAME_STMT);
    3324                 :            :         }
    3325                 :            : 
    3326                 :            :       /* Remove GIMPLE_OMP_CONTINUE.  */
    3327                 :       3552 :       gsi_remove (&gsi, true);
    3328                 :            : 
    3329                 :       3552 :       if (fd->collapse > 1 && !gimple_omp_for_combined_p (fd->for_stmt))
    3330                 :        631 :         collapse_bb = extract_omp_for_update_vars (fd, cont_bb, l1_bb);
    3331                 :            : 
    3332                 :            :       /* Emit code to get the next parallel iteration in L2_BB.  */
    3333                 :       3552 :       gsi = gsi_start_bb (l2_bb);
    3334                 :            : 
    3335                 :       3552 :       t = build_call_expr (builtin_decl_explicit (next_fn), 2,
    3336                 :            :                            build_fold_addr_expr (istart0),
    3337                 :            :                            build_fold_addr_expr (iend0));
    3338                 :       3552 :       t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    3339                 :            :                                     false, GSI_CONTINUE_LINKING);
    3340                 :       3552 :       if (TREE_TYPE (t) != boolean_type_node)
    3341                 :        450 :         t = fold_build2 (NE_EXPR, boolean_type_node,
    3342                 :            :                          t, build_int_cst (TREE_TYPE (t), 0));
    3343                 :       3552 :       gcond *cond_stmt = gimple_build_cond_empty (t);
    3344                 :       3552 :       gsi_insert_after (&gsi, cond_stmt, GSI_CONTINUE_LINKING);
    3345                 :            :     }
    3346                 :            : 
    3347                 :            :   /* Add the loop cleanup function.  */
    3348                 :       3926 :   gsi = gsi_last_nondebug_bb (exit_bb);
    3349                 :       3926 :   if (gimple_omp_return_nowait_p (gsi_stmt (gsi)))
    3350                 :       2998 :     t = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END_NOWAIT);
    3351                 :        928 :   else if (gimple_omp_return_lhs (gsi_stmt (gsi)))
    3352                 :          2 :     t = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END_CANCEL);
    3353                 :            :   else
    3354                 :        926 :     t = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END);
    3355                 :       3926 :   gcall *call_stmt = gimple_build_call (t, 0);
    3356                 :       3926 :   if (fd->ordered)
    3357                 :            :     {
    3358                 :        248 :       tree arr = counts[fd->ordered];
    3359                 :        248 :       tree clobber = build_clobber (TREE_TYPE (arr));
    3360                 :        248 :       gsi_insert_after (&gsi, gimple_build_assign (arr, clobber),
    3361                 :            :                         GSI_SAME_STMT);
    3362                 :            :     }
    3363                 :       3926 :   if (gimple_omp_return_lhs (gsi_stmt (gsi)))
    3364                 :            :     {
    3365                 :          2 :       gimple_call_set_lhs (call_stmt, gimple_omp_return_lhs (gsi_stmt (gsi)));
    3366                 :          2 :       if (fd->have_reductemp)
    3367                 :            :         {
    3368                 :          0 :           gimple *g = gimple_build_assign (reductions, NOP_EXPR,
    3369                 :            :                                            gimple_call_lhs (call_stmt));
    3370                 :          0 :           gsi_insert_after (&gsi, g, GSI_SAME_STMT);
    3371                 :            :         }
    3372                 :            :     }
    3373                 :       3926 :   gsi_insert_after (&gsi, call_stmt, GSI_SAME_STMT);
    3374                 :       3926 :   gsi_remove (&gsi, true);
    3375                 :            : 
    3376                 :            :   /* Connect the new blocks.  */
    3377                 :       3926 :   find_edge (entry_bb, l0_bb)->flags = EDGE_TRUE_VALUE;
    3378                 :       3926 :   find_edge (entry_bb, l3_bb)->flags = EDGE_FALSE_VALUE;
    3379                 :            : 
    3380                 :       3926 :   if (!broken_loop)
    3381                 :            :     {
    3382                 :       3552 :       gimple_seq phis;
    3383                 :            : 
    3384                 :       3552 :       e = find_edge (cont_bb, l3_bb);
    3385                 :       3552 :       ne = make_edge (l2_bb, l3_bb, EDGE_FALSE_VALUE);
    3386                 :            : 
    3387                 :       3552 :       phis = phi_nodes (l3_bb);
    3388                 :       3572 :       for (gsi = gsi_start (phis); !gsi_end_p (gsi); gsi_next (&gsi))
    3389                 :            :         {
    3390                 :         10 :           gimple *phi = gsi_stmt (gsi);
    3391                 :         10 :           SET_USE (PHI_ARG_DEF_PTR_FROM_EDGE (phi, ne),
    3392                 :            :                    PHI_ARG_DEF_FROM_EDGE (phi, e));
    3393                 :            :         }
    3394                 :       3552 :       remove_edge (e);
    3395                 :            : 
    3396                 :       3552 :       make_edge (cont_bb, l2_bb, EDGE_FALSE_VALUE);
    3397                 :       3552 :       e = find_edge (cont_bb, l1_bb);
    3398                 :       3552 :       if (e == NULL)
    3399                 :            :         {
    3400                 :         12 :           e = BRANCH_EDGE (cont_bb);
    3401                 :         12 :           gcc_assert (single_succ (e->dest) == l1_bb);
    3402                 :            :         }
    3403                 :       3552 :       if (gimple_omp_for_combined_p (fd->for_stmt))
    3404                 :            :         {
    3405                 :       1376 :           remove_edge (e);
    3406                 :       1376 :           e = NULL;
    3407                 :            :         }
    3408                 :       2176 :       else if (fd->collapse > 1)
    3409                 :            :         {
    3410                 :        631 :           remove_edge (e);
    3411                 :        631 :           e = make_edge (cont_bb, collapse_bb, EDGE_TRUE_VALUE);
    3412                 :            :         }
    3413                 :            :       else
    3414                 :       1545 :         e->flags = EDGE_TRUE_VALUE;
    3415                 :       3552 :       if (e)
    3416                 :            :         {
    3417                 :       2176 :           e->probability = profile_probability::guessed_always ().apply_scale (7, 8);
    3418                 :       2176 :           find_edge (cont_bb, l2_bb)->probability = e->probability.invert ();
    3419                 :            :         }
    3420                 :            :       else
    3421                 :            :         {
    3422                 :       1376 :           e = find_edge (cont_bb, l2_bb);
    3423                 :       1376 :           e->flags = EDGE_FALLTHRU;
    3424                 :            :         }
    3425                 :       3552 :       make_edge (l2_bb, l0_bb, EDGE_TRUE_VALUE);
    3426                 :            : 
    3427                 :       3552 :       if (gimple_in_ssa_p (cfun))
    3428                 :            :         {
    3429                 :            :           /* Add phis to the outer loop that connect to the phis in the inner,
    3430                 :            :              original loop, and move the loop entry value of the inner phi to
    3431                 :            :              the loop entry value of the outer phi.  */
    3432                 :         12 :           gphi_iterator psi;
    3433                 :         22 :           for (psi = gsi_start_phis (l3_bb); !gsi_end_p (psi); gsi_next (&psi))
    3434                 :            :             {
    3435                 :         10 :               location_t locus;
    3436                 :         10 :               gphi *nphi;
    3437                 :         10 :               gphi *exit_phi = psi.phi ();
    3438                 :            : 
    3439                 :         20 :               if (virtual_operand_p (gimple_phi_result (exit_phi)))
    3440                 :          5 :                 continue;
    3441                 :            : 
    3442                 :          5 :               edge l2_to_l3 = find_edge (l2_bb, l3_bb);
    3443                 :          5 :               tree exit_res = PHI_ARG_DEF_FROM_EDGE (exit_phi, l2_to_l3);
    3444                 :            : 
    3445                 :          5 :               basic_block latch = BRANCH_EDGE (cont_bb)->dest;
    3446                 :          5 :               edge latch_to_l1 = find_edge (latch, l1_bb);
    3447                 :          5 :               gphi *inner_phi
    3448                 :          5 :                 = find_phi_with_arg_on_edge (exit_res, latch_to_l1);
    3449                 :            : 
    3450                 :          5 :               tree t = gimple_phi_result (exit_phi);
    3451                 :          5 :               tree new_res = copy_ssa_name (t, NULL);
    3452                 :          5 :               nphi = create_phi_node (new_res, l0_bb);
    3453                 :            : 
    3454                 :          5 :               edge l0_to_l1 = find_edge (l0_bb, l1_bb);
    3455                 :          5 :               t = PHI_ARG_DEF_FROM_EDGE (inner_phi, l0_to_l1);
    3456                 :          5 :               locus = gimple_phi_arg_location_from_edge (inner_phi, l0_to_l1);
    3457                 :          5 :               edge entry_to_l0 = find_edge (entry_bb, l0_bb);
    3458                 :          5 :               add_phi_arg (nphi, t, entry_to_l0, locus);
    3459                 :            : 
    3460                 :          5 :               edge l2_to_l0 = find_edge (l2_bb, l0_bb);
    3461                 :          5 :               add_phi_arg (nphi, exit_res, l2_to_l0, UNKNOWN_LOCATION);
    3462                 :            : 
    3463                 :          5 :               add_phi_arg (inner_phi, new_res, l0_to_l1, UNKNOWN_LOCATION);
    3464                 :            :             }
    3465                 :            :         }
    3466                 :            : 
    3467                 :       3552 :       set_immediate_dominator (CDI_DOMINATORS, l2_bb,
    3468                 :            :                                recompute_dominator (CDI_DOMINATORS, l2_bb));
    3469                 :       3552 :       set_immediate_dominator (CDI_DOMINATORS, l3_bb,
    3470                 :            :                                recompute_dominator (CDI_DOMINATORS, l3_bb));
    3471                 :       3552 :       set_immediate_dominator (CDI_DOMINATORS, l0_bb,
    3472                 :            :                                recompute_dominator (CDI_DOMINATORS, l0_bb));
    3473                 :       3552 :       set_immediate_dominator (CDI_DOMINATORS, l1_bb,
    3474                 :            :                                recompute_dominator (CDI_DOMINATORS, l1_bb));
    3475                 :            : 
    3476                 :            :       /* We enter expand_omp_for_generic with a loop.  This original loop may
    3477                 :            :          have its own loop struct, or it may be part of an outer loop struct
    3478                 :            :          (which may be the fake loop).  */
    3479                 :       3552 :       class loop *outer_loop = entry_bb->loop_father;
    3480                 :       3552 :       bool orig_loop_has_loop_struct = l1_bb->loop_father != outer_loop;
    3481                 :            : 
    3482                 :       3552 :       add_bb_to_loop (l2_bb, outer_loop);
    3483                 :            : 
    3484                 :            :       /* We've added a new loop around the original loop.  Allocate the
    3485                 :            :          corresponding loop struct.  */
    3486                 :       3552 :       class loop *new_loop = alloc_loop ();
    3487                 :       3552 :       new_loop->header = l0_bb;
    3488                 :       3552 :       new_loop->latch = l2_bb;
    3489                 :       3552 :       add_loop (new_loop, outer_loop);
    3490                 :            : 
    3491                 :            :       /* Allocate a loop structure for the original loop unless we already
    3492                 :            :          had one.  */
    3493                 :       3552 :       if (!orig_loop_has_loop_struct
    3494                 :       3552 :           && !gimple_omp_for_combined_p (fd->for_stmt))
    3495                 :            :         {
    3496                 :       2164 :           class loop *orig_loop = alloc_loop ();
    3497                 :       2164 :           orig_loop->header = l1_bb;
    3498                 :            :           /* The loop may have multiple latches.  */
    3499                 :       2164 :           add_loop (orig_loop, new_loop);
    3500                 :            :         }
    3501                 :            :     }
    3502                 :       3926 : }
    3503                 :            : 
    3504                 :            : /* Helper function for expand_omp_for_static_nochunk.  If PTR is NULL,
    3505                 :            :    compute needed allocation size.  If !ALLOC of team allocations,
    3506                 :            :    if ALLOC of thread allocation.  SZ is the initial needed size for
    3507                 :            :    other purposes, ALLOC_ALIGN guaranteed alignment of allocation in bytes,
    3508                 :            :    CNT number of elements of each array, for !ALLOC this is
    3509                 :            :    omp_get_num_threads (), for ALLOC number of iterations handled by the
    3510                 :            :    current thread.  If PTR is non-NULL, it is the start of the allocation
    3511                 :            :    and this routine shall assign to OMP_CLAUSE_DECL (c) of those _scantemp_
    3512                 :            :    clauses pointers to the corresponding arrays.  */
    3513                 :            : 
    3514                 :            : static tree
    3515                 :        620 : expand_omp_scantemp_alloc (tree clauses, tree ptr, unsigned HOST_WIDE_INT sz,
    3516                 :            :                            unsigned HOST_WIDE_INT alloc_align, tree cnt,
    3517                 :            :                            gimple_stmt_iterator *gsi, bool alloc)
    3518                 :            : {
    3519                 :        620 :   tree eltsz = NULL_TREE;
    3520                 :        620 :   unsigned HOST_WIDE_INT preval = 0;
    3521                 :        620 :   if (ptr && sz)
    3522                 :          4 :     ptr = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (ptr),
    3523                 :            :                        ptr, size_int (sz));
    3524                 :       5068 :   for (tree c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
    3525                 :       4448 :     if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE__SCANTEMP_
    3526                 :       2736 :         && !OMP_CLAUSE__SCANTEMP__CONTROL (c)
    3527                 :       5944 :         && (!OMP_CLAUSE__SCANTEMP__ALLOC (c)) != alloc)
    3528                 :            :       {
    3529                 :        748 :         tree pointee_type = TREE_TYPE (TREE_TYPE (OMP_CLAUSE_DECL (c)));
    3530                 :        748 :         unsigned HOST_WIDE_INT al = TYPE_ALIGN_UNIT (pointee_type);
    3531                 :        748 :         if (tree_fits_uhwi_p (TYPE_SIZE_UNIT (pointee_type)))
    3532                 :            :           {
    3533                 :        748 :             unsigned HOST_WIDE_INT szl
    3534                 :        748 :               = tree_to_uhwi (TYPE_SIZE_UNIT (pointee_type));
    3535                 :        748 :             szl = least_bit_hwi (szl);
    3536                 :        748 :             if (szl)
    3537                 :        748 :               al = MIN (al, szl);
    3538                 :            :           }
    3539                 :        748 :         if (ptr == NULL_TREE)
    3540                 :            :           {
    3541                 :        374 :             if (eltsz == NULL_TREE)
    3542                 :        748 :               eltsz = TYPE_SIZE_UNIT (pointee_type);
    3543                 :            :             else
    3544                 :         64 :               eltsz = size_binop (PLUS_EXPR, eltsz,
    3545                 :            :                                   TYPE_SIZE_UNIT (pointee_type));
    3546                 :            :           }
    3547                 :        748 :         if (preval == 0 && al <= alloc_align)
    3548                 :            :           {
    3549                 :        620 :             unsigned HOST_WIDE_INT diff = ROUND_UP (sz, al) - sz;
    3550                 :        620 :             sz += diff;
    3551                 :        620 :             if (diff && ptr)
    3552                 :          0 :               ptr = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (ptr),
    3553                 :            :                                  ptr, size_int (diff));
    3554                 :            :           }
    3555                 :        128 :         else if (al > preval)
    3556                 :            :           {
    3557                 :         32 :             if (ptr)
    3558                 :            :               {
    3559                 :         16 :                 ptr = fold_convert (pointer_sized_int_node, ptr);
    3560                 :         16 :                 ptr = fold_build2 (PLUS_EXPR, pointer_sized_int_node, ptr,
    3561                 :            :                                    build_int_cst (pointer_sized_int_node,
    3562                 :            :                                                   al - 1));
    3563                 :         16 :                 ptr = fold_build2 (BIT_AND_EXPR, pointer_sized_int_node, ptr,
    3564                 :            :                                    build_int_cst (pointer_sized_int_node,
    3565                 :            :                                                   -(HOST_WIDE_INT) al));
    3566                 :         16 :                 ptr = fold_convert (ptr_type_node, ptr);
    3567                 :            :               }
    3568                 :            :             else
    3569                 :         16 :               sz += al - 1;
    3570                 :            :           }
    3571                 :        748 :         if (tree_fits_uhwi_p (TYPE_SIZE_UNIT (pointee_type)))
    3572                 :            :           preval = al;
    3573                 :            :         else
    3574                 :          0 :           preval = 1;
    3575                 :        748 :         if (ptr)
    3576                 :            :           {
    3577                 :        374 :             expand_omp_build_assign (gsi, OMP_CLAUSE_DECL (c), ptr, false);
    3578                 :        374 :             ptr = OMP_CLAUSE_DECL (c);
    3579                 :        374 :             ptr = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (ptr), ptr,
    3580                 :            :                                size_binop (MULT_EXPR, cnt,
    3581                 :            :                                            TYPE_SIZE_UNIT (pointee_type)));
    3582                 :            :           }
    3583                 :            :       }
    3584                 :            : 
    3585                 :        620 :   if (ptr == NULL_TREE)
    3586                 :            :     {
    3587                 :        310 :       eltsz = size_binop (MULT_EXPR, eltsz, cnt);
    3588                 :        310 :       if (sz)
    3589                 :         12 :         eltsz = size_binop (PLUS_EXPR, eltsz, size_int (sz));
    3590                 :        310 :       return eltsz;
    3591                 :            :     }
    3592                 :            :   else
    3593                 :            :     return ptr;
    3594                 :            : }
    3595                 :            : 
    3596                 :            : /* A subroutine of expand_omp_for.  Generate code for a parallel
    3597                 :            :    loop with static schedule and no specified chunk size.  Given
    3598                 :            :    parameters:
    3599                 :            : 
    3600                 :            :         for (V = N1; V cond N2; V += STEP) BODY;
    3601                 :            : 
    3602                 :            :    where COND is "<" or ">", we generate pseudocode
    3603                 :            : 
    3604                 :            :         if ((__typeof (V)) -1 > 0 && N2 cond N1) goto L2;
    3605                 :            :         if (cond is <)
    3606                 :            :           adj = STEP - 1;
    3607                 :            :         else
    3608                 :            :           adj = STEP + 1;
    3609                 :            :         if ((__typeof (V)) -1 > 0 && cond is >)
    3610                 :            :           n = -(adj + N2 - N1) / -STEP;
    3611                 :            :         else
    3612                 :            :           n = (adj + N2 - N1) / STEP;
    3613                 :            :         q = n / nthreads;
    3614                 :            :         tt = n % nthreads;
    3615                 :            :         if (threadid < tt) goto L3; else goto L4;
    3616                 :            :     L3:
    3617                 :            :         tt = 0;
    3618                 :            :         q = q + 1;
    3619                 :            :     L4:
    3620                 :            :         s0 = q * threadid + tt;
    3621                 :            :         e0 = s0 + q;
    3622                 :            :         V = s0 * STEP + N1;
    3623                 :            :         if (s0 >= e0) goto L2; else goto L0;
    3624                 :            :     L0:
    3625                 :            :         e = e0 * STEP + N1;
    3626                 :            :     L1:
    3627                 :            :         BODY;
    3628                 :            :         V += STEP;
    3629                 :            :         if (V cond e) goto L1;
    3630                 :            :     L2:
    3631                 :            : */
    3632                 :            : 
    3633                 :            : static void
    3634                 :      10057 : expand_omp_for_static_nochunk (struct omp_region *region,
    3635                 :            :                                struct omp_for_data *fd,
    3636                 :            :                                gimple *inner_stmt)
    3637                 :            : {
    3638                 :      10057 :   tree n, q, s0, e0, e, t, tt, nthreads = NULL_TREE, threadid;
    3639                 :      10057 :   tree type, itype, vmain, vback;
    3640                 :      10057 :   basic_block entry_bb, second_bb, third_bb, exit_bb, seq_start_bb;
    3641                 :      10057 :   basic_block body_bb, cont_bb, collapse_bb = NULL;
    3642                 :      10057 :   basic_block fin_bb, fourth_bb = NULL, fifth_bb = NULL, sixth_bb = NULL;
    3643                 :      10057 :   basic_block exit1_bb = NULL, exit2_bb = NULL, exit3_bb = NULL;
    3644                 :      10057 :   gimple_stmt_iterator gsi, gsip;
    3645                 :      10057 :   edge ep;
    3646                 :      10057 :   bool broken_loop = region->cont == NULL;
    3647                 :      10057 :   tree *counts = NULL;
    3648                 :      10057 :   tree n1, n2, step;
    3649                 :      10057 :   tree reductions = NULL_TREE;
    3650                 :      10057 :   tree cond_var = NULL_TREE, condtemp = NULL_TREE;
    3651                 :            : 
    3652                 :      10057 :   itype = type = TREE_TYPE (fd->loop.v);
    3653                 :      10057 :   if (POINTER_TYPE_P (type))
    3654                 :        558 :     itype = signed_type_for (type);
    3655                 :            : 
    3656                 :      10057 :   entry_bb = region->entry;
    3657                 :      10057 :   cont_bb = region->cont;
    3658                 :      10057 :   gcc_assert (EDGE_COUNT (entry_bb->succs) == 2);
    3659                 :      10057 :   fin_bb = BRANCH_EDGE (entry_bb)->dest;
    3660                 :      10057 :   gcc_assert (broken_loop
    3661                 :            :               || (fin_bb == FALLTHRU_EDGE (cont_bb)->dest));
    3662                 :      10057 :   seq_start_bb = split_edge (FALLTHRU_EDGE (entry_bb));
    3663                 :      10057 :   body_bb = single_succ (seq_start_bb);
    3664                 :      10057 :   if (!broken_loop)
    3665                 :            :     {
    3666                 :       9555 :       gcc_assert (BRANCH_EDGE (cont_bb)->dest == body_bb
    3667                 :            :                   || single_succ (BRANCH_EDGE (cont_bb)->dest) == body_bb);
    3668                 :       9555 :       gcc_assert (EDGE_COUNT (cont_bb->succs) == 2);
    3669                 :            :     }
    3670                 :      10057 :   exit_bb = region->exit;
    3671                 :            : 
    3672                 :            :   /* Iteration space partitioning goes in ENTRY_BB.  */
    3673                 :      10057 :   gsi = gsi_last_nondebug_bb (entry_bb);
    3674                 :      10057 :   gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
    3675                 :      10057 :   gsip = gsi;
    3676                 :      10057 :   gsi_prev (&gsip);
    3677                 :            : 
    3678                 :      10057 :   if (fd->collapse > 1)
    3679                 :            :     {
    3680                 :       3041 :       int first_zero_iter = -1, dummy = -1;
    3681                 :       3041 :       basic_block l2_dom_bb = NULL, dummy_bb = NULL;
    3682                 :            : 
    3683                 :       3041 :       counts = XALLOCAVEC (tree, fd->collapse);
    3684                 :       3041 :       expand_omp_for_init_counts (fd, &gsi, entry_bb, counts,
    3685                 :            :                                   fin_bb, first_zero_iter,
    3686                 :            :                                   dummy_bb, dummy, l2_dom_bb);
    3687                 :       3041 :       t = NULL_TREE;
    3688                 :            :     }
    3689                 :       7016 :   else if (gimple_omp_for_combined_into_p (fd->for_stmt))
    3690                 :       1311 :     t = integer_one_node;
    3691                 :            :   else
    3692                 :       5705 :     t = fold_binary (fd->loop.cond_code, boolean_type_node,
    3693                 :            :                      fold_convert (type, fd->loop.n1),
    3694                 :            :                      fold_convert (type, fd->loop.n2));
    3695                 :      10057 :   if (fd->collapse == 1
    3696                 :       7016 :       && TYPE_UNSIGNED (type)
    3697                 :      11960 :       && (t == NULL_TREE || !integer_onep (t)))
    3698                 :            :     {
    3699                 :        424 :       n1 = fold_convert (type, unshare_expr (fd->loop.n1));
    3700                 :        424 :       n1 = force_gimple_operand_gsi (&gsi, n1, true, NULL_TREE,
    3701                 :            :                                      true, GSI_SAME_STMT);
    3702                 :        424 :       n2 = fold_convert (type, unshare_expr (fd->loop.n2));
    3703                 :        424 :       n2 = force_gimple_operand_gsi (&gsi, n2, true, NULL_TREE,
    3704                 :            :                                      true, GSI_SAME_STMT);
    3705                 :        424 :       gcond *cond_stmt = gimple_build_cond (fd->loop.cond_code, n1, n2,
    3706                 :            :                                             NULL_TREE, NULL_TREE);
    3707                 :        424 :       gsi_insert_before (&gsi, cond_stmt, GSI_SAME_STMT);
    3708                 :        424 :       if (walk_tree (gimple_cond_lhs_ptr (cond_stmt),
    3709                 :            :                      expand_omp_regimplify_p, NULL, NULL)
    3710                 :        424 :           || walk_tree (gimple_cond_rhs_ptr (cond_stmt),
    3711                 :            :                         expand_omp_regimplify_p, NULL, NULL))
    3712                 :            :         {
    3713                 :          0 :           gsi = gsi_for_stmt (cond_stmt);
    3714                 :          0 :           gimple_regimplify_operands (cond_stmt, &gsi);
    3715                 :            :         }
    3716                 :        424 :       ep = split_block (entry_bb, cond_stmt);
    3717                 :        424 :       ep->flags = EDGE_TRUE_VALUE;
    3718                 :        424 :       entry_bb = ep->dest;
    3719                 :        424 :       ep->probability = profile_probability::very_likely ();
    3720                 :        424 :       ep = make_edge (ep->src, fin_bb, EDGE_FALSE_VALUE);
    3721                 :        424 :       ep->probability = profile_probability::very_unlikely ();
    3722                 :        424 :       if (gimple_in_ssa_p (cfun))
    3723                 :            :         {
    3724                 :         20 :           int dest_idx = find_edge (entry_bb, fin_bb)->dest_idx;
    3725                 :         20 :           for (gphi_iterator gpi = gsi_start_phis (fin_bb);
    3726                 :         42 :                !gsi_end_p (gpi); gsi_next (&gpi))
    3727                 :            :             {
    3728                 :         22 :               gphi *phi = gpi.phi ();
    3729                 :         22 :               add_phi_arg (phi, gimple_phi_arg_def (phi, dest_idx),
    3730                 :            :                            ep, UNKNOWN_LOCATION);
    3731                 :            :             }
    3732                 :            :         }
    3733                 :        848 :       gsi = gsi_last_bb (entry_bb);
    3734                 :            :     }
    3735                 :            : 
    3736                 :      10057 :   if (fd->lastprivate_conditional)
    3737                 :            :     {
    3738                 :         83 :       tree clauses = gimple_omp_for_clauses (fd->for_stmt);
    3739                 :         83 :       tree c = omp_find_clause (clauses, OMP_CLAUSE__CONDTEMP_);
    3740                 :         83 :       if (fd->have_pointer_condtemp)
    3741                 :         36 :         condtemp = OMP_CLAUSE_DECL (c);
    3742                 :         83 :       c = omp_find_clause (OMP_CLAUSE_CHAIN (c), OMP_CLAUSE__CONDTEMP_);
    3743                 :         83 :       cond_var = OMP_CLAUSE_DECL (c);
    3744                 :            :     }
    3745                 :      10057 :   if (fd->have_reductemp
    3746                 :            :       /* For scan, we don't want to reinitialize condtemp before the
    3747                 :            :          second loop.  */
    3748                 :      10016 :       || (fd->have_pointer_condtemp && !fd->have_scantemp)
    3749                 :       9998 :       || fd->have_nonctrl_scantemp)
    3750                 :            :     {
    3751                 :        214 :       tree t1 = build_int_cst (long_integer_type_node, 0);
    3752                 :        214 :       tree t2 = build_int_cst (long_integer_type_node, 1);
    3753                 :        428 :       tree t3 = build_int_cstu (long_integer_type_node,
    3754                 :        214 :                                 (HOST_WIDE_INT_1U << 31) + 1);
    3755                 :        214 :       tree clauses = gimple_omp_for_clauses (fd->for_stmt);
    3756                 :        214 :       gimple_stmt_iterator gsi2 = gsi_none ();
    3757                 :        214 :       gimple *g = NULL;
    3758                 :        214 :       tree mem = null_pointer_node, memv = NULL_TREE;
    3759                 :        214 :       unsigned HOST_WIDE_INT condtemp_sz = 0;
    3760                 :        214 :       unsigned HOST_WIDE_INT alloc_align = 0;
    3761                 :        214 :       if (fd->have_reductemp)
    3762                 :            :         {
    3763                 :         41 :           gcc_assert (!fd->have_nonctrl_scantemp);
    3764                 :         41 :           tree c = omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_);
    3765                 :         41 :           reductions = OMP_CLAUSE_DECL (c);
    3766                 :         41 :           gcc_assert (TREE_CODE (reductions) == SSA_NAME);
    3767                 :         41 :           g = SSA_NAME_DEF_STMT (reductions);
    3768                 :         41 :           reductions = gimple_assign_rhs1 (g);
    3769                 :         41 :           OMP_CLAUSE_DECL (c) = reductions;
    3770                 :         41 :           gsi2 = gsi_for_stmt (g);
    3771                 :            :         }
    3772                 :            :       else
    3773                 :            :         {
    3774                 :        173 :           if (gsi_end_p (gsip))
    3775                 :          0 :             gsi2 = gsi_after_labels (region->entry);
    3776                 :            :           else
    3777                 :        173 :             gsi2 = gsip;
    3778                 :            :           reductions = null_pointer_node;
    3779                 :            :         }
    3780                 :        214 :       if (fd->have_pointer_condtemp || fd->have_nonctrl_scantemp)
    3781                 :            :         {
    3782                 :        183 :           tree type;
    3783                 :        183 :           if (fd->have_pointer_condtemp)
    3784                 :         32 :             type = TREE_TYPE (condtemp);
    3785                 :            :           else
    3786                 :        151 :             type = ptr_type_node;
    3787                 :        183 :           memv = create_tmp_var (type);
    3788                 :        183 :           TREE_ADDRESSABLE (memv) = 1;
    3789                 :        183 :           unsigned HOST_WIDE_INT sz = 0;
    3790                 :        183 :           tree size = NULL_TREE;
    3791                 :        183 :           if (fd->have_pointer_condtemp)
    3792                 :            :             {
    3793                 :         32 :               sz = tree_to_uhwi (TYPE_SIZE_UNIT (TREE_TYPE (type)));
    3794                 :         32 :               sz *= fd->lastprivate_conditional;
    3795                 :         32 :               condtemp_sz = sz;
    3796                 :            :             }
    3797                 :        183 :           if (fd->have_nonctrl_scantemp)
    3798                 :            :             {
    3799                 :        155 :               nthreads = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_THREADS);
    3800                 :        155 :               gimple *g = gimple_build_call (nthreads, 0);
    3801                 :        155 :               nthreads = create_tmp_var (integer_type_node);
    3802                 :        155 :               gimple_call_set_lhs (g, nthreads);
    3803                 :        155 :               gsi_insert_before (&gsi2, g, GSI_SAME_STMT);
    3804                 :        155 :               nthreads = fold_convert (sizetype, nthreads);
    3805                 :        155 :               alloc_align = TYPE_ALIGN_UNIT (long_long_integer_type_node);
    3806                 :        155 :               size = expand_omp_scantemp_alloc (clauses, NULL_TREE, sz,
    3807                 :            :                                                 alloc_align, nthreads, NULL,
    3808                 :            :                                                 false);
    3809                 :        155 :               size = fold_convert (type, size);
    3810                 :            :             }
    3811                 :            :           else
    3812                 :         28 :             size = build_int_cst (type, sz);
    3813                 :        183 :           expand_omp_build_assign (&gsi2, memv, size, false);
    3814                 :        183 :           mem = build_fold_addr_expr (memv);
    3815                 :            :         }
    3816                 :        214 :       tree t
    3817                 :        214 :         = build_call_expr (builtin_decl_explicit (BUILT_IN_GOMP_LOOP_START),
    3818                 :            :                            9, t1, t2, t2, t3, t1, null_pointer_node,
    3819                 :            :                            null_pointer_node, reductions, mem);
    3820                 :        214 :       force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
    3821                 :            :                                 true, GSI_SAME_STMT);
    3822                 :        214 :       if (fd->have_pointer_condtemp)
    3823                 :         32 :         expand_omp_build_assign (&gsi2, condtemp, memv, false);
    3824                 :        214 :       if (fd->have_nonctrl_scantemp)
    3825                 :            :         {
    3826                 :        155 :           tree ptr = fd->have_pointer_condtemp ? condtemp : memv;
    3827                 :        155 :           expand_omp_scantemp_alloc (clauses, ptr, condtemp_sz,
    3828                 :            :                                      alloc_align, nthreads, &gsi2, false);
    3829                 :            :         }
    3830                 :        214 :       if (fd->have_reductemp)
    3831                 :            :         {
    3832                 :         41 :           gsi_remove (&gsi2, true);
    3833                 :        255 :           release_ssa_name (gimple_assign_lhs (g));
    3834                 :            :         }
    3835                 :            :     }
    3836                 :      10057 :   switch (gimple_omp_for_kind (fd->for_stmt))
    3837                 :            :     {
    3838                 :       6638 :     case GF_OMP_FOR_KIND_FOR:
    3839                 :       6638 :       nthreads = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_THREADS);
    3840                 :       6638 :       threadid = builtin_decl_explicit (BUILT_IN_OMP_GET_THREAD_NUM);
    3841                 :       6638 :       break;
    3842                 :       3419 :     case GF_OMP_FOR_KIND_DISTRIBUTE:
    3843                 :       3419 :       nthreads = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_TEAMS);
    3844                 :       3419 :       threadid = builtin_decl_explicit (BUILT_IN_OMP_GET_TEAM_NUM);
    3845                 :       3419 :       break;
    3846                 :          0 :     default:
    3847                 :          0 :       gcc_unreachable ();
    3848                 :            :     }
    3849                 :      10057 :   nthreads = build_call_expr (nthreads, 0);
    3850                 :      10057 :   nthreads = fold_convert (itype, nthreads);
    3851                 :      10057 :   nthreads = force_gimple_operand_gsi (&gsi, nthreads, true, NULL_TREE,
    3852                 :            :                                        true, GSI_SAME_STMT);
    3853                 :      10057 :   threadid = build_call_expr (threadid, 0);
    3854                 :      10057 :   threadid = fold_convert (itype, threadid);
    3855                 :      10057 :   threadid = force_gimple_operand_gsi (&gsi, threadid, true, NULL_TREE,
    3856                 :            :                                        true, GSI_SAME_STMT);
    3857                 :            : 
    3858                 :      10057 :   n1 = fd->loop.n1;
    3859                 :      10057 :   n2 = fd->loop.n2;
    3860                 :      10057 :   step = fd->loop.step;
    3861                 :      10057 :   if (gimple_omp_for_combined_into_p (fd->for_stmt))
    3862                 :            :     {
    3863                 :       2264 :       tree innerc = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    3864                 :            :                                      OMP_CLAUSE__LOOPTEMP_);
    3865                 :       2264 :       gcc_assert (innerc);
    3866                 :       2264 :       n1 = OMP_CLAUSE_DECL (innerc);
    3867                 :       2264 :       innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    3868                 :            :                                 OMP_CLAUSE__LOOPTEMP_);
    3869                 :       2264 :       gcc_assert (innerc);
    3870                 :       2264 :       n2 = OMP_CLAUSE_DECL (innerc);
    3871                 :            :     }
    3872                 :      10057 :   n1 = force_gimple_operand_gsi (&gsi, fold_convert (type, n1),
    3873                 :            :                                  true, NULL_TREE, true, GSI_SAME_STMT);
    3874                 :      10057 :   n2 = force_gimple_operand_gsi (&gsi, fold_convert (itype, n2),
    3875                 :            :                                  true, NULL_TREE, true, GSI_SAME_STMT);
    3876                 :      10057 :   step = force_gimple_operand_gsi (&gsi, fold_convert (itype, step),
    3877                 :            :                                    true, NULL_TREE, true, GSI_SAME_STMT);
    3878                 :            : 
    3879                 :      11064 :   t = build_int_cst (itype, (fd->loop.cond_code == LT_EXPR ? -1 : 1));
    3880                 :      10057 :   t = fold_build2 (PLUS_EXPR, itype, step, t);
    3881                 :      10057 :   t = fold_build2 (PLUS_EXPR, itype, t, n2);
    3882                 :      10057 :   t = fold_build2 (MINUS_EXPR, itype, t, fold_convert (itype, n1));
    3883                 :      10057 :   if (TYPE_UNSIGNED (itype) && fd->loop.cond_code == GT_EXPR)
    3884                 :        420 :     t = fold_build2 (TRUNC_DIV_EXPR, itype,
    3885                 :            :                      fold_build1 (NEGATE_EXPR, itype, t),
    3886                 :            :                      fold_build1 (NEGATE_EXPR, itype, step));
    3887                 :            :   else
    3888                 :       9637 :     t = fold_build2 (TRUNC_DIV_EXPR, itype, t, step);
    3889                 :      10057 :   t = fold_convert (itype, t);
    3890                 :      10057 :   n = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE, true, GSI_SAME_STMT);
    3891                 :            : 
    3892                 :      10057 :   q = create_tmp_reg (itype, "q");
    3893                 :      10057 :   t = fold_build2 (TRUNC_DIV_EXPR, itype, n, nthreads);
    3894                 :      10057 :   t = force_gimple_operand_gsi (&gsi, t, false, NULL_TREE, true, GSI_SAME_STMT);
    3895                 :      10057 :   gsi_insert_before (&gsi, gimple_build_assign (q, t), GSI_SAME_STMT);
    3896                 :            : 
    3897                 :      10057 :   tt = create_tmp_reg (itype, "tt");
    3898                 :      10057 :   t = fold_build2 (TRUNC_MOD_EXPR, itype, n, nthreads);
    3899                 :      10057 :   t = force_gimple_operand_gsi (&gsi, t, false, NULL_TREE, true, GSI_SAME_STMT);
    3900                 :      10057 :   gsi_insert_before (&gsi, gimple_build_assign (tt, t), GSI_SAME_STMT);
    3901                 :            : 
    3902                 :      10057 :   t = build2 (LT_EXPR, boolean_type_node, threadid, tt);
    3903                 :      10057 :   gcond *cond_stmt = gimple_build_cond_empty (t);
    3904                 :      10057 :   gsi_insert_before (&gsi, cond_stmt, GSI_SAME_STMT);
    3905                 :            : 
    3906                 :      10057 :   second_bb = split_block (entry_bb, cond_stmt)->dest;
    3907                 :      10057 :   gsi = gsi_last_nondebug_bb (second_bb);
    3908                 :      10057 :   gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
    3909                 :            : 
    3910                 :      10057 :   gsi_insert_before (&gsi, gimple_build_assign (tt, build_int_cst (itype, 0)),
    3911                 :            :                      GSI_SAME_STMT);
    3912                 :      10057 :   gassign *assign_stmt
    3913                 :      10057 :     = gimple_build_assign (q, PLUS_EXPR, q, build_int_cst (itype, 1));
    3914                 :      10057 :   gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
    3915                 :            : 
    3916                 :      10057 :   third_bb = split_block (second_bb, assign_stmt)->dest;
    3917                 :      10057 :   gsi = gsi_last_nondebug_bb (third_bb);
    3918                 :      10057 :   gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
    3919                 :            : 
    3920                 :      10057 :   if (fd->have_nonctrl_scantemp)
    3921                 :            :     {
    3922                 :        155 :       tree clauses = gimple_omp_for_clauses (fd->for_stmt);
    3923                 :        155 :       tree controlp = NULL_TREE, controlb = NULL_TREE;
    3924                 :        684 :       for (tree c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
    3925                 :        684 :         if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE__SCANTEMP_
    3926                 :        684 :             && OMP_CLAUSE__SCANTEMP__CONTROL (c))
    3927                 :            :           {
    3928                 :        310 :             if (TREE_TYPE (OMP_CLAUSE_DECL (c)) == boolean_type_node)
    3929                 :        155 :               controlb = OMP_CLAUSE_DECL (c);
    3930                 :            :             else
    3931                 :        155 :               controlp = OMP_CLAUSE_DECL (c);
    3932                 :        310 :             if (controlb && controlp)
    3933                 :            :               break;
    3934                 :            :           }
    3935                 :        155 :       gcc_assert (controlp && controlb);
    3936                 :        155 :       tree cnt = create_tmp_var (sizetype);
    3937                 :        155 :       gimple *g = gimple_build_assign (cnt, NOP_EXPR, q);
    3938                 :        155 :       gsi_insert_before (&gsi, g, GSI_SAME_STMT);
    3939                 :        155 :       unsigned HOST_WIDE_INT alloc_align = TYPE_ALIGN_UNIT (ptr_type_node);
    3940                 :        155 :       tree sz = expand_omp_scantemp_alloc (clauses, NULL_TREE, 0,
    3941                 :            :                                            alloc_align, cnt, NULL, true);
    3942                 :        155 :       tree size = create_tmp_var (sizetype);
    3943                 :        155 :       expand_omp_build_assign (&gsi, size, sz, false);
    3944                 :        155 :       tree cmp = fold_build2 (GT_EXPR, boolean_type_node,
    3945                 :            :                               size, size_int (16384));
    3946                 :        155 :       expand_omp_build_assign (&gsi, controlb, cmp);
    3947                 :        155 :       g = gimple_build_cond (NE_EXPR, controlb, boolean_false_node,
    3948                 :            :                              NULL_TREE, NULL_TREE);
    3949                 :        155 :       gsi_insert_before (&gsi, g, GSI_SAME_STMT);
    3950                 :        155 :       fourth_bb = split_block (third_bb, g)->dest;
    3951                 :        155 :       gsi = gsi_last_nondebug_bb (fourth_bb);
    3952                 :            :       /* FIXME: Once we have allocators, this should use allocator.  */
    3953                 :        155 :       g = gimple_build_call (builtin_decl_explicit (BUILT_IN_MALLOC), 1, size);
    3954                 :        155 :       gimple_call_set_lhs (g, controlp);
    3955                 :        155 :       gsi_insert_before (&gsi, g, GSI_SAME_STMT);
    3956                 :        155 :       expand_omp_scantemp_alloc (clauses, controlp, 0, alloc_align, cnt,
    3957                 :            :                                  &gsi, true);
    3958                 :        155 :       gsi_prev (&gsi);
    3959                 :        155 :       g = gsi_stmt (gsi);
    3960                 :        155 :       fifth_bb = split_block (fourth_bb, g)->dest;
    3961                 :        155 :       gsi = gsi_last_nondebug_bb (fifth_bb);
    3962                 :            : 
    3963                 :        310 :       g = gimple_build_call (builtin_decl_implicit (BUILT_IN_STACK_SAVE), 0);
    3964                 :        155 :       gimple_call_set_lhs (g, controlp);
    3965                 :        155 :       gsi_insert_before (&gsi, g, GSI_SAME_STMT);
    3966                 :        155 :       tree alloca_decl = builtin_decl_explicit (BUILT_IN_ALLOCA_WITH_ALIGN);
    3967                 :       1267 :       for (tree c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
    3968                 :       1112 :         if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE__SCANTEMP_
    3969                 :       1112 :             && OMP_CLAUSE__SCANTEMP__ALLOC (c))
    3970                 :            :           {
    3971                 :        187 :             tree tmp = create_tmp_var (sizetype);
    3972                 :        187 :             tree pointee_type = TREE_TYPE (TREE_TYPE (OMP_CLAUSE_DECL (c)));
    3973                 :        187 :             g = gimple_build_assign (tmp, MULT_EXPR, cnt,
    3974                 :        187 :                                      TYPE_SIZE_UNIT (pointee_type));
    3975                 :        187 :             gsi_insert_before (&gsi, g, GSI_SAME_STMT);
    3976                 :        374 :             g = gimple_build_call (alloca_decl, 2, tmp,
    3977                 :        187 :                                    size_int (TYPE_ALIGN (pointee_type)));
    3978                 :        187 :             gimple_call_set_lhs (g, OMP_CLAUSE_DECL (c));
    3979                 :        187 :             gsi_insert_before (&gsi, g, GSI_SAME_STMT);
    3980                 :            :           }
    3981                 :            : 
    3982                 :        155 :       sixth_bb = split_block (fifth_bb, g)->dest;
    3983                 :        155 :       gsi = gsi_last_nondebug_bb (sixth_bb);
    3984                 :            :     }
    3985                 :            : 
    3986                 :      10057 :   t = build2 (MULT_EXPR, itype, q, threadid);
    3987                 :      10057 :   t = build2 (PLUS_EXPR, itype, t, tt);
    3988                 :      10057 :   s0 = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE, true, GSI_SAME_STMT);
    3989                 :            : 
    3990                 :      10057 :   t = fold_build2 (PLUS_EXPR, itype, s0, q);
    3991                 :      10057 :   e0 = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE, true, GSI_SAME_STMT);
    3992                 :            : 
    3993                 :      10057 :   t = build2 (GE_EXPR, boolean_type_node, s0, e0);
    3994                 :      10057 :   gsi_insert_before (&gsi, gimple_build_cond_empty (t), GSI_SAME_STMT);
    3995                 :            : 
    3996                 :            :   /* Remove the GIMPLE_OMP_FOR statement.  */
    3997                 :      10057 :   gsi_remove (&gsi, true);
    3998                 :            : 
    3999                 :            :   /* Setup code for sequential iteration goes in SEQ_START_BB.  */
    4000                 :      10057 :   gsi = gsi_start_bb (seq_start_bb);
    4001                 :            : 
    4002                 :      10057 :   tree startvar = fd->loop.v;
    4003                 :      10057 :   tree endvar = NULL_TREE;
    4004                 :            : 
    4005                 :      10057 :   if (gimple_omp_for_combined_p (fd->for_stmt))
    4006                 :            :     {
    4007                 :       5072 :       tree clauses = gimple_code (inner_stmt) == GIMPLE_OMP_PARALLEL
    4008                 :       5072 :                      ? gimple_omp_parallel_clauses (inner_stmt)
    4009                 :       2328 :                      : gimple_omp_for_clauses (inner_stmt);
    4010                 :       5072 :       tree innerc = omp_find_clause (clauses, OMP_CLAUSE__LOOPTEMP_);
    4011                 :       5072 :       gcc_assert (innerc);
    4012                 :       5072 :       startvar = OMP_CLAUSE_DECL (innerc);
    4013                 :       5072 :       innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    4014                 :            :                                 OMP_CLAUSE__LOOPTEMP_);
    4015                 :       5072 :       gcc_assert (innerc);
    4016                 :       5072 :       endvar = OMP_CLAUSE_DECL (innerc);
    4017                 :       1991 :       if (fd->collapse > 1 && TREE_CODE (fd->loop.n2) != INTEGER_CST
    4018                 :       6208 :           && gimple_omp_for_kind (fd->for_stmt) == GF_OMP_FOR_KIND_DISTRIBUTE)
    4019                 :            :         {
    4020                 :            :           int i;
    4021                 :       2203 :           for (i = 1; i < fd->collapse; i++)
    4022                 :            :             {
    4023                 :       1456 :               innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    4024                 :            :                                         OMP_CLAUSE__LOOPTEMP_);
    4025                 :       1456 :               gcc_assert (innerc);
    4026                 :            :             }
    4027                 :        747 :           innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    4028                 :            :                                     OMP_CLAUSE__LOOPTEMP_);
    4029                 :        747 :           if (innerc)
    4030                 :            :             {
    4031                 :            :               /* If needed (distribute parallel for with lastprivate),
    4032                 :            :                  propagate down the total number of iterations.  */
    4033                 :        341 :               tree t = fold_convert (TREE_TYPE (OMP_CLAUSE_DECL (innerc)),
    4034                 :            :                                      fd->loop.n2);
    4035                 :        341 :               t = force_gimple_operand_gsi (&gsi, t, false, NULL_TREE, false,
    4036                 :            :                                             GSI_CONTINUE_LINKING);
    4037                 :        341 :               assign_stmt = gimple_build_assign (OMP_CLAUSE_DECL (innerc), t);
    4038                 :        341 :               gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4039                 :            :             }
    4040                 :            :         }
    4041                 :            :     }
    4042                 :      10057 :   t = fold_convert (itype, s0);
    4043                 :      10057 :   t = fold_build2 (MULT_EXPR, itype, t, step);
    4044                 :      10057 :   if (POINTER_TYPE_P (type))
    4045                 :            :     {
    4046                 :        558 :       t = fold_build_pointer_plus (n1, t);
    4047                 :        622 :       if (!POINTER_TYPE_P (TREE_TYPE (startvar))
    4048                 :        622 :           && TYPE_PRECISION (TREE_TYPE (startvar)) > TYPE_PRECISION (type))
    4049                 :          0 :         t = fold_convert (signed_type_for (type), t);
    4050                 :            :     }
    4051                 :            :   else
    4052                 :       9499 :     t = fold_build2 (PLUS_EXPR, type, t, n1);
    4053                 :      10057 :   t = fold_convert (TREE_TYPE (startvar), t);
    4054                 :      10057 :   t = force_gimple_operand_gsi (&gsi, t,
    4055                 :      10057 :                                 DECL_P (startvar)
    4056                 :      10057 :                                 && TREE_ADDRESSABLE (startvar),
    4057                 :            :                                 NULL_TREE, false, GSI_CONTINUE_LINKING);
    4058                 :      10057 :   assign_stmt = gimple_build_assign (startvar, t);
    4059                 :      10057 :   gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4060                 :      10057 :   if (cond_var)
    4061                 :            :     {
    4062                 :         83 :       tree itype = TREE_TYPE (cond_var);
    4063                 :            :       /* For lastprivate(conditional:) itervar, we need some iteration
    4064                 :            :          counter that starts at unsigned non-zero and increases.
    4065                 :            :          Prefer as few IVs as possible, so if we can use startvar
    4066                 :            :          itself, use that, or startvar + constant (those would be
    4067                 :            :          incremented with step), and as last resort use the s0 + 1
    4068                 :            :          incremented by 1.  */
    4069                 :         83 :       if (POINTER_TYPE_P (type)
    4070                 :         83 :           || TREE_CODE (n1) != INTEGER_CST
    4071                 :         77 :           || fd->loop.cond_code != LT_EXPR)
    4072                 :          6 :         t = fold_build2 (PLUS_EXPR, itype, fold_convert (itype, s0),
    4073                 :            :                          build_int_cst (itype, 1));
    4074                 :         77 :       else if (tree_int_cst_sgn (n1) == 1)
    4075                 :          6 :         t = fold_convert (itype, t);
    4076                 :            :       else
    4077                 :            :         {
    4078                 :         71 :           tree c = fold_convert (itype, n1);
    4079                 :         71 :           c = fold_build2 (MINUS_EXPR, itype, build_int_cst (itype, 1), c);
    4080                 :         71 :           t = fold_build2 (PLUS_EXPR, itype, fold_convert (itype, t), c);
    4081                 :            :         }
    4082                 :         83 :       t = force_gimple_operand_gsi (&gsi, t, false,
    4083                 :            :                                     NULL_TREE, false, GSI_CONTINUE_LINKING);
    4084                 :         83 :       assign_stmt = gimple_build_assign (cond_var, t);
    4085                 :         83 :       gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4086                 :            :     }
    4087                 :            : 
    4088                 :      10057 :   t = fold_convert (itype, e0);
    4089                 :      10057 :   t = fold_build2 (MULT_EXPR, itype, t, step);
    4090                 :      10057 :   if (POINTER_TYPE_P (type))
    4091                 :            :     {
    4092                 :        558 :       t = fold_build_pointer_plus (n1, t);
    4093                 :        622 :       if (!POINTER_TYPE_P (TREE_TYPE (startvar))
    4094                 :        622 :           && TYPE_PRECISION (TREE_TYPE (startvar)) > TYPE_PRECISION (type))
    4095                 :          0 :         t = fold_convert (signed_type_for (type), t);
    4096                 :            :     }
    4097                 :            :   else
    4098                 :       9499 :     t = fold_build2 (PLUS_EXPR, type, t, n1);
    4099                 :      10057 :   t = fold_convert (TREE_TYPE (startvar), t);
    4100                 :      10057 :   e = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    4101                 :            :                                 false, GSI_CONTINUE_LINKING);
    4102                 :      10057 :   if (endvar)
    4103                 :            :     {
    4104                 :       5072 :       assign_stmt = gimple_build_assign (endvar, e);
    4105                 :       5072 :       gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4106                 :       5072 :       if (useless_type_conversion_p (TREE_TYPE (fd->loop.v), TREE_TYPE (e)))
    4107                 :       4304 :         assign_stmt = gimple_build_assign (fd->loop.v, e);
    4108                 :            :       else
    4109                 :        768 :         assign_stmt = gimple_build_assign (fd->loop.v, NOP_EXPR, e);
    4110                 :       5072 :       gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4111                 :            :     }
    4112                 :            :   /* Handle linear clause adjustments.  */
    4113                 :      10057 :   tree itercnt = NULL_TREE;
    4114                 :      10057 :   if (gimple_omp_for_kind (fd->for_stmt) == GF_OMP_FOR_KIND_FOR)
    4115                 :      32522 :     for (tree c = gimple_omp_for_clauses (fd->for_stmt);
    4116                 :      32522 :          c; c = OMP_CLAUSE_CHAIN (c))
    4117                 :      25884 :       if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LINEAR
    4118                 :      25884 :           && !OMP_CLAUSE_LINEAR_NO_COPYIN (c))
    4119                 :            :         {
    4120                 :         15 :           tree d = OMP_CLAUSE_DECL (c);
    4121                 :         15 :           bool is_ref = omp_is_reference (d);
    4122                 :         15 :           tree t = d, a, dest;
    4123                 :         15 :           if (is_ref)
    4124                 :          2 :             t = build_simple_mem_ref_loc (OMP_CLAUSE_LOCATION (c), t);
    4125                 :         15 :           if (itercnt == NULL_TREE)
    4126                 :            :             {
    4127                 :         15 :               if (gimple_omp_for_combined_into_p (fd->for_stmt))
    4128                 :            :                 {
    4129                 :          0 :                   itercnt = fold_build2 (MINUS_EXPR, itype,
    4130                 :            :                                          fold_convert (itype, n1),
    4131                 :            :                                          fold_convert (itype, fd->loop.n1));
    4132                 :          0 :                   itercnt = fold_build2 (EXACT_DIV_EXPR, itype, itercnt, step);
    4133                 :          0 :                   itercnt = fold_build2 (PLUS_EXPR, itype, itercnt, s0);
    4134                 :          0 :                   itercnt = force_gimple_operand_gsi (&gsi, itercnt, true,
    4135                 :            :                                                       NULL_TREE, false,
    4136                 :            :                                                       GSI_CONTINUE_LINKING);
    4137                 :            :                 }
    4138                 :            :               else
    4139                 :            :                 itercnt = s0;
    4140                 :            :             }
    4141                 :         15 :           tree type = TREE_TYPE (t);
    4142                 :         15 :           if (POINTER_TYPE_P (type))
    4143                 :          0 :             type = sizetype;
    4144                 :         15 :           a = fold_build2 (MULT_EXPR, type,
    4145                 :            :                            fold_convert (type, itercnt),
    4146                 :            :                            fold_convert (type, OMP_CLAUSE_LINEAR_STEP (c)));
    4147                 :         15 :           dest = unshare_expr (t);
    4148                 :         15 :           t = fold_build2 (type == TREE_TYPE (t) ? PLUS_EXPR
    4149                 :            :                            : POINTER_PLUS_EXPR, TREE_TYPE (t), t, a);
    4150                 :         15 :           t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    4151                 :            :                                         false, GSI_CONTINUE_LINKING);
    4152                 :         15 :           assign_stmt = gimple_build_assign (dest, t);
    4153                 :         15 :           gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4154                 :            :         }
    4155                 :      10057 :   if (fd->collapse > 1)
    4156                 :       3041 :     expand_omp_for_init_vars (fd, &gsi, counts, inner_stmt, startvar);
    4157                 :            : 
    4158                 :      10057 :   if (!broken_loop)
    4159                 :            :     {
    4160                 :            :       /* The code controlling the sequential loop replaces the
    4161                 :            :          GIMPLE_OMP_CONTINUE.  */
    4162                 :       9555 :       gsi = gsi_last_nondebug_bb (cont_bb);
    4163                 :       9555 :       gomp_continue *cont_stmt = as_a <gomp_continue *> (gsi_stmt (gsi));
    4164                 :       9555 :       gcc_assert (gimple_code (cont_stmt) == GIMPLE_OMP_CONTINUE);
    4165                 :       9555 :       vmain = gimple_omp_continue_control_use (cont_stmt);
    4166                 :       9555 :       vback = gimple_omp_continue_control_def (cont_stmt);
    4167                 :            : 
    4168                 :       9555 :       if (cond_var)
    4169                 :            :         {
    4170                 :         83 :           tree itype = TREE_TYPE (cond_var);
    4171                 :         83 :           tree t2;
    4172                 :         83 :           if (POINTER_TYPE_P (type)
    4173                 :         83 :               || TREE_CODE (n1) != INTEGER_CST
    4174                 :         77 :               || fd->loop.cond_code != LT_EXPR)
    4175                 :          6 :             t2 = build_int_cst (itype, 1);
    4176                 :            :           else
    4177                 :         77 :             t2 = fold_convert (itype, step);
    4178                 :         83 :           t2 = fold_build2 (PLUS_EXPR, itype, cond_var, t2);
    4179                 :         83 :           t2 = force_gimple_operand_gsi (&gsi, t2, false,
    4180                 :            :                                          NULL_TREE, true, GSI_SAME_STMT);
    4181                 :         83 :           assign_stmt = gimple_build_assign (cond_var, t2);
    4182                 :         83 :           gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
    4183                 :            :         }
    4184                 :            : 
    4185                 :       9555 :       if (!gimple_omp_for_combined_p (fd->for_stmt))
    4186                 :            :         {
    4187                 :       4483 :           if (POINTER_TYPE_P (type))
    4188                 :        267 :             t = fold_build_pointer_plus (vmain, step);
    4189                 :            :           else
    4190                 :       4216 :             t = fold_build2 (PLUS_EXPR, type, vmain, step);
    4191                 :       4483 :           t = force_gimple_operand_gsi (&gsi, t,
    4192                 :       4483 :                                         DECL_P (vback)
    4193                 :       4483 :                                         && TREE_ADDRESSABLE (vback),
    4194                 :            :                                         NULL_TREE, true, GSI_SAME_STMT);
    4195                 :       4483 :           assign_stmt = gimple_build_assign (vback, t);
    4196                 :       4483 :           gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
    4197                 :            : 
    4198                 :       4483 :           t = build2 (fd->loop.cond_code, boolean_type_node,
    4199                 :       4483 :                       DECL_P (vback) && TREE_ADDRESSABLE (vback)
    4200                 :            :                       ? t : vback, e);
    4201                 :       4483 :           gsi_insert_before (&gsi, gimple_build_cond_empty (t), GSI_SAME_STMT);
    4202                 :            :         }
    4203                 :            : 
    4204                 :            :       /* Remove the GIMPLE_OMP_CONTINUE statement.  */
    4205                 :       9555 :       gsi_remove (&gsi, true);
    4206                 :            : 
    4207                 :       9555 :       if (fd->collapse > 1 && !gimple_omp_for_combined_p (fd->for_stmt))
    4208                 :        822 :         collapse_bb = extract_omp_for_update_vars (fd, cont_bb, body_bb);
    4209                 :            :     }
    4210                 :            : 
    4211                 :            :   /* Replace the GIMPLE_OMP_RETURN with a barrier, or nothing.  */
    4212                 :      10057 :   gsi = gsi_last_nondebug_bb (exit_bb);
    4213                 :      10057 :   if (!gimple_omp_return_nowait_p (gsi_stmt (gsi)))
    4214                 :            :     {
    4215                 :       1679 :       t = gimple_omp_return_lhs (gsi_stmt (gsi));
    4216                 :       1679 :       if (fd->have_reductemp
    4217                 :       1638 :           || ((fd->have_pointer_condtemp || fd->have_scantemp)
    4218                 :         65 :               && !fd->have_nonctrl_scantemp))
    4219                 :            :         {
    4220                 :        106 :           tree fn;
    4221                 :        106 :           if (t)
    4222                 :          5 :             fn = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END_CANCEL);
    4223                 :            :           else
    4224                 :        101 :             fn = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END);
    4225                 :        106 :           gcall *g = gimple_build_call (fn, 0);
    4226                 :        106 :           if (t)
    4227                 :            :             {
    4228                 :          5 :               gimple_call_set_lhs (g, t);
    4229                 :          5 :               if (fd->have_reductemp)
    4230                 :          5 :                 gsi_insert_after (&gsi, gimple_build_assign (reductions,
    4231                 :            :                                                              NOP_EXPR, t),
    4232                 :            :                                   GSI_SAME_STMT);
    4233                 :            :             }
    4234                 :        106 :           gsi_insert_after (&gsi, g, GSI_SAME_STMT);
    4235                 :            :         }
    4236                 :            :       else
    4237                 :       1573 :         gsi_insert_after (&gsi, omp_build_barrier (t), GSI_SAME_STMT);
    4238                 :            :     }
    4239                 :       8378 :   else if ((fd->have_pointer_condtemp || fd->have_scantemp)
    4240                 :        263 :            && !fd->have_nonctrl_scantemp)
    4241                 :            :     {
    4242                 :        108 :       tree fn = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END_NOWAIT);
    4243                 :        108 :       gcall *g = gimple_build_call (fn, 0);
    4244                 :        108 :       gsi_insert_after (&gsi, g, GSI_SAME_STMT);
    4245                 :            :     }
    4246                 :      10057 :   if (fd->have_scantemp && !fd->have_nonctrl_scantemp)
    4247                 :            :     {
    4248                 :        155 :       tree clauses = gimple_omp_for_clauses (fd->for_stmt);
    4249                 :        155 :       tree controlp = NULL_TREE, controlb = NULL_TREE;
    4250                 :        310 :       for (tree c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
    4251                 :        310 :         if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE__SCANTEMP_
    4252                 :        310 :             && OMP_CLAUSE__SCANTEMP__CONTROL (c))
    4253                 :            :           {
    4254                 :        310 :             if (TREE_TYPE (OMP_CLAUSE_DECL (c)) == boolean_type_node)
    4255                 :        155 :               controlb = OMP_CLAUSE_DECL (c);
    4256                 :            :             else
    4257                 :        155 :               controlp = OMP_CLAUSE_DECL (c);
    4258                 :        310 :             if (controlb && controlp)
    4259                 :            :               break;
    4260                 :            :           }
    4261                 :        155 :       gcc_assert (controlp && controlb);
    4262                 :        155 :       gimple *g = gimple_build_cond (NE_EXPR, controlb, boolean_false_node,
    4263                 :            :                                      NULL_TREE, NULL_TREE);
    4264                 :        155 :       gsi_insert_before (&gsi, g, GSI_SAME_STMT);
    4265                 :        155 :       exit1_bb = split_block (exit_bb, g)->dest;
    4266                 :        155 :       gsi = gsi_after_labels (exit1_bb);
    4267                 :        155 :       g = gimple_build_call (builtin_decl_explicit (BUILT_IN_FREE), 1,
    4268                 :            :                              controlp);
    4269                 :        155 :       gsi_insert_before (&gsi, g, GSI_SAME_STMT);
    4270                 :        155 :       exit2_bb = split_block (exit1_bb, g)->dest;
    4271                 :        155 :       gsi = gsi_after_labels (exit2_bb);
    4272                 :        310 :       g = gimple_build_call (builtin_decl_implicit (BUILT_IN_STACK_RESTORE), 1,
    4273                 :            :                              controlp);
    4274                 :        155 :       gsi_insert_before (&gsi, g, GSI_SAME_STMT);
    4275                 :        155 :       exit3_bb = split_block (exit2_bb, g)->dest;
    4276                 :        310 :       gsi = gsi_after_labels (exit3_bb);
    4277                 :            :     }
    4278                 :      10057 :   gsi_remove (&gsi, true);
    4279                 :            : 
    4280                 :            :   /* Connect all the blocks.  */
    4281                 :      10057 :   ep = make_edge (entry_bb, third_bb, EDGE_FALSE_VALUE);
    4282                 :      10057 :   ep->probability = profile_probability::guessed_always ().apply_scale (3, 4);
    4283                 :      10057 :   ep = find_edge (entry_bb, second_bb);
    4284                 :      10057 :   ep->flags = EDGE_TRUE_VALUE;
    4285                 :      10057 :   ep->probability = profile_probability::guessed_always ().apply_scale (1, 4);
    4286                 :      10057 :   if (fourth_bb)
    4287                 :            :     {
    4288                 :        155 :       ep = make_edge (third_bb, fifth_bb, EDGE_FALSE_VALUE);
    4289                 :        155 :       ep->probability
    4290                 :        155 :         = profile_probability::guessed_always ().apply_scale (1, 2);
    4291                 :        155 :       ep = find_edge (third_bb, fourth_bb);
    4292                 :        155 :       ep->flags = EDGE_TRUE_VALUE;
    4293                 :        155 :       ep->probability
    4294                 :        155 :         = profile_probability::guessed_always ().apply_scale (1, 2);
    4295                 :        155 :       ep = find_edge (fourth_bb, fifth_bb);
    4296                 :        155 :       redirect_edge_and_branch (ep, sixth_bb);
    4297                 :            :     }
    4298                 :            :   else
    4299                 :            :     sixth_bb = third_bb;
    4300                 :      10057 :   find_edge (sixth_bb, seq_start_bb)->flags = EDGE_FALSE_VALUE;
    4301                 :      10057 :   find_edge (sixth_bb, fin_bb)->flags = EDGE_TRUE_VALUE;
    4302                 :      10057 :   if (exit1_bb)
    4303                 :            :     {
    4304                 :        155 :       ep = make_edge (exit_bb, exit2_bb, EDGE_FALSE_VALUE);
    4305                 :        155 :       ep->probability
    4306                 :        155 :         = profile_probability::guessed_always ().apply_scale (1, 2);
    4307                 :        155 :       ep = find_edge (exit_bb, exit1_bb);
    4308                 :        155 :       ep->flags = EDGE_TRUE_VALUE;
    4309                 :        155 :       ep->probability
    4310                 :        155 :         = profile_probability::guessed_always ().apply_scale (1, 2);
    4311                 :        155 :       ep = find_edge (exit1_bb, exit2_bb);
    4312                 :        155 :       redirect_edge_and_branch (ep, exit3_bb);
    4313                 :            :     }
    4314                 :            : 
    4315                 :      10057 :   if (!broken_loop)
    4316                 :            :     {
    4317                 :       9555 :       ep = find_edge (cont_bb, body_bb);
    4318                 :       9555 :       if (ep == NULL)
    4319                 :            :         {
    4320                 :        160 :           ep = BRANCH_EDGE (cont_bb);
    4321                 :        160 :           gcc_assert (single_succ (ep->dest) == body_bb);
    4322                 :            :         }
    4323                 :       9555 :       if (gimple_omp_for_combined_p (fd->for_stmt))
    4324                 :            :         {
    4325                 :       5072 :           remove_edge (ep);
    4326                 :       5072 :           ep = NULL;
    4327                 :            :         }
    4328                 :       4483 :       else if (fd->collapse > 1)
    4329                 :            :         {
    4330                 :        822 :           remove_edge (ep);
    4331                 :        822 :           ep = make_edge (cont_bb, collapse_bb, EDGE_TRUE_VALUE);
    4332                 :            :         }
    4333                 :            :       else
    4334                 :       3661 :         ep->flags = EDGE_TRUE_VALUE;
    4335                 :       9555 :       find_edge (cont_bb, fin_bb)->flags
    4336                 :      14038 :         = ep ? EDGE_FALSE_VALUE : EDGE_FALLTHRU;
    4337                 :            :     }
    4338                 :            : 
    4339                 :      10057 :   set_immediate_dominator (CDI_DOMINATORS, second_bb, entry_bb);
    4340                 :      10057 :   set_immediate_dominator (CDI_DOMINATORS, third_bb, entry_bb);
    4341                 :      10057 :   if (fourth_bb)
    4342                 :            :     {
    4343                 :        155 :       set_immediate_dominator (CDI_DOMINATORS, fifth_bb, third_bb);
    4344                 :        155 :       set_immediate_dominator (CDI_DOMINATORS, sixth_bb, third_bb);
    4345                 :            :     }
    4346                 :      10057 :   set_immediate_dominator (CDI_DOMINATORS, seq_start_bb, sixth_bb);
    4347                 :            : 
    4348                 :      10057 :   set_immediate_dominator (CDI_DOMINATORS, body_bb,
    4349                 :            :                            recompute_dominator (CDI_DOMINATORS, body_bb));
    4350                 :      10057 :   set_immediate_dominator (CDI_DOMINATORS, fin_bb,
    4351                 :            :                            recompute_dominator (CDI_DOMINATORS, fin_bb));
    4352                 :      10057 :   if (exit1_bb)
    4353                 :            :     {
    4354                 :        155 :       set_immediate_dominator (CDI_DOMINATORS, exit2_bb, exit_bb);
    4355                 :        155 :       set_immediate_dominator (CDI_DOMINATORS, exit3_bb, exit_bb);
    4356                 :            :     }
    4357                 :            : 
    4358                 :      10057 :   class loop *loop = body_bb->loop_father;
    4359                 :      10057 :   if (loop != entry_bb->loop_father)
    4360                 :            :     {
    4361                 :        162 :       gcc_assert (broken_loop || loop->header == body_bb);
    4362                 :        162 :       gcc_assert (broken_loop
    4363                 :            :                   || loop->latch == region->cont
    4364                 :            :                   || single_pred (loop->latch) == region->cont);
    4365                 :        162 :       return;
    4366                 :            :     }
    4367                 :            : 
    4368                 :       9895 :   if (!broken_loop && !gimple_omp_for_combined_p (fd->for_stmt))
    4369                 :            :     {
    4370                 :       4323 :       loop = alloc_loop ();
    4371                 :       4323 :       loop->header = body_bb;
    4372                 :       4323 :       if (collapse_bb == NULL)
    4373                 :       3501 :         loop->latch = cont_bb;
    4374                 :       4323 :       add_loop (loop, body_bb->loop_father);
    4375                 :            :     }
    4376                 :            : }
    4377                 :            : 
    4378                 :            : /* Return phi in E->DEST with ARG on edge E.  */
    4379                 :            : 
    4380                 :            : static gphi *
    4381                 :         15 : find_phi_with_arg_on_edge (tree arg, edge e)
    4382                 :            : {
    4383                 :         15 :   basic_block bb = e->dest;
    4384                 :            : 
    4385                 :         15 :   for (gphi_iterator gpi = gsi_start_phis (bb);
    4386                 :         15 :        !gsi_end_p (gpi);
    4387                 :          0 :        gsi_next (&gpi))
    4388                 :            :     {
    4389                 :         15 :       gphi *phi = gpi.phi ();
    4390                 :         15 :       if (PHI_ARG_DEF_FROM_EDGE (phi, e) == arg)
    4391                 :         15 :         return phi;
    4392                 :            :     }
    4393                 :            : 
    4394                 :          0 :   return NULL;
    4395                 :            : }
    4396                 :            : 
    4397                 :            : /* A subroutine of expand_omp_for.  Generate code for a parallel
    4398                 :            :    loop with static schedule and a specified chunk size.  Given
    4399                 :            :    parameters:
    4400                 :            : 
    4401                 :            :         for (V = N1; V cond N2; V += STEP) BODY;
    4402                 :            : 
    4403                 :            :    where COND is "<" or ">", we generate pseudocode
    4404                 :            : 
    4405                 :            :         if ((__typeof (V)) -1 > 0 && N2 cond N1) goto L2;
    4406                 :            :         if (cond is <)
    4407                 :            :           adj = STEP - 1;
    4408                 :            :         else
    4409                 :            :           adj = STEP + 1;
    4410                 :            :         if ((__typeof (V)) -1 > 0 && cond is >)
    4411                 :            :           n = -(adj + N2 - N1) / -STEP;
    4412                 :            :         else
    4413                 :            :           n = (adj + N2 - N1) / STEP;
    4414                 :            :         trip = 0;
    4415                 :            :         V = threadid * CHUNK * STEP + N1;  -- this extra definition of V is
    4416                 :            :                                               here so that V is defined
    4417                 :            :                                               if the loop is not entered
    4418                 :            :     L0:
    4419                 :            :         s0 = (trip * nthreads + threadid) * CHUNK;
    4420                 :            :         e0 = min (s0 + CHUNK, n);
    4421                 :            :         if (s0 < n) goto L1; else goto L4;
    4422                 :            :     L1:
    4423                 :            :         V = s0 * STEP + N1;
    4424                 :            :         e = e0 * STEP + N1;
    4425                 :            :     L2:
    4426                 :            :         BODY;
    4427                 :            :         V += STEP;
    4428                 :            :         if (V cond e) goto L2; else goto L3;
    4429                 :            :     L3:
    4430                 :            :         trip += 1;
    4431                 :            :         goto L0;
    4432                 :            :     L4:
    4433                 :            : */
    4434                 :            : 
    4435                 :            : static void
    4436                 :       5281 : expand_omp_for_static_chunk (struct omp_region *region,
    4437                 :            :                              struct omp_for_data *fd, gimple *inner_stmt)
    4438                 :            : {
    4439                 :       5281 :   tree n, s0, e0, e, t;
    4440                 :       5281 :   tree trip_var, trip_init, trip_main, trip_back, nthreads, threadid;
    4441                 :       5281 :   tree type, itype, vmain, vback, vextra;
    4442                 :       5281 :   basic_block entry_bb, exit_bb, body_bb, seq_start_bb, iter_part_bb;
    4443                 :       5281 :   basic_block trip_update_bb = NULL, cont_bb, collapse_bb = NULL, fin_bb;
    4444                 :       5281 :   gimple_stmt_iterator gsi, gsip;
    4445                 :       5281 :   edge se;
    4446                 :       5281 :   bool broken_loop = region->cont == NULL;
    4447                 :       5281 :   tree *counts = NULL;
    4448                 :       5281 :   tree n1, n2, step;
    4449                 :       5281 :   tree reductions = NULL_TREE;
    4450                 :       5281 :   tree cond_var = NULL_TREE, condtemp = NULL_TREE;
    4451                 :            : 
    4452                 :       5281 :   itype = type = TREE_TYPE (fd->loop.v);
    4453                 :       5281 :   if (POINTER_TYPE_P (type))
    4454                 :        312 :     itype = signed_type_for (type);
    4455                 :            : 
    4456                 :       5281 :   entry_bb = region->entry;
    4457                 :       5281 :   se = split_block (entry_bb, last_stmt (entry_bb));
    4458                 :       5281 :   entry_bb = se->src;
    4459                 :       5281 :   iter_part_bb = se->dest;
    4460                 :       5281 :   cont_bb = region->cont;
    4461                 :       5281 :   gcc_assert (EDGE_COUNT (iter_part_bb->succs) == 2);
    4462                 :       5281 :   fin_bb = BRANCH_EDGE (iter_part_bb)->dest;
    4463                 :       5281 :   gcc_assert (broken_loop
    4464                 :            :               || fin_bb == FALLTHRU_EDGE (cont_bb)->dest);
    4465                 :       5281 :   seq_start_bb = split_edge (FALLTHRU_EDGE (iter_part_bb));
    4466                 :       5281 :   body_bb = single_succ (seq_start_bb);
    4467                 :       5281 :   if (!broken_loop)
    4468                 :            :     {
    4469                 :       5020 :       gcc_assert (BRANCH_EDGE (cont_bb)->dest == body_bb
    4470                 :            :                   || single_succ (BRANCH_EDGE (cont_bb)->dest) == body_bb);
    4471                 :       5020 :       gcc_assert (EDGE_COUNT (cont_bb->succs) == 2);
    4472                 :       5020 :       trip_update_bb = split_edge (FALLTHRU_EDGE (cont_bb));
    4473                 :            :     }
    4474                 :       5281 :   exit_bb = region->exit;
    4475                 :            : 
    4476                 :            :   /* Trip and adjustment setup goes in ENTRY_BB.  */
    4477                 :       5281 :   gsi = gsi_last_nondebug_bb (entry_bb);
    4478                 :       5281 :   gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
    4479                 :       5281 :   gsip = gsi;
    4480                 :       5281 :   gsi_prev (&gsip);
    4481                 :            : 
    4482                 :       5281 :   if (fd->collapse > 1)
    4483                 :            :     {
    4484                 :       2239 :       int first_zero_iter = -1, dummy = -1;
    4485                 :       2239 :       basic_block l2_dom_bb = NULL, dummy_bb = NULL;
    4486                 :            : 
    4487                 :       2239 :       counts = XALLOCAVEC (tree, fd->collapse);
    4488                 :       2239 :       expand_omp_for_init_counts (fd, &gsi, entry_bb, counts,
    4489                 :            :                                   fin_bb, first_zero_iter,
    4490                 :            :                                   dummy_bb, dummy, l2_dom_bb);
    4491                 :       2239 :       t = NULL_TREE;
    4492                 :            :     }
    4493                 :       3042 :   else if (gimple_omp_for_combined_into_p (fd->for_stmt))
    4494                 :        629 :     t = integer_one_node;
    4495                 :            :   else
    4496                 :       2413 :     t = fold_binary (fd->loop.cond_code, boolean_type_node,
    4497                 :            :                      fold_convert (type, fd->loop.n1),
    4498                 :            :                      fold_convert (type, fd->loop.n2));
    4499                 :       5281 :   if (fd->collapse == 1
    4500                 :       3042 :       && TYPE_UNSIGNED (type)
    4501                 :       6464 :       && (t == NULL_TREE || !integer_onep (t)))
    4502                 :            :     {
    4503                 :        232 :       n1 = fold_convert (type, unshare_expr (fd->loop.n1));
    4504                 :        232 :       n1 = force_gimple_operand_gsi (&gsi, n1, true, NULL_TREE,
    4505                 :            :                                      true, GSI_SAME_STMT);
    4506                 :        232 :       n2 = fold_convert (type, unshare_expr (fd->loop.n2));
    4507                 :        232 :       n2 = force_gimple_operand_gsi (&gsi, n2, true, NULL_TREE,
    4508                 :            :                                      true, GSI_SAME_STMT);
    4509                 :        232 :       gcond *cond_stmt = gimple_build_cond (fd->loop.cond_code, n1, n2,
    4510                 :            :                                                  NULL_TREE, NULL_TREE);
    4511                 :        232 :       gsi_insert_before (&gsi, cond_stmt, GSI_SAME_STMT);
    4512                 :        232 :       if (walk_tree (gimple_cond_lhs_ptr (cond_stmt),
    4513                 :            :                      expand_omp_regimplify_p, NULL, NULL)
    4514                 :        232 :           || walk_tree (gimple_cond_rhs_ptr (cond_stmt),
    4515                 :            :                         expand_omp_regimplify_p, NULL, NULL))
    4516                 :            :         {
    4517                 :          0 :           gsi = gsi_for_stmt (cond_stmt);
    4518                 :          0 :           gimple_regimplify_operands (cond_stmt, &gsi);
    4519                 :            :         }
    4520                 :        232 :       se = split_block (entry_bb, cond_stmt);
    4521                 :        232 :       se->flags = EDGE_TRUE_VALUE;
    4522                 :        232 :       entry_bb = se->dest;
    4523                 :        232 :       se->probability = profile_probability::very_likely ();
    4524                 :        232 :       se = make_edge (se->src, fin_bb, EDGE_FALSE_VALUE);
    4525                 :        232 :       se->probability = profile_probability::very_unlikely ();
    4526                 :        232 :       if (gimple_in_ssa_p (cfun))
    4527                 :            :         {
    4528                 :          1 :           int dest_idx = find_edge (iter_part_bb, fin_bb)->dest_idx;
    4529                 :          1 :           for (gphi_iterator gpi = gsi_start_phis (fin_bb);
    4530                 :          2 :                !gsi_end_p (gpi); gsi_next (&gpi))
    4531                 :            :             {
    4532                 :          1 :               gphi *phi = gpi.phi ();
    4533                 :          1 :               add_phi_arg (phi, gimple_phi_arg_def (phi, dest_idx),
    4534                 :            :                            se, UNKNOWN_LOCATION);
    4535                 :            :             }
    4536                 :            :         }
    4537                 :        464 :       gsi = gsi_last_bb (entry_bb);
    4538                 :            :     }
    4539                 :            : 
    4540                 :       5281 :   if (fd->lastprivate_conditional)
    4541                 :            :     {
    4542                 :         43 :       tree clauses = gimple_omp_for_clauses (fd->for_stmt);
    4543                 :         43 :       tree c = omp_find_clause (clauses, OMP_CLAUSE__CONDTEMP_);
    4544                 :         43 :       if (fd->have_pointer_condtemp)
    4545                 :         29 :         condtemp = OMP_CLAUSE_DECL (c);
    4546                 :         43 :       c = omp_find_clause (OMP_CLAUSE_CHAIN (c), OMP_CLAUSE__CONDTEMP_);
    4547                 :         43 :       cond_var = OMP_CLAUSE_DECL (c);
    4548                 :            :     }
    4549                 :       5281 :   if (fd->have_reductemp || fd->have_pointer_condtemp)
    4550                 :            :     {
    4551                 :         38 :       tree t1 = build_int_cst (long_integer_type_node, 0);
    4552                 :         38 :       tree t2 = build_int_cst (long_integer_type_node, 1);
    4553                 :         76 :       tree t3 = build_int_cstu (long_integer_type_node,
    4554                 :         38 :                                 (HOST_WIDE_INT_1U << 31) + 1);
    4555                 :         38 :       tree clauses = gimple_omp_for_clauses (fd->for_stmt);
    4556                 :         38 :       gimple_stmt_iterator gsi2 = gsi_none ();
    4557                 :         38 :       gimple *g = NULL;
    4558                 :         38 :       tree mem = null_pointer_node, memv = NULL_TREE;
    4559                 :         38 :       if (fd->have_reductemp)
    4560                 :            :         {
    4561                 :         19 :           tree c = omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_);
    4562                 :         19 :           reductions = OMP_CLAUSE_DECL (c);
    4563                 :         19 :           gcc_assert (TREE_CODE (reductions) == SSA_NAME);
    4564                 :         19 :           g = SSA_NAME_DEF_STMT (reductions);
    4565                 :         19 :           reductions = gimple_assign_rhs1 (g);
    4566                 :         19 :           OMP_CLAUSE_DECL (c) = reductions;
    4567                 :         19 :           gsi2 = gsi_for_stmt (g);
    4568                 :            :         }
    4569                 :            :       else
    4570                 :            :         {
    4571                 :         19 :           if (gsi_end_p (gsip))
    4572                 :          0 :             gsi2 = gsi_after_labels (region->entry);
    4573                 :            :           else
    4574                 :         19 :             gsi2 = gsip;
    4575                 :            :           reductions = null_pointer_node;
    4576                 :            :         }
    4577                 :         38 :       if (fd->have_pointer_condtemp)
    4578                 :            :         {
    4579                 :         29 :           tree type = TREE_TYPE (condtemp);
    4580                 :         29 :           memv = create_tmp_var (type);
    4581                 :         29 :           TREE_ADDRESSABLE (memv) = 1;
    4582                 :         29 :           unsigned HOST_WIDE_INT sz
    4583                 :         29 :             = tree_to_uhwi (TYPE_SIZE_UNIT (TREE_TYPE (type)));
    4584                 :         29 :           sz *= fd->lastprivate_conditional;
    4585                 :         29 :           expand_omp_build_assign (&gsi2, memv, build_int_cst (type, sz),
    4586                 :            :                                    false);
    4587                 :         29 :           mem = build_fold_addr_expr (memv);
    4588                 :            :         }
    4589                 :         38 :       tree t
    4590                 :         38 :         = build_call_expr (builtin_decl_explicit (BUILT_IN_GOMP_LOOP_START),
    4591                 :            :                            9, t1, t2, t2, t3, t1, null_pointer_node,
    4592                 :            :                            null_pointer_node, reductions, mem);
    4593                 :         38 :       force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
    4594                 :            :                                 true, GSI_SAME_STMT);
    4595                 :         38 :       if (fd->have_pointer_condtemp)
    4596                 :         29 :         expand_omp_build_assign (&gsi2, condtemp, memv, false);
    4597                 :         38 :       if (fd->have_reductemp)
    4598                 :            :         {
    4599                 :         19 :           gsi_remove (&gsi2, true);
    4600                 :         57 :           release_ssa_name (gimple_assign_lhs (g));
    4601                 :            :         }
    4602                 :            :     }
    4603                 :       5281 :   switch (gimple_omp_for_kind (fd->for_stmt))
    4604                 :            :     {
    4605                 :       2089 :     case GF_OMP_FOR_KIND_FOR:
    4606                 :       2089 :       nthreads = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_THREADS);
    4607                 :       2089 :       threadid = builtin_decl_explicit (BUILT_IN_OMP_GET_THREAD_NUM);
    4608                 :       2089 :       break;
    4609                 :       3192 :     case GF_OMP_FOR_KIND_DISTRIBUTE:
    4610                 :       3192 :       nthreads = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_TEAMS);
    4611                 :       3192 :       threadid = builtin_decl_explicit (BUILT_IN_OMP_GET_TEAM_NUM);
    4612                 :       3192 :       break;
    4613                 :          0 :     default:
    4614                 :          0 :       gcc_unreachable ();
    4615                 :            :     }
    4616                 :       5281 :   nthreads = build_call_expr (nthreads, 0);
    4617                 :       5281 :   nthreads = fold_convert (itype, nthreads);
    4618                 :       5281 :   nthreads = force_gimple_operand_gsi (&gsi, nthreads, true, NULL_TREE,
    4619                 :            :                                        true, GSI_SAME_STMT);
    4620                 :       5281 :   threadid = build_call_expr (threadid, 0);
    4621                 :       5281 :   threadid = fold_convert (itype, threadid);
    4622                 :       5281 :   threadid = force_gimple_operand_gsi (&gsi, threadid, true, NULL_TREE,
    4623                 :            :                                        true, GSI_SAME_STMT);
    4624                 :            : 
    4625                 :       5281 :   n1 = fd->loop.n1;
    4626                 :       5281 :   n2 = fd->loop.n2;
    4627                 :       5281 :   step = fd->loop.step;
    4628                 :       5281 :   if (gimple_omp_for_combined_into_p (fd->for_stmt))
    4629                 :            :     {
    4630                 :       1125 :       tree innerc = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    4631                 :            :                                      OMP_CLAUSE__LOOPTEMP_);
    4632                 :       1125 :       gcc_assert (innerc);
    4633                 :       1125 :       n1 = OMP_CLAUSE_DECL (innerc);
    4634                 :       1125 :       innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    4635                 :            :                                 OMP_CLAUSE__LOOPTEMP_);
    4636                 :       1125 :       gcc_assert (innerc);
    4637                 :       1125 :       n2 = OMP_CLAUSE_DECL (innerc);
    4638                 :            :     }
    4639                 :       5281 :   n1 = force_gimple_operand_gsi (&gsi, fold_convert (type, n1),
    4640                 :            :                                  true, NULL_TREE, true, GSI_SAME_STMT);
    4641                 :       5281 :   n2 = force_gimple_operand_gsi (&gsi, fold_convert (itype, n2),
    4642                 :            :                                  true, NULL_TREE, true, GSI_SAME_STMT);
    4643                 :       5281 :   step = force_gimple_operand_gsi (&gsi, fold_convert (itype, step),
    4644                 :            :                                    true, NULL_TREE, true, GSI_SAME_STMT);
    4645                 :       5281 :   tree chunk_size = fold_convert (itype, fd->chunk_size);
    4646                 :       5281 :   chunk_size = omp_adjust_chunk_size (chunk_size, fd->simd_schedule);
    4647                 :       5281 :   chunk_size
    4648                 :       5281 :     = force_gimple_operand_gsi (&gsi, chunk_size, true, NULL_TREE, true,
    4649                 :            :                                 GSI_SAME_STMT);
    4650                 :            : 
    4651                 :       5875 :   t = build_int_cst (itype, (fd->loop.cond_code == LT_EXPR ? -1 : 1));
    4652                 :       5281 :   t = fold_build2 (PLUS_EXPR, itype, step, t);
    4653                 :       5281 :   t = fold_build2 (PLUS_EXPR, itype, t, n2);
    4654                 :       5281 :   t = fold_build2 (MINUS_EXPR, itype, t, fold_convert (itype, n1));
    4655                 :       5281 :   if (TYPE_UNSIGNED (itype) && fd->loop.cond_code == GT_EXPR)
    4656                 :        284 :     t = fold_build2 (TRUNC_DIV_EXPR, itype,
    4657                 :            :                      fold_build1 (NEGATE_EXPR, itype, t),
    4658                 :            :                      fold_build1 (NEGATE_EXPR, itype, step));
    4659                 :            :   else
    4660                 :       4997 :     t = fold_build2 (TRUNC_DIV_EXPR, itype, t, step);
    4661                 :       5281 :   t = fold_convert (itype, t);
    4662                 :       5281 :   n = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    4663                 :            :                                 true, GSI_SAME_STMT);
    4664                 :            : 
    4665                 :       5281 :   trip_var = create_tmp_reg (itype, ".trip");
    4666                 :       5281 :   if (gimple_in_ssa_p (cfun))
    4667                 :            :     {
    4668                 :         13 :       trip_init = make_ssa_name (trip_var);
    4669                 :         13 :       trip_main = make_ssa_name (trip_var);
    4670                 :         13 :       trip_back = make_ssa_name (trip_var);
    4671                 :            :     }
    4672                 :            :   else
    4673                 :            :     {
    4674                 :            :       trip_init = trip_var;
    4675                 :            :       trip_main = trip_var;
    4676                 :            :       trip_back = trip_var;
    4677                 :            :     }
    4678                 :            : 
    4679                 :       5281 :   gassign *assign_stmt
    4680                 :       5281 :     = gimple_build_assign (trip_init, build_int_cst (itype, 0));
    4681                 :       5281 :   gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
    4682                 :            : 
    4683                 :       5281 :   t = fold_build2 (MULT_EXPR, itype, threadid, chunk_size);
    4684                 :       5281 :   t = fold_build2 (MULT_EXPR, itype, t, step);
    4685                 :       5281 :   if (POINTER_TYPE_P (type))
    4686                 :        312 :     t = fold_build_pointer_plus (n1, t);
    4687                 :            :   else
    4688                 :       4969 :     t = fold_build2 (PLUS_EXPR, type, t, n1);
    4689                 :       5281 :   vextra = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    4690                 :            :                                      true, GSI_SAME_STMT);
    4691                 :            : 
    4692                 :            :   /* Remove the GIMPLE_OMP_FOR.  */
    4693                 :       5281 :   gsi_remove (&gsi, true);
    4694                 :            : 
    4695                 :       5281 :   gimple_stmt_iterator gsif = gsi;
    4696                 :            : 
    4697                 :            :   /* Iteration space partitioning goes in ITER_PART_BB.  */
    4698                 :       5281 :   gsi = gsi_last_bb (iter_part_bb);
    4699                 :            : 
    4700                 :       5281 :   t = fold_build2 (MULT_EXPR, itype, trip_main, nthreads);
    4701                 :       5281 :   t = fold_build2 (PLUS_EXPR, itype, t, threadid);
    4702                 :       5281 :   t = fold_build2 (MULT_EXPR, itype, t, chunk_size);
    4703                 :       5281 :   s0 = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    4704                 :            :                                  false, GSI_CONTINUE_LINKING);
    4705                 :            : 
    4706                 :       5281 :   t = fold_build2 (PLUS_EXPR, itype, s0, chunk_size);
    4707                 :       5281 :   t = fold_build2 (MIN_EXPR, itype, t, n);
    4708                 :       5281 :   e0 = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    4709                 :            :                                  false, GSI_CONTINUE_LINKING);
    4710                 :            : 
    4711                 :       5281 :   t = build2 (LT_EXPR, boolean_type_node, s0, n);
    4712                 :       5281 :   gsi_insert_after (&gsi, gimple_build_cond_empty (t), GSI_CONTINUE_LINKING);
    4713                 :            : 
    4714                 :            :   /* Setup code for sequential iteration goes in SEQ_START_BB.  */
    4715                 :       5281 :   gsi = gsi_start_bb (seq_start_bb);
    4716                 :            : 
    4717                 :       5281 :   tree startvar = fd->loop.v;
    4718                 :       5281 :   tree endvar = NULL_TREE;
    4719                 :            : 
    4720                 :       5281 :   if (gimple_omp_for_combined_p (fd->for_stmt))
    4721                 :            :     {
    4722                 :       3836 :       tree clauses = gimple_code (inner_stmt) == GIMPLE_OMP_PARALLEL
    4723                 :       3836 :                      ? gimple_omp_parallel_clauses (inner_stmt)
    4724                 :       1271 :                      : gimple_omp_for_clauses (inner_stmt);
    4725                 :       3836 :       tree innerc = omp_find_clause (clauses, OMP_CLAUSE__LOOPTEMP_);
    4726                 :       3836 :       gcc_assert (innerc);
    4727                 :       3836 :       startvar = OMP_CLAUSE_DECL (innerc);
    4728                 :       3836 :       innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    4729                 :            :                                 OMP_CLAUSE__LOOPTEMP_);
    4730                 :       3836 :       gcc_assert (innerc);
    4731                 :       3836 :       endvar = OMP_CLAUSE_DECL (innerc);
    4732                 :       1679 :       if (fd->collapse > 1 && TREE_CODE (fd->loop.n2) != INTEGER_CST
    4733                 :       4722 :           && gimple_omp_for_kind (fd->for_stmt) == GF_OMP_FOR_KIND_DISTRIBUTE)
    4734                 :            :         {
    4735                 :            :           int i;
    4736                 :       2112 :           for (i = 1; i < fd->collapse; i++)
    4737                 :            :             {
    4738                 :       1408 :               innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    4739                 :            :                                         OMP_CLAUSE__LOOPTEMP_);
    4740                 :       1408 :               gcc_assert (innerc);
    4741                 :            :             }
    4742                 :        704 :           innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    4743                 :            :                                     OMP_CLAUSE__LOOPTEMP_);
    4744                 :        704 :           if (innerc)
    4745                 :            :             {
    4746                 :            :               /* If needed (distribute parallel for with lastprivate),
    4747                 :            :                  propagate down the total number of iterations.  */
    4748                 :        320 :               tree t = fold_convert (TREE_TYPE (OMP_CLAUSE_DECL (innerc)),
    4749                 :            :                                      fd->loop.n2);
    4750                 :        320 :               t = force_gimple_operand_gsi (&gsi, t, false, NULL_TREE, false,
    4751                 :            :                                             GSI_CONTINUE_LINKING);
    4752                 :        320 :               assign_stmt = gimple_build_assign (OMP_CLAUSE_DECL (innerc), t);
    4753                 :        320 :               gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4754                 :            :             }
    4755                 :            :         }
    4756                 :            :     }
    4757                 :            : 
    4758                 :       5281 :   t = fold_convert (itype, s0);
    4759                 :       5281 :   t = fold_build2 (MULT_EXPR, itype, t, step);
    4760                 :       5281 :   if (POINTER_TYPE_P (type))
    4761                 :            :     {
    4762                 :        312 :       t = fold_build_pointer_plus (n1, t);
    4763                 :        376 :       if (!POINTER_TYPE_P (TREE_TYPE (startvar))
    4764                 :        376 :           && TYPE_PRECISION (TREE_TYPE (startvar)) > TYPE_PRECISION (type))
    4765                 :          0 :         t = fold_convert (signed_type_for (type), t);
    4766                 :            :     }
    4767                 :            :   else
    4768                 :       4969 :     t = fold_build2 (PLUS_EXPR, type, t, n1);
    4769                 :       5281 :   t = fold_convert (TREE_TYPE (startvar), t);
    4770                 :       5281 :   t = force_gimple_operand_gsi (&gsi, t,
    4771                 :       5281 :                                 DECL_P (startvar)
    4772                 :       5281 :                                 && TREE_ADDRESSABLE (startvar),
    4773                 :            :                                 NULL_TREE, false, GSI_CONTINUE_LINKING);
    4774                 :       5281 :   assign_stmt = gimple_build_assign (startvar, t);
    4775                 :       5281 :   gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4776                 :       5281 :   if (cond_var)
    4777                 :            :     {
    4778                 :         43 :       tree itype = TREE_TYPE (cond_var);
    4779                 :            :       /* For lastprivate(conditional:) itervar, we need some iteration
    4780                 :            :          counter that starts at unsigned non-zero and increases.
    4781                 :            :          Prefer as few IVs as possible, so if we can use startvar
    4782                 :            :          itself, use that, or startvar + constant (those would be
    4783                 :            :          incremented with step), and as last resort use the s0 + 1
    4784                 :            :          incremented by 1.  */
    4785                 :         43 :       if (POINTER_TYPE_P (type)
    4786                 :         43 :           || TREE_CODE (n1) != INTEGER_CST
    4787                 :         37 :           || fd->loop.cond_code != LT_EXPR)
    4788                 :          6 :         t = fold_build2 (PLUS_EXPR, itype, fold_convert (itype, s0),
    4789                 :            :                          build_int_cst (itype, 1));
    4790                 :         37 :       else if (tree_int_cst_sgn (n1) == 1)
    4791                 :         14 :         t = fold_convert (itype, t);
    4792                 :            :       else
    4793                 :            :         {
    4794                 :         23 :           tree c = fold_convert (itype, n1);
    4795                 :         23 :           c = fold_build2 (MINUS_EXPR, itype, build_int_cst (itype, 1), c);
    4796                 :         23 :           t = fold_build2 (PLUS_EXPR, itype, fold_convert (itype, t), c);
    4797                 :            :         }
    4798                 :         43 :       t = force_gimple_operand_gsi (&gsi, t, false,
    4799                 :            :                                     NULL_TREE, false, GSI_CONTINUE_LINKING);
    4800                 :         43 :       assign_stmt = gimple_build_assign (cond_var, t);
    4801                 :         43 :       gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4802                 :            :     }
    4803                 :            : 
    4804                 :       5281 :   t = fold_convert (itype, e0);
    4805                 :       5281 :   t = fold_build2 (MULT_EXPR, itype, t, step);
    4806                 :       5281 :   if (POINTER_TYPE_P (type))
    4807                 :            :     {
    4808                 :        312 :       t = fold_build_pointer_plus (n1, t);
    4809                 :        376 :       if (!POINTER_TYPE_P (TREE_TYPE (startvar))
    4810                 :        376 :           && TYPE_PRECISION (TREE_TYPE (startvar)) > TYPE_PRECISION (type))
    4811                 :          0 :         t = fold_convert (signed_type_for (type), t);
    4812                 :            :     }
    4813                 :            :   else
    4814                 :       4969 :     t = fold_build2 (PLUS_EXPR, type, t, n1);
    4815                 :       5281 :   t = fold_convert (TREE_TYPE (startvar), t);
    4816                 :       5281 :   e = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    4817                 :            :                                 false, GSI_CONTINUE_LINKING);
    4818                 :       5281 :   if (endvar)
    4819                 :            :     {
    4820                 :       3836 :       assign_stmt = gimple_build_assign (endvar, e);
    4821                 :       3836 :       gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4822                 :       3836 :       if (useless_type_conversion_p (TREE_TYPE (fd->loop.v), TREE_TYPE (e)))
    4823                 :       3068 :         assign_stmt = gimple_build_assign (fd->loop.v, e);
    4824                 :            :       else
    4825                 :        768 :         assign_stmt = gimple_build_assign (fd->loop.v, NOP_EXPR, e);
    4826                 :       3836 :       gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4827                 :            :     }
    4828                 :            :   /* Handle linear clause adjustments.  */
    4829                 :       5281 :   tree itercnt = NULL_TREE, itercntbias = NULL_TREE;
    4830                 :       5281 :   if (gimple_omp_for_kind (fd->for_stmt) == GF_OMP_FOR_KIND_FOR)
    4831                 :      13727 :     for (tree c = gimple_omp_for_clauses (fd->for_stmt);
    4832                 :      13727 :          c; c = OMP_CLAUSE_CHAIN (c))
    4833                 :      11638 :       if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LINEAR
    4834                 :      11638 :           && !OMP_CLAUSE_LINEAR_NO_COPYIN (c))
    4835                 :            :         {
    4836                 :         22 :           tree d = OMP_CLAUSE_DECL (c);
    4837                 :         22 :           bool is_ref = omp_is_reference (d);
    4838                 :         22 :           tree t = d, a, dest;
    4839                 :         22 :           if (is_ref)
    4840                 :          3 :             t = build_simple_mem_ref_loc (OMP_CLAUSE_LOCATION (c), t);
    4841                 :         22 :           tree type = TREE_TYPE (t);
    4842                 :         22 :           if (POINTER_TYPE_P (type))
    4843                 :          0 :             type = sizetype;
    4844                 :         22 :           dest = unshare_expr (t);
    4845                 :         22 :           tree v = create_tmp_var (TREE_TYPE (t), NULL);
    4846                 :         22 :           expand_omp_build_assign (&gsif, v, t);
    4847                 :         22 :           if (itercnt == NULL_TREE)
    4848                 :            :             {
    4849                 :         22 :               if (gimple_omp_for_combined_into_p (fd->for_stmt))
    4850                 :            :                 {
    4851                 :          0 :                   itercntbias
    4852                 :          0 :                     = fold_build2 (MINUS_EXPR, itype, fold_convert (itype, n1),
    4853                 :            :                                    fold_convert (itype, fd->loop.n1));
    4854                 :          0 :                   itercntbias = fold_build2 (EXACT_DIV_EXPR, itype,
    4855                 :            :                                              itercntbias, step);
    4856                 :          0 :                   itercntbias
    4857                 :          0 :                     = force_gimple_operand_gsi (&gsif, itercntbias, true,
    4858                 :            :                                                 NULL_TREE, true,
    4859                 :            :                                                 GSI_SAME_STMT);
    4860                 :          0 :                   itercnt = fold_build2 (PLUS_EXPR, itype, itercntbias, s0);
    4861                 :          0 :                   itercnt = force_gimple_operand_gsi (&gsi, itercnt, true,
    4862                 :            :                                                       NULL_TREE, false,
    4863                 :            :                                                       GSI_CONTINUE_LINKING);
    4864                 :            :                 }
    4865                 :            :               else
    4866                 :            :                 itercnt = s0;
    4867                 :            :             }
    4868                 :         22 :           a = fold_build2 (MULT_EXPR, type,
    4869                 :            :                            fold_convert (type, itercnt),
    4870                 :            :                            fold_convert (type, OMP_CLAUSE_LINEAR_STEP (c)));
    4871                 :         22 :           t = fold_build2 (type == TREE_TYPE (t) ? PLUS_EXPR
    4872                 :            :                            : POINTER_PLUS_EXPR, TREE_TYPE (t), v, a);
    4873                 :         22 :           t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    4874                 :            :                                         false, GSI_CONTINUE_LINKING);
    4875                 :         22 :           assign_stmt = gimple_build_assign (dest, t);
    4876                 :         22 :           gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4877                 :            :         }
    4878                 :       5281 :   if (fd->collapse > 1)
    4879                 :       2239 :     expand_omp_for_init_vars (fd, &gsi, counts, inner_stmt, startvar);
    4880                 :            : 
    4881                 :       5281 :   if (!broken_loop)
    4882                 :            :     {
    4883                 :            :       /* The code controlling the sequential loop goes in CONT_BB,
    4884                 :            :          replacing the GIMPLE_OMP_CONTINUE.  */
    4885                 :       5020 :       gsi = gsi_last_nondebug_bb (cont_bb);
    4886                 :       5020 :       gomp_continue *cont_stmt = as_a <gomp_continue *> (gsi_stmt (gsi));
    4887                 :       5020 :       vmain = gimple_omp_continue_control_use (cont_stmt);
    4888                 :       5020 :       vback = gimple_omp_continue_control_def (cont_stmt);
    4889                 :            : 
    4890                 :       5020 :       if (cond_var)
    4891                 :            :         {
    4892                 :         43 :           tree itype = TREE_TYPE (cond_var);
    4893                 :         43 :           tree t2;
    4894                 :         43 :           if (POINTER_TYPE_P (type)
    4895                 :         43 :               || TREE_CODE (n1) != INTEGER_CST
    4896                 :         37 :               || fd->loop.cond_code != LT_EXPR)
    4897                 :          6 :             t2 = build_int_cst (itype, 1);
    4898                 :            :           else
    4899                 :         37 :             t2 = fold_convert (itype, step);
    4900                 :         43 :           t2 = fold_build2 (PLUS_EXPR, itype, cond_var, t2);
    4901                 :         43 :           t2 = force_gimple_operand_gsi (&gsi, t2, false,
    4902                 :            :                                          NULL_TREE, true, GSI_SAME_STMT);
    4903                 :         43 :           assign_stmt = gimple_build_assign (cond_var, t2);
    4904                 :         43 :           gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
    4905                 :            :         }
    4906                 :            : 
    4907                 :       5020 :       if (!gimple_omp_for_combined_p (fd->for_stmt))
    4908                 :            :         {
    4909                 :       1184 :           if (POINTER_TYPE_P (type))
    4910                 :         92 :             t = fold_build_pointer_plus (vmain, step);
    4911                 :            :           else
    4912                 :       1092 :             t = fold_build2 (PLUS_EXPR, type, vmain, step);
    4913                 :       1184 :           if (DECL_P (vback) && TREE_ADDRESSABLE (vback))
    4914                 :          0 :             t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    4915                 :            :                                           true, GSI_SAME_STMT);
    4916                 :       1184 :           assign_stmt = gimple_build_assign (vback, t);
    4917                 :       1184 :           gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
    4918                 :            : 
    4919                 :       1184 :           if (tree_int_cst_equal (fd->chunk_size, integer_one_node))
    4920                 :         90 :             t = build2 (EQ_EXPR, boolean_type_node,
    4921                 :         90 :                         build_int_cst (itype, 0),
    4922                 :         90 :                         build_int_cst (itype, 1));
    4923                 :            :           else
    4924                 :       1094 :             t = build2 (fd->loop.cond_code, boolean_type_node,
    4925                 :       1094 :                         DECL_P (vback) && TREE_ADDRESSABLE (vback)
    4926                 :            :                         ? t : vback, e);
    4927                 :       1184 :           gsi_insert_before (&gsi, gimple_build_cond_empty (t), GSI_SAME_STMT);
    4928                 :            :         }
    4929                 :            : 
    4930                 :            :       /* Remove GIMPLE_OMP_CONTINUE.  */
    4931                 :       5020 :       gsi_remove (&gsi, true);
    4932                 :            : 
    4933                 :       5020 :       if (fd->collapse > 1 && !gimple_omp_for_combined_p (fd->for_stmt))
    4934                 :        440 :         collapse_bb = extract_omp_for_update_vars (fd, cont_bb, body_bb);
    4935                 :            : 
    4936                 :            :       /* Trip update code goes into TRIP_UPDATE_BB.  */
    4937                 :       5020 :       gsi = gsi_start_bb (trip_update_bb);
    4938                 :            : 
    4939                 :       5020 :       t = build_int_cst (itype, 1);
    4940                 :       5020 :       t = build2 (PLUS_EXPR, itype, trip_main, t);
    4941                 :       5020 :       assign_stmt = gimple_build_assign (trip_back, t);
    4942                 :       5020 :       gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    4943                 :            :     }
    4944                 :            : 
    4945                 :            :   /* Replace the GIMPLE_OMP_RETURN with a barrier, or nothing.  */
    4946                 :       5281 :   gsi = gsi_last_nondebug_bb (exit_bb);
    4947                 :       5281 :   if (!gimple_omp_return_nowait_p (gsi_stmt (gsi)))
    4948                 :            :     {
    4949                 :        282 :       t = gimple_omp_return_lhs (gsi_stmt (gsi));
    4950                 :        282 :       if (fd->have_reductemp || fd->have_pointer_condtemp)
    4951                 :            :         {
    4952                 :         29 :           tree fn;
    4953                 :         29 :           if (t)
    4954                 :          0 :             fn = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END_CANCEL);
    4955                 :            :           else
    4956                 :         29 :             fn = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END);
    4957                 :         29 :           gcall *g = gimple_build_call (fn, 0);
    4958                 :         29 :           if (t)
    4959                 :            :             {
    4960                 :          0 :               gimple_call_set_lhs (g, t);
    4961                 :          0 :               if (fd->have_reductemp)
    4962                 :          0 :                 gsi_insert_after (&gsi, gimple_build_assign (reductions,
    4963                 :            :                                                              NOP_EXPR, t),
    4964                 :            :                                   GSI_SAME_STMT);
    4965                 :            :             }
    4966                 :         29 :           gsi_insert_after (&gsi, g, GSI_SAME_STMT);
    4967                 :            :         }
    4968                 :            :       else
    4969                 :        253 :         gsi_insert_after (&gsi, omp_build_barrier (t), GSI_SAME_STMT);
    4970                 :            :     }
    4971                 :       4999 :   else if (fd->have_pointer_condtemp)
    4972                 :            :     {
    4973                 :          9 :       tree fn = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END_NOWAIT);
    4974                 :          9 :       gcall *g = gimple_build_call (fn, 0);
    4975                 :          9 :       gsi_insert_after (&gsi, g, GSI_SAME_STMT);
    4976                 :            :     }
    4977                 :       5281 :   gsi_remove (&gsi, true);
    4978                 :            : 
    4979                 :            :   /* Connect the new blocks.  */
    4980                 :       5281 :   find_edge (iter_part_bb, seq_start_bb)->flags = EDGE_TRUE_VALUE;
    4981                 :       5281 :   find_edge (iter_part_bb, fin_bb)->flags = EDGE_FALSE_VALUE;
    4982                 :            : 
    4983                 :       5281 :   if (!broken_loop)
    4984                 :            :     {
    4985                 :       5020 :       se = find_edge (cont_bb, body_bb);
    4986                 :       5020 :       if (se == NULL)
    4987                 :            :         {
    4988                 :         13 :           se = BRANCH_EDGE (cont_bb);
    4989                 :         13 :           gcc_assert (single_succ (se->dest) == body_bb);
    4990                 :            :         }
    4991                 :       5020 :       if (gimple_omp_for_combined_p (fd->for_stmt))
    4992                 :            :         {
    4993                 :       3836 :           remove_edge (se);
    4994                 :       3836 :           se = NULL;
    4995                 :            :         }
    4996                 :       1184 :       else if (fd->collapse > 1)
    4997                 :            :         {
    4998                 :        440 :           remove_edge (se);
    4999                 :        440 :           se = make_edge (cont_bb, collapse_bb, EDGE_TRUE_VALUE);
    5000                 :            :         }
    5001                 :            :       else
    5002                 :        744 :         se->flags = EDGE_TRUE_VALUE;
    5003                 :       5020 :       find_edge (cont_bb, trip_update_bb)->flags
    5004                 :       1184 :         = se ? EDGE_FALSE_VALUE : EDGE_FALLTHRU;
    5005                 :            : 
    5006                 :       5020 :       redirect_edge_and_branch (single_succ_edge (trip_update_bb),
    5007                 :            :                                 iter_part_bb);
    5008                 :            :     }
    5009                 :            : 
    5010                 :       5281 :   if (gimple_in_ssa_p (cfun))
    5011                 :            :     {
    5012                 :         13 :       gphi_iterator psi;
    5013                 :         13 :       gphi *phi;
    5014                 :         13 :       edge re, ene;
    5015                 :         13 :       edge_var_map *vm;
    5016                 :         13 :       size_t i;
    5017                 :            : 
    5018                 :         13 :       gcc_assert (fd->collapse == 1 && !broken_loop);
    5019                 :            : 
    5020                 :            :       /* When we redirect the edge from trip_update_bb to iter_part_bb, we
    5021                 :            :          remove arguments of the phi nodes in fin_bb.  We need to create
    5022                 :            :          appropriate phi nodes in iter_part_bb instead.  */
    5023                 :         13 :       se = find_edge (iter_part_bb, fin_bb);
    5024                 :         13 :       re = single_succ_edge (trip_update_bb);
    5025                 :         13 :       vec<edge_var_map> *head = redirect_edge_var_map_vector (re);
    5026                 :         13 :       ene = single_succ_edge (entry_bb);
    5027                 :            : 
    5028                 :         13 :       psi = gsi_start_phis (fin_bb);
    5029                 :         23 :       for (i = 0; !gsi_end_p (psi) && head->iterate (i, &vm);
    5030                 :         10 :            gsi_next (&psi), ++i)
    5031                 :            :         {
    5032                 :         10 :           gphi *nphi;
    5033                 :         10 :           location_t locus;
    5034                 :            : 
    5035                 :         10 :           phi = psi.phi ();
    5036                 :         10 :           if (operand_equal_p (gimple_phi_arg_def (phi, 0),
    5037                 :         10 :                                redirect_edge_var_map_def (vm), 0))
    5038                 :          0 :             continue;
    5039                 :            : 
    5040                 :         10 :           t = gimple_phi_result (phi);
    5041                 :         10 :           gcc_assert (t == redirect_edge_var_map_result (vm));
    5042                 :            : 
    5043                 :         10 :           if (!single_pred_p (fin_bb))
    5044                 :          1 :             t = copy_ssa_name (t, phi);
    5045                 :            : 
    5046                 :         10 :           nphi = create_phi_node (t, iter_part_bb);
    5047                 :            : 
    5048                 :         10 :           t = PHI_ARG_DEF_FROM_EDGE (phi, se);
    5049                 :         10 :           locus = gimple_phi_arg_location_from_edge (phi, se);
    5050                 :            : 
    5051                 :            :           /* A special case -- fd->loop.v is not yet computed in
    5052                 :            :              iter_part_bb, we need to use vextra instead.  */
    5053                 :         10 :           if (t == fd->loop.v)
    5054                 :          0 :             t = vextra;
    5055                 :         10 :           add_phi_arg (nphi, t, ene, locus);
    5056                 :         10 :           locus = redirect_edge_var_map_location (vm);
    5057                 :         10 :           tree back_arg = redirect_edge_var_map_def (vm);
    5058                 :         10 :           add_phi_arg (nphi, back_arg, re, locus);
    5059                 :         10 :           edge ce = find_edge (cont_bb, body_bb);
    5060                 :         10 :           if (ce == NULL)
    5061                 :            :             {
    5062                 :         10 :               ce = BRANCH_EDGE (cont_bb);
    5063                 :         10 :               gcc_assert (single_succ (ce->dest) == body_bb);
    5064                 :            :               ce = single_succ_edge (ce->dest);
    5065                 :            :             }
    5066                 :         10 :           gphi *inner_loop_phi = find_phi_with_arg_on_edge (back_arg, ce);
    5067                 :         10 :           gcc_assert (inner_loop_phi != NULL);
    5068                 :         10 :           add_phi_arg (inner_loop_phi, gimple_phi_result (nphi),
    5069                 :            :                        find_edge (seq_start_bb, body_bb), locus);
    5070                 :            : 
    5071                 :         10 :           if (!single_pred_p (fin_bb))
    5072                 :          1 :             add_phi_arg (phi, gimple_phi_result (nphi), se, locus);
    5073                 :            :         }
    5074                 :         23 :       gcc_assert (gsi_end_p (psi) && (head == NULL || i == head->length ()));
    5075                 :         13 :       redirect_edge_var_map_clear (re);
    5076                 :         13 :       if (single_pred_p (fin_bb))
    5077                 :         30 :         while (1)
    5078                 :            :           {
    5079                 :         21 :             psi = gsi_start_phis (fin_bb);
    5080                 :         21 :             if (gsi_end_p (psi))
    5081                 :            :               break;
    5082                 :          9 :             remove_phi_node (&psi, false);
    5083                 :            :           }
    5084                 :            : 
    5085                 :            :       /* Make phi node for trip.  */
    5086                 :         13 :       phi = create_phi_node (trip_main, iter_part_bb);
    5087                 :         13 :       add_phi_arg (phi, trip_back, single_succ_edge (trip_update_bb),
    5088                 :            :                    UNKNOWN_LOCATION);
    5089                 :         13 :       add_phi_arg (phi, trip_init, single_succ_edge (entry_bb),
    5090                 :            :                    UNKNOWN_LOCATION);
    5091                 :            :     }
    5092                 :            : 
    5093                 :       5281 :   if (!broken_loop)
    5094                 :       5020 :     set_immediate_dominator (CDI_DOMINATORS, trip_update_bb, cont_bb);
    5095                 :       5281 :   set_immediate_dominator (CDI_DOMINATORS, iter_part_bb,
    5096                 :            :                            recompute_dominator (CDI_DOMINATORS, iter_part_bb));
    5097                 :       5281 :   set_immediate_dominator (CDI_DOMINATORS, fin_bb,
    5098                 :            :                            recompute_dominator (CDI_DOMINATORS, fin_bb));
    5099                 :       5281 :   set_immediate_dominator (CDI_DOMINATORS, seq_start_bb,
    5100                 :            :                            recompute_dominator (CDI_DOMINATORS, seq_start_bb));
    5101                 :       5281 :   set_immediate_dominator (CDI_DOMINATORS, body_bb,
    5102                 :            :                            recompute_dominator (CDI_DOMINATORS, body_bb));
    5103                 :            : 
    5104                 :       5281 :   if (!broken_loop)
    5105                 :            :     {
    5106                 :       5020 :       class loop *loop = body_bb->loop_father;
    5107                 :       5020 :       class loop *trip_loop = alloc_loop ();
    5108                 :       5020 :       trip_loop->header = iter_part_bb;
    5109                 :       5020 :       trip_loop->latch = trip_update_bb;
    5110                 :       5020 :       add_loop (trip_loop, iter_part_bb->loop_father);
    5111                 :            : 
    5112                 :       5020 :       if (loop != entry_bb->loop_father)
    5113                 :            :         {
    5114                 :         13 :           gcc_assert (loop->header == body_bb);
    5115                 :         13 :           gcc_assert (loop->latch == region->cont
    5116                 :            :                       || single_pred (loop->latch) == region->cont);
    5117                 :         13 :           trip_loop->inner = loop;
    5118                 :         13 :           return;
    5119                 :            :         }
    5120                 :            : 
    5121                 :       5007 :       if (!gimple_omp_for_combined_p (fd->for_stmt))
    5122                 :            :         {
    5123                 :       1171 :           loop = alloc_loop ();
    5124                 :       1171 :           loop->header = body_bb;
    5125                 :       1171 :           if (collapse_bb == NULL)
    5126                 :        731 :             loop->latch = cont_bb;
    5127                 :       1171 :           add_loop (loop, trip_loop);
    5128                 :            :         }
    5129                 :            :     }
    5130                 :            : }
    5131                 :            : 
    5132                 :            : /* A subroutine of expand_omp_for.  Generate code for a simd non-worksharing
    5133                 :            :    loop.  Given parameters:
    5134                 :            : 
    5135                 :            :         for (V = N1; V cond N2; V += STEP) BODY;
    5136                 :            : 
    5137                 :            :    where COND is "<" or ">", we generate pseudocode
    5138                 :            : 
    5139                 :            :         V = N1;
    5140                 :            :         goto L1;
    5141                 :            :     L0:
    5142                 :            :         BODY;
    5143                 :            :         V += STEP;
    5144                 :            :     L1:
    5145                 :            :         if (V cond N2) goto L0; else goto L2;
    5146                 :            :     L2:
    5147                 :            : 
    5148                 :            :     For collapsed loops, given parameters:
    5149                 :            :       collapse(3)
    5150                 :            :       for (V1 = N11; V1 cond1 N12; V1 += STEP1)
    5151                 :            :         for (V2 = N21; V2 cond2 N22; V2 += STEP2)
    5152                 :            :           for (V3 = N31; V3 cond3 N32; V3 += STEP3)
    5153                 :            :             BODY;
    5154                 :            : 
    5155                 :            :     we generate pseudocode
    5156                 :            : 
    5157                 :            :         if (cond3 is <)
    5158                 :            :           adj = STEP3 - 1;
    5159                 :            :         else
    5160                 :            :           adj = STEP3 + 1;
    5161                 :            :         count3 = (adj + N32 - N31) / STEP3;
    5162                 :            :         if (cond2 is <)
    5163                 :            :           adj = STEP2 - 1;
    5164                 :            :         else
    5165                 :            :           adj = STEP2 + 1;
    5166                 :            :         count2 = (adj + N22 - N21) / STEP2;
    5167                 :            :         if (cond1 is <)
    5168                 :            :           adj = STEP1 - 1;
    5169                 :            :         else
    5170                 :            :           adj = STEP1 + 1;
    5171                 :            :         count1 = (adj + N12 - N11) / STEP1;
    5172                 :            :         count = count1 * count2 * count3;
    5173                 :            :         V = 0;
    5174                 :            :         V1 = N11;
    5175                 :            :         V2 = N21;
    5176                 :            :         V3 = N31;
    5177                 :            :         goto L1;
    5178                 :            :     L0:
    5179                 :            :         BODY;
    5180                 :            :         V += 1;
    5181                 :            :         V3 += STEP3;
    5182                 :            :         V2 += (V3 cond3 N32) ? 0 : STEP2;
    5183                 :            :         V3 = (V3 cond3 N32) ? V3 : N31;
    5184                 :            :         V1 += (V2 cond2 N22) ? 0 : STEP1;
    5185                 :            :         V2 = (V2 cond2 N22) ? V2 : N21;
    5186                 :            :     L1:
    5187                 :            :         if (V < count) goto L0; else goto L2;
    5188                 :            :     L2:
    5189                 :            : 
    5190                 :            :       */
    5191                 :            : 
    5192                 :            : static void
    5193                 :       6911 : expand_omp_simd (struct omp_region *region, struct omp_for_data *fd)
    5194                 :            : {
    5195                 :       6911 :   tree type, t;
    5196                 :       6911 :   basic_block entry_bb, cont_bb, exit_bb, l0_bb, l1_bb, l2_bb, l2_dom_bb;
    5197                 :       6911 :   gimple_stmt_iterator gsi;
    5198                 :       6911 :   gimple *stmt;
    5199                 :       6911 :   gcond *cond_stmt;
    5200                 :       6911 :   bool broken_loop = region->cont == NULL;
    5201                 :       6911 :   edge e, ne;
    5202                 :       6911 :   tree *counts = NULL;
    5203                 :       6911 :   int i;
    5204                 :       6911 :   int safelen_int = INT_MAX;
    5205                 :       6911 :   bool dont_vectorize = false;
    5206                 :       6911 :   tree safelen = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    5207                 :            :                                   OMP_CLAUSE_SAFELEN);
    5208                 :       6911 :   tree simduid = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    5209                 :            :                                   OMP_CLAUSE__SIMDUID_);
    5210                 :       6911 :   tree ifc = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    5211                 :            :                               OMP_CLAUSE_IF);
    5212                 :       6911 :   tree simdlen = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    5213                 :            :                                   OMP_CLAUSE_SIMDLEN);
    5214                 :       6911 :   tree condtemp = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    5215                 :            :                                    OMP_CLAUSE__CONDTEMP_);
    5216                 :       6911 :   tree n1, n2;
    5217                 :       6970 :   tree cond_var = condtemp ? OMP_CLAUSE_DECL (condtemp) : NULL_TREE;
    5218                 :            : 
    5219                 :       6911 :   if (safelen)
    5220                 :            :     {
    5221                 :       3665 :       poly_uint64 val;
    5222                 :       3665 :       safelen = OMP_CLAUSE_SAFELEN_EXPR (safelen);
    5223                 :       3665 :       if (!poly_int_tree_p (safelen, &val))
    5224                 :            :         safelen_int = 0;
    5225                 :            :       else
    5226                 :       3650 :         safelen_int = MIN (constant_lower_bound (val), INT_MAX);
    5227                 :       3650 :       if (safelen_int == 1)
    5228                 :        762 :         safelen_int = 0;
    5229                 :            :     }
    5230                 :        352 :   if ((ifc && integer_zerop (OMP_CLAUSE_IF_EXPR (ifc)))
    5231                 :       7139 :       || (simdlen && integer_onep (OMP_CLAUSE_SIMDLEN_EXPR (simdlen))))
    5232                 :            :     {
    5233                 :            :       safelen_int = 0;
    5234                 :            :       dont_vectorize = true;
    5235                 :            :     }
    5236                 :       6911 :   type = TREE_TYPE (fd->loop.v);
    5237                 :       6911 :   entry_bb = region->entry;
    5238                 :       6911 :   cont_bb = region->cont;
    5239                 :       6911 :   gcc_assert (EDGE_COUNT (entry_bb->succs) == 2);
    5240                 :       6911 :   gcc_assert (broken_loop
    5241                 :            :               || BRANCH_EDGE (entry_bb)->dest == FALLTHRU_EDGE (cont_bb)->dest);
    5242                 :       6911 :   l0_bb = FALLTHRU_EDGE (entry_bb)->dest;
    5243                 :       6911 :   if (!broken_loop)
    5244                 :            :     {
    5245                 :       5835 :       gcc_assert (BRANCH_EDGE (cont_bb)->dest == l0_bb);
    5246                 :       5835 :       gcc_assert (EDGE_COUNT (cont_bb->succs) == 2);
    5247                 :       5835 :       l1_bb = split_block (cont_bb, last_stmt (cont_bb))->dest;
    5248                 :       5835 :       l2_bb = BRANCH_EDGE (entry_bb)->dest;
    5249                 :            :     }
    5250                 :            :   else
    5251                 :            :     {
    5252                 :       1076 :       BRANCH_EDGE (entry_bb)->flags &= ~EDGE_ABNORMAL;
    5253                 :       1076 :       l1_bb = split_edge (BRANCH_EDGE (entry_bb));
    5254                 :       1076 :       l2_bb = single_succ (l1_bb);
    5255                 :            :     }
    5256                 :       6911 :   exit_bb = region->exit;
    5257                 :       6911 :   l2_dom_bb = NULL;
    5258                 :            : 
    5259                 :       6911 :   gsi = gsi_last_nondebug_bb (entry_bb);
    5260                 :            : 
    5261                 :       6911 :   gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
    5262                 :            :   /* Not needed in SSA form right now.  */
    5263                 :       6911 :   gcc_assert (!gimple_in_ssa_p (cfun));
    5264                 :       6911 :   if (fd->collapse > 1)
    5265                 :            :     {
    5266                 :       2136 :       int first_zero_iter = -1, dummy = -1;
    5267                 :       2136 :       basic_block zero_iter_bb = l2_bb, dummy_bb = NULL;
    5268                 :            : 
    5269                 :       2136 :       counts = XALLOCAVEC (tree, fd->collapse);
    5270                 :       2136 :       expand_omp_for_init_counts (fd, &gsi, entry_bb, counts,
    5271                 :            :                                   zero_iter_bb, first_zero_iter,
    5272                 :            :                                   dummy_bb, dummy, l2_dom_bb);
    5273                 :            :     }
    5274                 :       6911 :   if (l2_dom_bb == NULL)
    5275                 :       6887 :     l2_dom_bb = l1_bb;
    5276                 :            : 
    5277                 :       6911 :   n1 = fd->loop.n1;
    5278                 :       6911 :   n2 = fd->loop.n2;
    5279                 :       6911 :   if (gimple_omp_for_combined_into_p (fd->for_stmt))
    5280                 :            :     {
    5281                 :       5166 :       tree innerc = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    5282                 :            :                                      OMP_CLAUSE__LOOPTEMP_);
    5283                 :       5166 :       gcc_assert (innerc);
    5284                 :       5166 :       n1 = OMP_CLAUSE_DECL (innerc);
    5285                 :       5166 :       innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    5286                 :            :                                 OMP_CLAUSE__LOOPTEMP_);
    5287                 :       5166 :       gcc_assert (innerc);
    5288                 :       5166 :       n2 = OMP_CLAUSE_DECL (innerc);
    5289                 :            :     }
    5290                 :       6911 :   tree step = fd->loop.step;
    5291                 :            : 
    5292                 :       6911 :   bool is_simt = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    5293                 :       6911 :                                   OMP_CLAUSE__SIMT_);
    5294                 :       6911 :   if (is_simt)
    5295                 :            :     {
    5296                 :          0 :       cfun->curr_properties &= ~PROP_gimple_lomp_dev;
    5297                 :          0 :       is_simt = safelen_int > 1;
    5298                 :            :     }
    5299                 :       6911 :   tree simt_lane = NULL_TREE, simt_maxlane = NULL_TREE;
    5300                 :       6911 :   if (is_simt)
    5301                 :            :     {
    5302                 :          0 :       simt_lane = create_tmp_var (unsigned_type_node);
    5303                 :          0 :       gimple *g = gimple_build_call_internal (IFN_GOMP_SIMT_LANE, 0);
    5304                 :          0 :       gimple_call_set_lhs (g, simt_lane);
    5305                 :          0 :       gsi_insert_before (&gsi, g, GSI_SAME_STMT);
    5306                 :          0 :       tree offset = fold_build2 (MULT_EXPR, TREE_TYPE (step), step,
    5307                 :            :                                  fold_convert (TREE_TYPE (step), simt_lane));
    5308                 :          0 :       n1 = fold_convert (type, n1);
    5309                 :          0 :       if (POINTER_TYPE_P (type))
    5310                 :          0 :         n1 = fold_build_pointer_plus (n1, offset);
    5311                 :            :       else
    5312                 :          0 :         n1 = fold_build2 (PLUS_EXPR, type, n1, fold_convert (type, offset));
    5313                 :            : 
    5314                 :            :       /* Collapsed loops not handled for SIMT yet: limit to one lane only.  */
    5315                 :          0 :       if (fd->collapse > 1)
    5316                 :          0 :         simt_maxlane = build_one_cst (unsigned_type_node);
    5317                 :          0 :       else if (safelen_int < omp_max_simt_vf ())
    5318                 :          0 :         simt_maxlane = build_int_cst (unsigned_type_node, safelen_int);
    5319                 :          0 :       tree vf
    5320                 :          0 :         = build_call_expr_internal_loc (UNKNOWN_LOCATION, IFN_GOMP_SIMT_VF,
    5321                 :            :                                         unsigned_type_node, 0);
    5322                 :          0 :       if (simt_maxlane)
    5323                 :          0 :         vf = fold_build2 (MIN_EXPR, unsigned_type_node, vf, simt_maxlane);
    5324                 :          0 :       vf = fold_convert (TREE_TYPE (step), vf);
    5325                 :          0 :       step = fold_build2 (MULT_EXPR, TREE_TYPE (step), step, vf);
    5326                 :            :     }
    5327                 :            : 
    5328                 :       6911 :   expand_omp_build_assign (&gsi, fd->loop.v, fold_convert (type, n1));
    5329                 :       6911 :   if (fd->collapse > 1)
    5330                 :            :     {
    5331                 :       2136 :       if (gimple_omp_for_combined_into_p (fd->for_stmt))
    5332                 :            :         {
    5333                 :       1990 :           gsi_prev (&gsi);
    5334                 :       1990 :           expand_omp_for_init_vars (fd, &gsi, counts, NULL, n1);
    5335                 :       1990 :           gsi_next (&gsi);
    5336                 :            :         }
    5337                 :            :       else
    5338                 :        530 :         for (i = 0; i < fd->collapse; i++)
    5339                 :            :           {
    5340                 :        384 :             tree itype = TREE_TYPE (fd->loops[i].v);
    5341                 :        384 :             if (POINTER_TYPE_P (itype))
    5342                 :         44 :               itype = signed_type_for (itype);
    5343                 :        384 :             t = fold_convert (TREE_TYPE (fd->loops[i].v), fd->loops[i].n1);
    5344                 :        384 :             expand_omp_build_assign (&gsi, fd->loops[i].v, t);
    5345                 :            :           }
    5346                 :            :     }
    5347                 :       6911 :   if (cond_var)
    5348                 :            :     {
    5349                 :         59 :       if (POINTER_TYPE_P (type)
    5350                 :         59 :           || TREE_CODE (n1) != INTEGER_CST
    5351                 :         15 :           || fd->loop.cond_code != LT_EXPR
    5352                 :         74 :           || tree_int_cst_sgn (n1) != 1)
    5353                 :        110 :         expand_omp_build_assign (&gsi, cond_var,
    5354                 :         55 :                                  build_one_cst (TREE_TYPE (cond_var)));
    5355                 :            :       else
    5356                 :          8 :         expand_omp_build_assign (&gsi, cond_var,
    5357                 :          4 :                                  fold_convert (TREE_TYPE (cond_var), n1));
    5358                 :            :     }
    5359                 :            : 
    5360                 :            :   /* Remove the GIMPLE_OMP_FOR statement.  */
    5361                 :       6911 :   gsi_remove (&gsi, true);
    5362                 :            : 
    5363                 :       6911 :   if (!broken_loop)
    5364                 :            :     {
    5365                 :            :       /* Code to control the increment goes in the CONT_BB.  */
    5366                 :       5835 :       gsi = gsi_last_nondebug_bb (cont_bb);
    5367                 :       5835 :       stmt = gsi_stmt (gsi);
    5368                 :       5835 :       gcc_assert (gimple_code (stmt) == GIMPLE_OMP_CONTINUE);
    5369                 :            : 
    5370                 :       5835 :       if (POINTER_TYPE_P (type))
    5371                 :        288 :         t = fold_build_pointer_plus (fd->loop.v, step);
    5372                 :            :       else
    5373                 :       5547 :         t = fold_build2 (PLUS_EXPR, type, fd->loop.v, step);
    5374                 :       5835 :       expand_omp_build_assign (&gsi, fd->loop.v, t);
    5375                 :            : 
    5376                 :       5835 :       if (fd->collapse > 1)
    5377                 :            :         {
    5378                 :       1598 :           i = fd->collapse - 1;
    5379                 :       1598 :           if (POINTER_TYPE_P (TREE_TYPE (fd->loops[i].v)))
    5380                 :            :             {
    5381                 :        276 :               t = fold_convert (sizetype, fd->loops[i].step);
    5382                 :        276 :               t = fold_build_pointer_plus (fd->loops[i].v, t);
    5383                 :            :             }
    5384                 :            :           else
    5385                 :            :             {
    5386                 :       1322 :               t = fold_convert (TREE_TYPE (fd->loops[i].v),
    5387                 :            :                                 fd->loops[i].step);
    5388                 :       1322 :               t = fold_build2 (PLUS_EXPR, TREE_TYPE (fd->loops[i].v),
    5389                 :            :                                fd->loops[i].v, t);
    5390                 :            :             }
    5391                 :       1598 :           expand_omp_build_assign (&gsi, fd->loops[i].v, t);
    5392                 :            : 
    5393                 :       4551 :           for (i = fd->collapse - 1; i > 0; i--)
    5394                 :            :             {
    5395                 :       2953 :               tree itype = TREE_TYPE (fd->loops[i].v);
    5396                 :       2953 :               tree itype2 = TREE_TYPE (fd->loops[i - 1].v);
    5397                 :       2953 :               if (POINTER_TYPE_P (itype2))
    5398                 :        551 :                 itype2 = signed_type_for (itype2);
    5399                 :       2953 :               t = fold_convert (itype2, fd->loops[i - 1].step);
    5400                 :       2953 :               t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE, true,
    5401                 :            :                                             GSI_SAME_STMT);
    5402                 :       2953 :               t = build3 (COND_EXPR, itype2,
    5403                 :            :                           build2 (fd->loops[i].cond_code, boolean_type_node,
    5404                 :       2953 :                                   fd->loops[i].v,
    5405                 :       2953 :                                   fold_convert (itype, fd->loops[i].n2)),
    5406                 :       2953 :                           build_int_cst (itype2, 0), t);
    5407                 :       2953 :               if (POINTER_TYPE_P (TREE_TYPE (fd->loops[i - 1].v)))
    5408                 :        551 :                 t = fold_build_pointer_plus (fd->loops[i - 1].v, t);
    5409                 :            :               else
    5410                 :       2402 :                 t = fold_build2 (PLUS_EXPR, itype2, fd->loops[i - 1].v, t);
    5411                 :       2953 :               expand_omp_build_assign (&gsi, fd->loops[i - 1].v, t);
    5412                 :            : 
    5413                 :       2953 :               t = fold_convert (itype, fd->loops[i].n1);
    5414                 :       2953 :               t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE, true,
    5415                 :            :                                             GSI_SAME_STMT);
    5416                 :       2953 :               t = build3 (COND_EXPR, itype,
    5417                 :            :                           build2 (fd->loops[i].cond_code, boolean_type_node,
    5418                 :       2953 :                                   fd->loops[i].v,
    5419                 :            :                                   fold_convert (itype, fd->loops[i].n2)),
    5420                 :       2953 :                           fd->loops[i].v, t);
    5421                 :       2953 :               expand_omp_build_assign (&gsi, fd->loops[i].v, t);
    5422                 :            :             }
    5423                 :            :         }
    5424                 :       5835 :       if (cond_var)
    5425                 :            :         {
    5426                 :         59 :           if (POINTER_TYPE_P (type)
    5427                 :         59 :               || TREE_CODE (n1) != INTEGER_CST
    5428                 :         15 :               || fd->loop.cond_code != LT_EXPR
    5429                 :         74 :               || tree_int_cst_sgn (n1) != 1)
    5430                 :         55 :             t = fold_build2 (PLUS_EXPR, TREE_TYPE (cond_var), cond_var,
    5431                 :            :                              build_one_cst (TREE_TYPE (cond_var)));
    5432                 :            :           else
    5433                 :          4 :             t = fold_build2 (PLUS_EXPR, TREE_TYPE (cond_var), cond_var,
    5434                 :            :                              fold_convert (TREE_TYPE (cond_var), step));
    5435                 :         59 :           expand_omp_build_assign (&gsi, cond_var, t);
    5436                 :            :         }
    5437                 :            : 
    5438                 :            :       /* Remove GIMPLE_OMP_CONTINUE.  */
    5439                 :       5835 :       gsi_remove (&gsi, true);
    5440                 :            :     }
    5441                 :            : 
    5442                 :            :   /* Emit the condition in L1_BB.  */
    5443                 :       6911 :   gsi = gsi_start_bb (l1_bb);
    5444                 :            : 
    5445                 :       6911 :   t = fold_convert (type, n2);
    5446                 :       6911 :   t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    5447                 :            :                                 false, GSI_CONTINUE_LINKING);
    5448                 :       6911 :   tree v = fd->loop.v;
    5449                 :       6911 :   if (DECL_P (v) && TREE_ADDRESSABLE (v))
    5450                 :          0 :     v = force_gimple_operand_gsi (&gsi, v, true, NULL_TREE,
    5451                 :            :                                   false, GSI_CONTINUE_LINKING);
    5452                 :       6911 :   t = build2 (fd->loop.cond_code, boolean_type_node, v, t);
    5453                 :       6911 :   cond_stmt = gimple_build_cond_empty (t);
    5454                 :       6911 :   gsi_insert_after (&gsi, cond_stmt, GSI_CONTINUE_LINKING);
    5455                 :       6911 :   if (walk_tree (gimple_cond_lhs_ptr (cond_stmt), expand_omp_regimplify_p,
    5456                 :            :                  NULL, NULL)
    5457                 :       6911 :       || walk_tree (gimple_cond_rhs_ptr (cond_stmt), expand_omp_regimplify_p,
    5458                 :            :                     NULL, NULL))
    5459                 :            :     {
    5460                 :          0 :       gsi = gsi_for_stmt (cond_stmt);
    5461                 :          0 :       gimple_regimplify_operands (cond_stmt, &gsi);
    5462                 :            :     }
    5463                 :            : 
    5464                 :            :   /* Add 'V -= STEP * (SIMT_VF - 1)' after the loop.  */
    5465                 :       6911 :   if (is_simt)
    5466                 :            :     {
    5467                 :          0 :       gsi = gsi_start_bb (l2_bb);
    5468                 :          0 :       step = fold_build2 (MINUS_EXPR, TREE_TYPE (step), fd->loop.step, step);
    5469                 :          0 :       if (POINTER_TYPE_P (type))
    5470                 :          0 :         t = fold_build_pointer_plus (fd->loop.v, step);
    5471                 :            :       else
    5472                 :          0 :         t = fold_build2 (PLUS_EXPR, type, fd->loop.v, step);
    5473                 :          0 :       expand_omp_build_assign (&gsi, fd->loop.v, t);
    5474                 :            :     }
    5475                 :            : 
    5476                 :            :   /* Remove GIMPLE_OMP_RETURN.  */
    5477                 :       6911 :   gsi = gsi_last_nondebug_bb (exit_bb);
    5478                 :       6911 :   gsi_remove (&gsi, true);
    5479                 :            : 
    5480                 :            :   /* Connect the new blocks.  */
    5481                 :       6911 :   remove_edge (FALLTHRU_EDGE (entry_bb));
    5482                 :            : 
    5483                 :       6911 :   if (!broken_loop)
    5484                 :            :     {
    5485                 :       5835 :       remove_edge (BRANCH_EDGE (entry_bb));
    5486                 :       5835 :       make_edge (entry_bb, l1_bb, EDGE_FALLTHRU);
    5487                 :            : 
    5488                 :       5835 :       e = BRANCH_EDGE (l1_bb);
    5489                 :       5835 :       ne = FALLTHRU_EDGE (l1_bb);
    5490                 :       5835 :       e->flags = EDGE_TRUE_VALUE;
    5491                 :            :     }
    5492                 :            :   else
    5493                 :            :     {
    5494                 :       1076 :       single_succ_edge (entry_bb)->flags = EDGE_FALLTHRU;
    5495                 :            : 
    5496                 :       1076 :       ne = single_succ_edge (l1_bb);
    5497                 :       1076 :       e = make_edge (l1_bb, l0_bb, EDGE_TRUE_VALUE);
    5498                 :            : 
    5499                 :            :     }
    5500                 :       6911 :   ne->flags = EDGE_FALSE_VALUE;
    5501                 :       6911 :   e->probability = profile_probability::guessed_always ().apply_scale (7, 8);
    5502                 :       6911 :   ne->probability = e->probability.invert ();
    5503                 :            : 
    5504                 :       6911 :   set_immediate_dominator (CDI_DOMINATORS, l1_bb, entry_bb);
    5505                 :       6911 :   set_immediate_dominator (CDI_DOMINATORS, l0_bb, l1_bb);
    5506                 :            : 
    5507                 :       6911 :   if (simt_maxlane)
    5508                 :            :     {
    5509                 :          0 :       cond_stmt = gimple_build_cond (LT_EXPR, simt_lane, simt_maxlane,
    5510                 :            :                                      NULL_TREE, NULL_TREE);
    5511                 :          0 :       gsi = gsi_last_bb (entry_bb);
    5512                 :          0 :       gsi_insert_after (&gsi, cond_stmt, GSI_NEW_STMT);
    5513                 :          0 :       make_edge (entry_bb, l2_bb, EDGE_FALSE_VALUE);
    5514                 :          0 :       FALLTHRU_EDGE (entry_bb)->flags = EDGE_TRUE_VALUE;
    5515                 :          0 :       FALLTHRU_EDGE (entry_bb)->probability
    5516                 :          0 :          = profile_probability::guessed_always ().apply_scale (7, 8);
    5517                 :          0 :       BRANCH_EDGE (entry_bb)->probability 
    5518                 :          0 :          = FALLTHRU_EDGE (entry_bb)->probability.invert ();
    5519                 :          0 :       l2_dom_bb = entry_bb;
    5520                 :            :     }
    5521                 :       6911 :   set_immediate_dominator (CDI_DOMINATORS, l2_bb, l2_dom_bb);
    5522                 :            : 
    5523                 :       6911 :   if (!broken_loop)
    5524                 :            :     {
    5525                 :       5835 :       class loop *loop = alloc_loop ();
    5526                 :       5835 :       loop->header = l1_bb;
    5527                 :       5835 :       loop->latch = cont_bb;
    5528                 :       5835 :       add_loop (loop, l1_bb->loop_father);
    5529                 :       5835 :       loop->safelen = safelen_int;
    5530                 :       5835 :       if (simduid)
    5531                 :            :         {
    5532                 :       2457 :           loop->simduid = OMP_CLAUSE__SIMDUID__DECL (simduid);
    5533                 :       2457 :           cfun->has_simduid_loops = true;
    5534                 :            :         }
    5535                 :            :       /* If not -fno-tree-loop-vectorize, hint that we want to vectorize
    5536                 :            :          the loop.  */
    5537                 :       5835 :       if ((flag_tree_loop_vectorize
    5538                 :       5178 :            || !global_options_set.x_flag_tree_loop_vectorize)
    5539                 :       5835 :           && flag_tree_loop_optimize
    5540                 :       5834 :           && loop->safelen > 1)
    5541                 :            :         {
    5542                 :       5057 :           loop->force_vectorize = true;
    5543                 :       5057 :           if (simdlen && tree_fits_uhwi_p (OMP_CLAUSE_SIMDLEN_EXPR (simdlen)))
    5544                 :            :             {
    5545                 :         13 :               unsigned HOST_WIDE_INT v
    5546                 :         13 :                 = tree_to_uhwi (OMP_CLAUSE_SIMDLEN_EXPR (simdlen));
    5547                 :         13 :               if (v < INT_MAX && v <= (unsigned HOST_WIDE_INT) loop->safelen)
    5548                 :         13 :                 loop->simdlen = v;
    5549                 :            :             }
    5550                 :       5057 :           cfun->has_force_vectorize_loops = true;
    5551                 :            :         }
    5552                 :        778 :       else if (dont_vectorize)
    5553                 :        240 :         loop->dont_vectorize = true;
    5554                 :            :     }
    5555                 :       1076 :   else if (simduid)
    5556                 :        533 :     cfun->has_simduid_loops = true;
    5557                 :       6911 : }
    5558                 :            : 
    5559                 :            : /* Taskloop construct is represented after gimplification with
    5560                 :            :    two GIMPLE_OMP_FOR constructs with GIMPLE_OMP_TASK sandwiched
    5561                 :            :    in between them.  This routine expands the outer GIMPLE_OMP_FOR,
    5562                 :            :    which should just compute all the needed loop temporaries
    5563                 :            :    for GIMPLE_OMP_TASK.  */
    5564                 :            : 
    5565                 :            : static void
    5566                 :        590 : expand_omp_taskloop_for_outer (struct omp_region *region,
    5567                 :            :                                struct omp_for_data *fd,
    5568                 :            :                                gimple *inner_stmt)
    5569                 :            : {
    5570                 :        590 :   tree type, bias = NULL_TREE;
    5571                 :        590 :   basic_block entry_bb, cont_bb, exit_bb;
    5572                 :        590 :   gimple_stmt_iterator gsi;
    5573                 :        590 :   gassign *assign_stmt;
    5574                 :        590 :   tree *counts = NULL;
    5575                 :        590 :   int i;
    5576                 :            : 
    5577                 :        590 :   gcc_assert (inner_stmt);
    5578                 :        590 :   gcc_assert (region->cont);
    5579                 :        590 :   gcc_assert (gimple_code (inner_stmt) == GIMPLE_OMP_TASK
    5580                 :            :               && gimple_omp_task_taskloop_p (inner_stmt));
    5581                 :        590 :   type = TREE_TYPE (fd->loop.v);
    5582                 :            : 
    5583                 :            :   /* See if we need to bias by LLONG_MIN.  */
    5584                 :        590 :   if (fd->iter_type == long_long_unsigned_type_node
    5585                 :         44 :       && TREE_CODE (type) == INTEGER_TYPE
    5586                 :        620 :       && !TYPE_UNSIGNED (type))
    5587                 :            :     {
    5588                 :          0 :       tree n1, n2;
    5589                 :            : 
    5590                 :          0 :       if (fd->loop.cond_code == LT_EXPR)
    5591                 :            :         {
    5592                 :          0 :           n1 = fd->loop.n1;
    5593                 :          0 :           n2 = fold_build2 (PLUS_EXPR, type, fd->loop.n2, fd->loop.step);
    5594                 :            :         }
    5595                 :            :       else
    5596                 :            :         {
    5597                 :          0 :           n1 = fold_build2 (MINUS_EXPR, type, fd->loop.n2, fd->loop.step);
    5598                 :          0 :           n2 = fd->loop.n1;
    5599                 :            :         }
    5600                 :          0 :       if (TREE_CODE (n1) != INTEGER_CST
    5601                 :          0 :           || TREE_CODE (n2) != INTEGER_CST
    5602                 :          0 :           || ((tree_int_cst_sgn (n1) < 0) ^ (tree_int_cst_sgn (n2) < 0)))
    5603                 :          0 :         bias = fold_convert (fd->iter_type, TYPE_MIN_VALUE (type));
    5604                 :            :     }
    5605                 :            : 
    5606                 :        590 :   entry_bb = region->entry;
    5607                 :        590 :   cont_bb = region->cont;
    5608                 :        590 :   gcc_assert (EDGE_COUNT (entry_bb->succs) == 2);
    5609                 :        590 :   gcc_assert (BRANCH_EDGE (entry_bb)->dest == FALLTHRU_EDGE (cont_bb)->dest);
    5610                 :        590 :   exit_bb = region->exit;
    5611                 :            : 
    5612                 :        590 :   gsi = gsi_last_nondebug_bb (entry_bb);
    5613                 :        590 :   gimple *for_stmt = gsi_stmt (gsi);
    5614                 :        590 :   gcc_assert (gimple_code (for_stmt) == GIMPLE_OMP_FOR);
    5615                 :        590 :   if (fd->collapse > 1)
    5616                 :            :     {
    5617                 :         87 :       int first_zero_iter = -1, dummy = -1;
    5618                 :         87 :       basic_block zero_iter_bb = NULL, dummy_bb = NULL, l2_dom_bb = NULL;
    5619                 :            : 
    5620                 :         87 :       counts = XALLOCAVEC (tree, fd->collapse);
    5621                 :         87 :       expand_omp_for_init_counts (fd, &gsi, entry_bb, counts,
    5622                 :            :                                   zero_iter_bb, first_zero_iter,
    5623                 :            :                                   dummy_bb, dummy, l2_dom_bb);
    5624                 :            : 
    5625                 :         87 :       if (zero_iter_bb)
    5626                 :            :         {
    5627                 :            :           /* Some counts[i] vars might be uninitialized if
    5628                 :            :              some loop has zero iterations.  But the body shouldn't
    5629                 :            :              be executed in that case, so just avoid uninit warnings.  */
    5630                 :        167 :           for (i = first_zero_iter; i < fd->collapse; i++)
    5631                 :        120 :             if (SSA_VAR_P (counts[i]))
    5632                 :        110 :               TREE_NO_WARNING (counts[i]) = 1;
    5633                 :         47 :           gsi_prev (&gsi);
    5634                 :         47 :           edge e = split_block (entry_bb, gsi_stmt (gsi));
    5635                 :         47 :           entry_bb = e->dest;
    5636                 :         47 :           make_edge (zero_iter_bb, entry_bb, EDGE_FALLTHRU);
    5637                 :         47 :           gsi = gsi_last_bb (entry_bb);
    5638                 :         47 :           set_immediate_dominator (CDI_DOMINATORS, entry_bb,
    5639                 :            :                                    get_immediate_dominator (CDI_DOMINATORS,
    5640                 :            :                                                             zero_iter_bb));
    5641                 :            :         }
    5642                 :            :     }
    5643                 :            : 
    5644                 :        590 :   tree t0, t1;
    5645                 :        590 :   t1 = fd->loop.n2;
    5646                 :        590 :   t0 = fd->loop.n1;
    5647                 :       1166 :   if (POINTER_TYPE_P (TREE_TYPE (t0))
    5648                 :        590 :       && TYPE_PRECISION (TREE_TYPE (t0))
    5649                 :         14 :          != TYPE_PRECISION (fd->iter_type))
    5650                 :            :     {
    5651                 :            :       /* Avoid casting pointers to integer of a different size.  */
    5652                 :          0 :       tree itype = signed_type_for (type);
    5653                 :          0 :       t1 = fold_convert (fd->iter_type, fold_convert (itype, t1));
    5654                 :          0 :       t0 = fold_convert (fd->iter_type, fold_convert (itype, t0));
    5655                 :            :     }
    5656                 :            :   else
    5657                 :            :     {
    5658                 :        590 :       t1 = fold_convert (fd->iter_type, t1);
    5659                 :        590 :       t0 = fold_convert (fd->iter_type, t0);
    5660                 :            :     }
    5661                 :        590 :   if (bias)
    5662                 :            :     {
    5663                 :          0 :       t1 = fold_build2 (PLUS_EXPR, fd->iter_type, t1, bias);
    5664                 :          0 :       t0 = fold_build2 (PLUS_EXPR, fd->iter_type, t0, bias);
    5665                 :            :     }
    5666                 :            : 
    5667                 :        590 :   tree innerc = omp_find_clause (gimple_omp_task_clauses (inner_stmt),
    5668                 :            :                                  OMP_CLAUSE__LOOPTEMP_);
    5669                 :        590 :   gcc_assert (innerc);
    5670                 :        590 :   tree startvar = OMP_CLAUSE_DECL (innerc);
    5671                 :        590 :   innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc), OMP_CLAUSE__LOOPTEMP_);
    5672                 :        590 :   gcc_assert (innerc);
    5673                 :        590 :   tree endvar = OMP_CLAUSE_DECL (innerc);
    5674                 :        590 :   if (fd->collapse > 1 && TREE_CODE (fd->loop.n2) != INTEGER_CST)
    5675                 :            :     {
    5676                 :            :       gcc_assert (innerc);
    5677                 :        132 :       for (i = 1; i < fd->collapse; i++)
    5678                 :            :         {
    5679                 :         84 :           innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    5680                 :            :                                     OMP_CLAUSE__LOOPTEMP_);
    5681                 :         84 :           gcc_assert (innerc);
    5682                 :            :         }
    5683                 :         48 :       innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    5684                 :            :                                 OMP_CLAUSE__LOOPTEMP_);
    5685                 :         48 :       if (innerc)
    5686                 :            :         {
    5687                 :            :           /* If needed (inner taskloop has lastprivate clause), propagate
    5688                 :            :              down the total number of iterations.  */
    5689                 :         25 :           tree t = force_gimple_operand_gsi (&gsi, fd->loop.n2, false,
    5690                 :            :                                              NULL_TREE, false,
    5691                 :            :                                              GSI_CONTINUE_LINKING);
    5692                 :         25 :           assign_stmt = gimple_build_assign (OMP_CLAUSE_DECL (innerc), t);
    5693                 :         25 :           gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    5694                 :            :         }
    5695                 :            :     }
    5696                 :            : 
    5697                 :        590 :   t0 = force_gimple_operand_gsi (&gsi, t0, false, NULL_TREE, false,
    5698                 :            :                                  GSI_CONTINUE_LINKING);
    5699                 :        590 :   assign_stmt = gimple_build_assign (startvar, t0);
    5700                 :        590 :   gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    5701                 :            : 
    5702                 :        590 :   t1 = force_gimple_operand_gsi (&gsi, t1, false, NULL_TREE, false,
    5703                 :            :                                  GSI_CONTINUE_LINKING);
    5704                 :        590 :   assign_stmt = gimple_build_assign (endvar, t1);
    5705                 :        590 :   gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    5706                 :        590 :   if (fd->collapse > 1)
    5707                 :         87 :     expand_omp_for_init_vars (fd, &gsi, counts, inner_stmt, startvar);
    5708                 :            : 
    5709                 :            :   /* Remove the GIMPLE_OMP_FOR statement.  */
    5710                 :        590 :   gsi = gsi_for_stmt (for_stmt);
    5711                 :        590 :   gsi_remove (&gsi, true);
    5712                 :            : 
    5713                 :        590 :   gsi = gsi_last_nondebug_bb (cont_bb);
    5714                 :        590 :   gsi_remove (&gsi, true);
    5715                 :            : 
    5716                 :        590 :   gsi = gsi_last_nondebug_bb (exit_bb);
    5717                 :        590 :   gsi_remove (&gsi, true);
    5718                 :            : 
    5719                 :        590 :   FALLTHRU_EDGE (entry_bb)->probability = profile_probability::always ();
    5720                 :        590 :   remove_edge (BRANCH_EDGE (entry_bb));
    5721                 :        590 :   FALLTHRU_EDGE (cont_bb)->probability = profile_probability::always ();
    5722                 :        590 :   remove_edge (BRANCH_EDGE (cont_bb));
    5723                 :        590 :   set_immediate_dominator (CDI_DOMINATORS, exit_bb, cont_bb);
    5724                 :        590 :   set_immediate_dominator (CDI_DOMINATORS, region->entry,
    5725                 :            :                            recompute_dominator (CDI_DOMINATORS, region->entry));
    5726                 :        590 : }
    5727                 :            : 
    5728                 :            : /* Taskloop construct is represented after gimplification with
    5729                 :            :    two GIMPLE_OMP_FOR constructs with GIMPLE_OMP_TASK sandwiched
    5730                 :            :    in between them.  This routine expands the inner GIMPLE_OMP_FOR.
    5731                 :            :    GOMP_taskloop{,_ull} function arranges for each task to be given just
    5732                 :            :    a single range of iterations.  */
    5733                 :            : 
    5734                 :            : static void
    5735                 :        590 : expand_omp_taskloop_for_inner (struct omp_region *region,
    5736                 :            :                                struct omp_for_data *fd,
    5737                 :            :                                gimple *inner_stmt)
    5738                 :            : {
    5739                 :        590 :   tree e, t, type, itype, vmain, vback, bias = NULL_TREE;
    5740                 :        590 :   basic_block entry_bb, exit_bb, body_bb, cont_bb, collapse_bb = NULL;
    5741                 :        590 :   basic_block fin_bb;
    5742                 :        590 :   gimple_stmt_iterator gsi;
    5743                 :        590 :   edge ep;
    5744                 :        590 :   bool broken_loop = region->cont == NULL;
    5745                 :        590 :   tree *counts = NULL;
    5746                 :        590 :   tree n1, n2, step;
    5747                 :            : 
    5748                 :        590 :   itype = type = TREE_TYPE (fd->loop.v);
    5749                 :        590 :   if (POINTER_TYPE_P (type))
    5750                 :         14 :     itype = signed_type_for (type);
    5751                 :            : 
    5752                 :            :   /* See if we need to bias by LLONG_MIN.  */
    5753                 :        590 :   if (fd->iter_type == long_long_unsigned_type_node
    5754                 :         44 :       && TREE_CODE (type) == INTEGER_TYPE
    5755                 :        620 :       && !TYPE_UNSIGNED (type))
    5756                 :            :     {
    5757                 :          0 :       tree n1, n2;
    5758                 :            : 
    5759                 :          0 :       if (fd->loop.cond_code == LT_EXPR)
    5760                 :            :         {
    5761                 :          0 :           n1 = fd->loop.n1;
    5762                 :          0 :           n2 = fold_build2 (PLUS_EXPR, type, fd->loop.n2, fd->loop.step);
    5763                 :            :         }
    5764                 :            :       else
    5765                 :            :         {
    5766                 :          0 :           n1 = fold_build2 (MINUS_EXPR, type, fd->loop.n2, fd->loop.step);
    5767                 :          0 :           n2 = fd->loop.n1;
    5768                 :            :         }
    5769                 :          0 :       if (TREE_CODE (n1) != INTEGER_CST
    5770                 :          0 :           || TREE_CODE (n2) != INTEGER_CST
    5771                 :          0 :           || ((tree_int_cst_sgn (n1) < 0) ^ (tree_int_cst_sgn (n2) < 0)))
    5772                 :          0 :         bias = fold_convert (fd->iter_type, TYPE_MIN_VALUE (type));
    5773                 :            :     }
    5774                 :            : 
    5775                 :        590 :   entry_bb = region->entry;
    5776                 :        590 :   cont_bb = region->cont;
    5777                 :        590 :   gcc_assert (EDGE_COUNT (entry_bb->succs) == 2);
    5778                 :        590 :   fin_bb = BRANCH_EDGE (entry_bb)->dest;
    5779                 :        590 :   gcc_assert (broken_loop
    5780                 :            :               || (fin_bb == FALLTHRU_EDGE (cont_bb)->dest));
    5781                 :        590 :   body_bb = FALLTHRU_EDGE (entry_bb)->dest;
    5782                 :        590 :   if (!broken_loop)
    5783                 :            :     {
    5784                 :        574 :       gcc_assert (BRANCH_EDGE (cont_bb)->dest == body_bb);
    5785                 :        574 :       gcc_assert (EDGE_COUNT (cont_bb->succs) == 2);
    5786                 :            :     }
    5787                 :        590 :   exit_bb = region->exit;
    5788                 :            : 
    5789                 :            :   /* Iteration space partitioning goes in ENTRY_BB.  */
    5790                 :        590 :   gsi = gsi_last_nondebug_bb (entry_bb);
    5791                 :        590 :   gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
    5792                 :            : 
    5793                 :        590 :   if (fd->collapse > 1)
    5794                 :            :     {
    5795                 :         87 :       int first_zero_iter = -1, dummy = -1;
    5796                 :         87 :       basic_block l2_dom_bb = NULL, dummy_bb = NULL;
    5797                 :            : 
    5798                 :         87 :       counts = XALLOCAVEC (tree, fd->collapse);
    5799                 :         87 :       expand_omp_for_init_counts (fd, &gsi, entry_bb, counts,
    5800                 :            :                                   fin_bb, first_zero_iter,
    5801                 :            :                                   dummy_bb, dummy, l2_dom_bb);
    5802                 :         87 :       t = NULL_TREE;
    5803                 :            :     }
    5804                 :            :   else
    5805                 :        590 :     t = integer_one_node;
    5806                 :            : 
    5807                 :        590 :   step = fd->loop.step;
    5808                 :        590 :   tree innerc = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
    5809                 :            :                                  OMP_CLAUSE__LOOPTEMP_);
    5810                 :        590 :   gcc_assert (innerc);
    5811                 :        590 :   n1 = OMP_CLAUSE_DECL (innerc);
    5812                 :        590 :   innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc), OMP_CLAUSE__LOOPTEMP_);
    5813                 :        590 :   gcc_assert (innerc);
    5814                 :        590 :   n2 = OMP_CLAUSE_DECL (innerc);
    5815                 :        590 :   if (bias)
    5816                 :            :     {
    5817                 :          0 :       n1 = fold_build2 (PLUS_EXPR, fd->iter_type, n1, bias);
    5818                 :          0 :       n2 = fold_build2 (PLUS_EXPR, fd->iter_type, n2, bias);
    5819                 :            :     }
    5820                 :        590 :   n1 = force_gimple_operand_gsi (&gsi, fold_convert (type, n1),
    5821                 :            :                                  true, NULL_TREE, true, GSI_SAME_STMT);
    5822                 :        590 :   n2 = force_gimple_operand_gsi (&gsi, fold_convert (itype, n2),
    5823                 :            :                                  true, NULL_TREE, true, GSI_SAME_STMT);
    5824                 :        590 :   step = force_gimple_operand_gsi (&gsi, fold_convert (itype, step),
    5825                 :            :                                    true, NULL_TREE, true, GSI_SAME_STMT);
    5826                 :            : 
    5827                 :        590 :   tree startvar = fd->loop.v;
    5828                 :        590 :   tree endvar = NULL_TREE;
    5829                 :            : 
    5830                 :        590 :   if (gimple_omp_for_combined_p (fd->for_stmt))
    5831                 :            :     {
    5832                 :        191 :       tree clauses = gimple_omp_for_clauses (inner_stmt);
    5833                 :        191 :       tree innerc = omp_find_clause (clauses, OMP_CLAUSE__LOOPTEMP_);
    5834                 :        191 :       gcc_assert (innerc);
    5835                 :        191 :       startvar = OMP_CLAUSE_DECL (innerc);
    5836                 :        191 :       innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
    5837                 :            :                                 OMP_CLAUSE__LOOPTEMP_);
    5838                 :        191 :       gcc_assert (innerc);
    5839                 :        191 :       endvar = OMP_CLAUSE_DECL (innerc);
    5840                 :            :     }
    5841                 :        590 :   t = fold_convert (TREE_TYPE (startvar), n1);
    5842                 :        590 :   t = force_gimple_operand_gsi (&gsi, t,
    5843                 :        590 :                                 DECL_P (startvar)
    5844                 :        590 :                                 && TREE_ADDRESSABLE (startvar),
    5845                 :            :                                 NULL_TREE, false, GSI_CONTINUE_LINKING);
    5846                 :        590 :   gimple *assign_stmt = gimple_build_assign (startvar, t);
    5847                 :        590 :   gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    5848                 :            : 
    5849                 :        590 :   t = fold_convert (TREE_TYPE (startvar), n2);
    5850                 :        590 :   e = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
    5851                 :            :                                 false, GSI_CONTINUE_LINKING);
    5852                 :        590 :   if (endvar)
    5853                 :            :     {
    5854                 :        191 :       assign_stmt = gimple_build_assign (endvar, e);
    5855                 :        191 :       gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    5856                 :        191 :       if (useless_type_conversion_p (TREE_TYPE (fd->loop.v), TREE_TYPE (e)))
    5857                 :        147 :         assign_stmt = gimple_build_assign (fd->loop.v, e);
    5858                 :            :       else
    5859                 :         44 :         assign_stmt = gimple_build_assign (fd->loop.v, NOP_EXPR, e);
    5860                 :        191 :       gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
    5861                 :            :     }
    5862                 :        590 :   if (fd->collapse > 1)
    5863                 :         87 :     expand_omp_for_init_vars (fd, &gsi, counts, inner_stmt, startvar);
    5864                 :            : 
    5865                 :        590 :   if (!broken_loop)
    5866                 :            :     {
    5867                 :            :       /* The code controlling the sequential loop replaces the
    5868                 :            :          GIMPLE_OMP_CONTINUE.  */
    5869                 :        574 :       gsi = gsi_last_nondebug_bb (cont_bb);
    5870                 :        574 :       gomp_continue *cont_stmt = as_a <gomp_continue *> (gsi_stmt (gsi));
    5871                 :        574 :       gcc_assert (gimple_code (cont_stmt) == GIMPLE_OMP_CONTINUE);
    5872                 :        574 :       vmain = gimple_omp_continue_control_use (cont_stmt);
    5873                 :        574 :       vback = gimple_omp_continue_control_def (cont_stmt);
    5874                 :            : 
    5875                 :        574 :       if (!gimple_omp_for_combined_p (fd->for_stmt))
    5876                 :            :         {
    5877                 :        383 :           if (POINTER_TYPE_P (type))
    5878                 :          8 :             t = fold_build_pointer_plus (vmain, step);
    5879                 :            :           else
    5880                 :        375 :             t = fold_build2 (PLUS_EXPR, type, vmain, step);
    5881                 :        383 :           t = force_gimple_operand_gsi (&gsi, t,
    5882                 :        383 :                                         DECL_P (vback)
    5883                 :        383 :                                         && TREE_ADDRESSABLE (vback),
    5884                 :            :                                         NULL_TREE, true, GSI_SAME_STMT);
    5885                 :        383 :           assign_stmt = gimple_build_assign (vback, t);
    5886                 :        383 :           gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
    5887                 :            : 
    5888                 :        383 :           t = build2 (fd->loop.cond_code, boolean_type_node,
    5889                 :        383 :                       DECL_P (vback) && TREE_ADDRESSABLE (vback)
    5890                 :            :                       ? t : vback, e);
    5891                 :        383 :           gsi_insert_before (&gsi, gimple_build_cond_empty (t), GSI_SAME_STMT);
    5892                 :            :         }
    5893                 :            : 
    5894                 :            :       /* Remove the GIMPLE_OMP_CONTINUE statement.  */
    5895                 :        574 :       gsi_remove (&gsi, true);
    5896                 :            : 
    5897                 :        574 :       if (fd->collapse > 1 && !gimple_omp_for_combined_p (fd->for_stmt))
    5898                 :         31 :         collapse_bb = extract_omp_for_update_vars (fd, cont_bb, body_bb);
    5899                 :            :     }
    5900                 :            : 
    5901                 :            :   /* Remove the GIMPLE_OMP_FOR statement.  */
    5902                 :        590 :   gsi = gsi_for_stmt (fd->for_stmt);
    5903                 :        590 :   gsi_remove (&gsi, true);
    5904                 :            : 
    5905                 :            :   /* Remove the GIMPLE_OMP_RETURN statement.  */
    5906                 :        590 :   gsi = gsi_last_nondebug_bb (exit_bb);
    5907                 :        590 :   gsi_remove (&gsi, true);
    5908                 :            : 
    5909                 :        590 :   FALLTHRU_EDGE (entry_bb)->probability = profile_probability::always ();
    5910                 :        590 :   if (!broken_loop)
    5911                 :        574 :     remove_edge (BRANCH_EDGE (entry_bb));
    5912                 :            :   else
    5913                 :            :     {
    5914                 :         16 :       remove_edge_and_dominated_blocks (BRANCH_EDGE (entry_bb));
    5915                 :         16 :       region->outer->cont = NULL;
    5916                 :            :     }
    5917                 :            : 
    5918                 :            :   /* Connect all the blocks.  */
    5919                 :        590 :   if (!broken_loop)
    5920                 :            :     {
    5921                 :        574 :       ep = find_edge (cont_bb, body_bb);
    5922                 :        574 :       if (gimple_omp_for_combined_p (fd->for_stmt))
    5923                 :            :         {
    5924                 :        191 :           remove_edge (ep);
    5925                 :        191 :           ep = NULL;
    5926                 :            :         }
    5927                 :        383 :       else if (fd->collapse > 1)
    5928                 :            :         {
    5929                 :         31 :           remove_edge (ep);
    5930                 :         31 :           ep = make_edge (cont_bb, collapse_bb, EDGE_TRUE_VALUE);
    5931                 :            :         }
    5932                 :            :       else
    5933                 :        352 :         ep->flags = EDGE_TRUE_VALUE;
    5934                 :        574 :       find_edge (cont_bb, fin_bb)->flags
    5935                 :        957 :         = ep ? EDGE_FALSE_VALUE : EDGE_FALLTHRU;
    5936                 :            :     }
    5937                 :            : 
    5938                 :        590 :   set_immediate_dominator (CDI_DOMINATORS, body_bb,
    5939                 :            :                            recompute_dominator (CDI_DOMINATORS, body_bb));
    5940                 :        590 :   if (!broken_loop)
    5941                 :        574 :     set_immediate_dominator (CDI_DOMINATORS, fin_bb,
    5942                 :            :                              recompute_dominator (CDI_DOMINATORS, fin_bb));
    5943                 :            : 
    5944                 :        590 :   if (!broken_loop && !gimple_omp_for_combined_p (fd->for_stmt))
    5945                 :            :     {
    5946                 :        383 :       class loop *loop = alloc_loop ();
    5947                 :        383 :       loop->header = body_bb;
    5948                 :        383 :       if (collapse_bb == NULL)
    5949                 :        352 :         loop->latch = cont_bb;
    5950                 :        383 :       add_loop (loop, body_bb->loop_father);
    5951                 :            :     }
    5952                 :        590 : }
    5953                 :            : 
    5954                 :            : /* A subroutine of expand_omp_for.  Generate code for an OpenACC
    5955                 :            :    partitioned loop.  The lowering here is abstracted, in that the
    5956                 :            :    loop parameters are passed through internal functions, which are
    5957                 :            :    further lowered by oacc_device_lower, once we get to the target
    5958                 :            :    compiler.  The loop is of the form:
    5959                 :            : 
    5960                 :            :    for (V = B; V LTGT E; V += S) {BODY}
    5961                 :            : 
    5962                 :            :    where LTGT is < or >.  We may have a specified chunking size, CHUNKING
    5963                 :            :    (constant 0 for no chunking) and we will have a GWV partitioning
    5964                 :            :    mask, specifying dimensions over which the loop is to be
    5965                 :            :    partitioned (see note below).  We generate code that looks like
    5966                 :            :    (this ignores tiling):
    5967                 :            : 
    5968                 :            :    <entry_bb> [incoming FALL->body, BRANCH->exit]
    5969                 :            :      typedef signedintify (typeof (V)) T;  // underlying signed integral type
    5970                 :            :      T range = E - B;
    5971                 :            :      T chunk_no = 0;
    5972                 :            :      T DIR = LTGT == '<' ? +1 : -1;
    5973                 :            :      T chunk_max = GOACC_LOOP_CHUNK (dir, range, S, CHUNK_SIZE, GWV);
    5974                 :            :      T step = GOACC_LOOP_STEP (dir, range, S, CHUNK_SIZE, GWV);
    5975                 :            : 
    5976                 :            :    <head_bb> [created by splitting end of entry_bb]
    5977                 :            :      T offset = GOACC_LOOP_OFFSET (dir, range, S, CHUNK_SIZE, GWV, chunk_no);
    5978                 :            :      T bound = GOACC_LOOP_BOUND (dir, range, S, CHUNK_SIZE, GWV, offset);
    5979                 :            :      if (!(offset LTGT bound)) goto bottom_bb;
    5980                 :            : 
    5981                 :            :    <body_bb> [incoming]
    5982                 :            :      V = B + offset;
    5983                 :            :      {BODY}
    5984                 :            : 
    5985                 :            :    <cont_bb> [incoming, may == body_bb FALL->exit_bb, BRANCH->body_bb]
    5986                 :            :      offset += step;
    5987                 :            :      if (offset LTGT bound) goto body_bb; [*]
    5988                 :            : 
    5989                 :            :    <bottom_bb> [created by splitting start of exit_bb] insert BRANCH->head_bb
    5990                 :            :      chunk_no++;
    5991                 :            :      if (chunk < chunk_max) goto head_bb;
    5992                 :            : 
    5993                 :            :    <exit_bb> [incoming]
    5994                 :            :      V = B + ((range -/+ 1) / S +/- 1) * S [*]
    5995                 :            : 
    5996                 :            :    [*] Needed if V live at end of loop.  */
    5997                 :            : 
    5998                 :            : static void
    5999                 :       9005 : expand_oacc_for (struct omp_region *region, struct omp_for_data *fd)
    6000                 :            : {
    6001                 :       9005 :   tree v = fd->loop.v;
    6002                 :       9005 :   enum tree_code cond_code = fd->loop.cond_code;
    6003                 :       9005 :   enum tree_code plus_code = PLUS_EXPR;
    6004                 :            : 
    6005                 :       9005 :   tree chunk_size = integer_minus_one_node;
    6006                 :       9005 :   tree gwv = integer_zero_node;
    6007                 :       9005 :   tree iter_type = TREE_TYPE (v);
    6008                 :       9005 :   tree diff_type = iter_type;
    6009                 :       9005 :   tree plus_type = iter_type;
    6010                 :       9005 :   struct oacc_collapse *counts = NULL;
    6011                 :            : 
    6012                 :       9005 :   gcc_checking_assert (gimple_omp_for_kind (fd->for_stmt)
    6013                 :            :                        == GF_OMP_FOR_KIND_OACC_LOOP);
    6014                 :       9005 :   gcc_assert (!gimple_omp_for_combined_into_p (fd->for_stmt));
    6015                 :       9005 :   gcc_assert (cond_code == LT_EXPR || cond_code == GT_EXPR);
    6016                 :            : 
    6017                 :       9005 :   if (POINTER_TYPE_P (iter_type))
    6018                 :            :     {
    6019                 :         53 :       plus_code = POINTER_PLUS_EXPR;
    6020                 :         53 :       plus_type = sizetype;
    6021                 :            :     }
    6022                 :      17957 :   if (POINTER_TYPE_P (diff_type) || TYPE_UNSIGNED (diff_type))
    6023                 :        899 :     diff_type = signed_type_for (diff_type);
    6024                 :       9005 :   if (TYPE_PRECISION (diff_type) < TYPE_PRECISION (integer_type_node))
    6025                 :         24 :     diff_type = integer_type_node;
    6026                 :            : 
    6027                 :       9005 :   basic_block entry_bb = region->entry; /* BB ending in OMP_FOR */
    6028                 :       9005 :   basic_block exit_bb = region->exit; /* BB ending in OMP_RETURN */
    6029                 :       9005 :   basic_block cont_bb = region->cont; /* BB ending in OMP_CONTINUE  */
    6030                 :       9005 :   basic_block bottom_bb = NULL;
    6031                 :            : 
    6032                 :            :   /* entry_bb has two successors; the branch edge is to the exit
    6033                 :            :      block, fallthrough edge to body.  */
    6034                 :       9005 :   gcc_assert (EDGE_COUNT (entry_bb->succs) == 2
    6035                 :            :               && BRANCH_EDGE (entry_bb)->dest == exit_bb);
    6036                 :            : 
    6037                 :            :   /* If cont_bb non-NULL, it has 2 successors.  The branch successor is
    6038                 :            :      body_bb, or to a block whose only successor is the body_bb.  Its
    6039                 :            :      fallthrough successor is the final block (same as the branch
    6040                 :            :      successor of the entry_bb).  */
    6041                 :       9005 :   if (cont_bb)
    6042                 :            :     {
    6043                 :       8966 :       basic_block body_bb = FALLTHRU_EDGE (entry_bb)->dest;
    6044                 :       8966 :       basic_block bed = BRANCH_EDGE (cont_bb)->dest;
    6045                 :            : 
    6046                 :       8966 :       gcc_assert (FALLTHRU_EDGE (cont_bb)->dest == exit_bb);
    6047                 :       8966 :       gcc_assert (bed == body_bb || single_succ_edge (bed)->dest == body_bb);
    6048                 :            :     }
    6049                 :            :   else
    6050                 :         39 :     gcc_assert (!gimple_in_ssa_p (cfun));
    6051                 :            : 
    6052                 :            :   /* The exit block only has entry_bb and cont_bb as predecessors.  */
    6053                 :      18049 :   gcc_assert (EDGE_COUNT (exit_bb->preds) == 1 + (cont_bb != NULL));
    6054                 :            : 
    6055                 :       9005 :   tree chunk_no;
    6056                 :       9005 :   tree chunk_max = NULL_TREE;
    6057                 :       9005 :   tree bound, offset;
    6058                 :       9005 :   tree step = create_tmp_var (diff_type, ".step");
    6059                 :       9005 :   bool up = cond_code == LT_EXPR;
    6060                 :       9159 :   tree dir = build_int_cst (diff_type, up ? +1 : -1);
    6061                 :       9005 :   bool chunking = !gimple_in_ssa_p (cfun);
    6062                 :       9005 :   bool negating;
    6063                 :            : 
    6064                 :            :   /* Tiling vars.  */
    6065                 :       9005 :   tree tile_size = NULL_TREE;
    6066                 :       9005 :   tree element_s = NULL_TREE;
    6067                 :       9005 :   tree e_bound = NULL_TREE, e_offset = NULL_TREE, e_step = NULL_TREE;
    6068                 :       9005 :   basic_block elem_body_bb = NULL;
    6069                 :       9005 :   basic_block elem_cont_bb = NULL;
    6070                 :            : 
    6071                 :            :   /* SSA instances.  */
    6072                 :       9005 :   tree offset_incr = NULL_TREE;
    6073                 :       9005 :   tree offset_init = NULL_TREE;
    6074                 :            : 
    6075                 :       9005 :   gimple_stmt_iterator gsi;
    6076                 :       9005 :   gassign *ass;
    6077                 :       9005 :   gcall *call;
    6078                 :       9005 :   gimple *stmt;
    6079                 :       9005 :   tree expr;
    6080                 :       9005 :   location_t loc;
    6081                 :       9005 :   edge split, be, fte;
    6082                 :            : 
    6083                 :            :   /* Split the end of entry_bb to create head_bb.  */
    6084                 :       9005 :   split = split_block (entry_bb, last_stmt (entry_bb));
    6085                 :       9005 :   basic_block head_bb = split->dest;
    6086                 :       9005 :   entry_bb = split->src;
    6087                 :            : 
    6088                 :            :   /* Chunk setup goes at end of entry_bb, replacing the omp_for.  */
    6089                 :       9005 :   gsi = gsi_last_nondebug_bb (entry_bb);
    6090                 :       9005 :   gomp_for *for_stmt = as_a <gomp_for *> (gsi_stmt (gsi));
    6091                 :       9005 :   loc = gimple_location (for_stmt);
    6092                 :            : 
    6093                 :       9005 :   if (gimple_in_ssa_p (cfun))
    6094                 :            :     {
    6095                 :        370 :       offset_init = gimple_omp_for_index (for_stmt, 0);
    6096                 :        370 :       gcc_assert (integer_zerop (fd->loop.n1));
    6097                 :            :       /* The SSA parallelizer does gang parallelism.  */
    6098                 :        370 :       gwv = build_int_cst (integer_type_node, GOMP_DIM_MASK (GOMP_DIM_GANG));
    6099                 :            :     }
    6100                 :            : 
    6101                 :       9005 :   if (fd->collapse > 1 || fd->tiling)
    6102                 :            :     {
    6103                 :        960 :       gcc_assert (!gimple_in_ssa_p (cfun) && up);
    6104                 :        480 :       counts = XALLOCAVEC (struct oacc_collapse, fd->collapse);
    6105                 :       1440 :       tree total = expand_oacc_collapse_init (fd, &gsi, counts,
    6106                 :        480 :                                               TREE_TYPE (fd->loop.n2), loc);
    6107                 :            : 
    6108                 :        480 :       if (SSA_VAR_P (fd->loop.n2))
    6109                 :            :         {
    6110                 :        101 :           total = force_gimple_operand_gsi (&gsi, total, false, NULL_TREE,
    6111                 :            :                                             true, GSI_SAME_STMT);
    6112                 :        101 :           ass = gimple_build_assign (fd->loop.n2, total);
    6113                 :        101 :           gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
    6114                 :            :         }
    6115                 :            :     }
    6116                 :            : 
    6117                 :       9005 :   tree b = fd->loop.n1;
    6118                 :       9005 :   tree e = fd->loop.n2;
    6119                 :       9005 :   tree s = fd->loop.step;
    6120                 :            : 
    6121                 :       9005 :   b = force_gimple_operand_gsi (&gsi, b, true, NULL_TREE, true, GSI_SAME_STMT);
    6122                 :       9005 :   e = force_gimple_operand_gsi (&gsi, e, true, NULL_TREE, true, GSI_SAME_STMT);
    6123                 :            : 
    6124                 :            :   /* Convert the step, avoiding possible unsigned->signed overflow.  */
    6125                 :       9159 :   negating = !up && TYPE_UNSIGNED (TREE_TYPE (s));
    6126                 :         32 :   if (negating)
    6127                 :         32 :     s = fold_build1 (NEGATE_EXPR, TREE_TYPE (s), s);
    6128                 :       9005 :   s = fold_convert (diff_type, s);
    6129                 :       9005 :   if (negating)
    6130                 :         32 :     s = fold_build1 (NEGATE_EXPR, diff_type, s);
    6131                 :       9005 :   s = force_gimple_operand_gsi (&gsi, s, true, NULL_TREE, true, GSI_SAME_STMT);
    6132                 :            : 
    6133                 :       9005 :   if (!chunking)
    6134                 :        370 :     chunk_size = integer_zero_node;
    6135                 :       9005 :   expr = fold_convert (diff_type, chunk_size);
    6136                 :       9005 :   chunk_size = force_gimple_operand_gsi (&gsi, expr, true,
    6137                 :            :                                          NULL_TREE, true, GSI_SAME_STMT);
    6138                 :            : 
    6139                 :       9005 :   if (fd->tiling)
    6140                 :            :     {
    6141                 :            :       /* Determine the tile size and element step,
    6142                 :            :          modify the outer loop step size.  */
    6143                 :        177 :       tile_size = create_tmp_var (diff_type, ".tile_size");
    6144                 :        177 :       expr = build_int_cst (diff_type, 1);
    6145                 :        448 :       for (int ix = 0; ix < fd->collapse; ix++)
    6146                 :        271 :         expr = fold_build2 (MULT_EXPR, diff_type, counts[ix].tile, expr);
    6147                 :        177 :       expr = force_gimple_operand_gsi (&gsi, expr, true,
    6148                 :            :                                        NULL_TREE, true, GSI_SAME_STMT);
    6149                 :        177 :       ass = gimple_build_assign (tile_size, expr);
    6150                 :        177 :       gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
    6151                 :            : 
    6152                 :        177 :       element_s = create_tmp_var (diff_type, ".element_s");
    6153                 :        177 :       ass = gimple_build_assign (element_s, s);
    6154                 :        177 :       gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
    6155                 :            : 
    6156                 :        177 :       expr = fold_build2 (MULT_EXPR, diff_type, s, tile_size);
    6157                 :        177 :       s = force_gimple_operand_gsi (&gsi, expr, true,
    6158                 :            :                                     NULL_TREE, true, GSI_SAME_STMT);
    6159                 :            :     }
    6160                 :            : 
    6161                 :            :   /* Determine the range, avoiding possible unsigned->signed overflow.  */
    6162                 :       9159 :   negating = !up && TYPE_UNSIGNED (iter_type);
    6163                 :      17962 :   expr = fold_build2 (MINUS_EXPR, plus_type,
    6164                 :            :                       fold_convert (plus_type, negating ? b : e),
    6165                 :            :                       fold_convert (plus_type, negating ? e : b));
    6166                 :       9005 :   expr = fold_convert (diff_type, expr);
    6167                 :       9005 :   if (negating)
    6168                 :         48 :     expr = fold_build1 (NEGATE_EXPR, diff_type, expr);
    6169                 :       9005 :   tree range = force_gimple_operand_gsi (&gsi, expr, true,
    6170                 :            :                                          NULL_TREE, true, GSI_SAME_STMT);
    6171                 :            : 
    6172                 :       9005 :   chunk_no = build_int_cst (diff_type, 0);
    6173                 :       9005 :   if (chunking)
    6174                 :            :     {
    6175                 :       8635 :       gcc_assert (!gimple_in_ssa_p (cfun));
    6176                 :            : 
    6177                 :       8635 :       expr = chunk_no;
    6178                 :       8635 :       chunk_max = create_tmp_var (diff_type, ".chunk_max");
    6179                 :       8635 :       chunk_no = create_tmp_var (diff_type, ".chunk_no");
    6180                 :            : 
    6181                 :       8635 :       ass = gimple_build_assign (chunk_no, expr);
    6182                 :       8635 :       gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
    6183                 :            : 
    6184                 :       8635 :       call = gimple_build_call_internal (IFN_GOACC_LOOP, 6,
    6185                 :            :                                          build_int_cst (integer_type_node,
    6186                 :       8635 :                                                         IFN_GOACC_LOOP_CHUNKS),
    6187                 :            :                                          dir, range, s, chunk_size, gwv);
    6188                 :       8635 :       gimple_call_set_lhs (call, chunk_max);
    6189                 :       8635 :       gimple_set_location (call, loc);
    6190                 :       8635 :       gsi_insert_before (&gsi, call, GSI_SAME_STMT);
    6191                 :            :     }
    6192                 :            :   else
    6193                 :            :     chunk_size = chunk_no;
    6194                 :            : 
    6195                 :       9005 :   call = gimple_build_call_internal (IFN_GOACC_LOOP, 6,
    6196                 :            :                                      build_int_cst (integer_type_node,
    6197                 :       9005 :                                                     IFN_GOACC_LOOP_STEP),
    6198                 :            :                                      dir, range, s, chunk_size, gwv);
    6199                 :       9005 :   gimple_call_set_lhs (call, step);
    6200                 :       9005 :   gimple_set_location (call, loc);
    6201                 :       9005 :   gsi_insert_before (&gsi, call, GSI_SAME_STMT);
    6202                 :            : 
    6203                 :            :   /* Remove the GIMPLE_OMP_FOR.  */
    6204                 :       9005 :   gsi_remove (&gsi, true);
    6205                 :            : 
    6206                 :            :   /* Fixup edges from head_bb.  */
    6207                 :       9005 :   be = BRANCH_EDGE (head_bb);
    6208                 :       9005 :   fte = FALLTHRU_EDGE (head_bb);
    6209                 :       9005 :   be->flags |= EDGE_FALSE_VALUE;
    6210                 :       9005 :   fte->flags ^= EDGE_FALLTHRU | EDGE_TRUE_VALUE;
    6211                 :            : 
    6212                 :       9005 :   basic_block body_bb = fte->dest;
    6213                 :            : 
    6214                 :       9005 :   if (gimple_in_ssa_p (cfun))
    6215                 :            :     {
    6216                 :        370 :       gsi = gsi_last_nondebug_bb (cont_bb);
    6217                 :        370 :       gomp_continue *cont_stmt = as_a <gomp_continue *> (gsi_stmt (gsi));
    6218                 :            : 
    6219                 :        370 :       offset = gimple_omp_continue_control_use (cont_stmt);
    6220                 :        370 :       offset_incr = gimple_omp_continue_control_def (cont_stmt);
    6221                 :            :     }
    6222                 :            :   else
    6223                 :            :     {
    6224                 :       8635 :       offset = create_tmp_var (diff_type, ".offset");
    6225                 :       8635 :       offset_init = offset_incr = offset;
    6226                 :            :     }
    6227                 :       9005 :   bound = create_tmp_var (TREE_TYPE (offset), ".bound");
    6228                 :            : 
    6229                 :            :   /* Loop offset & bound go into head_bb.  */
    6230                 :       9005 :   gsi = gsi_start_bb (head_bb);
    6231                 :            : 
    6232                 :       9005 :   call = gimple_build_call_internal (IFN_GOACC_LOOP, 7,
    6233                 :            :                                      build_int_cst (integer_type_node,
    6234                 :       9005 :                                                     IFN_GOACC_LOOP_OFFSET),
    6235                 :            :                                      dir, range, s,
    6236                 :            :                                      chunk_size, gwv, chunk_no);
    6237                 :       9005 :   gimple_call_set_lhs (call, offset_init);
    6238                 :       9005 :   gimple_set_location (call, loc);
    6239                 :       9005 :   gsi_insert_after (&gsi, call, GSI_CONTINUE_LINKING);
    6240                 :            : 
    6241                 :       9005 :   call = gimple_build_call_internal (IFN_GOACC_LOOP, 7,
    6242                 :            :                                      build_int_cst (integer_type_node,
    6243                 :       9005 :                                                     IFN_GOACC_LOOP_BOUND),
    6244                 :            :                                      dir, range, s,
    6245                 :            :                                      chunk_size, gwv, offset_init);
    6246                 :       9005 :   gimple_call_set_lhs (call, bound);
    6247                 :       9005 :   gimple_set_location (call, loc);
    6248                 :       9005 :   gsi_insert_after (&gsi, call, GSI_CONTINUE_LINKING);
    6249                 :            : 
    6250                 :       9005 :   expr = build2 (cond_code, boolean_type_node, offset_init, bound);
    6251                 :       9005 :   gsi_insert_after (&gsi, gimple_build_cond_empty (expr),
    6252                 :            :                     GSI_CONTINUE_LINKING);
    6253                 :            : 
    6254                 :            :   /* V assignment goes into body_bb.  */
    6255                 :       9005 :   if (!gimple_in_ssa_p (cfun))
    6256                 :            :     {
    6257                 :       8635 :       gsi = gsi_start_bb (body_bb);
    6258                 :            : 
    6259                 :       8635 :       expr = build2 (plus_code, iter_type, b,
    6260                 :            :                      fold_convert (plus_type, offset));
    6261                 :       8635 :       expr = force_gimple_operand_gsi (&gsi, expr, false, NULL_TREE,
    6262                 :            :                                        true, GSI_SAME_STMT);
    6263                 :       8635 :       ass = gimple_build_assign (v, expr);
    6264                 :       8635 :       gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
    6265                 :            : 
    6266                 :       8635 :       if (fd->collapse > 1 || fd->tiling)
    6267                 :        480 :         expand_oacc_collapse_vars (fd, false, &gsi, counts, v);
    6268                 :            : 
    6269                 :       8635 :       if (fd->tiling)
    6270                 :            :         {
    6271                 :            :           /* Determine the range of the element loop -- usually simply
    6272                 :            :              the tile_size, but could be smaller if the final
    6273                 :            :              iteration of the outer loop is a partial tile.  */
    6274                 :        177 :           tree e_range = create_tmp_var (diff_type, ".e_range");
    6275                 :            : 
    6276                 :        177 :           expr = build2 (MIN_EXPR, diff_type,
    6277                 :            :                          build2 (MINUS_EXPR, diff_type, bound, offset),
    6278                 :            :                          build2 (MULT_EXPR, diff_type, tile_size,
    6279                 :            :                                  element_s));
    6280                 :        177 :           expr = force_gimple_operand_gsi (&gsi, expr, false, NULL_TREE,
    6281                 :            :                                            true, GSI_SAME_STMT);
    6282                 :        177 :           ass = gimple_build_assign (e_range, expr);
    6283                 :        177 :           gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
    6284                 :            : 
    6285                 :            :           /* Determine bound, offset & step of inner loop. */
    6286                 :        177 :           e_bound = create_tmp_var (diff_type, ".e_bound");
    6287                 :        177 :           e_offset = create_tmp_var (diff_type, ".e_offset");
    6288                 :        177 :           e_step = create_tmp_var (diff_type, ".e_step");
    6289                 :            : 
    6290                 :            :           /* Mark these as element loops.  */
    6291                 :        177 :           tree t, e_gwv = integer_minus_one_node;
    6292                 :        177 :           tree chunk = build_int_cst (diff_type, 0); /* Never chunked.  */
    6293                 :            : 
    6294                 :        177 :           t = build_int_cst (integer_type_node, IFN_GOACC_LOOP_OFFSET);
    6295                 :        177 :           call = gimple_build_call_internal (IFN_GOACC_LOOP, 7, t, dir, e_range,
    6296                 :            :                                              element_s, chunk, e_gwv, chunk);
    6297                 :        177 :           gimple_call_set_lhs (call, e_offset);
    6298                 :        177 :           gimple_set_location (call, loc);
    6299                 :        177 :           gsi_insert_before (&gsi, call, GSI_SAME_STMT);
    6300                 :            : 
    6301                 :        177 :           t = build_int_cst (integer_type_node, IFN_GOACC_LOOP_BOUND);
    6302                 :        177 :           call = gimple_build_call_internal (IFN_GOACC_LOOP, 7, t, dir, e_range,
    6303                 :            :                                              element_s, chunk, e_gwv, e_offset);
    6304                 :        177 :           gimple_call_set_lhs (call, e_bound);
    6305                 :        177 :           gimple_set_location (call, loc);
    6306                 :        177 :           gsi_insert_before (&gsi, call, GSI_SAME_STMT);
    6307                 :            : 
    6308                 :        177 :           t = build_int_cst (integer_type_node, IFN_GOACC_LOOP_STEP);
    6309                 :        177 :           call = gimple_build_call_internal (IFN_GOACC_LOOP, 6, t, dir, e_range,
    6310                 :            :                                              element_s, chunk, e_gwv);
    6311                 :        177 :           gimple_call_set_lhs (call, e_step);
    6312                 :        177 :           gimple_set_location (call, loc);
    6313                 :        177 :           gsi_insert_before (&gsi, call, GSI_SAME_STMT);
    6314                 :            : 
    6315                 :            :           /* Add test and split block.  */
    6316                 :        177 :           expr = build2 (cond_code, boolean_type_node, e_offset, e_bound);
    6317                 :        177 :           stmt = gimple_build_cond_empty (expr);
    6318                 :        177 :           gsi_insert_before (&gsi, stmt, GSI_SAME_STMT);
    6319                 :        177 :           split = split_block (body_bb, stmt);
    6320                 :        177 :           elem_body_bb = split->dest;
    6321                 :        177 :           if (cont_bb == body_bb)
    6322                 :        140 :             cont_bb = elem_body_bb;
    6323                 :        177 :           body_bb = split->src;
    6324                 :            : 
    6325                 :        177 :           split->flags ^= EDGE_FALLTHRU | EDGE_TRUE_VALUE;
    6326                 :            : 
    6327                 :            :           /* Add a dummy exit for the tiled block when cont_bb is missing.  */
    6328                 :        177 :           if (cont_bb == NULL)
    6329                 :            :             {
    6330                 :          5 :               edge e = make_edge (body_bb, exit_bb, EDGE_FALSE_VALUE);
    6331                 :          5 :               e->probability = profile_probability::even ();
    6332                 :          5 :               split->probability = profile_probability::even ();
    6333                 :            :             }
    6334                 :            : 
    6335                 :            :           /* Initialize the user's loop vars.  */
    6336                 :        177 :           gsi = gsi_start_bb (elem_body_bb);
    6337                 :        177 :           expand_oacc_collapse_vars (fd, true, &gsi, counts, e_offset);
    6338                 :            :         }
    6339                 :            :     }
    6340                 :            : 
    6341                 :            :   /* Loop increment goes into cont_bb.  If this is not a loop, we
    6342                 :            :      will have spawned threads as if it was, and each one will
    6343                 :            :      execute one iteration.  The specification is not explicit about
    6344                 :            :      whether such constructs are ill-formed or not, and they can
    6345                 :            :      occur, especially when noreturn routines are involved.  */
    6346                 :       9005 :   if (cont_bb)
    6347                 :            :     {
    6348                 :       8966 :       gsi = gsi_last_nondebug_bb (cont_bb);
    6349                 :       8966 :       gomp_continue *cont_stmt = as_a <gomp_continue *> (gsi_stmt (gsi));
    6350                 :       8966 :       loc = gimple_location (cont_stmt);
    6351                 :            : 
    6352                 :       8966 :       if (fd->tiling)
    6353                 :            :         {
    6354                 :            :           /* Insert element loop increment and test.  */
    6355                 :        172 :           expr = build2 (PLUS_EXPR, diff_type, e_offset, e_step);
    6356                 :        172 :           expr = force_gimple_operand_gsi (&gsi, expr, false, NULL_TREE,
    6357                 :            :                                            true, GSI_SAME_STMT);
    6358                 :        172 :           ass = gimple_build_assign (e_offset, expr);
    6359                 :        172 :           gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
    6360                 :        172 :           expr = build2 (cond_code, boolean_type_node, e_offset, e_bound);
    6361                 :            : 
    6362                 :        172 :           stmt = gimple_build_cond_empty (expr);
    6363                 :        172 :           gsi_insert_before (&gsi, stmt, GSI_SAME_STMT);
    6364                 :        172 :           split = split_block (cont_bb, stmt);
    6365                 :        172 :           elem_cont_bb = split->src;
    6366                 :        172 :           cont_bb = split->dest;
    6367                 :            : 
    6368                 :        172 :           split->flags ^= EDGE_FALLTHRU | EDGE_FALSE_VALUE;
    6369                 :        172 :           split->probability = profile_probability::unlikely ().guessed ();
    6370                 :        172 :           edge latch_edge
    6371                 :        172 :             = make_edge (elem_cont_bb, elem_body_bb, EDGE_TRUE_VALUE);
    6372                 :        172 :           latch_edge->probability = profile_probability::likely ().guessed ();
    6373                 :            : 
    6374                 :        172 :           edge skip_edge = make_edge (body_bb, cont_bb, EDGE_FALSE_VALUE);
    6375                 :        172 :           skip_edge->probability = profile_probability::unlikely ().guessed ();
    6376                 :        172 :           edge loop_entry_edge = EDGE_SUCC (body_bb, 1 - skip_edge->dest_idx);
    6377                 :        172 :           loop_entry_edge->probability
    6378                 :        172 :             = profile_probability::likely ().guessed ();
    6379                 :            : 
    6380                 :        172 :           gsi = gsi_for_stmt (cont_stmt);
    6381                 :            :         }
    6382                 :            : 
    6383                 :            :       /* Increment offset.  */
    6384                 :       8966 :       if (gimple_in_ssa_p (cfun))
    6385                 :        370 :         expr = build2 (plus_code, iter_type, offset,
    6386                 :            :                        fold_convert (plus_type, step));
    6387                 :            :       else
    6388                 :       8596 :         expr = build2 (PLUS_EXPR, diff_type, offset, step);
    6389                 :       8966 :       expr = force_gimple_operand_gsi (&gsi, expr, false, NULL_TREE,
    6390                 :            :                                        true, GSI_SAME_STMT);
    6391                 :       8966 :       ass = gimple_build_assign (offset_incr, expr);
    6392                 :       8966 :       gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
    6393                 :       8966 :       expr = build2 (cond_code, boolean_type_node, offset_incr, bound);
    6394                 :       8966 :       gsi_insert_before (&gsi, gimple_build_cond_empty (expr), GSI_SAME_STMT);
    6395                 :            : 
    6396                 :            :       /*  Remove the GIMPLE_OMP_CONTINUE.  */
    6397                 :       8966 :       gsi_remove (&gsi, true);
    6398                 :            : 
    6399                 :            :       /* Fixup edges from cont_bb.  */
    6400                 :       8966 :       be = BRANCH_EDGE (cont_bb);
    6401                 :       8966 :       fte = FALLTHRU_EDGE (cont_bb);
    6402                 :       8966 :       be->flags |= EDGE_TRUE_VALUE;
    6403                 :       8966 :       fte->flags ^= EDGE_FALLTHRU | EDGE_FALSE_VALUE;
    6404                 :            : 
    6405                 :       8966 :       if (chunking)
    6406                 :            :         {
    6407                 :            :           /* Split the beginning of exit_bb to make bottom_bb.  We
    6408                 :            :              need to insert a nop at the start, because splitting is
    6409                 :            :              after a stmt, not before.  */
    6410                 :       8596 :           gsi = gsi_start_bb (exit_bb);
    6411                 :       8596 :           stmt = gimple_build_nop ();
    6412                 :       8596 :           gsi_insert_before (&gsi, stmt, GSI_SAME_STMT);
    6413                 :       8596 :           split = split_block (exit_bb, stmt);
    6414                 :       8596 :           bottom_bb = split->src;
    6415                 :       8596 :           exit_bb = split->dest;
    6416                 :       8596 :           gsi = gsi_last_bb (bottom_bb);
    6417                 :            : 
    6418                 :            :           /* Chunk increment and test goes into bottom_bb.  */
    6419                 :       8596 :           expr = build2 (PLUS_EXPR, diff_type, chunk_no,
    6420                 :       8596 :                          build_int_cst (diff_type, 1));
    6421                 :       8596 :           ass = gimple_build_assign (chunk_no, expr);
    6422                 :       8596 :           gsi_insert_after (&gsi, ass, GSI_CONTINUE_LINKING);
    6423                 :            : 
    6424                 :            :           /* Chunk test at end of bottom_bb.  */
    6425                 :       8596 :           expr = build2 (LT_EXPR, boolean_type_node, chunk_no, chunk_max);
    6426                 :       8596 :           gsi_insert_after (&gsi, gimple_build_cond_empty (expr),
    6427                 :            :                             GSI_CONTINUE_LINKING);
    6428                 :            : 
    6429                 :            :           /* Fixup edges from bottom_bb.  */
    6430                 :       8596 :           split->flags ^= EDGE_FALLTHRU | EDGE_FALSE_VALUE;
    6431                 :       8596 :           split->probability = profile_probability::unlikely ().guessed ();
    6432                 :       8596 :           edge latch_edge = make_edge (bottom_bb, head_bb, EDGE_TRUE_VALUE);
    6433                 :       8596 :           latch_edge->probability = profile_probability::likely ().guessed ();
    6434                 :            :         }
    6435                 :            :     }
    6436                 :            : 
    6437                 :       9005 :   gsi = gsi_last_nondebug_bb (exit_bb);
    6438                 :       9005 :   gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_RETURN);
    6439                 :       9005 :   loc = gimple_location (gsi_stmt (gsi));
    6440                 :            : 
    6441                 :       9005 :   if (!gimple_in_ssa_p (cfun))
    6442                 :            :     {
    6443                 :            :       /* Insert the final value of V, in case it is live.  This is the
    6444                 :            :          value for the only thread that survives past the join.  */
    6445                 :       8635 :       expr = fold_build2 (MINUS_EXPR, diff_type, range, dir);
    6446                 :       8635 :       expr = fold_build2 (PLUS_EXPR, diff_type, expr, s);
    6447                 :       8635 :       expr = fold_build2 (TRUNC_DIV_EXPR, diff_type, expr, s);
    6448                 :       8635 :       expr = fold_build2 (MULT_EXPR, diff_type, expr, s);
    6449                 :       8635 :       expr = build2 (plus_code, iter_type, b, fold_convert (plus_type, expr));
    6450                 :       8635 :       expr = force_gimple_operand_gsi (&gsi, expr, false, NULL_TREE,
    6451                 :            :                                        true, GSI_SAME_STMT);
    6452                 :       8635 :       ass = gimple_build_assign (v, expr);
    6453                 :       8635 :       gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
    6454                 :            :     }
    6455                 :            : 
    6456                 :            :   /* Remove the OMP_RETURN.  */
    6457                 :       9005 :   gsi_remove (&gsi, true);
    6458                 :            : 
    6459                 :       9005 :   if (cont_bb)
    6460                 :            :     {
    6461                 :            :       /* We now have one, two or three nested loops.  Update the loop
    6462                 :            :          structures.  */
    6463                 :       8966 :       class loop *parent = entry_bb->loop_father;
    6464                 :       8966 :       class loop *body = body_bb->loop_father;
    6465                 :            : 
    6466                 :       8966 :       if (chunking)
    6467                 :            :         {
    6468                 :       8596 :           class loop *chunk_loop = alloc_loop ();
    6469                 :       8596 :           chunk_loop->header = head_bb;
    6470                 :       8596 :           chunk_loop->latch = bottom_bb;
    6471                 :       8596 :           add_loop (chunk_loop, parent);
    6472                 :       8596 :           parent = chunk_loop;
    6473                 :            :         }
    6474                 :        370 :       else if (parent != body)
    6475                 :            :         {
    6476                 :        370 :           gcc_assert (body->header == body_bb);
    6477                 :        370 :           gcc_assert (body->latch == cont_bb
    6478                 :            :                       || single_pred (body->latch) == cont_bb);
    6479                 :            :           parent = NULL;
    6480                 :            :         }
    6481                 :            : 
    6482                 :       8596 :       if (parent)
    6483                 :            :         {
    6484                 :       8596 :           class loop *body_loop = alloc_loop ();
    6485                 :       8596 :           body_loop->header = body_bb;
    6486                 :       8596 :           body_loop->latch = cont_bb;
    6487                 :       8596 :           add_loop (body_loop, parent);
    6488                 :            : 
    6489                 :       8596 :           if (fd->tiling)
    6490                 :            :             {
    6491                 :            :               /* Insert tiling's element loop.  */
    6492                 :        172 :               class loop *inner_loop = alloc_loop ();
    6493                 :        172 :               inner_loop->header = elem_body_bb;
    6494                 :        172 :               inner_loop->latch = elem_cont_bb;
    6495                 :        172 :               add_loop (inner_loop, body_loop);
    6496                 :            :             }
    6497                 :            :         }
    6498                 :            :     }
    6499                 :       9005 : }
    6500                 :            : 
    6501                 :            : /* Expand the OMP loop defined by REGION.  */
    6502                 :            : 
    6503                 :            : static void
    6504                 :      36360 : expand_omp_for (struct omp_region *region, gimple *inner_stmt)
    6505                 :            : {
    6506                 :      36360 :   struct omp_for_data fd;
    6507                 :      36360 :   struct omp_for_data_loop *loops;
    6508                 :            : 
    6509                 :      36360 :   loops
    6510                 :            :     = (struct omp_for_data_loop *)
    6511                 :      36360 :       alloca (gimple_omp_for_collapse (last_stmt (region->entry))
    6512                 :            :               * sizeof (struct omp_for_data_loop));
    6513                 :      36360 :   omp_extract_for_data (as_a <gomp_for *> (last_stmt (region->entry)),
    6514                 :            :                         &fd, loops);
    6515                 :      36360 :   region->sched_kind = fd.sched_kind;
    6516                 :      36360 :   region->sched_modifiers = fd.sched_modifiers;
    6517                 :      36360 :   region->has_lastprivate_conditional = fd.lastprivate_conditional != 0;
    6518                 :            : 
    6519                 :      36360 :   gcc_assert (EDGE_COUNT (region->entry->succs) == 2);
    6520                 :      36360 :   BRANCH_EDGE (region->entry)->flags &= ~EDGE_ABNORMAL;
    6521                 :      36360 :   FALLTHRU_EDGE (region->entry)->flags &= ~EDGE_ABNORMAL;
    6522                 :      36360 :   if (region->cont)
    6523                 :            :     {
    6524                 :      34071 :       gcc_assert (EDGE_COUNT (region->cont->succs) == 2);
    6525                 :      34071 :       BRANCH_EDGE (region->cont)->flags &= ~EDGE_ABNORMAL;
    6526                 :      34071 :       FALLTHRU_EDGE (region->cont)->flags &= ~EDGE_ABNORMAL;
    6527                 :            :     }
    6528                 :            :   else
    6529                 :            :     /* If there isn't a continue then this is a degerate case where
    6530                 :            :        the introduction of abnormal edges during lowering will prevent
    6531                 :            :        original loops from being detected.  Fix that up.  */
    6532                 :       2289 :     loops_state_set (LOOPS_NEED_FIXUP);
    6533                 :            : 
    6534                 :      36360 :   if (gimple_omp_for_kind (fd.for_stmt) == GF_OMP_FOR_KIND_SIMD)
    6535                 :       6911 :     expand_omp_simd (region, &fd);
    6536                 :      29449 :   else if (gimple_omp_for_kind (fd.for_stmt) == GF_OMP_FOR_KIND_OACC_LOOP)
    6537                 :            :     {
    6538                 :       9005 :       gcc_assert (!inner_stmt);
    6539                 :       9005 :       expand_oacc_for (region, &fd);
    6540                 :            :     }
    6541                 :      20444 :   else if (gimple_omp_for_kind (fd.for_stmt) == GF_OMP_FOR_KIND_TASKLOOP)
    6542                 :            :     {
    6543                 :       1180 :       if (gimple_omp_for_combined_into_p (fd.for_stmt))
    6544                 :        590 :         expand_omp_taskloop_for_inner (region, &fd, inner_stmt);
    6545                 :            :       else
    6546                 :        590 :         expand_omp_taskloop_for_outer (region, &fd, inner_stmt);
    6547                 :            :     }
    6548                 :      19264 :   else if (fd.sched_kind == OMP_CLAUSE_SCHEDULE_STATIC
    6549                 :      15643 :            && !fd.have_ordered)
    6550                 :            :     {
    6551                 :      15338 :       if (fd.chunk_size == NULL)
    6552                 :      10057 :         expand_omp_for_static_nochunk (region, &fd, inner_stmt);
    6553                 :            :       else
    6554                 :       5281 :         expand_omp_for_static_chunk (region, &fd, inner_stmt);
    6555                 :            :     }
    6556                 :            :   else
    6557                 :            :     {
    6558                 :       3926 :       int fn_index, start_ix, next_ix;
    6559                 :       3926 :       unsigned HOST_WIDE_INT sched = 0;
    6560                 :       3926 :       tree sched_arg = NULL_TREE;
    6561                 :            : 
    6562                 :       3926 :       gcc_assert (gimple_omp_for_kind (fd.for_stmt)
    6563                 :            :                   == GF_OMP_FOR_KIND_FOR);
    6564                 :       3926 :       if (fd.chunk_size == NULL
    6565                 :       1676 :           && fd.sched_kind == OMP_CLAUSE_SCHEDULE_STATIC)
    6566                 :          0 :         fd.chunk_size = integer_zero_node;
    6567                 :       3926 :       switch (fd.sched_kind)
    6568                 :            :         {
    6569                 :       1676 :         case OMP_CLAUSE_SCHEDULE_RUNTIME:
    6570                 :       1676 :           if ((fd.sched_modifiers & OMP_CLAUSE_SCHEDULE_NONMONOTONIC) != 0
    6571                 :         30 :               && fd.lastprivate_conditional == 0)
    6572                 :            :             {
    6573                 :         30 :               gcc_assert (!fd.have_ordered);
    6574                 :            :               fn_index = 6;
    6575                 :            :               sched = 4;
    6576                 :            :             }
    6577                 :       1646 :           else if ((fd.sched_modifiers & OMP_CLAUSE_SCHEDULE_MONOTONIC) == 0
    6578                 :       1612 :                    && !fd.have_ordered
    6579                 :       1569 :                    && fd.lastprivate_conditional == 0)
    6580                 :            :             fn_index = 7;
    6581                 :            :           else
    6582                 :            :             {
    6583                 :         88 :               fn_index = 3;
    6584                 :         88 :               sched = (HOST_WIDE_INT_1U << 31);
    6585                 :            :             }
    6586                 :            :           break;
    6587                 :       1945 :         case OMP_CLAUSE_SCHEDULE_DYNAMIC:
    6588                 :       1945 :         case OMP_CLAUSE_SCHEDULE_GUIDED:
    6589                 :       1945 :           if ((fd.sched_modifiers & OMP_CLAUSE_SCHEDULE_MONOTONIC) == 0
    6590                 :       1897 :               && !fd.have_ordered
    6591                 :       1743 :               && fd.lastprivate_conditional == 0)
    6592                 :            :             {
    6593                 :       1722 :               fn_index = 3 + fd.sched_kind;
    6594                 :       1722 :               sched = (fd.sched_kind == OMP_CLAUSE_SCHEDULE_GUIDED) + 2;
    6595                 :            :               break;
    6596                 :            :             }
    6597                 :        223 :           fn_index = fd.sched_kind;
    6598                 :        223 :           sched = (fd.sched_kind == OMP_CLAUSE_SCHEDULE_GUIDED) + 2;
    6599                 :        223 :           sched += (HOST_WIDE_INT_1U << 31);
    6600                 :        223 :           break;
    6601                 :        305 :         case OMP_CLAUSE_SCHEDULE_STATIC:
    6602                 :        305 :           gcc_assert (fd.have_ordered);
    6603                 :            :           fn_index = 0;
    6604                 :            :           sched = (HOST_WIDE_INT_1U << 31) + 1;
    6605                 :            :           break;
    6606                 :          0 :         default:
    6607                 :          0 :           gcc_unreachable ();
    6608                 :            :         }
    6609                 :       3926 :       if (!fd.ordered)
    6610                 :       3678 :         fn_index += fd.have_ordered * 8;
    6611                 :       3926 :       if (fd.ordered)
    6612                 :        248 :         start_ix = ((int)BUILT_IN_GOMP_LOOP_DOACROSS_STATIC_START) + fn_index;
    6613                 :            :       else
    6614                 :       3678 :         start_ix = ((int)BUILT_IN_GOMP_LOOP_STATIC_START) + fn_index;
    6615                 :       3926 :       next_ix = ((int)BUILT_IN_GOMP_LOOP_STATIC_NEXT) + fn_index;
    6616                 :       3926 :       if (fd.have_reductemp || fd.have_pointer_condtemp)
    6617                 :            :         {
    6618                 :        131 :           if (fd.ordered)
    6619                 :            :             start_ix = (int)BUILT_IN_GOMP_LOOP_DOACROSS_START;
    6620                 :         99 :           else if (fd.have_ordered)
    6621                 :            :             start_ix = (int)BUILT_IN_GOMP_LOOP_ORDERED_START;
    6622                 :            :           else
    6623                 :         65 :             start_ix = (int)BUILT_IN_GOMP_LOOP_START;
    6624                 :        131 :           sched_arg = build_int_cstu (long_integer_type_node, sched);
    6625                 :        131 :           if (!fd.chunk_size)
    6626                 :         30 :             fd.chunk_size = integer_zero_node;
    6627                 :            :         }
    6628                 :       3926 :       if (fd.iter_type == long_long_unsigned_type_node)
    6629                 :            :         {
    6630                 :        762 :           start_ix += ((int)BUILT_IN_GOMP_LOOP_ULL_STATIC_START
    6631                 :            :                         - (int)BUILT_IN_GOMP_LOOP_STATIC_START);
    6632                 :        762 :           next_ix += ((int)BUILT_IN_GOMP_LOOP_ULL_STATIC_NEXT
    6633                 :            :                       - (int)BUILT_IN_GOMP_LOOP_STATIC_NEXT);
    6634                 :            :         }
    6635                 :       3926 :       expand_omp_for_generic (region, &fd, (enum built_in_function) start_ix,
    6636                 :            :                               (enum built_in_function) next_ix, sched_arg,
    6637                 :            :                               inner_stmt);
    6638                 :            :     }
    6639                 :            : 
    6640                 :      36360 :   if (gimple_in_ssa_p (cfun))
    6641                 :        555 :     update_ssa (TODO_update_ssa_only_virtuals);
    6642                 :      36360 : }
    6643                 :            : 
    6644                 :            : /* Expand code for an OpenMP sections directive.  In pseudo code, we generate
    6645                 :            : 
    6646                 :            :         v = GOMP_sections_start (n);
    6647                 :            :     L0:
    6648                 :            :         switch (v)
    6649                 :            :           {
    6650                 :            :           case 0:
    6651                 :            :             goto L2;
    6652                 :            :           case 1:
    6653                 :            :             section 1;
    6654                 :            :             goto L1;
    6655                 :            :           case 2:
    6656                 :            :             ...
    6657                 :            :           case n:
    6658                 :            :             ...
    6659                 :            :           default:
    6660                 :            :             abort ();
    6661                 :            :           }
    6662                 :            :     L1:
    6663                 :            :         v = GOMP_sections_next ();
    6664                 :            :         goto L0;
    6665                 :            :     L2:
    6666                 :            :         reduction;
    6667                 :            : 
    6668                 :            :     If this is a combined parallel sections, replace the call to
    6669                 :            :     GOMP_sections_start with call to GOMP_sections_next.  */
    6670                 :            : 
    6671                 :            : static void
    6672                 :        343 : expand_omp_sections (struct omp_region *region)
    6673                 :            : {
    6674                 :        343 :   tree t, u, vin = NULL, vmain, vnext, l2;
    6675                 :        343 :   unsigned len;
    6676                 :        343 :   basic_block entry_bb, l0_bb, l1_bb, l2_bb, default_bb;
    6677                 :        343 :   gimple_stmt_iterator si, switch_si;
    6678                 :        343 :   gomp_sections *sections_stmt;
    6679                 :        343 :   gimple *stmt;
    6680                 :        343 :   gomp_continue *cont;
    6681                 :        343 :   edge_iterator ei;
    6682                 :        343 :   edge e;
    6683                 :        343 :   struct omp_region *inner;
    6684                 :        343 :   unsigned i, casei;
    6685                 :        343 :   bool exit_reachable = region->cont != NULL;
    6686                 :            : 
    6687                 :        343 :   gcc_assert (region->exit != NULL);
    6688                 :        343 :   entry_bb = region->entry;
    6689                 :        343 :   l0_bb = single_succ (entry_bb);
    6690                 :        343 :   l1_bb = region->cont;
    6691                 :        343 :   l2_bb = region->exit;
    6692                 :        650 :   if (single_pred_p (l2_bb) && single_pred (l2_bb) == l0_bb)
    6693                 :        284 :     l2 = gimple_block_label (l2_bb);
    6694                 :            :   else
    6695                 :            :     {
    6696                 :            :       /* This can happen if there are reductions.  */
    6697                 :         59 :       len = EDGE_COUNT (l0_bb->succs);
    6698                 :         59 :       gcc_assert (len > 0);
    6699                 :         59 :       e = EDGE_SUCC (l0_bb, len - 1);
    6700                 :         59 :       si = gsi_last_nondebug_bb (e->dest);
    6701                 :         59 :       l2 = NULL_TREE;
    6702                 :         59 :       if (gsi_end_p (si)
    6703                 :         59 :           || gimple_code (gsi_stmt (si)) != GIMPLE_OMP_SECTION)
    6704                 :         59 :         l2 = gimple_block_label (e->dest);
    6705                 :            :       else
    6706                 :          0 :         FOR_EACH_EDGE (e, ei, l0_bb->succs)
    6707                 :            :           {
    6708                 :          0 :             si = gsi_last_nondebug_bb (e->dest);
    6709                 :          0 :             if (gsi_end_p (si)
    6710                 :          0 :                 || gimple_code (gsi_stmt (si)) != GIMPLE_OMP_SECTION)
    6711                 :            :               {
    6712                 :          0 :                 l2 = gimple_block_label (e->dest);
    6713                 :          0 :                 break;
    6714                 :            :               }
    6715                 :            :           }
    6716                 :            :     }
    6717                 :        343 :   if (exit_reachable)
    6718                 :        288 :     default_bb = create_empty_bb (l1_bb->prev_bb);
    6719                 :            :   else
    6720                 :         55 :     default_bb = create_empty_bb (l0_bb);
    6721                 :            : 
    6722                 :            :   /* We will build a switch() with enough cases for all the
    6723                 :            :      GIMPLE_OMP_SECTION regions, a '0' case to handle the end of more work
    6724                 :            :      and a default case to abort if something goes wrong.  */
    6725                 :        343 :   len = EDGE_COUNT (l0_bb->succs);
    6726                 :            : 
    6727                 :            :   /* Use vec::quick_push on label_vec throughout, since we know the size
    6728                 :            :      in advance.  */
    6729                 :        343 :   auto_vec<tree> label_vec (len);
    6730                 :            : 
    6731                 :            :   /* The call to GOMP_sections_start goes in ENTRY_BB, replacing the
    6732                 :            :      GIMPLE_OMP_SECTIONS statement.  */
    6733                 :        343 :   si = gsi_last_nondebug_bb (entry_bb);
    6734                 :        343 :   sections_stmt = as_a <gomp_sections *> (gsi_stmt (si));
    6735                 :        343 :   gcc_assert (gimple_code (sections_stmt) == GIMPLE_OMP_SECTIONS);
    6736                 :        343 :   vin = gimple_omp_sections_control (sections_stmt);
    6737                 :        343 :   tree clauses = gimple_omp_sections_clauses (sections_stmt);
    6738                 :        343 :   tree reductmp = omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_);
    6739                 :        343 :   tree condtmp = omp_find_clause (clauses, OMP_CLAUSE__CONDTEMP_);
    6740                 :        343 :   tree cond_var = NULL_TREE;
    6741                 :        343 :   if (reductmp || condtmp)
    6742                 :            :     {
    6743                 :         19 :       tree reductions = null_pointer_node, mem = null_pointer_node;
    6744                 :         19 :       tree memv = NULL_TREE, condtemp = NULL_TREE;
    6745                 :         19 :       gimple_stmt_iterator gsi = gsi_none ();
    6746                 :         19 :       gimple *g = NULL;
    6747                 :         19 :       if (reductmp)
    6748                 :            :         {
    6749                 :          9 :           reductions = OMP_CLAUSE_DECL (reductmp);
    6750                 :          9 :           gcc_assert (TREE_CODE (reductions) == SSA_NAME);
    6751                 :          9 :           g = SSA_NAME_DEF_STMT (reductions);
    6752                 :          9 :           reductions = gimple_assign_rhs1 (g);
    6753                 :          9 :           OMP_CLAUSE_DECL (reductmp) = reductions;
    6754                 :          9 :           gsi = gsi_for_stmt (g);
    6755                 :            :         }
    6756                 :            :       else
    6757                 :         10 :         gsi = si;
    6758                 :         19 :       if (condtmp)
    6759                 :            :         {
    6760                 :         12 :           condtemp = OMP_CLAUSE_DECL (condtmp);
    6761                 :         12 :           tree c = omp_find_clause (OMP_CLAUSE_CHAIN (condtmp),
    6762                 :            :                                     OMP_CLAUSE__CONDTEMP_);
    6763                 :         12 :           cond_var = OMP_CLAUSE_DECL (c);
    6764                 :         12 :           tree type = TREE_TYPE (condtemp);
    6765                 :         12 :           memv = create_tmp_var (type);
    6766                 :         12 :           TREE_ADDRESSABLE (memv) = 1;
    6767                 :         12 :           unsigned cnt = 0;
    6768                 :         74 :           for (c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
    6769                 :         62 :             if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
    6770                 :         62 :                 && OMP_CLAUSE_LASTPRIVATE_CONDITIONAL (c))
    6771                 :         24 :               ++cnt;
    6772                 :         12 :           unsigned HOST_WIDE_INT sz
    6773                 :         12 :             = tree_to_uhwi (TYPE_SIZE_UNIT (TREE_TYPE (type))) * cnt;
    6774                 :         12 :           expand_omp_build_assign (&gsi, memv, build_int_cst (type, sz),
    6775                 :            :                                    false);
    6776                 :         12 :           mem = build_fold_addr_expr (memv);
    6777                 :            :         }
    6778                 :         19 :       t = build_int_cst (unsigned_type_node, len - 1);
    6779                 :         19 :       u = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS2_START);
    6780                 :         19 :       stmt = gimple_build_call (u, 3, t, reductions, mem);
    6781                 :         19 :       gimple_call_set_lhs (stmt, vin);
    6782                 :         19 :       gsi_insert_before (&gsi, stmt, GSI_SAME_STMT);
    6783                 :         19 :       if (condtmp)
    6784                 :            :         {
    6785                 :         12 :           expand_omp_build_assign (&gsi, condtemp, memv, false);
    6786                 :         24 :           tree t = build2 (PLUS_EXPR, TREE_TYPE (cond_var),
    6787                 :         12 :                            vin, build_one_cst (TREE_TYPE (cond_var)));
    6788                 :         12 :           expand_omp_build_assign (&gsi, cond_var, t, false);
    6789                 :            :         }
    6790                 :         19 :       if (reductmp)
    6791                 :            :         {
    6792                 :          9 :           gsi_remove (&gsi, true);
    6793                 :         28 :           release_ssa_name (gimple_assign_lhs (g));
    6794                 :            :         }
    6795                 :            :     }
    6796                 :        324 :   else if (!is_combined_parallel (region))
    6797                 :            :     {
    6798                 :            :       /* If we are not inside a combined parallel+sections region,
    6799                 :            :          call GOMP_sections_start.  */
    6800                 :        227 :       t = build_int_cst (unsigned_type_node, len - 1);
    6801                 :        227 :       u = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS_START);
    6802                 :        227 :       stmt = gimple_build_call (u, 1, t);
    6803                 :            :     }
    6804                 :            :   else
    6805                 :            :     {
    6806                 :            :       /* Otherwise, call GOMP_sections_next.  */
    6807                 :         97 :       u = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS_NEXT);
    6808                 :         97 :       stmt = gimple_build_call (u, 0);
    6809                 :            :     }
    6810                 :        343 :   if (!reductmp && !condtmp)
    6811                 :            :     {
    6812                 :        324 :       gimple_call_set_lhs (stmt, vin);
    6813                 :        324 :       gsi_insert_after (&si, stmt, GSI_SAME_STMT);
    6814                 :            :     }
    6815                 :        343 :   gsi_remove (&si, true);
    6816                 :            : 
    6817                 :            :   /* The switch() statement replacing GIMPLE_OMP_SECTIONS_SWITCH goes in
    6818                 :            :      L0_BB.  */
    6819                 :        343 :   switch_si = gsi_last_nondebug_bb (l0_bb);
    6820                 :        343 :   gcc_assert (gimple_code (gsi_stmt (switch_si)) == GIMPLE_OMP_SECTIONS_SWITCH);
    6821                 :        343 :   if (exit_reachable)
    6822                 :            :     {
    6823                 :        288 :       cont = as_a <gomp_continue *> (last_stmt (l1_bb));
    6824                 :        288 :       gcc_assert (gimple_code (cont) == GIMPLE_OMP_CONTINUE);
    6825                 :        288 :       vmain = gimple_omp_continue_control_use (cont);
    6826                 :        288 :       vnext = gimple_omp_continue_control_def (cont);
    6827                 :            :     }
    6828                 :            :   else
    6829                 :            :     {
    6830                 :            :       vmain = vin;
    6831                 :            :       vnext = NULL_TREE;
    6832                 :            :     }
    6833                 :            : 
    6834                 :        343 :   t = build_case_label (build_int_cst (unsigned_type_node, 0), NULL, l2);
    6835                 :        343 :   label_vec.quick_push (t);
    6836                 :        343 :   i = 1;
    6837                 :            : 
    6838                 :            :   /* Convert each GIMPLE_OMP_SECTION into a CASE_LABEL_EXPR.  */
    6839                 :        343 :   for (inner = region->inner, casei = 1;
    6840                 :       1078 :        inner;
    6841                 :        735 :        inner = inner->next, i++, casei++)
    6842                 :            :     {
    6843                 :        735 :       basic_block s_entry_bb, s_exit_bb;
    6844                 :            : 
    6845                 :            :       /* Skip optional reduction region.  */
    6846                 :        735 :       if (inner->type == GIMPLE_OMP_ATOMIC_LOAD)
    6847                 :            :         {
    6848                 :         23 :           --i;
    6849                 :         23 :           --casei;
    6850                 :         23 :           continue;
    6851                 :            :         }
    6852                 :            : 
    6853                 :        712 :       s_entry_bb = inner->entry;
    6854                 :        712 :       s_exit_bb = inner->exit;
    6855                 :            : 
    6856                 :        712 :       t = gimple_block_label (s_entry_bb);
    6857                 :        712 :       u = build_int_cst (unsigned_type_node, casei);
    6858                 :        712 :       u = build_case_label (u, NULL, t);
    6859                 :        712 :       label_vec.quick_push (u);
    6860                 :            : 
    6861                 :        712 :       si = gsi_last_nondebug_bb (s_entry_bb);
    6862                 :        712 :       gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_SECTION);
    6863                 :        712 :       gcc_assert (i < len || gimple_omp_section_last_p (gsi_stmt (si)));
    6864                 :        712 :       gsi_remove (&si, true);
    6865                 :        712 :       single_succ_edge (s_entry_bb)->flags = EDGE_FALLTHRU;
    6866                 :            : 
    6867                 :        712 :       if (s_exit_bb == NULL)
    6868                 :        145 :         continue;
    6869                 :            : 
    6870                 :        567 :       si = gsi_last_nondebug_bb (s_exit_bb);
    6871                 :        567 :       gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_RETURN);
    6872                 :        567 :       gsi_remove (&si, true);
    6873                 :            : 
    6874                 :        567 :       single_succ_edge (s_exit_bb)->flags = EDGE_FALLTHRU;
    6875                 :            :     }
    6876                 :            : 
    6877                 :            :   /* Error handling code goes in DEFAULT_BB.  */
    6878                 :        343 :   t = gimple_block_label (default_bb);
    6879                 :        343 :   u = build_case_label (NULL, NULL, t);
    6880                 :        343 :   make_edge (l0_bb, default_bb, 0);
    6881                 :        343 :   add_bb_to_loop (default_bb, current_loops->tree_root);
    6882                 :            : 
    6883                 :        343 :   stmt = gimple_build_switch (vmain, u, label_vec);
    6884                 :        343 :   gsi_insert_after (&switch_si, stmt, GSI_SAME_STMT);
    6885                 :        343 :   gsi_remove (&switch_si, true);
    6886                 :            : 
    6887                 :        343 :   si = gsi_start_bb (default_bb);
    6888                 :        343 :   stmt = gimple_build_call (builtin_decl_explicit (BUILT_IN_TRAP), 0);
    6889                 :        343 :   gsi_insert_after (&si, stmt, GSI_CONTINUE_LINKING);
    6890                 :            : 
    6891                 :        343 :   if (exit_reachable)
    6892                 :            :     {
    6893                 :        288 :       tree bfn_decl;
    6894                 :            : 
    6895                 :            :       /* Code to get the next section goes in L1_BB.  */
    6896                 :        288 :       si = gsi_last_nondebug_bb (l1_bb);
    6897                 :        288 :       gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_CONTINUE);
    6898                 :            : 
    6899                 :        288 :       bfn_decl = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS_NEXT);
    6900                 :        288 :       stmt = gimple_build_call (bfn_decl, 0);
    6901                 :        288 :       gimple_call_set_lhs (stmt, vnext);
    6902                 :        288 :       gsi_insert_before (&si, stmt, GSI_SAME_STMT);
    6903                 :        288 :       if (cond_var)
    6904                 :            :         {
    6905                 :         24 :           tree t = build2 (PLUS_EXPR, TREE_TYPE (cond_var),
    6906                 :         12 :                            vnext, build_one_cst (TREE_TYPE (cond_var)));
    6907                 :         12 :           expand_omp_build_assign (&si, cond_var, t, false);
    6908                 :            :         }
    6909                 :        288 :       gsi_remove (&si, true);
    6910                 :            : 
    6911                 :        288 :       single_succ_edge (l1_bb)->flags = EDGE_FALLTHRU;
    6912                 :            :     }
    6913                 :            : 
    6914                 :            :   /* Cleanup function replaces GIMPLE_OMP_RETURN in EXIT_BB.  */
    6915                 :        343 :   si = gsi_last_nondebug_bb (l2_bb);
    6916                 :        343 :   if (gimple_omp_return_nowait_p (gsi_stmt (si)))
    6917                 :        209 :     t = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS_END_NOWAIT);
    6918                 :        134 :   else if (gimple_omp_return_lhs (gsi_stmt (si)))
    6919                 :          0 :     t = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS_END_CANCEL);
    6920                 :            :   else
    6921                 :        134 :     t = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS_END);
    6922                 :        343 :   stmt = gimple_build_call (t, 0);
    6923                 :        343 :   if (gimple_omp_return_lhs (gsi_stmt (si)))
    6924                 :          0 :     gimple_call_set_lhs (stmt, gimple_omp_return_lhs (gsi_stmt (si)));
    6925                 :        343 :   gsi_insert_after (&si, stmt, GSI_SAME_STMT);
    6926                 :        343 :   gsi_remove (&si, true);
    6927                 :            : 
    6928                 :        343 :   set_immediate_dominator (CDI_DOMINATORS, default_bb, l0_bb);
    6929                 :        343 : }
    6930                 :            : 
    6931                 :            : /* Expand code for an OpenMP single directive.  We've already expanded
    6932                 :            :    much of the code, here we simply place the GOMP_barrier call.  */
    6933                 :            : 
    6934                 :            : static void
    6935                 :        941 : expand_omp_single (struct omp_region *region)
    6936                 :            : {
    6937                 :        941 :   basic_block entry_bb, exit_bb;
    6938                 :        941 :   gimple_stmt_iterator si;
    6939                 :            : 
    6940                 :        941 :   entry_bb = region->entry;
    6941                 :        941 :   exit_bb = region->exit;
    6942                 :            : 
    6943                 :        941 :   si = gsi_last_nondebug_bb (entry_bb);
    6944                 :        941 :   gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_SINGLE);
    6945                 :        941 :   gsi_remove (&si, true);
    6946                 :        941 :   single_succ_edge (entry_bb)->flags = EDGE_FALLTHRU;
    6947                 :            : 
    6948                 :        941 :   si = gsi_last_nondebug_bb (exit_bb);
    6949                 :        941 :   if (!gimple_omp_return_nowait_p (gsi_stmt (si)))
    6950                 :            :     {
    6951                 :        760 :       tree t = gimple_omp_return_lhs (gsi_stmt (si));
    6952                 :        760 :       gsi_insert_after (&si, omp_build_barrier (t), GSI_SAME_STMT);
    6953                 :            :     }
    6954                 :        941 :   gsi_remove (&si, true);
    6955                 :        941 :   single_succ_edge (exit_bb)->flags = EDGE_FALLTHRU;
    6956                 :        941 : }
    6957                 :            : 
    6958                 :            : /* Generic expansion for OpenMP synchronization directives: master,
    6959                 :            :    ordered and critical.  All we need to do here is remove the entry
    6960                 :            :    and exit markers for REGION.  */
    6961                 :            : 
    6962                 :            : static void
    6963                 :       5709 : expand_omp_synch (struct omp_region *region)
    6964                 :            : {
    6965                 :       5709 :   basic_block entry_bb, exit_bb;
    6966                 :       5709 :   gimple_stmt_iterator si;
    6967                 :            : 
    6968                 :       5709 :   entry_bb = region->entry;
    6969                 :       5709 :   exit_bb = region->exit;
    6970                 :            : 
    6971                 :       5709 :   si = gsi_last_nondebug_bb (entry_bb);
    6972                 :       5709 :   gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_SINGLE
    6973                 :            :               || gimple_code (gsi_stmt (si)) == GIMPLE_OMP_MASTER
    6974                 :            :               || gimple_code (gsi_stmt (si)) == GIMPLE_OMP_TASKGROUP
    6975                 :            :               || gimple_code (gsi_stmt (si)) == GIMPLE_OMP_ORDERED
    6976                 :            :               || gimple_code (gsi_stmt (si)) == GIMPLE_OMP_CRITICAL
    6977                 :            :               || gimple_code (gsi_stmt (si)) == GIMPLE_OMP_TEAMS);
    6978                 :       5709 :   if (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_TEAMS
    6979                 :       5709 :       && gimple_omp_teams_host (as_a <gomp_teams *> (gsi_stmt (si))))
    6980                 :            :     {
    6981                 :        940 :       expand_omp_taskreg (region);
    6982                 :        940 :       return;
    6983                 :            :     }
    6984                 :       4769 :   gsi_remove (&si, true);
    6985                 :       4769 :   single_succ_edge (entry_bb)->flags = EDGE_FALLTHRU;
    6986                 :            : 
    6987                 :       4769 :   if (exit_bb)
    6988                 :            :     {
    6989                 :       4741 :       si = gsi_last_nondebug_bb (exit_bb);
    6990                 :       4741 :       gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_RETURN);
    6991                 :       4741 :       gsi_remove (&si, true);
    6992                 :       4741 :       single_succ_edge (exit_bb)->flags = EDGE_FALLTHRU;
    6993                 :            :     }
    6994                 :            : }
    6995                 :            : 
    6996                 :            : /* Translate enum omp_memory_order to enum memmodel.  The two enums
    6997                 :            :    are using different numbers so that OMP_MEMORY_ORDER_UNSPECIFIED
    6998                 :            :    is 0.  */
    6999                 :            : 
    7000                 :            : static enum memmodel
    7001                 :       4561 : omp_memory_order_to_memmodel (enum omp_memory_order mo)
    7002                 :            : {
    7003                 :          0 :   switch (mo)
    7004                 :            :     {
    7005                 :            :     case OMP_MEMORY_ORDER_RELAXED: return MEMMODEL_RELAXED;
    7006                 :            :     case OMP_MEMORY_ORDER_ACQUIRE: return MEMMODEL_ACQUIRE;
    7007                 :            :     case OMP_MEMORY_ORDER_RELEASE: return MEMMODEL_RELEASE;
    7008                 :            :     case OMP_MEMORY_ORDER_ACQ_REL: return MEMMODEL_ACQ_REL;
    7009                 :            :     case OMP_MEMORY_ORDER_SEQ_CST: return MEMMODEL_SEQ_CST;
    7010                 :          0 :     default: gcc_unreachable ();
    7011                 :            :     }
    7012                 :            : }
    7013                 :            : 
    7014                 :            : /* A subroutine of expand_omp_atomic.  Attempt to implement the atomic
    7015                 :            :    operation as a normal volatile load.  */
    7016                 :            : 
    7017                 :            : static bool
    7018                 :        640 : expand_omp_atomic_load (basic_block load_bb, tree addr,
    7019                 :            :                         tree loaded_val, int index)
    7020                 :            : {
    7021                 :        640 :   enum built_in_function tmpbase;
    7022                 :        640 :   gimple_stmt_iterator gsi;
    7023                 :        640 :   basic_block store_bb;
    7024                 :        640 :   location_t loc;
    7025                 :        640 :   gimple *stmt;
    7026                 :        640 :   tree decl, call, type, itype;
    7027                 :            : 
    7028                 :        640 :   gsi = gsi_last_nondebug_bb (load_bb);
    7029                 :        640 :   stmt = gsi_stmt (gsi);
    7030                 :        640 :   gcc_assert (gimple_code (stmt) == GIMPLE_OMP_ATOMIC_LOAD);
    7031                 :        640 :   loc = gimple_location (stmt);
    7032                 :            : 
    7033                 :            :   /* ??? If the target does not implement atomic_load_optab[mode], and mode
    7034                 :            :      is smaller than word size, then expand_atomic_load assumes that the load
    7035                 :            :      is atomic.  We could avoid the builtin entirely in this case.  */
    7036                 :            : 
    7037                 :        640 :   tmpbase = (enum built_in_function) (BUILT_IN_ATOMIC_LOAD_N + index + 1);
    7038                 :        640 :   decl = builtin_decl_explicit (tmpbase);
    7039                 :        640 :   if (decl == NULL_TREE)
    7040                 :            :     return false;
    7041                 :            : 
    7042                 :        640 :   type = TREE_TYPE (loaded_val);
    7043                 :        640 :   itype = TREE_TYPE (TREE_TYPE (decl));
    7044                 :            : 
    7045                 :        640 :   enum omp_memory_order omo = gimple_omp_atomic_memory_order (stmt);
    7046                 :        640 :   tree mo = build_int_cst (NULL, omp_memory_order_to_memmodel (omo));
    7047                 :        640 :   call = build_call_expr_loc (loc, decl, 2, addr, mo);
    7048                 :        640 :   if (!useless_type_conversion_p (type, itype))
    7049                 :        638 :     call = fold_build1_loc (loc, VIEW_CONVERT_EXPR, type, call);
    7050                 :        640 :   call = build2_loc (loc, MODIFY_EXPR, void_type_node, loaded_val, call);
    7051                 :            : 
    7052                 :        640 :   force_gimple_operand_gsi (&gsi, call, true, NULL_TREE, true, GSI_SAME_STMT);
    7053                 :        640 :   gsi_remove (&gsi, true);
    7054                 :            : 
    7055                 :        640 :   store_bb = single_succ (load_bb);
    7056                 :        640 :   gsi = gsi_last_nondebug_bb (store_bb);
    7057                 :        640 :   gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_ATOMIC_STORE);
    7058                 :        640 :   gsi_remove (&gsi, true);
    7059                 :            : 
    7060                 :        640 :   if (gimple_in_ssa_p (cfun))
    7061                 :          0 :     update_ssa (TODO_update_ssa_no_phi);
    7062                 :            : 
    7063                 :            :   return true;
    7064                 :            : }
    7065                 :            : 
    7066                 :            : /* A subroutine of expand_omp_atomic.  Attempt to implement the atomic
    7067                 :            :    operation as a normal volatile store.  */
    7068                 :            : 
    7069                 :            : static bool
    7070                 :        724 : expand_omp_atomic_store (basic_block load_bb, tree addr,
    7071                 :            :                          tree loaded_val, tree stored_val, int index)
    7072                 :            : {
    7073                 :        724 :   enum built_in_function tmpbase;
    7074                 :        724 :   gimple_stmt_iterator gsi;
    7075                 :        724 :   basic_block store_bb = single_succ (load_bb);
    7076                 :        724 :   location_t loc;
    7077                 :        724 :   gimple *stmt;
    7078                 :        724 :   tree decl, call, type, itype;
    7079                 :        724 :   machine_mode imode;
    7080                 :        724 :   bool exchange;
    7081                 :            : 
    7082                 :        724 :   gsi = gsi_last_nondebug_bb (load_bb);
    7083                 :        724 :   stmt = gsi_stmt (gsi);
    7084                 :        724 :   gcc_assert (gimple_code (stmt) == GIMPLE_OMP_ATOMIC_LOAD);
    7085                 :            : 
    7086                 :            :   /* If the load value is needed, then this isn't a store but an exchange.  */
    7087                 :        724 :   exchange = gimple_omp_atomic_need_value_p (stmt);
    7088                 :            : 
    7089                 :        724 :   gsi = gsi_last_nondebug_bb (store_bb);
    7090                 :        724 :   stmt = gsi_stmt (gsi);
    7091                 :        724 :   gcc_assert (gimple_code (stmt) == GIMPLE_OMP_ATOMIC_STORE);
    7092                 :        724 :   loc = gimple_location (stmt);
    7093                 :            : 
    7094                 :            :   /* ??? If the target does not implement atomic_store_optab[mode], and mode
    7095                 :            :      is smaller than word size, then expand_atomic_store assumes that the store
    7096                 :            :      is atomic.  We could avoid the builtin entirely in this case.  */
    7097                 :            : 
    7098                 :        724 :   tmpbase = (exchange ? BUILT_IN_ATOMIC_EXCHANGE_N : BUILT_IN_ATOMIC_STORE_N);
    7099                 :        724 :   tmpbase = (enum built_in_function) ((int) tmpbase + index + 1);
    7100                 :        724 :   decl = builtin_decl_explicit (tmpbase);
    7101                 :        724 :   if (decl == NULL_TREE)
    7102                 :            :     return false;
    7103                 :            : 
    7104                 :        724 :   type = TREE_TYPE (stored_val);
    7105                 :            : 
    7106                 :            :   /* Dig out the type of the function's second argument.  */
    7107                 :        724 :   itype = TREE_TYPE (decl);
    7108                 :        724 :   itype = TYPE_ARG_TYPES (itype);
    7109                 :        724 :   itype = TREE_CHAIN (itype);
    7110                 :        724 :   itype = TREE_VALUE (itype);
    7111                 :        724 :   imode = TYPE_MODE (itype);
    7112                 :            : 
    7113                 :        724 :   if (exchange && !can_atomic_exchange_p (imode, true))
    7114                 :            :     return false;
    7115                 :            : 
    7116                 :        724 :   if (!useless_type_conversion_p (itype, type))
    7117                 :        724 :     stored_val = fold_build1_loc (loc, VIEW_CONVERT_EXPR, itype, stored_val);
    7118                 :        724 :   enum omp_memory_order omo = gimple_omp_atomic_memory_order (stmt);
    7119                 :        724 :   tree mo = build_int_cst (NULL, omp_memory_order_to_memmodel (omo));
    7120                 :        724 :   call = build_call_expr_loc (loc, decl, 3, addr, stored_val, mo);
    7121                 :        724 :   if (exchange)
    7122                 :            :     {
    7123                 :         82 :       if (!useless_type_conversion_p (type, itype))
    7124                 :         82 :         call = build1_loc (loc, VIEW_CONVERT_EXPR, type, call);
    7125                 :         82 :       call = build2_loc (loc, MODIFY_EXPR, void_type_node, loaded_val, call);
    7126                 :            :     }
    7127                 :            : 
    7128                 :        724 :   force_gimple_operand_gsi (&gsi, call, true, NULL_TREE, true, GSI_SAME_STMT);
    7129                 :        724 :   gsi_remove (&gsi, true);
    7130                 :            : 
    7131                 :            :   /* Remove the GIMPLE_OMP_ATOMIC_LOAD that we verified above.  */
    7132                 :        724 :   gsi = gsi_last_nondebug_bb (load_bb);
    7133                 :        724 :   gsi_remove (&gsi, true);
    7134                 :            : 
    7135                 :        724 :   if (gimple_in_ssa_p (cfun))
    7136                 :          0 :     update_ssa (TODO_update_ssa_no_phi);
    7137                 :            : 
    7138                 :            :   return true;
    7139                 :            : }
    7140                 :            : 
    7141                 :            : /* A subroutine of expand_omp_atomic.  Attempt to implement the atomic
    7142                 :            :    operation as a __atomic_fetch_op builtin.  INDEX is log2 of the
    7143                 :            :    size of the data type, and thus usable to find the index of the builtin
    7144                 :            :    decl.  Returns false if the expression is not of the proper form.  */
    7145                 :            : 
    7146                 :            : static bool
    7147                 :       3555 : expand_omp_atomic_fetch_op (basic_block load_bb,
    7148                 :            :                             tree addr, tree loaded_val,
    7149                 :            :                             tree stored_val, int index)
    7150                 :            : {
    7151                 :       3555 :   enum built_in_function oldbase, newbase, tmpbase;
    7152                 :       3555 :   tree decl, itype, call;
    7153                 :       3555 :   tree lhs, rhs;
    7154                 :       3555 :   basic_block store_bb = single_succ (load_bb);
    7155                 :       3555 :   gimple_stmt_iterator gsi;
    7156                 :       3555 :   gimple *stmt;
    7157                 :       3555 :   location_t loc;
    7158                 :       3555 :   enum tree_code code;
    7159                 :       3555 :   bool need_old, need_new;
    7160                 :       3555 :   machine_mode imode;
    7161                 :            : 
    7162                 :            :   /* We expect to find the following sequences:
    7163                 :            : 
    7164                 :            :    load_bb:
    7165                 :            :        GIMPLE_OMP_ATOMIC_LOAD (tmp, mem)
    7166                 :            : 
    7167                 :            :    store_bb:
    7168                 :            :        val = tmp OP something; (or: something OP tmp)
    7169                 :            :        GIMPLE_OMP_STORE (val)
    7170                 :            : 
    7171                 :            :   ???FIXME: Allow a more flexible sequence.
    7172                 :            :   Perhaps use data flow to pick the statements.
    7173                 :            : 
    7174                 :            :   */
    7175                 :            : 
    7176                 :       3555 :   gsi = gsi_after_labels (store_bb);
    7177                 :       3555 :   stmt = gsi_stmt (gsi);
    7178                 :       3555 :   if (is_gimple_debug (stmt))
    7179                 :            :     {
    7180                 :          0 :       gsi_next_nondebug (&gsi);
    7181                 :          0 :       if (gsi_end_p (gsi))
    7182                 :            :         return false;
    7183                 :            :       stmt = gsi_stmt (gsi);
    7184                 :            :     }
    7185                 :       3555 :   loc = gimple_location (stmt);
    7186                 :       3555 :   if (!is_gimple_assign (stmt))
    7187                 :            :     return false;
    7188                 :       3555 :   gsi_next_nondebug (&gsi);
    7189                 :       3555 :   if (gimple_code (gsi_stmt (gsi)) != GIMPLE_OMP_ATOMIC_STORE)
    7190                 :            :     return false;
    7191                 :       3197 :   need_new = gimple_omp_atomic_need_value_p (gsi_stmt (gsi));
    7192                 :       3197 :   need_old = gimple_omp_atomic_need_value_p (last_stmt (load_bb));
    7193                 :       3197 :   enum omp_memory_order omo
    7194                 :       3197 :     = gimple_omp_atomic_memory_order (last_stmt (load_bb));
    7195                 :       3197 :   enum memmodel mo = omp_memory_order_to_memmodel (omo);
    7196                 :       3197 :   gcc_checking_assert (!need_old || !need_new);
    7197                 :            : 
    7198                 :       3197 :   if (!operand_equal_p (gimple_assign_lhs (stmt), stored_val, 0))
    7199                 :            :     return false;
    7200                 :            : 
    7201                 :            :   /* Check for one of the supported fetch-op operations.  */
    7202                 :       3197 :   code = gimple_assign_rhs_code (stmt);
    7203                 :       3197 :   switch (code)
    7204                 :            :     {
    7205                 :            :     case PLUS_EXPR:
    7206                 :            :     case POINTER_PLUS_EXPR:
    7207                 :            :       oldbase = BUILT_IN_ATOMIC_FETCH_ADD_N;
    7208                 :            :       newbase = BUILT_IN_ATOMIC_ADD_FETCH_N;
    7209                 :            :       break;
    7210                 :         55 :     case MINUS_EXPR:
    7211                 :         55 :       oldbase = BUILT_IN_ATOMIC_FETCH_SUB_N;
    7212                 :         55 :       newbase = BUILT_IN_ATOMIC_SUB_FETCH_N;
    7213                 :         55 :       break;
    7214                 :         91 :     case BIT_AND_EXPR:
    7215                 :         91 :       oldbase = BUILT_IN_ATOMIC_FETCH_AND_N;
    7216                 :         91 :       newbase = BUILT_IN_ATOMIC_AND_FETCH_N;
    7217                 :         91 :       break;
    7218                 :        209 :     case BIT_IOR_EXPR:
    7219                 :        209 :       oldbase = BUILT_IN_ATOMIC_FETCH_OR_N;
    7220                 :        209 :       newbase = BUILT_IN_ATOMIC_OR_FETCH_N;
    7221                 :        209 :       break;
    7222                 :         90 :     case BIT_XOR_EXPR:
    7223                 :         90 :       oldbase = BUILT_IN_ATOMIC_FETCH_XOR_N;
    7224                 :         90 :       newbase = BUILT_IN_ATOMIC_XOR_FETCH_N;
    7225                 :         90 :       break;
    7226                 :            :     default:
    7227                 :            :       return false;
    7228                 :            :     }
    7229                 :            : 
    7230                 :            :   /* Make sure the expression is of the proper form.  */
    7231                 :       2755 :   if (operand_equal_p (gimple_assign_rhs1 (stmt), loaded_val, 0))
    7232                 :       2574 :     rhs = gimple_assign_rhs2 (stmt);
    7233                 :        181 :   else if (commutative_tree_code (gimple_assign_rhs_code (stmt))
    7234                 :        181 :            && operand_equal_p (gimple_assign_rhs2 (stmt), loaded_val, 0))
    7235                 :        149 :     rhs = gimple_assign_rhs1 (stmt);
    7236                 :            :   else
    7237                 :         32 :     return false;
    7238                 :            : 
    7239                 :       5446 :   tmpbase = ((enum built_in_function)
    7240                 :       2723 :              ((need_new ? newbase : oldbase) + index + 1));
    7241                 :       2723 :   decl = builtin_decl_explicit (tmpbase);
    7242                 :       2723 :   if (decl == NULL_TREE)
    7243                 :            :     return false;
    7244                 :       2723 :   itype = TREE_TYPE (TREE_TYPE (decl));
    7245                 :       2723 :   imode = TYPE_MODE (itype);
    7246                 :            : 
    7247                 :            :   /* We could test all of the various optabs involved, but the fact of the
    7248                 :            :      matter is that (with the exception of i486 vs i586 and xadd) all targets
    7249                 :            :      that support any atomic operaton optab also implements compare-and-swap.
    7250                 :            :      Let optabs.c take care of expanding any compare-and-swap loop.  */
    7251                 :       2723 :   if (!can_compare_and_swap_p (imode, true) || !can_atomic_load_p (imode))
    7252                 :          0 :     return false;
    7253                 :            : 
    7254                 :       2723 :   gsi = gsi_last_nondebug_bb (load_bb);
    7255                 :       2723 :   gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_ATOMIC_LOAD);
    7256                 :            : 
    7257                 :            :   /* OpenMP does not imply any barrier-like semantics on its atomic ops.
    7258                 :            :      It only requires that the operation happen atomically.  Thus we can
    7259                 :            :      use the RELAXED memory model.  */
    7260                 :       2723 :   call = build_call_expr_loc (loc, decl, 3, addr,
    7261                 :            :                               fold_convert_loc (loc, itype, rhs),
    7262                 :            :                               build_int_cst (NULL, mo));
    7263                 :            : 
    7264                 :       2723 :   if (need_old || need_new)
    7265                 :            :     {
    7266                 :        366 :       lhs = need_old ? loaded_val : stored_val;
    7267                 :        366 :       call = fold_convert_loc (loc, TREE_TYPE (lhs), call);
    7268                 :        366 :       call = build2_loc (loc, MODIFY_EXPR, void_type_node, lhs, call);
    7269                 :            :     }
    7270                 :            :   else
    7271                 :       2357 :     call = fold_convert_loc (loc, void_type_node, call);
    7272                 :       2723 :   force_gimple_operand_gsi (&gsi, call, true, NULL_TREE, true, GSI_SAME_STMT);
    7273                 :       2723 :   gsi_remove (&gsi, true);
    7274                 :            : 
    7275                 :       2723 :   gsi = gsi_last_nondebug_bb (store_bb);
    7276                 :       2723 :   gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_ATOMIC_STORE);
    7277                 :       2723 :   gsi_remove (&gsi, true);
    7278                 :       2723 :   gsi = gsi_last_nondebug_bb (store_bb);
    7279                 :       2723 :   stmt = gsi_stmt (gsi);
    7280                 :       2723 :   gsi_remove (&gsi, true);
    7281                 :            : 
    7282                 :       2723 :   if (gimple_in_ssa_p (cfun))
    7283                 :            :     {
    7284                 :         33 :       release_defs (stmt);
    7285                 :         33 :       update_ssa (TODO_update_ssa_no_phi);
    7286                 :            :     }
    7287                 :            : 
    7288                 :            :   return true;
    7289                 :            : }
    7290                 :            : 
    7291                 :            : /* A subroutine of expand_omp_atomic.  Implement the atomic operation as:
    7292                 :            : 
    7293                 :            :       oldval = *addr;
    7294                 :            :       repeat:
    7295                 :            :         newval = rhs;    // with oldval replacing *addr in rhs
    7296                 :            :         oldval = __sync_val_compare_and_swap (addr, oldval, newval);
    7297                 :            :         if (oldval != newval)
    7298                 :            :           goto repeat;
    7299                 :            : 
    7300                 :            :    INDEX is log2 of the size of the data type, and thus usable to find the
    7301                 :            :    index of the builtin decl.  */
    7302                 :            : 
    7303                 :            : static bool
    7304                 :       1937 : expand_omp_atomic_pipeline (basic_block load_bb, basic_block store_bb,
    7305                 :            :                             tree addr, tree loaded_val, tree stored_val,
    7306                 :            :                             int index)
    7307                 :            : {
    7308                 :       1937 :   tree loadedi, storedi, initial, new_storedi, old_vali;
    7309                 :       1937 :   tree type, itype, cmpxchg, iaddr, atype;
    7310                 :       1937 :   gimple_stmt_iterator si;
    7311                 :       1937 :   basic_block loop_header = single_succ (load_bb);
    7312                 :       1937 :   gimple *phi, *stmt;
    7313                 :       1937 :   edge e;
    7314                 :       1937 :   enum built_in_function fncode;
    7315                 :            : 
    7316                 :            :   /* ??? We need a non-pointer interface to __atomic_compare_exchange in
    7317                 :            :      order to use the RELAXED memory model effectively.  */
    7318                 :       1937 :   fncode = (enum built_in_function)((int)BUILT_IN_SYNC_VAL_COMPARE_AND_SWAP_N
    7319                 :       1937 :                                     + index + 1);
    7320                 :       1937 :   cmpxchg = builtin_decl_explicit (fncode);
    7321                 :       1937 :   if (cmpxchg == NULL_TREE)
    7322                 :            :     return false;
    7323                 :       1937 :   type = TYPE_MAIN_VARIANT (TREE_TYPE (loaded_val));
    7324                 :       1937 :   atype = type;
    7325                 :       1937 :   itype = TREE_TYPE (TREE_TYPE (cmpxchg));
    7326                 :            : 
    7327                 :       1937 :   if (!can_compare_and_swap_p (TYPE_MODE (itype), true)
    7328                 :       3815 :       || !can_atomic_load_p (TYPE_MODE (itype)))
    7329                 :         61 :     return false;
    7330                 :            : 
    7331                 :            :   /* Load the initial value, replacing the GIMPLE_OMP_ATOMIC_LOAD.  */
    7332                 :       1876 :   si = gsi_last_nondebug_bb (load_bb);
    7333                 :       1876 :   gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_ATOMIC_LOAD);
    7334                 :            : 
    7335                 :            :   /* For floating-point values, we'll need to view-convert them to integers
    7336                 :            :      so that we can perform the atomic compare and swap.  Simplify the
    7337                 :            :      following code by always setting up the "i"ntegral variables.  */
    7338                 :       1876 :   if (!INTEGRAL_TYPE_P (type) && !POINTER_TYPE_P (type))
    7339                 :            :     {
    7340                 :        572 :       tree iaddr_val;
    7341                 :            : 
    7342                 :        572 :       iaddr = create_tmp_reg (build_pointer_type_for_mode (itype, ptr_mode,
    7343                 :            :                                                            true));
    7344                 :        572 :       atype = itype;
    7345                 :        572 :       iaddr_val
    7346                 :        572 :         = force_gimple_operand_gsi (&si,
    7347                 :        572 :                                     fold_convert (TREE_TYPE (iaddr), addr),
    7348                 :            :                                     false, NULL_TREE, true, GSI_SAME_STMT);
    7349                 :        572 :       stmt = gimple_build_assign (iaddr, iaddr_val);
    7350                 :        572 :       gsi_insert_before (&si, stmt, GSI_SAME_STMT);
    7351                 :        572 :       loadedi = create_tmp_var (itype);
    7352                 :        572 :       if (gimple_in_ssa_p (cfun))
    7353                 :         11 :         loadedi = make_ssa_name (loadedi);
    7354                 :            :     }
    7355                 :            :   else
    7356                 :            :     {
    7357                 :            :       iaddr = addr;
    7358                 :            :       loadedi = loaded_val;
    7359                 :            :     }
    7360                 :            : 
    7361                 :       1876 :   fncode = (enum built_in_function) (BUILT_IN_ATOMIC_LOAD_N + index + 1);