LCOV - code coverage report
Current view: top level - gcc - tree-vect-stmts.c (source / functions) Hit Total Coverage
Test: gcc.info Lines: 5032 5975 84.2 %
Date: 2020-05-30 12:51:24 Functions: 91 101 90.1 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : /* Statement Analysis and Transformation for Vectorization
       2                 :            :    Copyright (C) 2003-2020 Free Software Foundation, Inc.
       3                 :            :    Contributed by Dorit Naishlos <dorit@il.ibm.com>
       4                 :            :    and Ira Rosen <irar@il.ibm.com>
       5                 :            : 
       6                 :            : This file is part of GCC.
       7                 :            : 
       8                 :            : GCC is free software; you can redistribute it and/or modify it under
       9                 :            : the terms of the GNU General Public License as published by the Free
      10                 :            : Software Foundation; either version 3, or (at your option) any later
      11                 :            : version.
      12                 :            : 
      13                 :            : GCC is distributed in the hope that it will be useful, but WITHOUT ANY
      14                 :            : WARRANTY; without even the implied warranty of MERCHANTABILITY or
      15                 :            : FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
      16                 :            : for more details.
      17                 :            : 
      18                 :            : You should have received a copy of the GNU General Public License
      19                 :            : along with GCC; see the file COPYING3.  If not see
      20                 :            : <http://www.gnu.org/licenses/>.  */
      21                 :            : 
      22                 :            : #include "config.h"
      23                 :            : #include "system.h"
      24                 :            : #include "coretypes.h"
      25                 :            : #include "backend.h"
      26                 :            : #include "target.h"
      27                 :            : #include "rtl.h"
      28                 :            : #include "tree.h"
      29                 :            : #include "gimple.h"
      30                 :            : #include "ssa.h"
      31                 :            : #include "optabs-tree.h"
      32                 :            : #include "insn-config.h"
      33                 :            : #include "recog.h"            /* FIXME: for insn_data */
      34                 :            : #include "cgraph.h"
      35                 :            : #include "dumpfile.h"
      36                 :            : #include "alias.h"
      37                 :            : #include "fold-const.h"
      38                 :            : #include "stor-layout.h"
      39                 :            : #include "tree-eh.h"
      40                 :            : #include "gimplify.h"
      41                 :            : #include "gimple-iterator.h"
      42                 :            : #include "gimplify-me.h"
      43                 :            : #include "tree-cfg.h"
      44                 :            : #include "tree-ssa-loop-manip.h"
      45                 :            : #include "cfgloop.h"
      46                 :            : #include "explow.h"
      47                 :            : #include "tree-ssa-loop.h"
      48                 :            : #include "tree-scalar-evolution.h"
      49                 :            : #include "tree-vectorizer.h"
      50                 :            : #include "builtins.h"
      51                 :            : #include "internal-fn.h"
      52                 :            : #include "tree-vector-builder.h"
      53                 :            : #include "vec-perm-indices.h"
      54                 :            : #include "tree-ssa-loop-niter.h"
      55                 :            : #include "gimple-fold.h"
      56                 :            : #include "regs.h"
      57                 :            : #include "attribs.h"
      58                 :            : 
      59                 :            : /* For lang_hooks.types.type_for_mode.  */
      60                 :            : #include "langhooks.h"
      61                 :            : 
      62                 :            : /* Return the vectorized type for the given statement.  */
      63                 :            : 
      64                 :            : tree
      65                 :          0 : stmt_vectype (class _stmt_vec_info *stmt_info)
      66                 :            : {
      67                 :          0 :   return STMT_VINFO_VECTYPE (stmt_info);
      68                 :            : }
      69                 :            : 
      70                 :            : /* Return TRUE iff the given statement is in an inner loop relative to
      71                 :            :    the loop being vectorized.  */
      72                 :            : bool
      73                 :     665569 : stmt_in_inner_loop_p (vec_info *vinfo, class _stmt_vec_info *stmt_info)
      74                 :            : {
      75                 :     665569 :   gimple *stmt = STMT_VINFO_STMT (stmt_info);
      76                 :     665569 :   basic_block bb = gimple_bb (stmt);
      77                 :     665569 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
      78                 :     412673 :   class loop* loop;
      79                 :            : 
      80                 :     412673 :   if (!loop_vinfo)
      81                 :            :     return false;
      82                 :            : 
      83                 :     412673 :   loop = LOOP_VINFO_LOOP (loop_vinfo);
      84                 :            : 
      85                 :     412673 :   return (bb->loop_father == loop->inner);
      86                 :            : }
      87                 :            : 
      88                 :            : /* Record the cost of a statement, either by directly informing the 
      89                 :            :    target model or by saving it in a vector for later processing.
      90                 :            :    Return a preliminary estimate of the statement's cost.  */
      91                 :            : 
      92                 :            : unsigned
      93                 :    1222370 : record_stmt_cost (stmt_vector_for_cost *body_cost_vec, int count,
      94                 :            :                   enum vect_cost_for_stmt kind, stmt_vec_info stmt_info,
      95                 :            :                   tree vectype, int misalign,
      96                 :            :                   enum vect_cost_model_location where)
      97                 :            : {
      98                 :    1222370 :   if ((kind == vector_load || kind == unaligned_load)
      99                 :     177149 :       && (stmt_info && STMT_VINFO_GATHER_SCATTER_P (stmt_info)))
     100                 :        303 :     kind = vector_gather_load;
     101                 :    1222370 :   if ((kind == vector_store || kind == unaligned_store)
     102                 :     121115 :       && (stmt_info && STMT_VINFO_GATHER_SCATTER_P (stmt_info)))
     103                 :        128 :     kind = vector_scatter_store;
     104                 :            : 
     105                 :    1222370 :   stmt_info_for_cost si = { count, kind, where, stmt_info, vectype, misalign };
     106                 :    1222370 :   body_cost_vec->safe_push (si);
     107                 :            : 
     108                 :    1222370 :   return (unsigned)
     109                 :    1222370 :       (builtin_vectorization_cost (kind, vectype, misalign) * count);
     110                 :            : }
     111                 :            : 
     112                 :            : /* Return a variable of type ELEM_TYPE[NELEMS].  */
     113                 :            : 
     114                 :            : static tree
     115                 :          0 : create_vector_array (tree elem_type, unsigned HOST_WIDE_INT nelems)
     116                 :            : {
     117                 :          0 :   return create_tmp_var (build_array_type_nelts (elem_type, nelems),
     118                 :          0 :                          "vect_array");
     119                 :            : }
     120                 :            : 
     121                 :            : /* ARRAY is an array of vectors created by create_vector_array.
     122                 :            :    Return an SSA_NAME for the vector in index N.  The reference
     123                 :            :    is part of the vectorization of STMT_INFO and the vector is associated
     124                 :            :    with scalar destination SCALAR_DEST.  */
     125                 :            : 
     126                 :            : static tree
     127                 :          0 : read_vector_array (vec_info *vinfo,
     128                 :            :                    stmt_vec_info stmt_info, gimple_stmt_iterator *gsi,
     129                 :            :                    tree scalar_dest, tree array, unsigned HOST_WIDE_INT n)
     130                 :            : {
     131                 :          0 :   tree vect_type, vect, vect_name, array_ref;
     132                 :          0 :   gimple *new_stmt;
     133                 :            : 
     134                 :          0 :   gcc_assert (TREE_CODE (TREE_TYPE (array)) == ARRAY_TYPE);
     135                 :          0 :   vect_type = TREE_TYPE (TREE_TYPE (array));
     136                 :          0 :   vect = vect_create_destination_var (scalar_dest, vect_type);
     137                 :          0 :   array_ref = build4 (ARRAY_REF, vect_type, array,
     138                 :            :                       build_int_cst (size_type_node, n),
     139                 :            :                       NULL_TREE, NULL_TREE);
     140                 :            : 
     141                 :          0 :   new_stmt = gimple_build_assign (vect, array_ref);
     142                 :          0 :   vect_name = make_ssa_name (vect, new_stmt);
     143                 :          0 :   gimple_assign_set_lhs (new_stmt, vect_name);
     144                 :          0 :   vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
     145                 :            : 
     146                 :          0 :   return vect_name;
     147                 :            : }
     148                 :            : 
     149                 :            : /* ARRAY is an array of vectors created by create_vector_array.
     150                 :            :    Emit code to store SSA_NAME VECT in index N of the array.
     151                 :            :    The store is part of the vectorization of STMT_INFO.  */
     152                 :            : 
     153                 :            : static void
     154                 :          0 : write_vector_array (vec_info *vinfo,
     155                 :            :                     stmt_vec_info stmt_info, gimple_stmt_iterator *gsi,
     156                 :            :                     tree vect, tree array, unsigned HOST_WIDE_INT n)
     157                 :            : {
     158                 :          0 :   tree array_ref;
     159                 :          0 :   gimple *new_stmt;
     160                 :            : 
     161                 :          0 :   array_ref = build4 (ARRAY_REF, TREE_TYPE (vect), array,
     162                 :            :                       build_int_cst (size_type_node, n),
     163                 :            :                       NULL_TREE, NULL_TREE);
     164                 :            : 
     165                 :          0 :   new_stmt = gimple_build_assign (array_ref, vect);
     166                 :          0 :   vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
     167                 :          0 : }
     168                 :            : 
     169                 :            : /* PTR is a pointer to an array of type TYPE.  Return a representation
     170                 :            :    of *PTR.  The memory reference replaces those in FIRST_DR
     171                 :            :    (and its group).  */
     172                 :            : 
     173                 :            : static tree
     174                 :          0 : create_array_ref (tree type, tree ptr, tree alias_ptr_type)
     175                 :            : {
     176                 :          0 :   tree mem_ref;
     177                 :            : 
     178                 :          0 :   mem_ref = build2 (MEM_REF, type, ptr, build_int_cst (alias_ptr_type, 0));
     179                 :            :   /* Arrays have the same alignment as their type.  */
     180                 :          0 :   set_ptr_info_alignment (get_ptr_info (ptr), TYPE_ALIGN_UNIT (type), 0);
     181                 :          0 :   return mem_ref;
     182                 :            : }
     183                 :            : 
     184                 :            : /* Add a clobber of variable VAR to the vectorization of STMT_INFO.
     185                 :            :    Emit the clobber before *GSI.  */
     186                 :            : 
     187                 :            : static void
     188                 :         15 : vect_clobber_variable (vec_info *vinfo, stmt_vec_info stmt_info,
     189                 :            :                        gimple_stmt_iterator *gsi, tree var)
     190                 :            : {
     191                 :         15 :   tree clobber = build_clobber (TREE_TYPE (var));
     192                 :         15 :   gimple *new_stmt = gimple_build_assign (var, clobber);
     193                 :         15 :   vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
     194                 :         15 : }
     195                 :            : 
     196                 :            : /* Utility functions used by vect_mark_stmts_to_be_vectorized.  */
     197                 :            : 
     198                 :            : /* Function vect_mark_relevant.
     199                 :            : 
     200                 :            :    Mark STMT_INFO as "relevant for vectorization" and add it to WORKLIST.  */
     201                 :            : 
     202                 :            : static void
     203                 :     366615 : vect_mark_relevant (vec<stmt_vec_info> *worklist, stmt_vec_info stmt_info,
     204                 :            :                     enum vect_relevant relevant, bool live_p)
     205                 :            : {
     206                 :     366615 :   enum vect_relevant save_relevant = STMT_VINFO_RELEVANT (stmt_info);
     207                 :     366615 :   bool save_live_p = STMT_VINFO_LIVE_P (stmt_info);
     208                 :            : 
     209                 :     366615 :   if (dump_enabled_p ())
     210                 :      86355 :     dump_printf_loc (MSG_NOTE, vect_location,
     211                 :            :                      "mark relevant %d, live %d: %G", relevant, live_p,
     212                 :            :                      stmt_info->stmt);
     213                 :            : 
     214                 :            :   /* If this stmt is an original stmt in a pattern, we might need to mark its
     215                 :            :      related pattern stmt instead of the original stmt.  However, such stmts
     216                 :            :      may have their own uses that are not in any pattern, in such cases the
     217                 :            :      stmt itself should be marked.  */
     218                 :     366615 :   if (STMT_VINFO_IN_PATTERN_P (stmt_info))
     219                 :            :     {
     220                 :            :       /* This is the last stmt in a sequence that was detected as a
     221                 :            :          pattern that can potentially be vectorized.  Don't mark the stmt
     222                 :            :          as relevant/live because it's not going to be vectorized.
     223                 :            :          Instead mark the pattern-stmt that replaces it.  */
     224                 :            : 
     225                 :       1731 :       if (dump_enabled_p ())
     226                 :        236 :         dump_printf_loc (MSG_NOTE, vect_location,
     227                 :            :                          "last stmt in pattern. don't mark"
     228                 :            :                          " relevant/live.\n");
     229                 :       1731 :       stmt_vec_info old_stmt_info = stmt_info;
     230                 :       1731 :       stmt_info = STMT_VINFO_RELATED_STMT (stmt_info);
     231                 :       1731 :       gcc_assert (STMT_VINFO_RELATED_STMT (stmt_info) == old_stmt_info);
     232                 :       1731 :       save_relevant = STMT_VINFO_RELEVANT (stmt_info);
     233                 :       1731 :       save_live_p = STMT_VINFO_LIVE_P (stmt_info);
     234                 :            :     }
     235                 :            : 
     236                 :     366615 :   STMT_VINFO_LIVE_P (stmt_info) |= live_p;
     237                 :     366615 :   if (relevant > STMT_VINFO_RELEVANT (stmt_info))
     238                 :     301660 :     STMT_VINFO_RELEVANT (stmt_info) = relevant;
     239                 :            : 
     240                 :     366615 :   if (STMT_VINFO_RELEVANT (stmt_info) == save_relevant
     241                 :      64955 :       && STMT_VINFO_LIVE_P (stmt_info) == save_live_p)
     242                 :            :     {
     243                 :      64813 :       if (dump_enabled_p ())
     244                 :       9893 :         dump_printf_loc (MSG_NOTE, vect_location,
     245                 :            :                          "already marked relevant/live.\n");
     246                 :      64813 :       return;
     247                 :            :     }
     248                 :            : 
     249                 :     301802 :   worklist->safe_push (stmt_info);
     250                 :            : }
     251                 :            : 
     252                 :            : 
     253                 :            : /* Function is_simple_and_all_uses_invariant
     254                 :            : 
     255                 :            :    Return true if STMT_INFO is simple and all uses of it are invariant.  */
     256                 :            : 
     257                 :            : bool
     258                 :      23234 : is_simple_and_all_uses_invariant (stmt_vec_info stmt_info,
     259                 :            :                                   loop_vec_info loop_vinfo)
     260                 :            : {
     261                 :      23234 :   tree op;
     262                 :      23234 :   ssa_op_iter iter;
     263                 :            : 
     264                 :      23234 :   gassign *stmt = dyn_cast <gassign *> (stmt_info->stmt);
     265                 :      22224 :   if (!stmt)
     266                 :            :     return false;
     267                 :            : 
     268                 :      22699 :   FOR_EACH_SSA_TREE_OPERAND (op, stmt, iter, SSA_OP_USE)
     269                 :            :     {
     270                 :      22449 :       enum vect_def_type dt = vect_uninitialized_def;
     271                 :            : 
     272                 :      22449 :       if (!vect_is_simple_use (op, loop_vinfo, &dt))
     273                 :            :         {
     274                 :        182 :           if (dump_enabled_p ())
     275                 :         12 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
     276                 :            :                              "use not simple.\n");
     277                 :      21974 :           return false;
     278                 :            :         }
     279                 :            : 
     280                 :      22267 :       if (dt != vect_external_def && dt != vect_constant_def)
     281                 :            :         return false;
     282                 :            :     }
     283                 :            :   return true;
     284                 :            : }
     285                 :            : 
     286                 :            : /* Function vect_stmt_relevant_p.
     287                 :            : 
     288                 :            :    Return true if STMT_INFO, in the loop that is represented by LOOP_VINFO,
     289                 :            :    is "relevant for vectorization".
     290                 :            : 
     291                 :            :    A stmt is considered "relevant for vectorization" if:
     292                 :            :    - it has uses outside the loop.
     293                 :            :    - it has vdefs (it alters memory).
     294                 :            :    - control stmts in the loop (except for the exit condition).
     295                 :            : 
     296                 :            :    CHECKME: what other side effects would the vectorizer allow?  */
     297                 :            : 
     298                 :            : static bool
     299                 :     748568 : vect_stmt_relevant_p (stmt_vec_info stmt_info, loop_vec_info loop_vinfo,
     300                 :            :                       enum vect_relevant *relevant, bool *live_p)
     301                 :            : {
     302                 :     748568 :   class loop *loop = LOOP_VINFO_LOOP (loop_vinfo);
     303                 :     748568 :   ssa_op_iter op_iter;
     304                 :     748568 :   imm_use_iterator imm_iter;
     305                 :     748568 :   use_operand_p use_p;
     306                 :     748568 :   def_operand_p def_p;
     307                 :            : 
     308                 :     748568 :   *relevant = vect_unused_in_scope;
     309                 :     748568 :   *live_p = false;
     310                 :            : 
     311                 :            :   /* cond stmt other than loop exit cond.  */
     312                 :     748568 :   if (is_ctrl_stmt (stmt_info->stmt)
     313                 :     748568 :       && STMT_VINFO_TYPE (stmt_info) != loop_exit_ctrl_vec_info_type)
     314                 :          0 :     *relevant = vect_used_in_scope;
     315                 :            : 
     316                 :            :   /* changing memory.  */
     317                 :     748568 :   if (gimple_code (stmt_info->stmt) != GIMPLE_PHI)
     318                 :     627178 :     if (gimple_vdef (stmt_info->stmt)
     319                 :     486095 :         && !gimple_clobber_p (stmt_info->stmt))
     320                 :            :       {
     321                 :      57884 :         if (dump_enabled_p ())
     322                 :      18236 :           dump_printf_loc (MSG_NOTE, vect_location,
     323                 :            :                            "vec_stmt_relevant_p: stmt has vdefs.\n");
     324                 :      57884 :         *relevant = vect_used_in_scope;
     325                 :            :       }
     326                 :            : 
     327                 :            :   /* uses outside the loop.  */
     328                 :    2016730 :   FOR_EACH_PHI_OR_STMT_DEF (def_p, stmt_info->stmt, op_iter, SSA_OP_DEF)
     329                 :            :     {
     330                 :    1335910 :       FOR_EACH_IMM_USE_FAST (use_p, imm_iter, DEF_FROM_PTR (def_p))
     331                 :            :         {
     332                 :     816313 :           basic_block bb = gimple_bb (USE_STMT (use_p));
     333                 :     816313 :           if (!flow_bb_inside_loop_p (loop, bb))
     334                 :            :             {
     335                 :      23151 :               if (is_gimple_debug (USE_STMT (use_p)))
     336                 :         17 :                 continue;
     337                 :            : 
     338                 :      23134 :               if (dump_enabled_p ())
     339                 :       2650 :                 dump_printf_loc (MSG_NOTE, vect_location,
     340                 :            :                                  "vec_stmt_relevant_p: used out of loop.\n");
     341                 :            : 
     342                 :            :               /* We expect all such uses to be in the loop exit phis
     343                 :            :                  (because of loop closed form)   */
     344                 :      23134 :               gcc_assert (gimple_code (USE_STMT (use_p)) == GIMPLE_PHI);
     345                 :      23134 :               gcc_assert (bb == single_exit (loop)->dest);
     346                 :            : 
     347                 :      23134 :               *live_p = true;
     348                 :            :             }
     349                 :            :         }
     350                 :            :     }
     351                 :            : 
     352                 :      23130 :   if (*live_p && *relevant == vect_unused_in_scope
     353                 :     771694 :       && !is_simple_and_all_uses_invariant (stmt_info, loop_vinfo))
     354                 :            :     {
     355                 :      22984 :       if (dump_enabled_p ())
     356                 :       2644 :         dump_printf_loc (MSG_NOTE, vect_location,
     357                 :            :                          "vec_stmt_relevant_p: stmt live but not relevant.\n");
     358                 :      22984 :       *relevant = vect_used_only_live;
     359                 :            :     }
     360                 :            : 
     361                 :     748568 :   return (*live_p || *relevant);
     362                 :            : }
     363                 :            : 
     364                 :            : 
     365                 :            : /* Function exist_non_indexing_operands_for_use_p
     366                 :            : 
     367                 :            :    USE is one of the uses attached to STMT_INFO.  Check if USE is
     368                 :            :    used in STMT_INFO for anything other than indexing an array.  */
     369                 :            : 
     370                 :            : static bool
     371                 :     488404 : exist_non_indexing_operands_for_use_p (tree use, stmt_vec_info stmt_info)
     372                 :            : {
     373                 :     488404 :   tree operand;
     374                 :            : 
     375                 :            :   /* USE corresponds to some operand in STMT.  If there is no data
     376                 :            :      reference in STMT, then any operand that corresponds to USE
     377                 :            :      is not indexing an array.  */
     378                 :     488404 :   if (!STMT_VINFO_DATA_REF (stmt_info))
     379                 :            :     return true;
     380                 :            : 
     381                 :            :   /* STMT has a data_ref. FORNOW this means that its of one of
     382                 :            :      the following forms:
     383                 :            :      -1- ARRAY_REF = var
     384                 :            :      -2- var = ARRAY_REF
     385                 :            :      (This should have been verified in analyze_data_refs).
     386                 :            : 
     387                 :            :      'var' in the second case corresponds to a def, not a use,
     388                 :            :      so USE cannot correspond to any operands that are not used
     389                 :            :      for array indexing.
     390                 :            : 
     391                 :            :      Therefore, all we need to check is if STMT falls into the
     392                 :            :      first case, and whether var corresponds to USE.  */
     393                 :            : 
     394                 :     203899 :   gassign *assign = dyn_cast <gassign *> (stmt_info->stmt);
     395                 :     201831 :   if (!assign || !gimple_assign_copy_p (assign))
     396                 :            :     {
     397                 :      84452 :       gcall *call = dyn_cast <gcall *> (stmt_info->stmt);
     398                 :       2068 :       if (call && gimple_call_internal_p (call))
     399                 :            :         {
     400                 :       2068 :           internal_fn ifn = gimple_call_internal_fn (call);
     401                 :       2068 :           int mask_index = internal_fn_mask_index (ifn);
     402                 :       2068 :           if (mask_index >= 0
     403                 :       2068 :               && use == gimple_call_arg (call, mask_index))
     404                 :            :             return true;
     405                 :       1297 :           int stored_value_index = internal_fn_stored_value_index (ifn);
     406                 :       1297 :           if (stored_value_index >= 0
     407                 :       1297 :               && use == gimple_call_arg (call, stored_value_index))
     408                 :            :             return true;
     409                 :        924 :           if (internal_gather_scatter_fn_p (ifn)
     410                 :        924 :               && use == gimple_call_arg (call, 1))
     411                 :            :             return true;
     412                 :            :         }
     413                 :      83308 :       return false;
     414                 :            :     }
     415                 :            : 
     416                 :     119447 :   if (TREE_CODE (gimple_assign_lhs (assign)) == SSA_NAME)
     417                 :            :     return false;
     418                 :     119447 :   operand = gimple_assign_rhs1 (assign);
     419                 :     119447 :   if (TREE_CODE (operand) != SSA_NAME)
     420                 :            :     return false;
     421                 :            : 
     422                 :     107494 :   if (operand == use)
     423                 :      47758 :     return true;
     424                 :            : 
     425                 :            :   return false;
     426                 :            : }
     427                 :            : 
     428                 :            : 
     429                 :            : /*
     430                 :            :    Function process_use.
     431                 :            : 
     432                 :            :    Inputs:
     433                 :            :    - a USE in STMT_VINFO in a loop represented by LOOP_VINFO
     434                 :            :    - RELEVANT - enum value to be set in the STMT_VINFO of the stmt
     435                 :            :      that defined USE.  This is done by calling mark_relevant and passing it
     436                 :            :      the WORKLIST (to add DEF_STMT to the WORKLIST in case it is relevant).
     437                 :            :    - FORCE is true if exist_non_indexing_operands_for_use_p check shouldn't
     438                 :            :      be performed.
     439                 :            : 
     440                 :            :    Outputs:
     441                 :            :    Generally, LIVE_P and RELEVANT are used to define the liveness and
     442                 :            :    relevance info of the DEF_STMT of this USE:
     443                 :            :        STMT_VINFO_LIVE_P (DEF_stmt_vinfo) <-- live_p
     444                 :            :        STMT_VINFO_RELEVANT (DEF_stmt_vinfo) <-- relevant
     445                 :            :    Exceptions:
     446                 :            :    - case 1: If USE is used only for address computations (e.g. array indexing),
     447                 :            :    which does not need to be directly vectorized, then the liveness/relevance
     448                 :            :    of the respective DEF_STMT is left unchanged.
     449                 :            :    - case 2: If STMT_VINFO is a reduction phi and DEF_STMT is a reduction stmt,
     450                 :            :    we skip DEF_STMT cause it had already been processed.
     451                 :            :    - case 3: If DEF_STMT and STMT_VINFO are in different nests, then
     452                 :            :    "relevant" will be modified accordingly.
     453                 :            : 
     454                 :            :    Return true if everything is as expected. Return false otherwise.  */
     455                 :            : 
     456                 :            : static opt_result
     457                 :     488754 : process_use (stmt_vec_info stmt_vinfo, tree use, loop_vec_info loop_vinfo,
     458                 :            :              enum vect_relevant relevant, vec<stmt_vec_info> *worklist,
     459                 :            :              bool force)
     460                 :            : {
     461                 :     488754 :   stmt_vec_info dstmt_vinfo;
     462                 :     488754 :   enum vect_def_type dt;
     463                 :            : 
     464                 :            :   /* case 1: we are only interested in uses that need to be vectorized.  Uses
     465                 :            :      that are used for address computation are not considered relevant.  */
     466                 :     488754 :   if (!force && !exist_non_indexing_operands_for_use_p (use, stmt_vinfo))
     467                 :     154997 :     return opt_result::success ();
     468                 :            : 
     469                 :     333757 :   if (!vect_is_simple_use (use, loop_vinfo, &dt, &dstmt_vinfo))
     470                 :       1194 :     return opt_result::failure_at (stmt_vinfo->stmt,
     471                 :            :                                    "not vectorized:"
     472                 :       1194 :                                    " unsupported use in stmt.\n");
     473                 :            : 
     474                 :     332563 :   if (!dstmt_vinfo)
     475                 :      39806 :     return opt_result::success ();
     476                 :            : 
     477                 :     292757 :   basic_block def_bb = gimple_bb (dstmt_vinfo->stmt);
     478                 :     292757 :   basic_block bb = gimple_bb (stmt_vinfo->stmt);
     479                 :            : 
     480                 :            :   /* case 2: A reduction phi (STMT) defined by a reduction stmt (DSTMT_VINFO).
     481                 :            :      We have to force the stmt live since the epilogue loop needs it to
     482                 :            :      continue computing the reduction.  */
     483                 :     292757 :   if (gimple_code (stmt_vinfo->stmt) == GIMPLE_PHI
     484                 :      29169 :       && STMT_VINFO_DEF_TYPE (stmt_vinfo) == vect_reduction_def
     485                 :      20447 :       && gimple_code (dstmt_vinfo->stmt) != GIMPLE_PHI
     486                 :      20447 :       && STMT_VINFO_DEF_TYPE (dstmt_vinfo) == vect_reduction_def
     487                 :     313204 :       && bb->loop_father == def_bb->loop_father)
     488                 :            :     {
     489                 :      20447 :       if (dump_enabled_p ())
     490                 :       1887 :         dump_printf_loc (MSG_NOTE, vect_location,
     491                 :            :                          "reduc-stmt defining reduc-phi in the same nest.\n");
     492                 :      20447 :       vect_mark_relevant (worklist, dstmt_vinfo, relevant, true);
     493                 :      20447 :       return opt_result::success ();
     494                 :            :     }
     495                 :            : 
     496                 :            :   /* case 3a: outer-loop stmt defining an inner-loop stmt:
     497                 :            :         outer-loop-header-bb:
     498                 :            :                 d = dstmt_vinfo
     499                 :            :         inner-loop:
     500                 :            :                 stmt # use (d)
     501                 :            :         outer-loop-tail-bb:
     502                 :            :                 ...               */
     503                 :     272310 :   if (flow_loop_nested_p (def_bb->loop_father, bb->loop_father))
     504                 :            :     {
     505                 :        550 :       if (dump_enabled_p ())
     506                 :        179 :         dump_printf_loc (MSG_NOTE, vect_location,
     507                 :            :                          "outer-loop def-stmt defining inner-loop stmt.\n");
     508                 :            : 
     509                 :        550 :       switch (relevant)
     510                 :            :         {
     511                 :          0 :         case vect_unused_in_scope:
     512                 :          0 :           relevant = (STMT_VINFO_DEF_TYPE (stmt_vinfo) == vect_nested_cycle) ?
     513                 :            :                       vect_used_in_scope : vect_unused_in_scope;
     514                 :            :           break;
     515                 :            : 
     516                 :        287 :         case vect_used_in_outer_by_reduction:
     517                 :        287 :           gcc_assert (STMT_VINFO_DEF_TYPE (stmt_vinfo) != vect_reduction_def);
     518                 :            :           relevant = vect_used_by_reduction;
     519                 :            :           break;
     520                 :            : 
     521                 :        214 :         case vect_used_in_outer:
     522                 :        214 :           gcc_assert (STMT_VINFO_DEF_TYPE (stmt_vinfo) != vect_reduction_def);
     523                 :            :           relevant = vect_used_in_scope;
     524                 :            :           break;
     525                 :            : 
     526                 :            :         case vect_used_in_scope:
     527                 :            :           break;
     528                 :            : 
     529                 :          0 :         default:
     530                 :          0 :           gcc_unreachable ();
     531                 :            :         }
     532                 :            :     }
     533                 :            : 
     534                 :            :   /* case 3b: inner-loop stmt defining an outer-loop stmt:
     535                 :            :         outer-loop-header-bb:
     536                 :            :                 ...
     537                 :            :         inner-loop:
     538                 :            :                 d = dstmt_vinfo
     539                 :            :         outer-loop-tail-bb (or outer-loop-exit-bb in double reduction):
     540                 :            :                 stmt # use (d)          */
     541                 :     271760 :   else if (flow_loop_nested_p (bb->loop_father, def_bb->loop_father))
     542                 :            :     {
     543                 :        549 :       if (dump_enabled_p ())
     544                 :        374 :         dump_printf_loc (MSG_NOTE, vect_location,
     545                 :            :                          "inner-loop def-stmt defining outer-loop stmt.\n");
     546                 :            : 
     547                 :        549 :       switch (relevant)
     548                 :            :         {
     549                 :          0 :         case vect_unused_in_scope:
     550                 :          0 :           relevant = (STMT_VINFO_DEF_TYPE (stmt_vinfo) == vect_reduction_def
     551                 :          0 :             || STMT_VINFO_DEF_TYPE (stmt_vinfo) == vect_double_reduction_def) ?
     552                 :            :                       vect_used_in_outer_by_reduction : vect_unused_in_scope;
     553                 :            :           break;
     554                 :            : 
     555                 :            :         case vect_used_by_reduction:
     556                 :            :         case vect_used_only_live:
     557                 :            :           relevant = vect_used_in_outer_by_reduction;
     558                 :            :           break;
     559                 :            : 
     560                 :        242 :         case vect_used_in_scope:
     561                 :        242 :           relevant = vect_used_in_outer;
     562                 :        242 :           break;
     563                 :            : 
     564                 :          0 :         default:
     565                 :          0 :           gcc_unreachable ();
     566                 :            :         }
     567                 :            :     }
     568                 :            :   /* We are also not interested in uses on loop PHI backedges that are
     569                 :            :      inductions.  Otherwise we'll needlessly vectorize the IV increment
     570                 :            :      and cause hybrid SLP for SLP inductions.  Unless the PHI is live
     571                 :            :      of course.  */
     572                 :     271211 :   else if (gimple_code (stmt_vinfo->stmt) == GIMPLE_PHI
     573                 :       7851 :            && STMT_VINFO_DEF_TYPE (stmt_vinfo) == vect_induction_def
     574                 :       7172 :            && ! STMT_VINFO_LIVE_P (stmt_vinfo)
     575                 :     278363 :            && (PHI_ARG_DEF_FROM_EDGE (stmt_vinfo->stmt,
     576                 :            :                                       loop_latch_edge (bb->loop_father))
     577                 :            :                == use))
     578                 :            :     {
     579                 :       7152 :       if (dump_enabled_p ())
     580                 :       2290 :         dump_printf_loc (MSG_NOTE, vect_location,
     581                 :            :                          "induction value on backedge.\n");
     582                 :       7152 :       return opt_result::success ();
     583                 :            :     }
     584                 :            : 
     585                 :            : 
     586                 :     265158 :   vect_mark_relevant (worklist, dstmt_vinfo, relevant, false);
     587                 :     265158 :   return opt_result::success ();
     588                 :            : }
     589                 :            : 
     590                 :            : 
     591                 :            : /* Function vect_mark_stmts_to_be_vectorized.
     592                 :            : 
     593                 :            :    Not all stmts in the loop need to be vectorized. For example:
     594                 :            : 
     595                 :            :      for i...
     596                 :            :        for j...
     597                 :            :    1.    T0 = i + j
     598                 :            :    2.    T1 = a[T0]
     599                 :            : 
     600                 :            :    3.    j = j + 1
     601                 :            : 
     602                 :            :    Stmt 1 and 3 do not need to be vectorized, because loop control and
     603                 :            :    addressing of vectorized data-refs are handled differently.
     604                 :            : 
     605                 :            :    This pass detects such stmts.  */
     606                 :            : 
     607                 :            : opt_result
     608                 :      39379 : vect_mark_stmts_to_be_vectorized (loop_vec_info loop_vinfo, bool *fatal)
     609                 :            : {
     610                 :      39379 :   class loop *loop = LOOP_VINFO_LOOP (loop_vinfo);
     611                 :      39379 :   basic_block *bbs = LOOP_VINFO_BBS (loop_vinfo);
     612                 :      39379 :   unsigned int nbbs = loop->num_nodes;
     613                 :      39379 :   gimple_stmt_iterator si;
     614                 :      39379 :   unsigned int i;
     615                 :      39379 :   basic_block bb;
     616                 :      39379 :   bool live_p;
     617                 :      39379 :   enum vect_relevant relevant;
     618                 :            : 
     619                 :      39379 :   DUMP_VECT_SCOPE ("vect_mark_stmts_to_be_vectorized");
     620                 :            : 
     621                 :      78758 :   auto_vec<stmt_vec_info, 64> worklist;
     622                 :            : 
     623                 :            :   /* 1. Init worklist.  */
     624                 :     119685 :   for (i = 0; i < nbbs; i++)
     625                 :            :     {
     626                 :      80306 :       bb = bbs[i];
     627                 :     201696 :       for (si = gsi_start_phis (bb); !gsi_end_p (si); gsi_next (&si))
     628                 :            :         {
     629                 :     121390 :           stmt_vec_info phi_info = loop_vinfo->lookup_stmt (gsi_stmt (si));
     630                 :     121390 :           if (dump_enabled_p ())
     631                 :      31755 :             dump_printf_loc (MSG_NOTE, vect_location, "init: phi relevant? %G",
     632                 :            :                              phi_info->stmt);
     633                 :            : 
     634                 :     121390 :           if (vect_stmt_relevant_p (phi_info, loop_vinfo, &relevant, &live_p))
     635                 :        255 :             vect_mark_relevant (&worklist, phi_info, relevant, live_p);
     636                 :            :         }
     637                 :     787790 :       for (si = gsi_start_bb (bb); !gsi_end_p (si); gsi_next (&si))
     638                 :            :         {
     639                 :     627178 :           stmt_vec_info stmt_info = loop_vinfo->lookup_stmt (gsi_stmt (si));
     640                 :     627178 :           if (dump_enabled_p ())
     641                 :     121305 :               dump_printf_loc (MSG_NOTE, vect_location,
     642                 :            :                                "init: stmt relevant? %G", stmt_info->stmt);
     643                 :            : 
     644                 :     627178 :           if (vect_stmt_relevant_p (stmt_info, loop_vinfo, &relevant, &live_p))
     645                 :      80755 :             vect_mark_relevant (&worklist, stmt_info, relevant, live_p);
     646                 :            :         }
     647                 :            :     }
     648                 :            : 
     649                 :            :   /* 2. Process_worklist */
     650                 :     337487 :   while (worklist.length () > 0)
     651                 :            :     {
     652                 :     299302 :       use_operand_p use_p;
     653                 :     299302 :       ssa_op_iter iter;
     654                 :            : 
     655                 :     299302 :       stmt_vec_info stmt_vinfo = worklist.pop ();
     656                 :     299302 :       if (dump_enabled_p ())
     657                 :      76205 :         dump_printf_loc (MSG_NOTE, vect_location,
     658                 :            :                          "worklist: examine stmt: %G", stmt_vinfo->stmt);
     659                 :            : 
     660                 :            :       /* Examine the USEs of STMT. For each USE, mark the stmt that defines it
     661                 :            :          (DEF_STMT) as relevant/irrelevant according to the relevance property
     662                 :            :          of STMT.  */
     663                 :     299302 :       relevant = STMT_VINFO_RELEVANT (stmt_vinfo);
     664                 :            : 
     665                 :            :       /* Generally, the relevance property of STMT (in STMT_VINFO_RELEVANT) is
     666                 :            :          propagated as is to the DEF_STMTs of its USEs.
     667                 :            : 
     668                 :            :          One exception is when STMT has been identified as defining a reduction
     669                 :            :          variable; in this case we set the relevance to vect_used_by_reduction.
     670                 :            :          This is because we distinguish between two kinds of relevant stmts -
     671                 :            :          those that are used by a reduction computation, and those that are
     672                 :            :          (also) used by a regular computation.  This allows us later on to
     673                 :            :          identify stmts that are used solely by a reduction, and therefore the
     674                 :            :          order of the results that they produce does not have to be kept.  */
     675                 :            : 
     676                 :     299302 :       switch (STMT_VINFO_DEF_TYPE (stmt_vinfo))
     677                 :            :         {
     678                 :      40926 :           case vect_reduction_def:
     679                 :      40926 :             gcc_assert (relevant != vect_unused_in_scope);
     680                 :      40926 :             if (relevant != vect_unused_in_scope
     681                 :      40926 :                 && relevant != vect_used_in_scope
     682                 :      40926 :                 && relevant != vect_used_by_reduction
     683                 :      40926 :                 && relevant != vect_used_only_live)
     684                 :          0 :               return opt_result::failure_at
     685                 :          0 :                 (stmt_vinfo->stmt, "unsupported use of reduction.\n");
     686                 :            :             break;
     687                 :            : 
     688                 :        561 :           case vect_nested_cycle:
     689                 :        561 :             if (relevant != vect_unused_in_scope
     690                 :        561 :                 && relevant != vect_used_in_outer_by_reduction
     691                 :        381 :                 && relevant != vect_used_in_outer)
     692                 :          0 :               return opt_result::failure_at
     693                 :          0 :                 (stmt_vinfo->stmt, "unsupported use of nested cycle.\n");
     694                 :            :             break;
     695                 :            : 
     696                 :        370 :           case vect_double_reduction_def:
     697                 :        370 :             if (relevant != vect_unused_in_scope
     698                 :        370 :                 && relevant != vect_used_by_reduction
     699                 :        130 :                 && relevant != vect_used_only_live)
     700                 :          0 :               return opt_result::failure_at
     701                 :          0 :                 (stmt_vinfo->stmt, "unsupported use of double reduction.\n");
     702                 :            :             break;
     703                 :            : 
     704                 :            :           default:
     705                 :            :             break;
     706                 :            :         }
     707                 :            : 
     708                 :     299302 :       if (is_pattern_stmt_p (stmt_vinfo))
     709                 :            :         {
     710                 :            :           /* Pattern statements are not inserted into the code, so
     711                 :            :              FOR_EACH_PHI_OR_STMT_USE optimizes their operands out, and we
     712                 :            :              have to scan the RHS or function arguments instead.  */
     713                 :      21824 :           if (gassign *assign = dyn_cast <gassign *> (stmt_vinfo->stmt))
     714                 :            :             {
     715                 :      21635 :               enum tree_code rhs_code = gimple_assign_rhs_code (assign);
     716                 :      21635 :               tree op = gimple_assign_rhs1 (assign);
     717                 :            : 
     718                 :      21635 :               i = 1;
     719                 :      21635 :               if (rhs_code == COND_EXPR && COMPARISON_CLASS_P (op))
     720                 :            :                 {
     721                 :        342 :                   opt_result res
     722                 :        342 :                     = process_use (stmt_vinfo, TREE_OPERAND (op, 0),
     723                 :        342 :                                    loop_vinfo, relevant, &worklist, false);
     724                 :        342 :                   if (!res)
     725                 :       1194 :                     return res;
     726                 :        342 :                   res = process_use (stmt_vinfo, TREE_OPERAND (op, 1),
     727                 :        342 :                                      loop_vinfo, relevant, &worklist, false);
     728                 :        342 :                   if (!res)
     729                 :          0 :                     return res;
     730                 :            :                   i = 2;
     731                 :            :                 }
     732                 :      57007 :               for (; i < gimple_num_ops (assign); i++)
     733                 :            :                 {
     734                 :      35673 :                   op = gimple_op (assign, i);
     735                 :      35673 :                   if (TREE_CODE (op) == SSA_NAME)
     736                 :            :                     {
     737                 :      27032 :                       opt_result res
     738                 :            :                         = process_use (stmt_vinfo, op, loop_vinfo, relevant,
     739                 :      27032 :                                        &worklist, false);
     740                 :      27032 :                       if (!res)
     741                 :        301 :                         return res;
     742                 :            :                     }
     743                 :            :                  }
     744                 :            :             }
     745                 :        189 :           else if (gcall *call = dyn_cast <gcall *> (stmt_vinfo->stmt))
     746                 :            :             {
     747                 :        763 :               for (i = 0; i < gimple_call_num_args (call); i++)
     748                 :            :                 {
     749                 :        574 :                   tree arg = gimple_call_arg (call, i);
     750                 :        574 :                   opt_result res
     751                 :            :                     = process_use (stmt_vinfo, arg, loop_vinfo, relevant,
     752                 :        574 :                                    &worklist, false);
     753                 :        574 :                   if (!res)
     754                 :          0 :                     return res;
     755                 :            :                 }
     756                 :            :             }
     757                 :            :         }
     758                 :            :       else
     759                 :    1014180 :         FOR_EACH_PHI_OR_STMT_USE (use_p, stmt_vinfo->stmt, iter, SSA_OP_USE)
     760                 :            :           {
     761                 :     460114 :             tree op = USE_FROM_PTR (use_p);
     762                 :     460114 :             opt_result res
     763                 :            :               = process_use (stmt_vinfo, op, loop_vinfo, relevant,
     764                 :     460114 :                              &worklist, false);
     765                 :     460114 :             if (!res)
     766                 :        893 :               return res;
     767                 :            :           }
     768                 :            : 
     769                 :     298108 :       if (STMT_VINFO_GATHER_SCATTER_P (stmt_vinfo))
     770                 :            :         {
     771                 :        350 :           gather_scatter_info gs_info;
     772                 :        350 :           if (!vect_check_gather_scatter (stmt_vinfo, loop_vinfo, &gs_info))
     773                 :          0 :             gcc_unreachable ();
     774                 :        350 :           opt_result res
     775                 :            :             = process_use (stmt_vinfo, gs_info.offset, loop_vinfo, relevant,
     776                 :        350 :                            &worklist, true);
     777                 :        350 :           if (!res)
     778                 :            :             {
     779                 :          0 :               if (fatal)
     780                 :          0 :                 *fatal = false;
     781                 :          0 :               return res;
     782                 :            :             }
     783                 :            :         }
     784                 :            :     } /* while worklist */
     785                 :            : 
     786                 :      38185 :   return opt_result::success ();
     787                 :            : }
     788                 :            : 
     789                 :            : /* Function vect_model_simple_cost.
     790                 :            : 
     791                 :            :    Models cost for simple operations, i.e. those that only emit ncopies of a
     792                 :            :    single op.  Right now, this does not account for multiple insns that could
     793                 :            :    be generated for the single vector op.  We will handle that shortly.  */
     794                 :            : 
     795                 :            : static void
     796                 :      73462 : vect_model_simple_cost (vec_info *,
     797                 :            :                         stmt_vec_info stmt_info, int ncopies,
     798                 :            :                         enum vect_def_type *dt,
     799                 :            :                         int ndts,
     800                 :            :                         slp_tree node,
     801                 :            :                         stmt_vector_for_cost *cost_vec,
     802                 :            :                         vect_cost_for_stmt kind = vector_stmt)
     803                 :            : {
     804                 :      73462 :   int inside_cost = 0, prologue_cost = 0;
     805                 :            : 
     806                 :      73462 :   gcc_assert (cost_vec != NULL);
     807                 :            : 
     808                 :            :   /* ???  Somehow we need to fix this at the callers.  */
     809                 :      73462 :   if (node)
     810                 :       7886 :     ncopies = SLP_TREE_NUMBER_OF_VEC_STMTS (node);
     811                 :            : 
     812                 :      73462 :   if (!node)
     813                 :            :     /* Cost the "broadcast" of a scalar operand in to a vector operand.
     814                 :            :        Use scalar_to_vec to cost the broadcast, as elsewhere in the vector
     815                 :            :        cost model.  */
     816                 :     256741 :     for (int i = 0; i < ndts; i++)
     817                 :     191165 :       if (dt[i] == vect_constant_def || dt[i] == vect_external_def)
     818                 :      15623 :         prologue_cost += record_stmt_cost (cost_vec, 1, scalar_to_vec,
     819                 :            :                                            stmt_info, 0, vect_prologue);
     820                 :            : 
     821                 :            :   /* Adjust for two-operator SLP nodes.  */
     822                 :      73462 :   if (node && SLP_TREE_TWO_OPERATORS (node))
     823                 :            :     {
     824                 :        563 :       ncopies *= 2;
     825                 :        563 :       inside_cost += record_stmt_cost (cost_vec, ncopies, vec_perm,
     826                 :            :                                        stmt_info, 0, vect_body);
     827                 :            :     }
     828                 :            : 
     829                 :            :   /* Pass the inside-of-loop statements to the target-specific cost model.  */
     830                 :      73462 :   inside_cost += record_stmt_cost (cost_vec, ncopies, kind,
     831                 :            :                                    stmt_info, 0, vect_body);
     832                 :            : 
     833                 :      73462 :   if (dump_enabled_p ())
     834                 :      13735 :     dump_printf_loc (MSG_NOTE, vect_location,
     835                 :            :                      "vect_model_simple_cost: inside_cost = %d, "
     836                 :            :                      "prologue_cost = %d .\n", inside_cost, prologue_cost);
     837                 :      73462 : }
     838                 :            : 
     839                 :            : 
     840                 :            : /* Model cost for type demotion and promotion operations.  PWR is
     841                 :            :    normally zero for single-step promotions and demotions.  It will be
     842                 :            :    one if two-step promotion/demotion is required, and so on.  NCOPIES
     843                 :            :    is the number of vector results (and thus number of instructions)
     844                 :            :    for the narrowest end of the operation chain.  Each additional
     845                 :            :    step doubles the number of instructions required.  */
     846                 :            : 
     847                 :            : static void
     848                 :       5360 : vect_model_promotion_demotion_cost (stmt_vec_info stmt_info,
     849                 :            :                                     enum vect_def_type *dt,
     850                 :            :                                     unsigned int ncopies, int pwr,
     851                 :            :                                     stmt_vector_for_cost *cost_vec)
     852                 :            : {
     853                 :       5360 :   int i;
     854                 :       5360 :   int inside_cost = 0, prologue_cost = 0;
     855                 :            : 
     856                 :      11590 :   for (i = 0; i < pwr + 1; i++)
     857                 :            :     {
     858                 :       6230 :       inside_cost += record_stmt_cost (cost_vec, ncopies, vec_promote_demote,
     859                 :            :                                        stmt_info, 0, vect_body);
     860                 :       6230 :       ncopies *= 2;
     861                 :            :     }
     862                 :            : 
     863                 :            :   /* FORNOW: Assuming maximum 2 args per stmts.  */
     864                 :      16080 :   for (i = 0; i < 2; i++)
     865                 :      10720 :     if (dt[i] == vect_constant_def || dt[i] == vect_external_def)
     866                 :        401 :       prologue_cost += record_stmt_cost (cost_vec, 1, vector_stmt,
     867                 :            :                                          stmt_info, 0, vect_prologue);
     868                 :            : 
     869                 :       5360 :   if (dump_enabled_p ())
     870                 :       2658 :     dump_printf_loc (MSG_NOTE, vect_location,
     871                 :            :                      "vect_model_promotion_demotion_cost: inside_cost = %d, "
     872                 :            :                      "prologue_cost = %d .\n", inside_cost, prologue_cost);
     873                 :       5360 : }
     874                 :            : 
     875                 :            : /* Returns true if the current function returns DECL.  */
     876                 :            : 
     877                 :            : static bool
     878                 :      65457 : cfun_returns (tree decl)
     879                 :            : {
     880                 :      65457 :   edge_iterator ei;
     881                 :      65457 :   edge e;
     882                 :     128222 :   FOR_EACH_EDGE (e, ei, EXIT_BLOCK_PTR_FOR_FN (cfun)->preds)
     883                 :            :     {
     884                 :      63028 :       greturn *ret = safe_dyn_cast <greturn *> (last_stmt (e->src));
     885                 :      63028 :       if (!ret)
     886                 :          0 :         continue;
     887                 :      63028 :       if (gimple_return_retval (ret) == decl)
     888                 :            :         return true;
     889                 :            :       /* We often end up with an aggregate copy to the result decl,
     890                 :            :          handle that case as well.  First skip intermediate clobbers
     891                 :            :          though.  */
     892                 :            :       gimple *def = ret;
     893                 :     338596 :       do
     894                 :            :         {
     895                 :     677192 :           def = SSA_NAME_DEF_STMT (gimple_vuse (def));
     896                 :            :         }
     897                 :     338596 :       while (gimple_clobber_p (def));
     898                 :      62782 :       if (is_a <gassign *> (def)
     899                 :      15450 :           && gimple_assign_lhs (def) == gimple_return_retval (ret)
     900                 :      62812 :           && gimple_assign_rhs1 (def) == decl)
     901                 :            :         return true;
     902                 :            :     }
     903                 :            :   return false;
     904                 :            : }
     905                 :            : 
     906                 :            : /* Function vect_model_store_cost
     907                 :            : 
     908                 :            :    Models cost for stores.  In the case of grouped accesses, one access
     909                 :            :    has the overhead of the grouped access attributed to it.  */
     910                 :            : 
     911                 :            : static void
     912                 :      93187 : vect_model_store_cost (vec_info *vinfo, stmt_vec_info stmt_info, int ncopies,
     913                 :            :                        vect_memory_access_type memory_access_type,
     914                 :            :                        vec_load_store_type vls_type, slp_tree slp_node,
     915                 :            :                        stmt_vector_for_cost *cost_vec)
     916                 :            : {
     917                 :      93187 :   unsigned int inside_cost = 0, prologue_cost = 0;
     918                 :      93187 :   stmt_vec_info first_stmt_info = stmt_info;
     919                 :      93187 :   bool grouped_access_p = STMT_VINFO_GROUPED_ACCESS (stmt_info);
     920                 :            : 
     921                 :            :   /* ???  Somehow we need to fix this at the callers.  */
     922                 :      93187 :   if (slp_node)
     923                 :      64062 :     ncopies = SLP_TREE_NUMBER_OF_VEC_STMTS (slp_node);
     924                 :            : 
     925                 :      93187 :   if (vls_type == VLS_STORE_INVARIANT)
     926                 :            :     {
     927                 :      64323 :       if (!slp_node)
     928                 :       5107 :         prologue_cost += record_stmt_cost (cost_vec, 1, scalar_to_vec,
     929                 :            :                                            stmt_info, 0, vect_prologue);
     930                 :            :     }
     931                 :            : 
     932                 :            :   /* Grouped stores update all elements in the group at once,
     933                 :            :      so we want the DR for the first statement.  */
     934                 :      93187 :   if (!slp_node && grouped_access_p)
     935                 :       2474 :     first_stmt_info = DR_GROUP_FIRST_ELEMENT (stmt_info);
     936                 :            : 
     937                 :            :   /* True if we should include any once-per-group costs as well as
     938                 :            :      the cost of the statement itself.  For SLP we only get called
     939                 :            :      once per group anyhow.  */
     940                 :      93187 :   bool first_stmt_p = (first_stmt_info == stmt_info);
     941                 :            : 
     942                 :            :   /* We assume that the cost of a single store-lanes instruction is
     943                 :            :      equivalent to the cost of DR_GROUP_SIZE separate stores.  If a grouped
     944                 :            :      access is instead being provided by a permute-and-store operation,
     945                 :            :      include the cost of the permutes.  */
     946                 :      93187 :   if (first_stmt_p
     947                 :      93187 :       && memory_access_type == VMAT_CONTIGUOUS_PERMUTE)
     948                 :            :     {
     949                 :            :       /* Uses a high and low interleave or shuffle operations for each
     950                 :            :          needed permute.  */
     951                 :        347 :       int group_size = DR_GROUP_SIZE (first_stmt_info);
     952                 :        347 :       int nstmts = ncopies * ceil_log2 (group_size) * group_size;
     953                 :        347 :       inside_cost = record_stmt_cost (cost_vec, nstmts, vec_perm,
     954                 :            :                                       stmt_info, 0, vect_body);
     955                 :            : 
     956                 :        347 :       if (dump_enabled_p ())
     957                 :        234 :         dump_printf_loc (MSG_NOTE, vect_location,
     958                 :            :                          "vect_model_store_cost: strided group_size = %d .\n",
     959                 :            :                          group_size);
     960                 :            :     }
     961                 :            : 
     962                 :      93187 :   tree vectype = STMT_VINFO_VECTYPE (stmt_info);
     963                 :            :   /* Costs of the stores.  */
     964                 :      93187 :   if (memory_access_type == VMAT_ELEMENTWISE
     965                 :      93187 :       || memory_access_type == VMAT_GATHER_SCATTER)
     966                 :            :     {
     967                 :            :       /* N scalar stores plus extracting the elements.  */
     968                 :       4912 :       unsigned int assumed_nunits = vect_nunits_for_cost (vectype);
     969                 :       4912 :       inside_cost += record_stmt_cost (cost_vec,
     970                 :       4912 :                                        ncopies * assumed_nunits,
     971                 :            :                                        scalar_store, stmt_info, 0, vect_body);
     972                 :            :     }
     973                 :            :   else
     974                 :      88275 :     vect_get_store_cost (vinfo, stmt_info, ncopies, &inside_cost, cost_vec);
     975                 :            : 
     976                 :      93187 :   if (memory_access_type == VMAT_ELEMENTWISE
     977                 :      93187 :       || memory_access_type == VMAT_STRIDED_SLP)
     978                 :            :     {
     979                 :            :       /* N scalar stores plus extracting the elements.  */
     980                 :       5387 :       unsigned int assumed_nunits = vect_nunits_for_cost (vectype);
     981                 :       5387 :       inside_cost += record_stmt_cost (cost_vec,
     982                 :       5387 :                                        ncopies * assumed_nunits,
     983                 :            :                                        vec_to_scalar, stmt_info, 0, vect_body);
     984                 :            :     }
     985                 :            : 
     986                 :            :   /* When vectorizing a store into the function result assign
     987                 :            :      a penalty if the function returns in a multi-register location.
     988                 :            :      In this case we assume we'll end up with having to spill the
     989                 :            :      vector result and do piecewise loads as a conservative estimate.  */
     990                 :      93187 :   tree base = get_base_address (STMT_VINFO_DATA_REF (stmt_info)->ref);
     991                 :      93187 :   if (base
     992                 :      93187 :       && (TREE_CODE (base) == RESULT_DECL
     993                 :      93012 :           || (DECL_P (base) && cfun_returns (base)))
     994                 :      93625 :       && !aggregate_value_p (base, cfun->decl))
     995                 :            :     {
     996                 :        249 :       rtx reg = hard_function_value (TREE_TYPE (base), cfun->decl, 0, 1);
     997                 :            :       /* ???  Handle PARALLEL in some way.  */
     998                 :        249 :       if (REG_P (reg))
     999                 :            :         {
    1000                 :        229 :           int nregs = hard_regno_nregs (REGNO (reg), GET_MODE (reg));
    1001                 :            :           /* Assume that a single reg-reg move is possible and cheap,
    1002                 :            :              do not account for vector to gp register move cost.  */
    1003                 :        229 :           if (nregs > 1)
    1004                 :            :             {
    1005                 :            :               /* Spill.  */
    1006                 :        204 :               prologue_cost += record_stmt_cost (cost_vec, ncopies,
    1007                 :            :                                                  vector_store,
    1008                 :            :                                                  stmt_info, 0, vect_epilogue);
    1009                 :            :               /* Loads.  */
    1010                 :        204 :               prologue_cost += record_stmt_cost (cost_vec, ncopies * nregs,
    1011                 :            :                                                  scalar_load,
    1012                 :            :                                                  stmt_info, 0, vect_epilogue);
    1013                 :            :             }
    1014                 :            :         }
    1015                 :            :     }
    1016                 :            : 
    1017                 :      93187 :   if (dump_enabled_p ())
    1018                 :       9943 :     dump_printf_loc (MSG_NOTE, vect_location,
    1019                 :            :                      "vect_model_store_cost: inside_cost = %d, "
    1020                 :            :                      "prologue_cost = %d .\n", inside_cost, prologue_cost);
    1021                 :      93187 : }
    1022                 :            : 
    1023                 :            : 
    1024                 :            : /* Calculate cost of DR's memory access.  */
    1025                 :            : void
    1026                 :     120911 : vect_get_store_cost (vec_info *vinfo, stmt_vec_info stmt_info, int ncopies,
    1027                 :            :                      unsigned int *inside_cost,
    1028                 :            :                      stmt_vector_for_cost *body_cost_vec)
    1029                 :            : {
    1030                 :     120911 :   dr_vec_info *dr_info = STMT_VINFO_DR_INFO (stmt_info);
    1031                 :     120911 :   int alignment_support_scheme
    1032                 :     120911 :     = vect_supportable_dr_alignment (vinfo, dr_info, false);
    1033                 :            : 
    1034                 :     120911 :   switch (alignment_support_scheme)
    1035                 :            :     {
    1036                 :      80799 :     case dr_aligned:
    1037                 :      80799 :       {
    1038                 :      80799 :         *inside_cost += record_stmt_cost (body_cost_vec, ncopies,
    1039                 :            :                                           vector_store, stmt_info, 0,
    1040                 :            :                                           vect_body);
    1041                 :            : 
    1042                 :      80799 :         if (dump_enabled_p ())
    1043                 :       8699 :           dump_printf_loc (MSG_NOTE, vect_location,
    1044                 :            :                            "vect_model_store_cost: aligned.\n");
    1045                 :            :         break;
    1046                 :            :       }
    1047                 :            : 
    1048                 :      40112 :     case dr_unaligned_supported:
    1049                 :      40112 :       {
    1050                 :            :         /* Here, we assign an additional cost for the unaligned store.  */
    1051                 :      40112 :         *inside_cost += record_stmt_cost (body_cost_vec, ncopies,
    1052                 :            :                                           unaligned_store, stmt_info,
    1053                 :            :                                           DR_MISALIGNMENT (dr_info),
    1054                 :            :                                           vect_body);
    1055                 :      40112 :         if (dump_enabled_p ())
    1056                 :       8757 :           dump_printf_loc (MSG_NOTE, vect_location,
    1057                 :            :                            "vect_model_store_cost: unaligned supported by "
    1058                 :            :                            "hardware.\n");
    1059                 :            :         break;
    1060                 :            :       }
    1061                 :            : 
    1062                 :          0 :     case dr_unaligned_unsupported:
    1063                 :          0 :       {
    1064                 :          0 :         *inside_cost = VECT_MAX_COST;
    1065                 :            : 
    1066                 :          0 :         if (dump_enabled_p ())
    1067                 :          0 :           dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    1068                 :            :                            "vect_model_store_cost: unsupported access.\n");
    1069                 :            :         break;
    1070                 :            :       }
    1071                 :            : 
    1072                 :          0 :     default:
    1073                 :          0 :       gcc_unreachable ();
    1074                 :            :     }
    1075                 :     120911 : }
    1076                 :            : 
    1077                 :            : 
    1078                 :            : /* Function vect_model_load_cost
    1079                 :            : 
    1080                 :            :    Models cost for loads.  In the case of grouped accesses, one access has
    1081                 :            :    the overhead of the grouped access attributed to it.  Since unaligned
    1082                 :            :    accesses are supported for loads, we also account for the costs of the
    1083                 :            :    access scheme chosen.  */
    1084                 :            : 
    1085                 :            : static void
    1086                 :      57426 : vect_model_load_cost (vec_info *vinfo,
    1087                 :            :                       stmt_vec_info stmt_info, unsigned ncopies, poly_uint64 vf,
    1088                 :            :                       vect_memory_access_type memory_access_type,
    1089                 :            :                       slp_tree slp_node,
    1090                 :            :                       stmt_vector_for_cost *cost_vec)
    1091                 :            : {
    1092                 :      57426 :   unsigned int inside_cost = 0, prologue_cost = 0;
    1093                 :      57426 :   bool grouped_access_p = STMT_VINFO_GROUPED_ACCESS (stmt_info);
    1094                 :            : 
    1095                 :      57426 :   gcc_assert (cost_vec);
    1096                 :            : 
    1097                 :            :   /* ???  Somehow we need to fix this at the callers.  */
    1098                 :      57426 :   if (slp_node)
    1099                 :       9865 :     ncopies = SLP_TREE_NUMBER_OF_VEC_STMTS (slp_node);
    1100                 :            : 
    1101                 :      57426 :   if (slp_node && SLP_TREE_LOAD_PERMUTATION (slp_node).exists ())
    1102                 :            :     {
    1103                 :            :       /* If the load is permuted then the alignment is determined by
    1104                 :            :          the first group element not by the first scalar stmt DR.  */
    1105                 :       2848 :       stmt_vec_info first_stmt_info = DR_GROUP_FIRST_ELEMENT (stmt_info);
    1106                 :            :       /* Record the cost for the permutation.  */
    1107                 :       2848 :       unsigned n_perms;
    1108                 :       2848 :       unsigned assumed_nunits
    1109                 :       2848 :         = vect_nunits_for_cost (STMT_VINFO_VECTYPE (first_stmt_info));
    1110                 :       2848 :       vect_transform_slp_perm_load (vinfo, slp_node, vNULL, NULL,
    1111                 :            :                                     vf, true, &n_perms);
    1112                 :       2848 :       inside_cost += record_stmt_cost (cost_vec, n_perms, vec_perm,
    1113                 :            :                                        first_stmt_info, 0, vect_body);
    1114                 :            :       /* And adjust the number of loads performed.  This handles
    1115                 :            :          redundancies as well as loads that are later dead.  */
    1116                 :       5696 :       auto_sbitmap perm (DR_GROUP_SIZE (first_stmt_info));
    1117                 :       2848 :       bitmap_clear (perm);
    1118                 :       2848 :       for (unsigned i = 0;
    1119                 :      21530 :            i < SLP_TREE_LOAD_PERMUTATION (slp_node).length (); ++i)
    1120                 :       7917 :         bitmap_set_bit (perm, SLP_TREE_LOAD_PERMUTATION (slp_node)[i]);
    1121                 :            :       ncopies = 0;
    1122                 :            :       bool load_seen = false;
    1123                 :     533135 :       for (unsigned i = 0; i < DR_GROUP_SIZE (first_stmt_info); ++i)
    1124                 :            :         {
    1125                 :     530287 :           if (i % assumed_nunits == 0)
    1126                 :            :             {
    1127                 :     183507 :               if (load_seen)
    1128                 :       1054 :                 ncopies++;
    1129                 :            :               load_seen = false;
    1130                 :            :             }
    1131                 :     530287 :           if (bitmap_bit_p (perm, i))
    1132                 :       4512 :             load_seen = true;
    1133                 :            :         }
    1134                 :       2848 :       if (load_seen)
    1135                 :       2134 :         ncopies++;
    1136                 :       2848 :       gcc_assert (ncopies
    1137                 :            :                   <= (DR_GROUP_SIZE (first_stmt_info)
    1138                 :            :                       - DR_GROUP_GAP (first_stmt_info)
    1139                 :            :                       + assumed_nunits - 1) / assumed_nunits);
    1140                 :            :     }
    1141                 :            : 
    1142                 :            :   /* Grouped loads read all elements in the group at once,
    1143                 :            :      so we want the DR for the first statement.  */
    1144                 :      57426 :   stmt_vec_info first_stmt_info = stmt_info;
    1145                 :      57426 :   if (!slp_node && grouped_access_p)
    1146                 :       7394 :     first_stmt_info = DR_GROUP_FIRST_ELEMENT (stmt_info);
    1147                 :            : 
    1148                 :            :   /* True if we should include any once-per-group costs as well as
    1149                 :            :      the cost of the statement itself.  For SLP we only get called
    1150                 :            :      once per group anyhow.  */
    1151                 :      57426 :   bool first_stmt_p = (first_stmt_info == stmt_info);
    1152                 :            : 
    1153                 :            :   /* We assume that the cost of a single load-lanes instruction is
    1154                 :            :      equivalent to the cost of DR_GROUP_SIZE separate loads.  If a grouped
    1155                 :            :      access is instead being provided by a load-and-permute operation,
    1156                 :            :      include the cost of the permutes.  */
    1157                 :      57426 :   if (first_stmt_p
    1158                 :      57426 :       && memory_access_type == VMAT_CONTIGUOUS_PERMUTE)
    1159                 :            :     {
    1160                 :            :       /* Uses an even and odd extract operations or shuffle operations
    1161                 :            :          for each needed permute.  */
    1162                 :       3343 :       int group_size = DR_GROUP_SIZE (first_stmt_info);
    1163                 :       3343 :       int nstmts = ncopies * ceil_log2 (group_size) * group_size;
    1164                 :       3343 :       inside_cost += record_stmt_cost (cost_vec, nstmts, vec_perm,
    1165                 :            :                                        stmt_info, 0, vect_body);
    1166                 :            : 
    1167                 :       3343 :       if (dump_enabled_p ())
    1168                 :        548 :         dump_printf_loc (MSG_NOTE, vect_location,
    1169                 :            :                          "vect_model_load_cost: strided group_size = %d .\n",
    1170                 :            :                          group_size);
    1171                 :            :     }
    1172                 :            : 
    1173                 :            :   /* The loads themselves.  */
    1174                 :      57426 :   if (memory_access_type == VMAT_ELEMENTWISE
    1175                 :      57426 :       || memory_access_type == VMAT_GATHER_SCATTER)
    1176                 :            :     {
    1177                 :            :       /* N scalar loads plus gathering them into a vector.  */
    1178                 :       4971 :       tree vectype = STMT_VINFO_VECTYPE (stmt_info);
    1179                 :       4971 :       unsigned int assumed_nunits = vect_nunits_for_cost (vectype);
    1180                 :       4971 :       inside_cost += record_stmt_cost (cost_vec,
    1181                 :       4971 :                                        ncopies * assumed_nunits,
    1182                 :            :                                        scalar_load, stmt_info, 0, vect_body);
    1183                 :            :     }
    1184                 :            :   else
    1185                 :      52455 :     vect_get_load_cost (vinfo, stmt_info, ncopies, first_stmt_p,
    1186                 :            :                         &inside_cost, &prologue_cost, 
    1187                 :            :                         cost_vec, cost_vec, true);
    1188                 :      57426 :   if (memory_access_type == VMAT_ELEMENTWISE
    1189                 :      57426 :       || memory_access_type == VMAT_STRIDED_SLP)
    1190                 :       5717 :     inside_cost += record_stmt_cost (cost_vec, ncopies, vec_construct,
    1191                 :            :                                      stmt_info, 0, vect_body);
    1192                 :            : 
    1193                 :      57426 :   if (dump_enabled_p ())
    1194                 :      13433 :     dump_printf_loc (MSG_NOTE, vect_location,
    1195                 :            :                      "vect_model_load_cost: inside_cost = %d, "
    1196                 :            :                      "prologue_cost = %d .\n", inside_cost, prologue_cost);
    1197                 :      57426 : }
    1198                 :            : 
    1199                 :            : 
    1200                 :            : /* Calculate cost of DR's memory access.  */
    1201                 :            : void
    1202                 :     100355 : vect_get_load_cost (vec_info *vinfo, stmt_vec_info stmt_info, int ncopies,
    1203                 :            :                     bool add_realign_cost, unsigned int *inside_cost,
    1204                 :            :                     unsigned int *prologue_cost,
    1205                 :            :                     stmt_vector_for_cost *prologue_cost_vec,
    1206                 :            :                     stmt_vector_for_cost *body_cost_vec,
    1207                 :            :                     bool record_prologue_costs)
    1208                 :            : {
    1209                 :     100355 :   dr_vec_info *dr_info = STMT_VINFO_DR_INFO (stmt_info);
    1210                 :     100355 :   int alignment_support_scheme
    1211                 :     100355 :     = vect_supportable_dr_alignment (vinfo, dr_info, false);
    1212                 :            : 
    1213                 :     100355 :   switch (alignment_support_scheme)
    1214                 :            :     {
    1215                 :      36538 :     case dr_aligned:
    1216                 :      36538 :       {
    1217                 :      36538 :         *inside_cost += record_stmt_cost (body_cost_vec, ncopies, vector_load,
    1218                 :            :                                           stmt_info, 0, vect_body);
    1219                 :            : 
    1220                 :      36538 :         if (dump_enabled_p ())
    1221                 :       9529 :           dump_printf_loc (MSG_NOTE, vect_location,
    1222                 :            :                            "vect_model_load_cost: aligned.\n");
    1223                 :            : 
    1224                 :            :         break;
    1225                 :            :       }
    1226                 :      63817 :     case dr_unaligned_supported:
    1227                 :      63817 :       {
    1228                 :            :         /* Here, we assign an additional cost for the unaligned load.  */
    1229                 :      63817 :         *inside_cost += record_stmt_cost (body_cost_vec, ncopies,
    1230                 :            :                                           unaligned_load, stmt_info,
    1231                 :            :                                           DR_MISALIGNMENT (dr_info),
    1232                 :            :                                           vect_body);
    1233                 :            : 
    1234                 :      63817 :         if (dump_enabled_p ())
    1235                 :      13172 :           dump_printf_loc (MSG_NOTE, vect_location,
    1236                 :            :                            "vect_model_load_cost: unaligned supported by "
    1237                 :            :                            "hardware.\n");
    1238                 :            : 
    1239                 :            :         break;
    1240                 :            :       }
    1241                 :          0 :     case dr_explicit_realign:
    1242                 :          0 :       {
    1243                 :          0 :         *inside_cost += record_stmt_cost (body_cost_vec, ncopies * 2,
    1244                 :            :                                           vector_load, stmt_info, 0, vect_body);
    1245                 :          0 :         *inside_cost += record_stmt_cost (body_cost_vec, ncopies,
    1246                 :            :                                           vec_perm, stmt_info, 0, vect_body);
    1247                 :            : 
    1248                 :            :         /* FIXME: If the misalignment remains fixed across the iterations of
    1249                 :            :            the containing loop, the following cost should be added to the
    1250                 :            :            prologue costs.  */
    1251                 :          0 :         if (targetm.vectorize.builtin_mask_for_load)
    1252                 :          0 :           *inside_cost += record_stmt_cost (body_cost_vec, 1, vector_stmt,
    1253                 :            :                                             stmt_info, 0, vect_body);
    1254                 :            : 
    1255                 :          0 :         if (dump_enabled_p ())
    1256                 :          0 :           dump_printf_loc (MSG_NOTE, vect_location,
    1257                 :            :                            "vect_model_load_cost: explicit realign\n");
    1258                 :            : 
    1259                 :            :         break;
    1260                 :            :       }
    1261                 :          0 :     case dr_explicit_realign_optimized:
    1262                 :          0 :       {
    1263                 :          0 :         if (dump_enabled_p ())
    1264                 :          0 :           dump_printf_loc (MSG_NOTE, vect_location,
    1265                 :            :                            "vect_model_load_cost: unaligned software "
    1266                 :            :                            "pipelined.\n");
    1267                 :            : 
    1268                 :            :         /* Unaligned software pipeline has a load of an address, an initial
    1269                 :            :            load, and possibly a mask operation to "prime" the loop.  However,
    1270                 :            :            if this is an access in a group of loads, which provide grouped
    1271                 :            :            access, then the above cost should only be considered for one
    1272                 :            :            access in the group.  Inside the loop, there is a load op
    1273                 :            :            and a realignment op.  */
    1274                 :            : 
    1275                 :          0 :         if (add_realign_cost && record_prologue_costs)
    1276                 :            :           {
    1277                 :          0 :             *prologue_cost += record_stmt_cost (prologue_cost_vec, 2,
    1278                 :            :                                                 vector_stmt, stmt_info,
    1279                 :            :                                                 0, vect_prologue);
    1280                 :          0 :             if (targetm.vectorize.builtin_mask_for_load)
    1281                 :          0 :               *prologue_cost += record_stmt_cost (prologue_cost_vec, 1,
    1282                 :            :                                                   vector_stmt, stmt_info,
    1283                 :            :                                                   0, vect_prologue);
    1284                 :            :           }
    1285                 :            : 
    1286                 :          0 :         *inside_cost += record_stmt_cost (body_cost_vec, ncopies, vector_load,
    1287                 :            :                                           stmt_info, 0, vect_body);
    1288                 :          0 :         *inside_cost += record_stmt_cost (body_cost_vec, ncopies, vec_perm,
    1289                 :            :                                           stmt_info, 0, vect_body);
    1290                 :            : 
    1291                 :          0 :         if (dump_enabled_p ())
    1292                 :          0 :           dump_printf_loc (MSG_NOTE, vect_location,
    1293                 :            :                            "vect_model_load_cost: explicit realign optimized"
    1294                 :            :                            "\n");
    1295                 :            : 
    1296                 :            :         break;
    1297                 :            :       }
    1298                 :            : 
    1299                 :          0 :     case dr_unaligned_unsupported:
    1300                 :          0 :       {
    1301                 :          0 :         *inside_cost = VECT_MAX_COST;
    1302                 :            : 
    1303                 :          0 :         if (dump_enabled_p ())
    1304                 :          0 :           dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    1305                 :            :                            "vect_model_load_cost: unsupported access.\n");
    1306                 :            :         break;
    1307                 :            :       }
    1308                 :            : 
    1309                 :          0 :     default:
    1310                 :          0 :       gcc_unreachable ();
    1311                 :            :     }
    1312                 :     100355 : }
    1313                 :            : 
    1314                 :            : /* Insert the new stmt NEW_STMT at *GSI or at the appropriate place in
    1315                 :            :    the loop preheader for the vectorized stmt STMT_VINFO.  */
    1316                 :            : 
    1317                 :            : static void
    1318                 :     100414 : vect_init_vector_1 (vec_info *vinfo, stmt_vec_info stmt_vinfo, gimple *new_stmt,
    1319                 :            :                     gimple_stmt_iterator *gsi)
    1320                 :            : {
    1321                 :     100414 :   if (gsi)
    1322                 :       4214 :     vect_finish_stmt_generation (vinfo, stmt_vinfo, new_stmt, gsi);
    1323                 :            :   else
    1324                 :            :     {
    1325                 :      96200 :       loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    1326                 :            : 
    1327                 :      27813 :       if (loop_vinfo)
    1328                 :            :         {
    1329                 :      27813 :           class loop *loop = LOOP_VINFO_LOOP (loop_vinfo);
    1330                 :      27813 :           basic_block new_bb;
    1331                 :      27813 :           edge pe;
    1332                 :            : 
    1333                 :      27813 :           if (stmt_vinfo && nested_in_vect_loop_p (loop, stmt_vinfo))
    1334                 :            :             loop = loop->inner;
    1335                 :            : 
    1336                 :      27813 :           pe = loop_preheader_edge (loop);
    1337                 :      27813 :           new_bb = gsi_insert_on_edge_immediate (pe, new_stmt);
    1338                 :      27813 :           gcc_assert (!new_bb);
    1339                 :            :         }
    1340                 :            :       else
    1341                 :            :        {
    1342                 :      68387 :           bb_vec_info bb_vinfo = dyn_cast <bb_vec_info> (vinfo);
    1343                 :      68387 :           gimple_stmt_iterator gsi_region_begin = bb_vinfo->region_begin;
    1344                 :      68387 :           gsi_insert_before (&gsi_region_begin, new_stmt, GSI_SAME_STMT);
    1345                 :            :        }
    1346                 :            :     }
    1347                 :            : 
    1348                 :     100414 :   if (dump_enabled_p ())
    1349                 :      12537 :     dump_printf_loc (MSG_NOTE, vect_location,
    1350                 :            :                      "created new init_stmt: %G", new_stmt);
    1351                 :     100414 : }
    1352                 :            : 
    1353                 :            : /* Function vect_init_vector.
    1354                 :            : 
    1355                 :            :    Insert a new stmt (INIT_STMT) that initializes a new variable of type
    1356                 :            :    TYPE with the value VAL.  If TYPE is a vector type and VAL does not have
    1357                 :            :    vector type a vector with all elements equal to VAL is created first.
    1358                 :            :    Place the initialization at GSI if it is not NULL.  Otherwise, place the
    1359                 :            :    initialization at the loop preheader.
    1360                 :            :    Return the DEF of INIT_STMT.
    1361                 :            :    It will be used in the vectorization of STMT_INFO.  */
    1362                 :            : 
    1363                 :            : tree
    1364                 :      99685 : vect_init_vector (vec_info *vinfo, stmt_vec_info stmt_info, tree val, tree type,
    1365                 :            :                   gimple_stmt_iterator *gsi)
    1366                 :            : {
    1367                 :      99685 :   gimple *init_stmt;
    1368                 :      99685 :   tree new_temp;
    1369                 :            : 
    1370                 :            :   /* We abuse this function to push sth to a SSA name with initial 'val'.  */
    1371                 :      99685 :   if (! useless_type_conversion_p (type, TREE_TYPE (val)))
    1372                 :            :     {
    1373                 :      17089 :       gcc_assert (TREE_CODE (type) == VECTOR_TYPE);
    1374                 :      17089 :       if (! types_compatible_p (TREE_TYPE (type), TREE_TYPE (val)))
    1375                 :            :         {
    1376                 :            :           /* Scalar boolean value should be transformed into
    1377                 :            :              all zeros or all ones value before building a vector.  */
    1378                 :        584 :           if (VECTOR_BOOLEAN_TYPE_P (type))
    1379                 :            :             {
    1380                 :         18 :               tree true_val = build_all_ones_cst (TREE_TYPE (type));
    1381                 :         18 :               tree false_val = build_zero_cst (TREE_TYPE (type));
    1382                 :            : 
    1383                 :         18 :               if (CONSTANT_CLASS_P (val))
    1384                 :          0 :                 val = integer_zerop (val) ? false_val : true_val;
    1385                 :            :               else
    1386                 :            :                 {
    1387                 :         18 :                   new_temp = make_ssa_name (TREE_TYPE (type));
    1388                 :         18 :                   init_stmt = gimple_build_assign (new_temp, COND_EXPR,
    1389                 :            :                                                    val, true_val, false_val);
    1390                 :         18 :                   vect_init_vector_1 (vinfo, stmt_info, init_stmt, gsi);
    1391                 :         18 :                   val = new_temp;
    1392                 :            :                 }
    1393                 :            :             }
    1394                 :            :           else
    1395                 :            :             {
    1396                 :        274 :               gimple_seq stmts = NULL;
    1397                 :        274 :               if (! INTEGRAL_TYPE_P (TREE_TYPE (val)))
    1398                 :        224 :                 val = gimple_build (&stmts, VIEW_CONVERT_EXPR,
    1399                 :        224 :                                     TREE_TYPE (type), val);
    1400                 :            :               else
    1401                 :            :                 /* ???  Condition vectorization expects us to do
    1402                 :            :                    promotion of invariant/external defs.  */
    1403                 :         50 :                 val = gimple_convert (&stmts, TREE_TYPE (type), val);
    1404                 :        485 :               for (gimple_stmt_iterator gsi2 = gsi_start (stmts);
    1405                 :        485 :                    !gsi_end_p (gsi2); )
    1406                 :            :                 {
    1407                 :        211 :                   init_stmt = gsi_stmt (gsi2);
    1408                 :        211 :                   gsi_remove (&gsi2, false);
    1409                 :        211 :                   vect_init_vector_1 (vinfo, stmt_info, init_stmt, gsi);
    1410                 :            :                 }
    1411                 :            :             }
    1412                 :            :         }
    1413                 :      17089 :       val = build_vector_from_val (type, val);
    1414                 :            :     }
    1415                 :            : 
    1416                 :      99685 :   new_temp = vect_get_new_ssa_name (type, vect_simple_var, "cst_");
    1417                 :      99685 :   init_stmt = gimple_build_assign (new_temp, val);
    1418                 :      99685 :   vect_init_vector_1 (vinfo, stmt_info, init_stmt, gsi);
    1419                 :      99685 :   return new_temp;
    1420                 :            : }
    1421                 :            : 
    1422                 :            : /* Function vect_get_vec_def_for_operand_1.
    1423                 :            : 
    1424                 :            :    For a defining stmt DEF_STMT_INFO of a scalar stmt, return a vector def
    1425                 :            :    with type DT that will be used in the vectorized stmt.  */
    1426                 :            : 
    1427                 :            : tree
    1428                 :     130834 : vect_get_vec_def_for_operand_1 (stmt_vec_info def_stmt_info,
    1429                 :            :                                 enum vect_def_type dt)
    1430                 :            : {
    1431                 :     130834 :   tree vec_oprnd;
    1432                 :     130834 :   stmt_vec_info vec_stmt_info;
    1433                 :            : 
    1434                 :     130834 :   switch (dt)
    1435                 :            :     {
    1436                 :            :     /* operand is a constant or a loop invariant.  */
    1437                 :          0 :     case vect_constant_def:
    1438                 :          0 :     case vect_external_def:
    1439                 :            :       /* Code should use vect_get_vec_def_for_operand.  */
    1440                 :          0 :       gcc_unreachable ();
    1441                 :            : 
    1442                 :            :     /* Operand is defined by a loop header phi.  In case of nested
    1443                 :            :        cycles we also may have uses of the backedge def.  */
    1444                 :      15859 :     case vect_reduction_def:
    1445                 :      15859 :     case vect_double_reduction_def:
    1446                 :      15859 :     case vect_nested_cycle:
    1447                 :      15859 :     case vect_induction_def:
    1448                 :      15859 :       gcc_assert (gimple_code (def_stmt_info->stmt) == GIMPLE_PHI
    1449                 :            :                   || dt == vect_nested_cycle);
    1450                 :            :       /* Fallthru.  */
    1451                 :            : 
    1452                 :            :     /* operand is defined inside the loop.  */
    1453                 :     130834 :     case vect_internal_def:
    1454                 :     130834 :       {
    1455                 :            :         /* Get the def from the vectorized stmt.  */
    1456                 :     130834 :         vec_stmt_info = STMT_VINFO_VEC_STMT (def_stmt_info);
    1457                 :            :         /* Get vectorized pattern statement.  */
    1458                 :     130834 :         if (!vec_stmt_info
    1459                 :          0 :             && STMT_VINFO_IN_PATTERN_P (def_stmt_info)
    1460                 :          0 :             && !STMT_VINFO_RELEVANT (def_stmt_info))
    1461                 :          0 :           vec_stmt_info = (STMT_VINFO_VEC_STMT
    1462                 :            :                            (STMT_VINFO_RELATED_STMT (def_stmt_info)));
    1463                 :     130834 :         gcc_assert (vec_stmt_info);
    1464                 :     130834 :         if (gphi *phi = dyn_cast <gphi *> (vec_stmt_info->stmt))
    1465                 :      16053 :           vec_oprnd = PHI_RESULT (phi);
    1466                 :            :         else
    1467                 :     114781 :           vec_oprnd = gimple_get_lhs (vec_stmt_info->stmt);
    1468                 :     130834 :         return vec_oprnd;
    1469                 :            :       }
    1470                 :            : 
    1471                 :          0 :     default:
    1472                 :          0 :       gcc_unreachable ();
    1473                 :            :     }
    1474                 :            : }
    1475                 :            : 
    1476                 :            : 
    1477                 :            : /* Function vect_get_vec_def_for_operand.
    1478                 :            : 
    1479                 :            :    OP is an operand in STMT_VINFO.  This function returns a (vector) def
    1480                 :            :    that will be used in the vectorized stmt for STMT_VINFO.
    1481                 :            : 
    1482                 :            :    In the case that OP is an SSA_NAME which is defined in the loop, then
    1483                 :            :    STMT_VINFO_VEC_STMT of the defining stmt holds the relevant def.
    1484                 :            : 
    1485                 :            :    In case OP is an invariant or constant, a new stmt that creates a vector def
    1486                 :            :    needs to be introduced.  VECTYPE may be used to specify a required type for
    1487                 :            :    vector invariant.  */
    1488                 :            : 
    1489                 :            : tree
    1490                 :     146890 : vect_get_vec_def_for_operand (vec_info *vinfo,
    1491                 :            :                               tree op, stmt_vec_info stmt_vinfo, tree vectype)
    1492                 :            : {
    1493                 :     146890 :   gimple *def_stmt;
    1494                 :     146890 :   enum vect_def_type dt;
    1495                 :     146890 :   bool is_simple_use;
    1496                 :     146890 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    1497                 :            : 
    1498                 :     146890 :   if (dump_enabled_p ())
    1499                 :      36658 :     dump_printf_loc (MSG_NOTE, vect_location,
    1500                 :            :                      "vect_get_vec_def_for_operand: %T\n", op);
    1501                 :            : 
    1502                 :     146890 :   stmt_vec_info def_stmt_info;
    1503                 :     146890 :   is_simple_use = vect_is_simple_use (op, loop_vinfo, &dt,
    1504                 :            :                                       &def_stmt_info, &def_stmt);
    1505                 :     146890 :   gcc_assert (is_simple_use);
    1506                 :     146890 :   if (def_stmt && dump_enabled_p ())
    1507                 :      30774 :     dump_printf_loc (MSG_NOTE, vect_location, "  def_stmt =  %G", def_stmt);
    1508                 :            : 
    1509                 :     146890 :   if (dt == vect_constant_def || dt == vect_external_def)
    1510                 :            :     {
    1511                 :      16639 :       tree stmt_vectype = STMT_VINFO_VECTYPE (stmt_vinfo);
    1512                 :      16639 :       tree vector_type;
    1513                 :            : 
    1514                 :      16639 :       if (vectype)
    1515                 :            :         vector_type = vectype;
    1516                 :      30289 :       else if (VECT_SCALAR_BOOLEAN_TYPE_P (TREE_TYPE (op))
    1517                 :      15203 :                && VECTOR_BOOLEAN_TYPE_P (stmt_vectype))
    1518                 :          9 :         vector_type = truth_type_for (stmt_vectype);
    1519                 :            :       else
    1520                 :      15155 :         vector_type = get_vectype_for_scalar_type (loop_vinfo, TREE_TYPE (op));
    1521                 :            : 
    1522                 :      16639 :       gcc_assert (vector_type);
    1523                 :      16639 :       return vect_init_vector (vinfo, stmt_vinfo, op, vector_type, NULL);
    1524                 :            :     }
    1525                 :            :   else
    1526                 :     130251 :     return vect_get_vec_def_for_operand_1 (def_stmt_info, dt);
    1527                 :            : }
    1528                 :            : 
    1529                 :            : 
    1530                 :            : /* Function vect_get_vec_def_for_stmt_copy
    1531                 :            : 
    1532                 :            :    Return a vector-def for an operand.  This function is used when the
    1533                 :            :    vectorized stmt to be created (by the caller to this function) is a "copy"
    1534                 :            :    created in case the vectorized result cannot fit in one vector, and several
    1535                 :            :    copies of the vector-stmt are required.  In this case the vector-def is
    1536                 :            :    retrieved from the vector stmt recorded in the STMT_VINFO_RELATED_STMT field
    1537                 :            :    of the stmt that defines VEC_OPRND.  VINFO describes the vectorization.
    1538                 :            : 
    1539                 :            :    Context:
    1540                 :            :         In case the vectorization factor (VF) is bigger than the number
    1541                 :            :    of elements that can fit in a vectype (nunits), we have to generate
    1542                 :            :    more than one vector stmt to vectorize the scalar stmt.  This situation
    1543                 :            :    arises when there are multiple data-types operated upon in the loop; the
    1544                 :            :    smallest data-type determines the VF, and as a result, when vectorizing
    1545                 :            :    stmts operating on wider types we need to create 'VF/nunits' "copies" of the
    1546                 :            :    vector stmt (each computing a vector of 'nunits' results, and together
    1547                 :            :    computing 'VF' results in each iteration).  This function is called when
    1548                 :            :    vectorizing such a stmt (e.g. vectorizing S2 in the illustration below, in
    1549                 :            :    which VF=16 and nunits=4, so the number of copies required is 4):
    1550                 :            : 
    1551                 :            :    scalar stmt:         vectorized into:        STMT_VINFO_RELATED_STMT
    1552                 :            : 
    1553                 :            :    S1: x = load         VS1.0:  vx.0 = memref0      VS1.1
    1554                 :            :                         VS1.1:  vx.1 = memref1      VS1.2
    1555                 :            :                         VS1.2:  vx.2 = memref2      VS1.3
    1556                 :            :                         VS1.3:  vx.3 = memref3
    1557                 :            : 
    1558                 :            :    S2: z = x + ...      VSnew.0:  vz0 = vx.0 + ...  VSnew.1
    1559                 :            :                         VSnew.1:  vz1 = vx.1 + ...  VSnew.2
    1560                 :            :                         VSnew.2:  vz2 = vx.2 + ...  VSnew.3
    1561                 :            :                         VSnew.3:  vz3 = vx.3 + ...
    1562                 :            : 
    1563                 :            :    The vectorization of S1 is explained in vectorizable_load.
    1564                 :            :    The vectorization of S2:
    1565                 :            :         To create the first vector-stmt out of the 4 copies - VSnew.0 -
    1566                 :            :    the function 'vect_get_vec_def_for_operand' is called to
    1567                 :            :    get the relevant vector-def for each operand of S2.  For operand x it
    1568                 :            :    returns  the vector-def 'vx.0'.
    1569                 :            : 
    1570                 :            :         To create the remaining copies of the vector-stmt (VSnew.j), this
    1571                 :            :    function is called to get the relevant vector-def for each operand.  It is
    1572                 :            :    obtained from the respective VS1.j stmt, which is recorded in the
    1573                 :            :    STMT_VINFO_RELATED_STMT field of the stmt that defines VEC_OPRND.
    1574                 :            : 
    1575                 :            :         For example, to obtain the vector-def 'vx.1' in order to create the
    1576                 :            :    vector stmt 'VSnew.1', this function is called with VEC_OPRND='vx.0'.
    1577                 :            :    Given 'vx0' we obtain the stmt that defines it ('VS1.0'); from the
    1578                 :            :    STMT_VINFO_RELATED_STMT field of 'VS1.0' we obtain the next copy - 'VS1.1',
    1579                 :            :    and return its def ('vx.1').
    1580                 :            :    Overall, to create the above sequence this function will be called 3 times:
    1581                 :            :         vx.1 = vect_get_vec_def_for_stmt_copy (vinfo, vx.0);
    1582                 :            :         vx.2 = vect_get_vec_def_for_stmt_copy (vinfo, vx.1);
    1583                 :            :         vx.3 = vect_get_vec_def_for_stmt_copy (vinfo, vx.2);  */
    1584                 :            : 
    1585                 :            : tree
    1586                 :      17705 : vect_get_vec_def_for_stmt_copy (vec_info *vinfo, tree vec_oprnd)
    1587                 :            : {
    1588                 :      17705 :   stmt_vec_info def_stmt_info = vinfo->lookup_def (vec_oprnd);
    1589                 :      17705 :   if (!def_stmt_info)
    1590                 :            :     /* Do nothing; can reuse same def.  */
    1591                 :            :     return vec_oprnd;
    1592                 :            : 
    1593                 :      14443 :   def_stmt_info = STMT_VINFO_RELATED_STMT (def_stmt_info);
    1594                 :      14443 :   gcc_assert (def_stmt_info);
    1595                 :      14443 :   if (gphi *phi = dyn_cast <gphi *> (def_stmt_info->stmt))
    1596                 :        236 :     vec_oprnd = PHI_RESULT (phi);
    1597                 :            :   else
    1598                 :      14207 :     vec_oprnd = gimple_get_lhs (def_stmt_info->stmt);
    1599                 :            :   return vec_oprnd;
    1600                 :            : }
    1601                 :            : 
    1602                 :            : 
    1603                 :            : /* Get vectorized definitions for the operands to create a copy of an original
    1604                 :            :    stmt.  See vect_get_vec_def_for_stmt_copy () for details.  */
    1605                 :            : 
    1606                 :            : void
    1607                 :       4023 : vect_get_vec_defs_for_stmt_copy (vec_info *vinfo,
    1608                 :            :                                  vec<tree> *vec_oprnds0,
    1609                 :            :                                  vec<tree> *vec_oprnds1)
    1610                 :            : {
    1611                 :       4023 :   tree vec_oprnd = vec_oprnds0->pop ();
    1612                 :            : 
    1613                 :       4023 :   vec_oprnd = vect_get_vec_def_for_stmt_copy (vinfo, vec_oprnd);
    1614                 :       4023 :   vec_oprnds0->quick_push (vec_oprnd);
    1615                 :            : 
    1616                 :       4023 :   if (vec_oprnds1 && vec_oprnds1->length ())
    1617                 :            :     {
    1618                 :       3104 :       vec_oprnd = vec_oprnds1->pop ();
    1619                 :       3104 :       vec_oprnd = vect_get_vec_def_for_stmt_copy (vinfo, vec_oprnd);
    1620                 :       3104 :       vec_oprnds1->quick_push (vec_oprnd);
    1621                 :            :     }
    1622                 :       4023 : }
    1623                 :            : 
    1624                 :            : 
    1625                 :            : /* Get vectorized definitions for OP0 and OP1.  */
    1626                 :            : 
    1627                 :            : void
    1628                 :     116429 : vect_get_vec_defs (vec_info *vinfo, tree op0, tree op1, stmt_vec_info stmt_info,
    1629                 :            :                    vec<tree> *vec_oprnds0,
    1630                 :            :                    vec<tree> *vec_oprnds1,
    1631                 :            :                    slp_tree slp_node)
    1632                 :            : {
    1633                 :     116429 :   if (slp_node)
    1634                 :            :     {
    1635                 :     114664 :       auto_vec<vec<tree> > vec_defs (SLP_TREE_CHILDREN (slp_node).length ());
    1636                 :     109757 :       vect_get_slp_defs (vinfo, slp_node, &vec_defs, op1 ? 2 : 1);
    1637                 :      57332 :       *vec_oprnds0 = vec_defs[0];
    1638                 :      57332 :       if (op1)
    1639                 :       4907 :         *vec_oprnds1 = vec_defs[1];
    1640                 :            :     }
    1641                 :            :   else
    1642                 :            :     {
    1643                 :      59097 :       tree vec_oprnd;
    1644                 :            : 
    1645                 :      59097 :       vec_oprnds0->create (1);
    1646                 :      59097 :       vec_oprnd = vect_get_vec_def_for_operand (vinfo, op0, stmt_info);
    1647                 :      59097 :       vec_oprnds0->quick_push (vec_oprnd);
    1648                 :            : 
    1649                 :      59097 :       if (op1)
    1650                 :            :         {
    1651                 :      46974 :           vec_oprnds1->create (1);
    1652                 :      46974 :           vec_oprnd = vect_get_vec_def_for_operand (vinfo, op1, stmt_info);
    1653                 :      46974 :           vec_oprnds1->quick_push (vec_oprnd);
    1654                 :            :         }
    1655                 :            :     }
    1656                 :     116429 : }
    1657                 :            : 
    1658                 :            : /* Helper function called by vect_finish_replace_stmt and
    1659                 :            :    vect_finish_stmt_generation.  Set the location of the new
    1660                 :            :    statement and create and return a stmt_vec_info for it.  */
    1661                 :            : 
    1662                 :            : static stmt_vec_info
    1663                 :     635595 : vect_finish_stmt_generation_1 (vec_info *vinfo,
    1664                 :            :                                stmt_vec_info stmt_info, gimple *vec_stmt)
    1665                 :            : {
    1666                 :     635595 :   stmt_vec_info vec_stmt_info = vinfo->add_stmt (vec_stmt);
    1667                 :            : 
    1668                 :     635595 :   if (dump_enabled_p ())
    1669                 :      85188 :     dump_printf_loc (MSG_NOTE, vect_location, "add new stmt: %G", vec_stmt);
    1670                 :            : 
    1671                 :     635595 :   if (stmt_info)
    1672                 :            :     {
    1673                 :     633047 :       gimple_set_location (vec_stmt, gimple_location (stmt_info->stmt));
    1674                 :            : 
    1675                 :            :       /* While EH edges will generally prevent vectorization, stmt might
    1676                 :            :          e.g. be in a must-not-throw region.  Ensure newly created stmts
    1677                 :            :          that could throw are part of the same region.  */
    1678                 :     633047 :       int lp_nr = lookup_stmt_eh_lp (stmt_info->stmt);
    1679                 :     633047 :       if (lp_nr != 0 && stmt_could_throw_p (cfun, vec_stmt))
    1680                 :         74 :         add_stmt_to_eh_lp (vec_stmt, lp_nr);
    1681                 :            :     }
    1682                 :            :   else
    1683                 :       2548 :     gcc_assert (!stmt_could_throw_p (cfun, vec_stmt));
    1684                 :            : 
    1685                 :     635595 :   return vec_stmt_info;
    1686                 :            : }
    1687                 :            : 
    1688                 :            : /* Replace the scalar statement STMT_INFO with a new vector statement VEC_STMT,
    1689                 :            :    which sets the same scalar result as STMT_INFO did.  Create and return a
    1690                 :            :    stmt_vec_info for VEC_STMT.  */
    1691                 :            : 
    1692                 :            : stmt_vec_info
    1693                 :        474 : vect_finish_replace_stmt (vec_info *vinfo,
    1694                 :            :                           stmt_vec_info stmt_info, gimple *vec_stmt)
    1695                 :            : {
    1696                 :        474 :   gimple *scalar_stmt = vect_orig_stmt (stmt_info)->stmt;
    1697                 :        474 :   gcc_assert (gimple_get_lhs (scalar_stmt) == gimple_get_lhs (vec_stmt));
    1698                 :            : 
    1699                 :        474 :   gimple_stmt_iterator gsi = gsi_for_stmt (scalar_stmt);
    1700                 :        474 :   gsi_replace (&gsi, vec_stmt, true);
    1701                 :            : 
    1702                 :        474 :   return vect_finish_stmt_generation_1 (vinfo, stmt_info, vec_stmt);
    1703                 :            : }
    1704                 :            : 
    1705                 :            : /* Add VEC_STMT to the vectorized implementation of STMT_INFO and insert it
    1706                 :            :    before *GSI.  Create and return a stmt_vec_info for VEC_STMT.  */
    1707                 :            : 
    1708                 :            : stmt_vec_info
    1709                 :     635121 : vect_finish_stmt_generation (vec_info *vinfo,
    1710                 :            :                              stmt_vec_info stmt_info, gimple *vec_stmt,
    1711                 :            :                              gimple_stmt_iterator *gsi)
    1712                 :            : {
    1713                 :     635121 :   gcc_assert (!stmt_info || gimple_code (stmt_info->stmt) != GIMPLE_LABEL);
    1714                 :            : 
    1715                 :     635121 :   if (!gsi_end_p (*gsi)
    1716                 :    1270240 :       && gimple_has_mem_ops (vec_stmt))
    1717                 :            :     {
    1718                 :     635121 :       gimple *at_stmt = gsi_stmt (*gsi);
    1719                 :     635121 :       tree vuse = gimple_vuse (at_stmt);
    1720                 :     635086 :       if (vuse && TREE_CODE (vuse) == SSA_NAME)
    1721                 :            :         {
    1722                 :     544127 :           tree vdef = gimple_vdef (at_stmt);
    1723                 :     544127 :           gimple_set_vuse (vec_stmt, gimple_vuse (at_stmt));
    1724                 :            :           /* If we have an SSA vuse and insert a store, update virtual
    1725                 :            :              SSA form to avoid triggering the renamer.  Do so only
    1726                 :            :              if we can easily see all uses - which is what almost always
    1727                 :            :              happens with the way vectorized stmts are inserted.  */
    1728                 :     169543 :           if ((vdef && TREE_CODE (vdef) == SSA_NAME)
    1729                 :     713670 :               && ((is_gimple_assign (vec_stmt)
    1730                 :     168953 :                    && !is_gimple_reg (gimple_assign_lhs (vec_stmt)))
    1731                 :      55126 :                   || (is_gimple_call (vec_stmt)
    1732                 :        590 :                       && !(gimple_call_flags (vec_stmt)
    1733                 :        590 :                            & (ECF_CONST|ECF_PURE|ECF_NOVOPS)))))
    1734                 :            :             {
    1735                 :     115007 :               tree new_vdef = copy_ssa_name (vuse, vec_stmt);
    1736                 :     115007 :               gimple_set_vdef (vec_stmt, new_vdef);
    1737                 :     230014 :               SET_USE (gimple_vuse_op (at_stmt), new_vdef);
    1738                 :            :             }
    1739                 :            :         }
    1740                 :            :     }
    1741                 :     635121 :   gsi_insert_before (gsi, vec_stmt, GSI_SAME_STMT);
    1742                 :     635121 :   return vect_finish_stmt_generation_1 (vinfo, stmt_info, vec_stmt);
    1743                 :            : }
    1744                 :            : 
    1745                 :            : /* We want to vectorize a call to combined function CFN with function
    1746                 :            :    decl FNDECL, using VECTYPE_OUT as the type of the output and VECTYPE_IN
    1747                 :            :    as the types of all inputs.  Check whether this is possible using
    1748                 :            :    an internal function, returning its code if so or IFN_LAST if not.  */
    1749                 :            : 
    1750                 :            : static internal_fn
    1751                 :       1576 : vectorizable_internal_function (combined_fn cfn, tree fndecl,
    1752                 :            :                                 tree vectype_out, tree vectype_in)
    1753                 :            : {
    1754                 :       1576 :   internal_fn ifn;
    1755                 :       1576 :   if (internal_fn_p (cfn))
    1756                 :       1082 :     ifn = as_internal_fn (cfn);
    1757                 :            :   else
    1758                 :        494 :     ifn = associated_internal_fn (fndecl);
    1759                 :       1576 :   if (ifn != IFN_LAST && direct_internal_fn_p (ifn))
    1760                 :            :     {
    1761                 :        460 :       const direct_internal_fn_info &info = direct_internal_fn (ifn);
    1762                 :        460 :       if (info.vectorizable)
    1763                 :            :         {
    1764                 :        460 :           tree type0 = (info.type0 < 0 ? vectype_out : vectype_in);
    1765                 :        460 :           tree type1 = (info.type1 < 0 ? vectype_out : vectype_in);
    1766                 :        460 :           if (direct_internal_fn_supported_p (ifn, tree_pair (type0, type1),
    1767                 :            :                                               OPTIMIZE_FOR_SPEED))
    1768                 :        281 :             return ifn;
    1769                 :            :         }
    1770                 :            :     }
    1771                 :            :   return IFN_LAST;
    1772                 :            : }
    1773                 :            : 
    1774                 :            : 
    1775                 :            : static tree permute_vec_elements (vec_info *, tree, tree, tree, stmt_vec_info,
    1776                 :            :                                   gimple_stmt_iterator *);
    1777                 :            : 
    1778                 :            : /* Check whether a load or store statement in the loop described by
    1779                 :            :    LOOP_VINFO is possible in a fully-masked loop.  This is testing
    1780                 :            :    whether the vectorizer pass has the appropriate support, as well as
    1781                 :            :    whether the target does.
    1782                 :            : 
    1783                 :            :    VLS_TYPE says whether the statement is a load or store and VECTYPE
    1784                 :            :    is the type of the vector being loaded or stored.  MEMORY_ACCESS_TYPE
    1785                 :            :    says how the load or store is going to be implemented and GROUP_SIZE
    1786                 :            :    is the number of load or store statements in the containing group.
    1787                 :            :    If the access is a gather load or scatter store, GS_INFO describes
    1788                 :            :    its arguments.  If the load or store is conditional, SCALAR_MASK is the
    1789                 :            :    condition under which it occurs.
    1790                 :            : 
    1791                 :            :    Clear LOOP_VINFO_CAN_FULLY_MASK_P if a fully-masked loop is not
    1792                 :            :    supported, otherwise record the required mask types.  */
    1793                 :            : 
    1794                 :            : static void
    1795                 :      40604 : check_load_store_masking (loop_vec_info loop_vinfo, tree vectype,
    1796                 :            :                           vec_load_store_type vls_type, int group_size,
    1797                 :            :                           vect_memory_access_type memory_access_type,
    1798                 :            :                           gather_scatter_info *gs_info, tree scalar_mask)
    1799                 :            : {
    1800                 :            :   /* Invariant loads need no special support.  */
    1801                 :      40604 :   if (memory_access_type == VMAT_INVARIANT)
    1802                 :      26864 :     return;
    1803                 :            : 
    1804                 :      40314 :   vec_loop_masks *masks = &LOOP_VINFO_MASKS (loop_vinfo);
    1805                 :      40314 :   machine_mode vecmode = TYPE_MODE (vectype);
    1806                 :      40314 :   bool is_load = (vls_type == VLS_LOAD);
    1807                 :      40314 :   if (memory_access_type == VMAT_LOAD_STORE_LANES)
    1808                 :            :     {
    1809                 :          0 :       if (is_load
    1810                 :          0 :           ? !vect_load_lanes_supported (vectype, group_size, true)
    1811                 :          0 :           : !vect_store_lanes_supported (vectype, group_size, true))
    1812                 :            :         {
    1813                 :          0 :           if (dump_enabled_p ())
    1814                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    1815                 :            :                              "can't use a fully-masked loop because the"
    1816                 :            :                              " target doesn't have an appropriate masked"
    1817                 :            :                              " load/store-lanes instruction.\n");
    1818                 :          0 :           LOOP_VINFO_CAN_FULLY_MASK_P (loop_vinfo) = false;
    1819                 :          0 :           return;
    1820                 :            :         }
    1821                 :          0 :       unsigned int ncopies = vect_get_num_copies (loop_vinfo, vectype);
    1822                 :          0 :       vect_record_loop_mask (loop_vinfo, masks, ncopies, vectype, scalar_mask);
    1823                 :          0 :       return;
    1824                 :            :     }
    1825                 :            : 
    1826                 :      40314 :   if (memory_access_type == VMAT_GATHER_SCATTER)
    1827                 :            :     {
    1828                 :        616 :       internal_fn ifn = (is_load
    1829                 :        308 :                          ? IFN_MASK_GATHER_LOAD
    1830                 :            :                          : IFN_MASK_SCATTER_STORE);
    1831                 :        308 :       if (!internal_gather_scatter_fn_supported_p (ifn, vectype,
    1832                 :            :                                                    gs_info->memory_type,
    1833                 :            :                                                    gs_info->offset_vectype,
    1834                 :            :                                                    gs_info->scale))
    1835                 :            :         {
    1836                 :        308 :           if (dump_enabled_p ())
    1837                 :        114 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    1838                 :            :                              "can't use a fully-masked loop because the"
    1839                 :            :                              " target doesn't have an appropriate masked"
    1840                 :            :                              " gather load or scatter store instruction.\n");
    1841                 :        308 :           LOOP_VINFO_CAN_FULLY_MASK_P (loop_vinfo) = false;
    1842                 :        308 :           return;
    1843                 :            :         }
    1844                 :          0 :       unsigned int ncopies = vect_get_num_copies (loop_vinfo, vectype);
    1845                 :          0 :       vect_record_loop_mask (loop_vinfo, masks, ncopies, vectype, scalar_mask);
    1846                 :          0 :       return;
    1847                 :            :     }
    1848                 :            : 
    1849                 :      40006 :   if (memory_access_type != VMAT_CONTIGUOUS
    1850                 :      40006 :       && memory_access_type != VMAT_CONTIGUOUS_PERMUTE)
    1851                 :            :     {
    1852                 :            :       /* Element X of the data must come from iteration i * VF + X of the
    1853                 :            :          scalar loop.  We need more work to support other mappings.  */
    1854                 :       5403 :       if (dump_enabled_p ())
    1855                 :        504 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    1856                 :            :                          "can't use a fully-masked loop because an access"
    1857                 :            :                          " isn't contiguous.\n");
    1858                 :       5403 :       LOOP_VINFO_CAN_FULLY_MASK_P (loop_vinfo) = false;
    1859                 :       5403 :       return;
    1860                 :            :     }
    1861                 :            : 
    1862                 :      34603 :   machine_mode mask_mode;
    1863                 :      14672 :   if (!VECTOR_MODE_P (vecmode)
    1864                 :      69206 :       || !targetm.vectorize.get_mask_mode (vecmode).exists (&mask_mode)
    1865                 :      69206 :       || !can_vec_mask_load_store_p (vecmode, mask_mode, is_load))
    1866                 :            :     {
    1867                 :      20863 :       if (dump_enabled_p ())
    1868                 :       6771 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    1869                 :            :                          "can't use a fully-masked loop because the target"
    1870                 :            :                          " doesn't have the appropriate masked load or"
    1871                 :            :                          " store.\n");
    1872                 :      20863 :       LOOP_VINFO_CAN_FULLY_MASK_P (loop_vinfo) = false;
    1873                 :      20863 :       return;
    1874                 :            :     }
    1875                 :            :   /* We might load more scalars than we need for permuting SLP loads.
    1876                 :            :      We checked in get_group_load_store_type that the extra elements
    1877                 :            :      don't leak into a new vector.  */
    1878                 :      13740 :   poly_uint64 nunits = TYPE_VECTOR_SUBPARTS (vectype);
    1879                 :      13740 :   poly_uint64 vf = LOOP_VINFO_VECT_FACTOR (loop_vinfo);
    1880                 :      13740 :   unsigned int nvectors;
    1881                 :      13740 :   if (can_div_away_from_zero_p (group_size * vf, nunits, &nvectors))
    1882                 :      13740 :     vect_record_loop_mask (loop_vinfo, masks, nvectors, vectype, scalar_mask);
    1883                 :            :   else
    1884                 :            :     gcc_unreachable ();
    1885                 :            : }
    1886                 :            : 
    1887                 :            : /* Return the mask input to a masked load or store.  VEC_MASK is the vectorized
    1888                 :            :    form of the scalar mask condition and LOOP_MASK, if nonnull, is the mask
    1889                 :            :    that needs to be applied to all loads and stores in a vectorized loop.
    1890                 :            :    Return VEC_MASK if LOOP_MASK is null, otherwise return VEC_MASK & LOOP_MASK.
    1891                 :            : 
    1892                 :            :    MASK_TYPE is the type of both masks.  If new statements are needed,
    1893                 :            :    insert them before GSI.  */
    1894                 :            : 
    1895                 :            : static tree
    1896                 :        537 : prepare_load_store_mask (tree mask_type, tree loop_mask, tree vec_mask,
    1897                 :            :                          gimple_stmt_iterator *gsi)
    1898                 :            : {
    1899                 :        537 :   gcc_assert (useless_type_conversion_p (mask_type, TREE_TYPE (vec_mask)));
    1900                 :        537 :   if (!loop_mask)
    1901                 :            :     return vec_mask;
    1902                 :            : 
    1903                 :          0 :   gcc_assert (TREE_TYPE (loop_mask) == mask_type);
    1904                 :          0 :   tree and_res = make_temp_ssa_name (mask_type, NULL, "vec_mask_and");
    1905                 :          0 :   gimple *and_stmt = gimple_build_assign (and_res, BIT_AND_EXPR,
    1906                 :            :                                           vec_mask, loop_mask);
    1907                 :          0 :   gsi_insert_before (gsi, and_stmt, GSI_SAME_STMT);
    1908                 :          0 :   return and_res;
    1909                 :            : }
    1910                 :            : 
    1911                 :            : /* Determine whether we can use a gather load or scatter store to vectorize
    1912                 :            :    strided load or store STMT_INFO by truncating the current offset to a
    1913                 :            :    smaller width.  We need to be able to construct an offset vector:
    1914                 :            : 
    1915                 :            :      { 0, X, X*2, X*3, ... }
    1916                 :            : 
    1917                 :            :    without loss of precision, where X is STMT_INFO's DR_STEP.
    1918                 :            : 
    1919                 :            :    Return true if this is possible, describing the gather load or scatter
    1920                 :            :    store in GS_INFO.  MASKED_P is true if the load or store is conditional.  */
    1921                 :            : 
    1922                 :            : static bool
    1923                 :       8311 : vect_truncate_gather_scatter_offset (stmt_vec_info stmt_info,
    1924                 :            :                                      loop_vec_info loop_vinfo, bool masked_p,
    1925                 :            :                                      gather_scatter_info *gs_info)
    1926                 :            : {
    1927                 :       8311 :   dr_vec_info *dr_info = STMT_VINFO_DR_INFO (stmt_info);
    1928                 :       8311 :   data_reference *dr = dr_info->dr;
    1929                 :       8311 :   tree step = DR_STEP (dr);
    1930                 :       8311 :   if (TREE_CODE (step) != INTEGER_CST)
    1931                 :            :     {
    1932                 :            :       /* ??? Perhaps we could use range information here?  */
    1933                 :       4921 :       if (dump_enabled_p ())
    1934                 :        114 :         dump_printf_loc (MSG_NOTE, vect_location,
    1935                 :            :                          "cannot truncate variable step.\n");
    1936                 :       4921 :       return false;
    1937                 :            :     }
    1938                 :            : 
    1939                 :            :   /* Get the number of bits in an element.  */
    1940                 :       3390 :   tree vectype = STMT_VINFO_VECTYPE (stmt_info);
    1941                 :       3390 :   scalar_mode element_mode = SCALAR_TYPE_MODE (TREE_TYPE (vectype));
    1942                 :       3390 :   unsigned int element_bits = GET_MODE_BITSIZE (element_mode);
    1943                 :            : 
    1944                 :            :   /* Set COUNT to the upper limit on the number of elements - 1.
    1945                 :            :      Start with the maximum vectorization factor.  */
    1946                 :       3390 :   unsigned HOST_WIDE_INT count = vect_max_vf (loop_vinfo) - 1;
    1947                 :            : 
    1948                 :            :   /* Try lowering COUNT to the number of scalar latch iterations.  */
    1949                 :       3390 :   class loop *loop = LOOP_VINFO_LOOP (loop_vinfo);
    1950                 :       3390 :   widest_int max_iters;
    1951                 :       3390 :   if (max_loop_iterations (loop, &max_iters)
    1952                 :       6780 :       && max_iters < count)
    1953                 :        223 :     count = max_iters.to_shwi ();
    1954                 :            : 
    1955                 :            :   /* Try scales of 1 and the element size.  */
    1956                 :       3390 :   int scales[] = { 1, vect_get_scalar_dr_size (dr_info) };
    1957                 :       3390 :   wi::overflow_type overflow = wi::OVF_NONE;
    1958                 :      10170 :   for (int i = 0; i < 2; ++i)
    1959                 :            :     {
    1960                 :       6780 :       int scale = scales[i];
    1961                 :       6780 :       widest_int factor;
    1962                 :       6780 :       if (!wi::multiple_of_p (wi::to_widest (step), scale, SIGNED, &factor))
    1963                 :       6780 :         continue;
    1964                 :            : 
    1965                 :            :       /* Determine the minimum precision of (COUNT - 1) * STEP / SCALE.  */
    1966                 :       6780 :       widest_int range = wi::mul (count, factor, SIGNED, &overflow);
    1967                 :       6780 :       if (overflow)
    1968                 :          0 :         continue;
    1969                 :       6780 :       signop sign = range >= 0 ? UNSIGNED : SIGNED;
    1970                 :       6780 :       unsigned int min_offset_bits = wi::min_precision (range, sign);
    1971                 :            : 
    1972                 :            :       /* Find the narrowest viable offset type.  */
    1973                 :       6780 :       unsigned int offset_bits = 1U << ceil_log2 (min_offset_bits);
    1974                 :       6780 :       tree offset_type = build_nonstandard_integer_type (offset_bits,
    1975                 :            :                                                          sign == UNSIGNED);
    1976                 :            : 
    1977                 :            :       /* See whether the target supports the operation with an offset
    1978                 :            :          no narrower than OFFSET_TYPE.  */
    1979                 :       6780 :       tree memory_type = TREE_TYPE (DR_REF (dr));
    1980                 :       6780 :       if (!vect_gather_scatter_fn_p (loop_vinfo, DR_IS_READ (dr), masked_p,
    1981                 :            :                                      vectype, memory_type, offset_type, scale,
    1982                 :            :                                      &gs_info->ifn, &gs_info->offset_vectype))
    1983                 :       6780 :         continue;
    1984                 :            : 
    1985                 :          0 :       gs_info->decl = NULL_TREE;
    1986                 :            :       /* Logically the sum of DR_BASE_ADDRESS, DR_INIT and DR_OFFSET,
    1987                 :            :          but we don't need to store that here.  */
    1988                 :          0 :       gs_info->base = NULL_TREE;
    1989                 :          0 :       gs_info->element_type = TREE_TYPE (vectype);
    1990                 :          0 :       gs_info->offset = fold_convert (offset_type, step);
    1991                 :          0 :       gs_info->offset_dt = vect_constant_def;
    1992                 :          0 :       gs_info->scale = scale;
    1993                 :          0 :       gs_info->memory_type = memory_type;
    1994                 :          0 :       return true;
    1995                 :            :     }
    1996                 :            : 
    1997                 :       3390 :   if (overflow && dump_enabled_p ())
    1998                 :          0 :     dump_printf_loc (MSG_NOTE, vect_location,
    1999                 :            :                      "truncating gather/scatter offset to %d bits"
    2000                 :            :                      " might change its value.\n", element_bits);
    2001                 :            : 
    2002                 :            :   return false;
    2003                 :            : }
    2004                 :            : 
    2005                 :            : /* Return true if we can use gather/scatter internal functions to
    2006                 :            :    vectorize STMT_INFO, which is a grouped or strided load or store.
    2007                 :            :    MASKED_P is true if load or store is conditional.  When returning
    2008                 :            :    true, fill in GS_INFO with the information required to perform the
    2009                 :            :    operation.  */
    2010                 :            : 
    2011                 :            : static bool
    2012                 :       8311 : vect_use_strided_gather_scatters_p (stmt_vec_info stmt_info,
    2013                 :            :                                     loop_vec_info loop_vinfo, bool masked_p,
    2014                 :            :                                     gather_scatter_info *gs_info)
    2015                 :            : {
    2016                 :       8311 :   if (!vect_check_gather_scatter (stmt_info, loop_vinfo, gs_info)
    2017                 :       8311 :       || gs_info->decl)
    2018                 :       8311 :     return vect_truncate_gather_scatter_offset (stmt_info, loop_vinfo,
    2019                 :       8311 :                                                 masked_p, gs_info);
    2020                 :            : 
    2021                 :          0 :   tree old_offset_type = TREE_TYPE (gs_info->offset);
    2022                 :          0 :   tree new_offset_type = TREE_TYPE (gs_info->offset_vectype);
    2023                 :            : 
    2024                 :          0 :   gcc_assert (TYPE_PRECISION (new_offset_type)
    2025                 :            :               >= TYPE_PRECISION (old_offset_type));
    2026                 :          0 :   gs_info->offset = fold_convert (new_offset_type, gs_info->offset);
    2027                 :            : 
    2028                 :          0 :   if (dump_enabled_p ())
    2029                 :          0 :     dump_printf_loc (MSG_NOTE, vect_location,
    2030                 :            :                      "using gather/scatter for strided/grouped access,"
    2031                 :            :                      " scale = %d\n", gs_info->scale);
    2032                 :            : 
    2033                 :            :   return true;
    2034                 :            : }
    2035                 :            : 
    2036                 :            : /* STMT_INFO is a non-strided load or store, meaning that it accesses
    2037                 :            :    elements with a known constant step.  Return -1 if that step
    2038                 :            :    is negative, 0 if it is zero, and 1 if it is greater than zero.  */
    2039                 :            : 
    2040                 :            : static int
    2041                 :     251405 : compare_step_with_zero (vec_info *vinfo, stmt_vec_info stmt_info)
    2042                 :            : {
    2043                 :     251405 :   dr_vec_info *dr_info = STMT_VINFO_DR_INFO (stmt_info);
    2044                 :     251405 :   return tree_int_cst_compare (vect_dr_behavior (vinfo, dr_info)->step,
    2045                 :     251405 :                                size_zero_node);
    2046                 :            : }
    2047                 :            : 
    2048                 :            : /* If the target supports a permute mask that reverses the elements in
    2049                 :            :    a vector of type VECTYPE, return that mask, otherwise return null.  */
    2050                 :            : 
    2051                 :            : static tree
    2052                 :       4194 : perm_mask_for_reverse (tree vectype)
    2053                 :            : {
    2054                 :       4194 :   poly_uint64 nunits = TYPE_VECTOR_SUBPARTS (vectype);
    2055                 :            : 
    2056                 :            :   /* The encoding has a single stepped pattern.  */
    2057                 :       4194 :   vec_perm_builder sel (nunits, 1, 3);
    2058                 :      16776 :   for (int i = 0; i < 3; ++i)
    2059                 :      12582 :     sel.quick_push (nunits - 1 - i);
    2060                 :            : 
    2061                 :       8388 :   vec_perm_indices indices (sel, 1, nunits);
    2062                 :       4194 :   if (!can_vec_perm_const_p (TYPE_MODE (vectype), indices))
    2063                 :            :     return NULL_TREE;
    2064                 :       4069 :   return vect_gen_perm_mask_checked (vectype, indices);
    2065                 :            : }
    2066                 :            : 
    2067                 :            : /* A subroutine of get_load_store_type, with a subset of the same
    2068                 :            :    arguments.  Handle the case where STMT_INFO is a load or store that
    2069                 :            :    accesses consecutive elements with a negative step.  */
    2070                 :            : 
    2071                 :            : static vect_memory_access_type
    2072                 :       3167 : get_negative_load_store_type (vec_info *vinfo,
    2073                 :            :                               stmt_vec_info stmt_info, tree vectype,
    2074                 :            :                               vec_load_store_type vls_type,
    2075                 :            :                               unsigned int ncopies)
    2076                 :            : {
    2077                 :       3167 :   dr_vec_info *dr_info = STMT_VINFO_DR_INFO (stmt_info);
    2078                 :       3167 :   dr_alignment_support alignment_support_scheme;
    2079                 :            : 
    2080                 :       3167 :   if (ncopies > 1)
    2081                 :            :     {
    2082                 :          8 :       if (dump_enabled_p ())
    2083                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2084                 :            :                          "multiple types with negative step.\n");
    2085                 :          8 :       return VMAT_ELEMENTWISE;
    2086                 :            :     }
    2087                 :            : 
    2088                 :       3159 :   alignment_support_scheme = vect_supportable_dr_alignment (vinfo,
    2089                 :            :                                                             dr_info, false);
    2090                 :       3159 :   if (alignment_support_scheme != dr_aligned
    2091                 :       3159 :       && alignment_support_scheme != dr_unaligned_supported)
    2092                 :            :     {
    2093                 :          0 :       if (dump_enabled_p ())
    2094                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2095                 :            :                          "negative step but alignment required.\n");
    2096                 :          0 :       return VMAT_ELEMENTWISE;
    2097                 :            :     }
    2098                 :            : 
    2099                 :       3159 :   if (vls_type == VLS_STORE_INVARIANT)
    2100                 :            :     {
    2101                 :        292 :       if (dump_enabled_p ())
    2102                 :         22 :         dump_printf_loc (MSG_NOTE, vect_location,
    2103                 :            :                          "negative step with invariant source;"
    2104                 :            :                          " no permute needed.\n");
    2105                 :        292 :       return VMAT_CONTIGUOUS_DOWN;
    2106                 :            :     }
    2107                 :            : 
    2108                 :       2867 :   if (!perm_mask_for_reverse (vectype))
    2109                 :            :     {
    2110                 :        125 :       if (dump_enabled_p ())
    2111                 :         18 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2112                 :            :                          "negative step and reversing not supported.\n");
    2113                 :        125 :       return VMAT_ELEMENTWISE;
    2114                 :            :     }
    2115                 :            : 
    2116                 :            :   return VMAT_CONTIGUOUS_REVERSE;
    2117                 :            : }
    2118                 :            : 
    2119                 :            : /* STMT_INFO is either a masked or unconditional store.  Return the value
    2120                 :            :    being stored.  */
    2121                 :            : 
    2122                 :            : tree
    2123                 :     499898 : vect_get_store_rhs (stmt_vec_info stmt_info)
    2124                 :            : {
    2125                 :     499898 :   if (gassign *assign = dyn_cast <gassign *> (stmt_info->stmt))
    2126                 :            :     {
    2127                 :     499019 :       gcc_assert (gimple_assign_single_p (assign));
    2128                 :     499019 :       return gimple_assign_rhs1 (assign);
    2129                 :            :     }
    2130                 :        879 :   if (gcall *call = dyn_cast <gcall *> (stmt_info->stmt))
    2131                 :            :     {
    2132                 :        879 :       internal_fn ifn = gimple_call_internal_fn (call);
    2133                 :        879 :       int index = internal_fn_stored_value_index (ifn);
    2134                 :        879 :       gcc_assert (index >= 0);
    2135                 :        879 :       return gimple_call_arg (call, index);
    2136                 :            :     }
    2137                 :          0 :   gcc_unreachable ();
    2138                 :            : }
    2139                 :            : 
    2140                 :            : /* Function VECTOR_VECTOR_COMPOSITION_TYPE
    2141                 :            : 
    2142                 :            :    This function returns a vector type which can be composed with NETLS pieces,
    2143                 :            :    whose type is recorded in PTYPE.  VTYPE should be a vector type, and has the
    2144                 :            :    same vector size as the return vector.  It checks target whether supports
    2145                 :            :    pieces-size vector mode for construction firstly, if target fails to, check
    2146                 :            :    pieces-size scalar mode for construction further.  It returns NULL_TREE if
    2147                 :            :    fails to find the available composition.
    2148                 :            : 
    2149                 :            :    For example, for (vtype=V16QI, nelts=4), we can probably get:
    2150                 :            :      - V16QI with PTYPE V4QI.
    2151                 :            :      - V4SI with PTYPE SI.
    2152                 :            :      - NULL_TREE.  */
    2153                 :            : 
    2154                 :            : static tree
    2155                 :        801 : vector_vector_composition_type (tree vtype, poly_uint64 nelts, tree *ptype)
    2156                 :            : {
    2157                 :        801 :   gcc_assert (VECTOR_TYPE_P (vtype));
    2158                 :        801 :   gcc_assert (known_gt (nelts, 0U));
    2159                 :            : 
    2160                 :        801 :   machine_mode vmode = TYPE_MODE (vtype);
    2161                 :        801 :   if (!VECTOR_MODE_P (vmode))
    2162                 :            :     return NULL_TREE;
    2163                 :            : 
    2164                 :       1602 :   poly_uint64 vbsize = GET_MODE_BITSIZE (vmode);
    2165                 :        801 :   unsigned int pbsize;
    2166                 :        801 :   if (constant_multiple_p (vbsize, nelts, &pbsize))
    2167                 :            :     {
    2168                 :            :       /* First check if vec_init optab supports construction from
    2169                 :            :          vector pieces directly.  */
    2170                 :        801 :       scalar_mode elmode = SCALAR_TYPE_MODE (TREE_TYPE (vtype));
    2171                 :       1602 :       poly_uint64 inelts = pbsize / GET_MODE_BITSIZE (elmode);
    2172                 :        801 :       machine_mode rmode;
    2173                 :        801 :       if (related_vector_mode (vmode, elmode, inelts).exists (&rmode)
    2174                 :        604 :           && (convert_optab_handler (vec_init_optab, vmode, rmode)
    2175                 :            :               != CODE_FOR_nothing))
    2176                 :            :         {
    2177                 :        483 :           *ptype = build_vector_type (TREE_TYPE (vtype), inelts);
    2178                 :        483 :           return vtype;
    2179                 :            :         }
    2180                 :            : 
    2181                 :            :       /* Otherwise check if exists an integer type of the same piece size and
    2182                 :            :          if vec_init optab supports construction from it directly.  */
    2183                 :        636 :       if (int_mode_for_size (pbsize, 0).exists (&elmode)
    2184                 :        318 :           && related_vector_mode (vmode, elmode, nelts).exists (&rmode)
    2185                 :        318 :           && (convert_optab_handler (vec_init_optab, rmode, elmode)
    2186                 :            :               != CODE_FOR_nothing))
    2187                 :            :         {
    2188                 :        318 :           *ptype = build_nonstandard_integer_type (pbsize, 1);
    2189                 :        318 :           return build_vector_type (*ptype, nelts);
    2190                 :            :         }
    2191                 :            :     }
    2192                 :            : 
    2193                 :            :   return NULL_TREE;
    2194                 :            : }
    2195                 :            : 
    2196                 :            : /* A subroutine of get_load_store_type, with a subset of the same
    2197                 :            :    arguments.  Handle the case where STMT_INFO is part of a grouped load
    2198                 :            :    or store.
    2199                 :            : 
    2200                 :            :    For stores, the statements in the group are all consecutive
    2201                 :            :    and there is no gap at the end.  For loads, the statements in the
    2202                 :            :    group might not be consecutive; there can be gaps between statements
    2203                 :            :    as well as at the end.  */
    2204                 :            : 
    2205                 :            : static bool
    2206                 :     148216 : get_group_load_store_type (vec_info *vinfo, stmt_vec_info stmt_info,
    2207                 :            :                            tree vectype, bool slp,
    2208                 :            :                            bool masked_p, vec_load_store_type vls_type,
    2209                 :            :                            vect_memory_access_type *memory_access_type,
    2210                 :            :                            gather_scatter_info *gs_info)
    2211                 :            : {
    2212                 :     148216 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    2213                 :      29337 :   class loop *loop = loop_vinfo ? LOOP_VINFO_LOOP (loop_vinfo) : NULL;
    2214                 :     148216 :   stmt_vec_info first_stmt_info = DR_GROUP_FIRST_ELEMENT (stmt_info);
    2215                 :     148216 :   dr_vec_info *first_dr_info = STMT_VINFO_DR_INFO (first_stmt_info);
    2216                 :     148216 :   unsigned int group_size = DR_GROUP_SIZE (first_stmt_info);
    2217                 :     148216 :   bool single_element_p = (stmt_info == first_stmt_info
    2218                 :     148216 :                            && !DR_GROUP_NEXT_ELEMENT (stmt_info));
    2219                 :     148216 :   unsigned HOST_WIDE_INT gap = DR_GROUP_GAP (first_stmt_info);
    2220                 :     148216 :   poly_uint64 nunits = TYPE_VECTOR_SUBPARTS (vectype);
    2221                 :            : 
    2222                 :            :   /* True if the vectorized statements would access beyond the last
    2223                 :            :      statement in the group.  */
    2224                 :     148216 :   bool overrun_p = false;
    2225                 :            : 
    2226                 :            :   /* True if we can cope with such overrun by peeling for gaps, so that
    2227                 :            :      there is at least one final scalar iteration after the vector loop.  */
    2228                 :     296432 :   bool can_overrun_p = (!masked_p
    2229                 :     148216 :                         && vls_type == VLS_LOAD
    2230                 :      28853 :                         && loop_vinfo
    2231                 :     168825 :                         && !loop->inner);
    2232                 :            : 
    2233                 :            :   /* There can only be a gap at the end of the group if the stride is
    2234                 :            :      known at compile time.  */
    2235                 :     148216 :   gcc_assert (!STMT_VINFO_STRIDED_P (first_stmt_info) || gap == 0);
    2236                 :            : 
    2237                 :            :   /* Stores can't yet have gaps.  */
    2238                 :     148216 :   gcc_assert (slp || vls_type == VLS_LOAD || gap == 0);
    2239                 :            : 
    2240                 :     148216 :   if (slp)
    2241                 :            :     {
    2242                 :     130767 :       if (STMT_VINFO_STRIDED_P (first_stmt_info))
    2243                 :            :         {
    2244                 :            :           /* Try to use consecutive accesses of DR_GROUP_SIZE elements,
    2245                 :            :              separated by the stride, until we have a complete vector.
    2246                 :            :              Fall back to scalar accesses if that isn't possible.  */
    2247                 :       3084 :           if (multiple_p (nunits, group_size))
    2248                 :       2591 :             *memory_access_type = VMAT_STRIDED_SLP;
    2249                 :            :           else
    2250                 :        493 :             *memory_access_type = VMAT_ELEMENTWISE;
    2251                 :            :         }
    2252                 :            :       else
    2253                 :            :         {
    2254                 :     127683 :           overrun_p = loop_vinfo && gap != 0;
    2255                 :     127683 :           if (overrun_p && vls_type != VLS_LOAD)
    2256                 :            :             {
    2257                 :          0 :               dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2258                 :            :                                "Grouped store with gaps requires"
    2259                 :            :                                " non-consecutive accesses\n");
    2260                 :          0 :               return false;
    2261                 :            :             }
    2262                 :            :           /* An overrun is fine if the trailing elements are smaller
    2263                 :            :              than the alignment boundary B.  Every vector access will
    2264                 :            :              be a multiple of B and so we are guaranteed to access a
    2265                 :            :              non-gap element in the same B-sized block.  */
    2266                 :     127683 :           if (overrun_p
    2267                 :     127683 :               && gap < (vect_known_alignment_in_bytes (first_dr_info)
    2268                 :        797 :                         / vect_get_scalar_dr_size (first_dr_info)))
    2269                 :            :             overrun_p = false;
    2270                 :            : 
    2271                 :            :           /* If the gap splits the vector in half and the target
    2272                 :            :              can do half-vector operations avoid the epilogue peeling
    2273                 :            :              by simply loading half of the vector only.  Usually
    2274                 :            :              the construction with an upper zero half will be elided.  */
    2275                 :     127683 :           dr_alignment_support alignment_support_scheme;
    2276                 :     127683 :           tree half_vtype;
    2277                 :     127683 :           if (overrun_p
    2278                 :     127683 :               && !masked_p
    2279                 :        740 :               && (((alignment_support_scheme
    2280                 :        740 :                       = vect_supportable_dr_alignment (vinfo,
    2281                 :            :                                                        first_dr_info, false)))
    2282                 :            :                    == dr_aligned
    2283                 :        640 :                   || alignment_support_scheme == dr_unaligned_supported)
    2284                 :        740 :               && known_eq (nunits, (group_size - gap) * 2)
    2285                 :        164 :               && known_eq (nunits, group_size)
    2286                 :     128423 :               && (vector_vector_composition_type (vectype, 2, &half_vtype)
    2287                 :            :                   != NULL_TREE))
    2288                 :            :             overrun_p = false;
    2289                 :            : 
    2290                 :     127683 :           if (overrun_p && !can_overrun_p)
    2291                 :            :             {
    2292                 :          0 :               if (dump_enabled_p ())
    2293                 :          0 :                 dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2294                 :            :                                  "Peeling for outer loop is not supported\n");
    2295                 :          0 :               return false;
    2296                 :            :             }
    2297                 :     127683 :           int cmp = compare_step_with_zero (vinfo, stmt_info);
    2298                 :     127683 :           if (cmp < 0)
    2299                 :         24 :             *memory_access_type = get_negative_load_store_type
    2300                 :         24 :               (vinfo, stmt_info, vectype, vls_type, 1);
    2301                 :            :           else
    2302                 :            :             {
    2303                 :     127659 :               gcc_assert (!loop_vinfo || cmp > 0);
    2304                 :     127659 :               *memory_access_type = VMAT_CONTIGUOUS;
    2305                 :            :             }
    2306                 :            :         }
    2307                 :            :     }
    2308                 :            :   else
    2309                 :            :     {
    2310                 :            :       /* We can always handle this case using elementwise accesses,
    2311                 :            :          but see if something more efficient is available.  */
    2312                 :      17449 :       *memory_access_type = VMAT_ELEMENTWISE;
    2313                 :            : 
    2314                 :            :       /* If there is a gap at the end of the group then these optimizations
    2315                 :            :          would access excess elements in the last iteration.  */
    2316                 :      17449 :       bool would_overrun_p = (gap != 0);
    2317                 :            :       /* An overrun is fine if the trailing elements are smaller than the
    2318                 :            :          alignment boundary B.  Every vector access will be a multiple of B
    2319                 :            :          and so we are guaranteed to access a non-gap element in the
    2320                 :            :          same B-sized block.  */
    2321                 :      17449 :       if (would_overrun_p
    2322                 :      17449 :           && !masked_p
    2323                 :      17449 :           && gap < (vect_known_alignment_in_bytes (first_dr_info)
    2324                 :       3918 :                     / vect_get_scalar_dr_size (first_dr_info)))
    2325                 :            :         would_overrun_p = false;
    2326                 :            : 
    2327                 :      17449 :       if (!STMT_VINFO_STRIDED_P (first_stmt_info)
    2328                 :      14334 :           && (can_overrun_p || !would_overrun_p)
    2329                 :      31779 :           && compare_step_with_zero (vinfo, stmt_info) > 0)
    2330                 :            :         {
    2331                 :            :           /* First cope with the degenerate case of a single-element
    2332                 :            :              vector.  */
    2333                 :      14326 :           if (known_eq (TYPE_VECTOR_SUBPARTS (vectype), 1U))
    2334                 :         78 :             *memory_access_type = VMAT_CONTIGUOUS;
    2335                 :            : 
    2336                 :            :           /* Otherwise try using LOAD/STORE_LANES.  */
    2337                 :      14326 :           if (*memory_access_type == VMAT_ELEMENTWISE
    2338                 :      26191 :               && (vls_type == VLS_LOAD
    2339                 :      14248 :                   ? vect_load_lanes_supported (vectype, group_size, masked_p)
    2340                 :       2383 :                   : vect_store_lanes_supported (vectype, group_size,
    2341                 :            :                                                 masked_p)))
    2342                 :            :             {
    2343                 :          0 :               *memory_access_type = VMAT_LOAD_STORE_LANES;
    2344                 :          0 :               overrun_p = would_overrun_p;
    2345                 :            :             }
    2346                 :            : 
    2347                 :            :           /* If that fails, try using permuting loads.  */
    2348                 :      14326 :           if (*memory_access_type == VMAT_ELEMENTWISE
    2349                 :      26191 :               && (vls_type == VLS_LOAD
    2350                 :      14248 :                   ? vect_grouped_load_supported (vectype, single_element_p,
    2351                 :            :                                                  group_size)
    2352                 :       2383 :                   : vect_grouped_store_supported (vectype, group_size)))
    2353                 :            :             {
    2354                 :      12787 :               *memory_access_type = VMAT_CONTIGUOUS_PERMUTE;
    2355                 :      12787 :               overrun_p = would_overrun_p;
    2356                 :            :             }
    2357                 :            :         }
    2358                 :            : 
    2359                 :            :       /* As a last resort, trying using a gather load or scatter store.
    2360                 :            : 
    2361                 :            :          ??? Although the code can handle all group sizes correctly,
    2362                 :            :          it probably isn't a win to use separate strided accesses based
    2363                 :            :          on nearby locations.  Or, even if it's a win over scalar code,
    2364                 :            :          it might not be a win over vectorizing at a lower VF, if that
    2365                 :            :          allows us to use contiguous accesses.  */
    2366                 :      17449 :       if (*memory_access_type == VMAT_ELEMENTWISE
    2367                 :            :           && single_element_p
    2368                 :       4584 :           && loop_vinfo
    2369                 :      18463 :           && vect_use_strided_gather_scatters_p (stmt_info, loop_vinfo,
    2370                 :            :                                                  masked_p, gs_info))
    2371                 :          0 :         *memory_access_type = VMAT_GATHER_SCATTER;
    2372                 :            :     }
    2373                 :            : 
    2374                 :     148216 :   if (vls_type != VLS_LOAD && first_stmt_info == stmt_info)
    2375                 :            :     {
    2376                 :            :       /* STMT is the leader of the group. Check the operands of all the
    2377                 :            :          stmts of the group.  */
    2378                 :     116641 :       stmt_vec_info next_stmt_info = DR_GROUP_NEXT_ELEMENT (stmt_info);
    2379                 :     375111 :       while (next_stmt_info)
    2380                 :            :         {
    2381                 :     258470 :           tree op = vect_get_store_rhs (next_stmt_info);
    2382                 :     258470 :           enum vect_def_type dt;
    2383                 :     258470 :           if (!vect_is_simple_use (op, vinfo, &dt))
    2384                 :            :             {
    2385                 :          0 :               if (dump_enabled_p ())
    2386                 :          0 :                 dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2387                 :            :                                  "use not simple.\n");
    2388                 :          0 :               return false;
    2389                 :            :             }
    2390                 :     258470 :           next_stmt_info = DR_GROUP_NEXT_ELEMENT (next_stmt_info);
    2391                 :            :         }
    2392                 :            :     }
    2393                 :            : 
    2394                 :     148216 :   if (overrun_p)
    2395                 :            :     {
    2396                 :       3160 :       gcc_assert (can_overrun_p);
    2397                 :       3160 :       if (dump_enabled_p ())
    2398                 :        644 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2399                 :            :                          "Data access with gaps requires scalar "
    2400                 :            :                          "epilogue loop\n");
    2401                 :       3160 :       LOOP_VINFO_PEELING_FOR_GAPS (loop_vinfo) = true;
    2402                 :            :     }
    2403                 :            : 
    2404                 :            :   return true;
    2405                 :            : }
    2406                 :            : 
    2407                 :            : /* Analyze load or store statement STMT_INFO of type VLS_TYPE.  Return true
    2408                 :            :    if there is a memory access type that the vectorized form can use,
    2409                 :            :    storing it in *MEMORY_ACCESS_TYPE if so.  If we decide to use gathers
    2410                 :            :    or scatters, fill in GS_INFO accordingly.
    2411                 :            : 
    2412                 :            :    SLP says whether we're performing SLP rather than loop vectorization.
    2413                 :            :    MASKED_P is true if the statement is conditional on a vectorized mask.
    2414                 :            :    VECTYPE is the vector type that the vectorized statements will use.
    2415                 :            :    NCOPIES is the number of vector statements that will be needed.  */
    2416                 :            : 
    2417                 :            : static bool
    2418                 :     265573 : get_load_store_type (vec_info  *vinfo, stmt_vec_info stmt_info,
    2419                 :            :                      tree vectype, bool slp,
    2420                 :            :                      bool masked_p, vec_load_store_type vls_type,
    2421                 :            :                      unsigned int ncopies,
    2422                 :            :                      vect_memory_access_type *memory_access_type,
    2423                 :            :                      gather_scatter_info *gs_info)
    2424                 :            : {
    2425                 :     265573 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    2426                 :     265573 :   poly_uint64 nunits = TYPE_VECTOR_SUBPARTS (vectype);
    2427                 :     265573 :   if (STMT_VINFO_GATHER_SCATTER_P (stmt_info))
    2428                 :            :     {
    2429                 :        668 :       *memory_access_type = VMAT_GATHER_SCATTER;
    2430                 :        668 :       if (!vect_check_gather_scatter (stmt_info, loop_vinfo, gs_info))
    2431                 :          0 :         gcc_unreachable ();
    2432                 :        668 :       else if (!vect_is_simple_use (gs_info->offset, vinfo,
    2433                 :            :                                     &gs_info->offset_dt,
    2434                 :            :                                     &gs_info->offset_vectype))
    2435                 :            :         {
    2436                 :          0 :           if (dump_enabled_p ())
    2437                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2438                 :            :                              "%s index use not simple.\n",
    2439                 :            :                              vls_type == VLS_LOAD ? "gather" : "scatter");
    2440                 :          0 :           return false;
    2441                 :            :         }
    2442                 :            :     }
    2443                 :     264905 :   else if (STMT_VINFO_GROUPED_ACCESS (stmt_info))
    2444                 :            :     {
    2445                 :     148216 :       if (!get_group_load_store_type (vinfo, stmt_info, vectype, slp, masked_p,
    2446                 :            :                                       vls_type, memory_access_type, gs_info))
    2447                 :            :         return false;
    2448                 :            :     }
    2449                 :     116689 :   else if (STMT_VINFO_STRIDED_P (stmt_info))
    2450                 :            :     {
    2451                 :       7297 :       gcc_assert (!slp);
    2452                 :       7297 :       if (loop_vinfo
    2453                 :       7297 :           && vect_use_strided_gather_scatters_p (stmt_info, loop_vinfo,
    2454                 :            :                                                  masked_p, gs_info))
    2455                 :          0 :         *memory_access_type = VMAT_GATHER_SCATTER;
    2456                 :            :       else
    2457                 :       7297 :         *memory_access_type = VMAT_ELEMENTWISE;
    2458                 :            :     }
    2459                 :            :   else
    2460                 :            :     {
    2461                 :     109392 :       int cmp = compare_step_with_zero (vinfo, stmt_info);
    2462                 :     109392 :       if (cmp < 0)
    2463                 :       3143 :         *memory_access_type = get_negative_load_store_type
    2464                 :       3143 :           (vinfo, stmt_info, vectype, vls_type, ncopies);
    2465                 :     106249 :       else if (cmp == 0)
    2466                 :            :         {
    2467                 :       1387 :           gcc_assert (vls_type == VLS_LOAD);
    2468                 :       1387 :           *memory_access_type = VMAT_INVARIANT;
    2469                 :            :         }
    2470                 :            :       else
    2471                 :     104862 :         *memory_access_type = VMAT_CONTIGUOUS;
    2472                 :            :     }
    2473                 :            : 
    2474                 :     265573 :   if ((*memory_access_type == VMAT_ELEMENTWISE
    2475                 :     265573 :        || *memory_access_type == VMAT_STRIDED_SLP)
    2476                 :            :       && !nunits.is_constant ())
    2477                 :            :     {
    2478                 :            :       if (dump_enabled_p ())
    2479                 :            :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2480                 :            :                          "Not using elementwise accesses due to variable "
    2481                 :            :                          "vectorization factor.\n");
    2482                 :            :       return false;
    2483                 :            :     }
    2484                 :            : 
    2485                 :            :   /* FIXME: At the moment the cost model seems to underestimate the
    2486                 :            :      cost of using elementwise accesses.  This check preserves the
    2487                 :            :      traditional behavior until that can be fixed.  */
    2488                 :     265573 :   stmt_vec_info first_stmt_info = DR_GROUP_FIRST_ELEMENT (stmt_info);
    2489                 :     265573 :   if (!first_stmt_info)
    2490                 :     117357 :     first_stmt_info = stmt_info;
    2491                 :     265573 :   if (*memory_access_type == VMAT_ELEMENTWISE
    2492                 :      12507 :       && !STMT_VINFO_STRIDED_P (first_stmt_info)
    2493                 :     267175 :       && !(stmt_info == DR_GROUP_FIRST_ELEMENT (stmt_info)
    2494                 :       1438 :            && !DR_GROUP_NEXT_ELEMENT (stmt_info)
    2495                 :        980 :            && !pow2p_hwi (DR_GROUP_SIZE (stmt_info))))
    2496                 :            :     {
    2497                 :        775 :       if (dump_enabled_p ())
    2498                 :        240 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2499                 :            :                          "not falling back to elementwise accesses\n");
    2500                 :        775 :       return false;
    2501                 :            :     }
    2502                 :            :   return true;
    2503                 :            : }
    2504                 :            : 
    2505                 :            : /* Return true if boolean argument MASK is suitable for vectorizing
    2506                 :            :    conditional operation STMT_INFO.  When returning true, store the type
    2507                 :            :    of the definition in *MASK_DT_OUT and the type of the vectorized mask
    2508                 :            :    in *MASK_VECTYPE_OUT.  */
    2509                 :            : 
    2510                 :            : static bool
    2511                 :       1307 : vect_check_scalar_mask (vec_info *vinfo, stmt_vec_info stmt_info, tree mask,
    2512                 :            :                         vect_def_type *mask_dt_out,
    2513                 :            :                         tree *mask_vectype_out)
    2514                 :            : {
    2515                 :       1307 :   if (!VECT_SCALAR_BOOLEAN_TYPE_P (TREE_TYPE (mask)))
    2516                 :            :     {
    2517                 :          0 :       if (dump_enabled_p ())
    2518                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2519                 :            :                          "mask argument is not a boolean.\n");
    2520                 :          0 :       return false;
    2521                 :            :     }
    2522                 :            : 
    2523                 :       1307 :   if (TREE_CODE (mask) != SSA_NAME)
    2524                 :            :     {
    2525                 :          0 :       if (dump_enabled_p ())
    2526                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2527                 :            :                          "mask argument is not an SSA name.\n");
    2528                 :          0 :       return false;
    2529                 :            :     }
    2530                 :            : 
    2531                 :       1307 :   enum vect_def_type mask_dt;
    2532                 :       1307 :   tree mask_vectype;
    2533                 :       1307 :   if (!vect_is_simple_use (mask, vinfo, &mask_dt, &mask_vectype))
    2534                 :            :     {
    2535                 :          0 :       if (dump_enabled_p ())
    2536                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2537                 :            :                          "mask use not simple.\n");
    2538                 :          0 :       return false;
    2539                 :            :     }
    2540                 :            : 
    2541                 :       1307 :   tree vectype = STMT_VINFO_VECTYPE (stmt_info);
    2542                 :       1307 :   if (!mask_vectype)
    2543                 :          6 :     mask_vectype = get_mask_type_for_scalar_type (vinfo, TREE_TYPE (vectype));
    2544                 :            : 
    2545                 :       1307 :   if (!mask_vectype || !VECTOR_BOOLEAN_TYPE_P (mask_vectype))
    2546                 :            :     {
    2547                 :          0 :       if (dump_enabled_p ())
    2548                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2549                 :            :                          "could not find an appropriate vector mask type.\n");
    2550                 :          0 :       return false;
    2551                 :            :     }
    2552                 :            : 
    2553                 :       1307 :   if (maybe_ne (TYPE_VECTOR_SUBPARTS (mask_vectype),
    2554                 :       2614 :                 TYPE_VECTOR_SUBPARTS (vectype)))
    2555                 :            :     {
    2556                 :          0 :       if (dump_enabled_p ())
    2557                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2558                 :            :                          "vector mask type %T"
    2559                 :            :                          " does not match vector data type %T.\n",
    2560                 :            :                          mask_vectype, vectype);
    2561                 :            : 
    2562                 :          0 :       return false;
    2563                 :            :     }
    2564                 :            : 
    2565                 :       1307 :   *mask_dt_out = mask_dt;
    2566                 :       1307 :   *mask_vectype_out = mask_vectype;
    2567                 :       1307 :   return true;
    2568                 :            : }
    2569                 :            : 
    2570                 :            : /* Return true if stored value RHS is suitable for vectorizing store
    2571                 :            :    statement STMT_INFO.  When returning true, store the type of the
    2572                 :            :    definition in *RHS_DT_OUT, the type of the vectorized store value in
    2573                 :            :    *RHS_VECTYPE_OUT and the type of the store in *VLS_TYPE_OUT.  */
    2574                 :            : 
    2575                 :            : static bool
    2576                 :     167393 : vect_check_store_rhs (vec_info *vinfo, stmt_vec_info stmt_info, tree rhs,
    2577                 :            :                       vect_def_type *rhs_dt_out, tree *rhs_vectype_out,
    2578                 :            :                       vec_load_store_type *vls_type_out)
    2579                 :            : {
    2580                 :            :   /* In the case this is a store from a constant make sure
    2581                 :            :      native_encode_expr can handle it.  */
    2582                 :     167393 :   if (CONSTANT_CLASS_P (rhs) && native_encode_expr (rhs, NULL, 64) == 0)
    2583                 :            :     {
    2584                 :          0 :       if (dump_enabled_p ())
    2585                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2586                 :            :                          "cannot encode constant as a byte sequence.\n");
    2587                 :          0 :       return false;
    2588                 :            :     }
    2589                 :            : 
    2590                 :     167393 :   enum vect_def_type rhs_dt;
    2591                 :     167393 :   tree rhs_vectype;
    2592                 :     167393 :   if (!vect_is_simple_use (rhs, vinfo, &rhs_dt, &rhs_vectype))
    2593                 :            :     {
    2594                 :          2 :       if (dump_enabled_p ())
    2595                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2596                 :            :                          "use not simple.\n");
    2597                 :          2 :       return false;
    2598                 :            :     }
    2599                 :            : 
    2600                 :     167391 :   tree vectype = STMT_VINFO_VECTYPE (stmt_info);
    2601                 :     167391 :   if (rhs_vectype && !useless_type_conversion_p (vectype, rhs_vectype))
    2602                 :            :     {
    2603                 :         12 :       if (dump_enabled_p ())
    2604                 :         12 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    2605                 :            :                          "incompatible vector types.\n");
    2606                 :         12 :       return false;
    2607                 :            :     }
    2608                 :            : 
    2609                 :     167379 :   *rhs_dt_out = rhs_dt;
    2610                 :     167379 :   *rhs_vectype_out = rhs_vectype;
    2611                 :     167379 :   if (rhs_dt == vect_constant_def || rhs_dt == vect_external_def)
    2612                 :     114650 :     *vls_type_out = VLS_STORE_INVARIANT;
    2613                 :            :   else
    2614                 :      52729 :     *vls_type_out = VLS_STORE;
    2615                 :            :   return true;
    2616                 :            : }
    2617                 :            : 
    2618                 :            : /* Build an all-ones vector mask of type MASKTYPE while vectorizing STMT_INFO.
    2619                 :            :    Note that we support masks with floating-point type, in which case the
    2620                 :            :    floats are interpreted as a bitmask.  */
    2621                 :            : 
    2622                 :            : static tree
    2623                 :        125 : vect_build_all_ones_mask (vec_info *vinfo,
    2624                 :            :                           stmt_vec_info stmt_info, tree masktype)
    2625                 :            : {
    2626                 :        125 :   if (TREE_CODE (masktype) == INTEGER_TYPE)
    2627                 :         65 :     return build_int_cst (masktype, -1);
    2628                 :         60 :   else if (TREE_CODE (TREE_TYPE (masktype)) == INTEGER_TYPE)
    2629                 :            :     {
    2630                 :         12 :       tree mask = build_int_cst (TREE_TYPE (masktype), -1);
    2631                 :         12 :       mask = build_vector_from_val (masktype, mask);
    2632                 :         12 :       return vect_init_vector (vinfo, stmt_info, mask, masktype, NULL);
    2633                 :            :     }
    2634                 :         48 :   else if (SCALAR_FLOAT_TYPE_P (TREE_TYPE (masktype)))
    2635                 :            :     {
    2636                 :            :       REAL_VALUE_TYPE r;
    2637                 :            :       long tmp[6];
    2638                 :        336 :       for (int j = 0; j < 6; ++j)
    2639                 :        288 :         tmp[j] = -1;
    2640                 :         48 :       real_from_target (&r, tmp, TYPE_MODE (TREE_TYPE (masktype)));
    2641                 :         48 :       tree mask = build_real (TREE_TYPE (masktype), r);
    2642                 :         48 :       mask = build_vector_from_val (masktype, mask);
    2643                 :         48 :       return vect_init_vector (vinfo, stmt_info, mask, masktype, NULL);
    2644                 :            :     }
    2645                 :          0 :   gcc_unreachable ();
    2646                 :            : }
    2647                 :            : 
    2648                 :            : /* Build an all-zero merge value of type VECTYPE while vectorizing
    2649                 :            :    STMT_INFO as a gather load.  */
    2650                 :            : 
    2651                 :            : static tree
    2652                 :        125 : vect_build_zero_merge_argument (vec_info *vinfo,
    2653                 :            :                                 stmt_vec_info stmt_info, tree vectype)
    2654                 :            : {
    2655                 :        125 :   tree merge;
    2656                 :        125 :   if (TREE_CODE (TREE_TYPE (vectype)) == INTEGER_TYPE)
    2657                 :         41 :     merge = build_int_cst (TREE_TYPE (vectype), 0);
    2658                 :         84 :   else if (SCALAR_FLOAT_TYPE_P (TREE_TYPE (vectype)))
    2659                 :            :     {
    2660                 :            :       REAL_VALUE_TYPE r;
    2661                 :            :       long tmp[6];
    2662                 :        588 :       for (int j = 0; j < 6; ++j)
    2663                 :        504 :         tmp[j] = 0;
    2664                 :         84 :       real_from_target (&r, tmp, TYPE_MODE (TREE_TYPE (vectype)));
    2665                 :         84 :       merge = build_real (TREE_TYPE (vectype), r);
    2666                 :            :     }
    2667                 :            :   else
    2668                 :          0 :     gcc_unreachable ();
    2669                 :        125 :   merge = build_vector_from_val (vectype, merge);
    2670                 :        125 :   return vect_init_vector (vinfo, stmt_info, merge, vectype, NULL);
    2671                 :            : }
    2672                 :            : 
    2673                 :            : /* Build a gather load call while vectorizing STMT_INFO.  Insert new
    2674                 :            :    instructions before GSI and add them to VEC_STMT.  GS_INFO describes
    2675                 :            :    the gather load operation.  If the load is conditional, MASK is the
    2676                 :            :    unvectorized condition and MASK_DT is its definition type, otherwise
    2677                 :            :    MASK is null.  */
    2678                 :            : 
    2679                 :            : static void
    2680                 :        235 : vect_build_gather_load_calls (vec_info *vinfo, stmt_vec_info stmt_info,
    2681                 :            :                               gimple_stmt_iterator *gsi,
    2682                 :            :                               stmt_vec_info *vec_stmt,
    2683                 :            :                               gather_scatter_info *gs_info,
    2684                 :            :                               tree mask)
    2685                 :            : {
    2686                 :        235 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    2687                 :        235 :   class loop *loop = LOOP_VINFO_LOOP (loop_vinfo);
    2688                 :        235 :   tree vectype = STMT_VINFO_VECTYPE (stmt_info);
    2689                 :        235 :   poly_uint64 nunits = TYPE_VECTOR_SUBPARTS (vectype);
    2690                 :        235 :   int ncopies = vect_get_num_copies (loop_vinfo, vectype);
    2691                 :        235 :   edge pe = loop_preheader_edge (loop);
    2692                 :        235 :   enum { NARROW, NONE, WIDEN } modifier;
    2693                 :        235 :   poly_uint64 gather_off_nunits
    2694                 :        235 :     = TYPE_VECTOR_SUBPARTS (gs_info->offset_vectype);
    2695                 :            : 
    2696                 :        235 :   tree arglist = TYPE_ARG_TYPES (TREE_TYPE (gs_info->decl));
    2697                 :        235 :   tree rettype = TREE_TYPE (TREE_TYPE (gs_info->decl));
    2698                 :        235 :   tree srctype = TREE_VALUE (arglist); arglist = TREE_CHAIN (arglist);
    2699                 :        235 :   tree ptrtype = TREE_VALUE (arglist); arglist = TREE_CHAIN (arglist);
    2700                 :        235 :   tree idxtype = TREE_VALUE (arglist); arglist = TREE_CHAIN (arglist);
    2701                 :        235 :   tree masktype = TREE_VALUE (arglist); arglist = TREE_CHAIN (arglist);
    2702                 :        235 :   tree scaletype = TREE_VALUE (arglist);
    2703                 :        235 :   tree real_masktype = masktype;
    2704                 :        235 :   gcc_checking_assert (types_compatible_p (srctype, rettype)
    2705                 :            :                        && (!mask
    2706                 :            :                            || TREE_CODE (masktype) == INTEGER_TYPE
    2707                 :            :                            || types_compatible_p (srctype, masktype)));
    2708                 :        235 :   if (mask && TREE_CODE (masktype) == INTEGER_TYPE)
    2709                 :         82 :     masktype = truth_type_for (srctype);
    2710                 :            : 
    2711                 :        235 :   tree mask_halftype = masktype;
    2712                 :        235 :   tree perm_mask = NULL_TREE;
    2713                 :        235 :   tree mask_perm_mask = NULL_TREE;
    2714                 :        235 :   if (known_eq (nunits, gather_off_nunits))
    2715                 :            :     modifier = NONE;
    2716                 :        118 :   else if (known_eq (nunits * 2, gather_off_nunits))
    2717                 :            :     {
    2718                 :         47 :       modifier = WIDEN;
    2719                 :            : 
    2720                 :            :       /* Currently widening gathers and scatters are only supported for
    2721                 :            :          fixed-length vectors.  */
    2722                 :         47 :       int count = gather_off_nunits.to_constant ();
    2723                 :         94 :       vec_perm_builder sel (count, count, 1);
    2724                 :        499 :       for (int i = 0; i < count; ++i)
    2725                 :        452 :         sel.quick_push (i | (count / 2));
    2726                 :            : 
    2727                 :         94 :       vec_perm_indices indices (sel, 1, count);
    2728                 :         47 :       perm_mask = vect_gen_perm_mask_checked (gs_info->offset_vectype,
    2729                 :            :                                               indices);
    2730                 :            :     }
    2731                 :         71 :   else if (known_eq (nunits, gather_off_nunits * 2))
    2732                 :            :     {
    2733                 :         71 :       modifier = NARROW;
    2734                 :            : 
    2735                 :            :       /* Currently narrowing gathers and scatters are only supported for
    2736                 :            :          fixed-length vectors.  */
    2737                 :         71 :       int count = nunits.to_constant ();
    2738                 :        142 :       vec_perm_builder sel (count, count, 1);
    2739                 :         71 :       sel.quick_grow (count);
    2740                 :        747 :       for (int i = 0; i < count; ++i)
    2741                 :        676 :         sel[i] = i < count / 2 ? i : i + count / 2;
    2742                 :        142 :       vec_perm_indices indices (sel, 2, count);
    2743                 :         71 :       perm_mask = vect_gen_perm_mask_checked (vectype, indices);
    2744                 :            : 
    2745                 :         71 :       ncopies *= 2;
    2746                 :            : 
    2747                 :         71 :       if (mask && masktype == real_masktype)
    2748                 :            :         {
    2749                 :         64 :           for (int i = 0; i < count; ++i)
    2750                 :         56 :             sel[i] = i | (count / 2);
    2751                 :          8 :           indices.new_vector (sel, 2, count);
    2752                 :          8 :           mask_perm_mask = vect_gen_perm_mask_checked (masktype, indices);
    2753                 :            :         }
    2754                 :         63 :       else if (mask)
    2755                 :         26 :         mask_halftype = truth_type_for (gs_info->offset_vectype);
    2756                 :            :     }
    2757                 :            :   else
    2758                 :          0 :     gcc_unreachable ();
    2759                 :            : 
    2760                 :        235 :   tree scalar_dest = gimple_get_lhs (stmt_info->stmt);
    2761                 :        235 :   tree vec_dest = vect_create_destination_var (scalar_dest, vectype);
    2762                 :            : 
    2763                 :        235 :   tree ptr = fold_convert (ptrtype, gs_info->base);
    2764                 :        235 :   if (!is_gimple_min_invariant (ptr))
    2765                 :            :     {
    2766                 :        204 :       gimple_seq seq;
    2767                 :        204 :       ptr = force_gimple_operand (ptr, &seq, true, NULL_TREE);
    2768                 :        204 :       basic_block new_bb = gsi_insert_seq_on_edge_immediate (pe, seq);
    2769                 :        204 :       gcc_assert (!new_bb);
    2770                 :            :     }
    2771                 :            : 
    2772                 :        235 :   tree scale = build_int_cst (scaletype, gs_info->scale);
    2773                 :            : 
    2774                 :        235 :   tree vec_oprnd0 = NULL_TREE;
    2775                 :        235 :   tree vec_mask = NULL_TREE;
    2776                 :        235 :   tree src_op = NULL_TREE;
    2777                 :        235 :   tree mask_op = NULL_TREE;
    2778                 :        235 :   tree prev_res = NULL_TREE;
    2779                 :        235 :   stmt_vec_info prev_stmt_info = NULL;
    2780                 :            : 
    2781                 :        235 :   if (!mask)
    2782                 :            :     {
    2783                 :        125 :       src_op = vect_build_zero_merge_argument (vinfo, stmt_info, rettype);
    2784                 :        125 :       mask_op = vect_build_all_ones_mask (vinfo, stmt_info, masktype);
    2785                 :            :     }
    2786                 :            : 
    2787                 :        631 :   for (int j = 0; j < ncopies; ++j)
    2788                 :            :     {
    2789                 :        396 :       tree op, var;
    2790                 :        396 :       if (modifier == WIDEN && (j & 1))
    2791                 :         51 :         op = permute_vec_elements (vinfo, vec_oprnd0, vec_oprnd0,
    2792                 :            :                                    perm_mask, stmt_info, gsi);
    2793                 :        345 :       else if (j == 0)
    2794                 :        235 :         op = vec_oprnd0
    2795                 :        235 :           = vect_get_vec_def_for_operand (vinfo, gs_info->offset, stmt_info);
    2796                 :            :       else
    2797                 :        110 :         op = vec_oprnd0 = vect_get_vec_def_for_stmt_copy (loop_vinfo,
    2798                 :            :                                                           vec_oprnd0);
    2799                 :            : 
    2800                 :        396 :       if (!useless_type_conversion_p (idxtype, TREE_TYPE (op)))
    2801                 :            :         {
    2802                 :         89 :           gcc_assert (known_eq (TYPE_VECTOR_SUBPARTS (TREE_TYPE (op)),
    2803                 :            :                                 TYPE_VECTOR_SUBPARTS (idxtype)));
    2804                 :         89 :           var = vect_get_new_ssa_name (idxtype, vect_simple_var);
    2805                 :         89 :           op = build1 (VIEW_CONVERT_EXPR, idxtype, op);
    2806                 :         89 :           gassign *new_stmt = gimple_build_assign (var, VIEW_CONVERT_EXPR, op);
    2807                 :         89 :           vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    2808                 :         89 :           op = var;
    2809                 :            :         }
    2810                 :            : 
    2811                 :        396 :       if (mask)
    2812                 :            :         {
    2813                 :        171 :           if (mask_perm_mask && (j & 1))
    2814                 :          8 :             mask_op = permute_vec_elements (vinfo, mask_op, mask_op,
    2815                 :            :                                             mask_perm_mask, stmt_info, gsi);
    2816                 :            :           else
    2817                 :            :             {
    2818                 :        163 :               if (j == 0)
    2819                 :        110 :                 vec_mask = vect_get_vec_def_for_operand (vinfo, mask, stmt_info);
    2820                 :         53 :               else if (modifier != NARROW || (j & 1) == 0)
    2821                 :         27 :                 vec_mask = vect_get_vec_def_for_stmt_copy (loop_vinfo,
    2822                 :            :                                                            vec_mask);
    2823                 :            : 
    2824                 :        163 :               mask_op = vec_mask;
    2825                 :        163 :               if (!useless_type_conversion_p (masktype, TREE_TYPE (vec_mask)))
    2826                 :            :                 {
    2827                 :         36 :                   poly_uint64 sub1 = TYPE_VECTOR_SUBPARTS (TREE_TYPE (mask_op));
    2828                 :         36 :                   poly_uint64 sub2 = TYPE_VECTOR_SUBPARTS (masktype);
    2829                 :         36 :                   gcc_assert (known_eq (sub1, sub2));
    2830                 :         36 :                   var = vect_get_new_ssa_name (masktype, vect_simple_var);
    2831                 :         36 :                   mask_op = build1 (VIEW_CONVERT_EXPR, masktype, mask_op);
    2832                 :         36 :                   gassign *new_stmt
    2833                 :         36 :                     = gimple_build_assign (var, VIEW_CONVERT_EXPR, mask_op);
    2834                 :         36 :                   vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    2835                 :         36 :                   mask_op = var;
    2836                 :            :                 }
    2837                 :            :             }
    2838                 :        171 :           if (modifier == NARROW && masktype != real_masktype)
    2839                 :            :             {
    2840                 :         52 :               var = vect_get_new_ssa_name (mask_halftype, vect_simple_var);
    2841                 :         52 :               gassign *new_stmt
    2842                 :         52 :                 = gimple_build_assign (var, (j & 1) ? VEC_UNPACK_HI_EXPR
    2843                 :            :                                                     : VEC_UNPACK_LO_EXPR,
    2844                 :            :                                        mask_op);
    2845                 :         52 :               vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    2846                 :         52 :               mask_op = var;
    2847                 :            :             }
    2848                 :            :           src_op = mask_op;
    2849                 :            :         }
    2850                 :            : 
    2851                 :        396 :       tree mask_arg = mask_op;
    2852                 :        396 :       if (masktype != real_masktype)
    2853                 :            :         {
    2854                 :        127 :           tree utype, optype = TREE_TYPE (mask_op);
    2855                 :        254 :           if (TYPE_MODE (real_masktype) == TYPE_MODE (optype))
    2856                 :            :             utype = real_masktype;
    2857                 :            :           else
    2858                 :         16 :             utype = lang_hooks.types.type_for_mode (TYPE_MODE (optype), 1);
    2859                 :        127 :           var = vect_get_new_ssa_name (utype, vect_scalar_var);
    2860                 :        127 :           mask_arg = build1 (VIEW_CONVERT_EXPR, utype, mask_op);
    2861                 :        127 :           gassign *new_stmt
    2862                 :        127 :             = gimple_build_assign (var, VIEW_CONVERT_EXPR, mask_arg);
    2863                 :        127 :           vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    2864                 :        127 :           mask_arg = var;
    2865                 :        127 :           if (!useless_type_conversion_p (real_masktype, utype))
    2866                 :            :             {
    2867                 :         16 :               gcc_assert (TYPE_PRECISION (utype)
    2868                 :            :                           <= TYPE_PRECISION (real_masktype));
    2869                 :         16 :               var = vect_get_new_ssa_name (real_masktype, vect_scalar_var);
    2870                 :         16 :               new_stmt = gimple_build_assign (var, NOP_EXPR, mask_arg);
    2871                 :         16 :               vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    2872                 :         16 :               mask_arg = var;
    2873                 :            :             }
    2874                 :        127 :           src_op = build_zero_cst (srctype);
    2875                 :            :         }
    2876                 :        396 :       gcall *new_call = gimple_build_call (gs_info->decl, 5, src_op, ptr, op,
    2877                 :            :                                            mask_arg, scale);
    2878                 :            : 
    2879                 :        396 :       stmt_vec_info new_stmt_info;
    2880                 :        396 :       if (!useless_type_conversion_p (vectype, rettype))
    2881                 :            :         {
    2882                 :         39 :           gcc_assert (known_eq (TYPE_VECTOR_SUBPARTS (vectype),
    2883                 :            :                                 TYPE_VECTOR_SUBPARTS (rettype)));
    2884                 :         39 :           op = vect_get_new_ssa_name (rettype, vect_simple_var);
    2885                 :         39 :           gimple_call_set_lhs (new_call, op);
    2886                 :         39 :           vect_finish_stmt_generation (vinfo, stmt_info, new_call, gsi);
    2887                 :         39 :           var = make_ssa_name (vec_dest);
    2888                 :         39 :           op = build1 (VIEW_CONVERT_EXPR, vectype, op);
    2889                 :         39 :           gassign *new_stmt = gimple_build_assign (var, VIEW_CONVERT_EXPR, op);
    2890                 :         39 :           new_stmt_info
    2891                 :         39 :             = vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    2892                 :            :         }
    2893                 :            :       else
    2894                 :            :         {
    2895                 :        357 :           var = make_ssa_name (vec_dest, new_call);
    2896                 :        357 :           gimple_call_set_lhs (new_call, var);
    2897                 :        357 :           new_stmt_info
    2898                 :        357 :             = vect_finish_stmt_generation (vinfo, stmt_info, new_call, gsi);
    2899                 :            :         }
    2900                 :            : 
    2901                 :        396 :       if (modifier == NARROW)
    2902                 :            :         {
    2903                 :        150 :           if ((j & 1) == 0)
    2904                 :            :             {
    2905                 :         75 :               prev_res = var;
    2906                 :         75 :               continue;
    2907                 :            :             }
    2908                 :         75 :           var = permute_vec_elements (vinfo, prev_res, var, perm_mask,
    2909                 :            :                                       stmt_info, gsi);
    2910                 :         75 :           new_stmt_info = loop_vinfo->lookup_def (var);
    2911                 :            :         }
    2912                 :            : 
    2913                 :        321 :       if (prev_stmt_info == NULL)
    2914                 :        235 :         STMT_VINFO_VEC_STMT (stmt_info) = *vec_stmt = new_stmt_info;
    2915                 :            :       else
    2916                 :         86 :         STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    2917                 :            :       prev_stmt_info = new_stmt_info;
    2918                 :            :     }
    2919                 :        235 : }
    2920                 :            : 
    2921                 :            : /* Prepare the base and offset in GS_INFO for vectorization.
    2922                 :            :    Set *DATAREF_PTR to the loop-invariant base address and *VEC_OFFSET
    2923                 :            :    to the vectorized offset argument for the first copy of STMT_INFO.
    2924                 :            :    STMT_INFO is the statement described by GS_INFO and LOOP is the
    2925                 :            :    containing loop.  */
    2926                 :            : 
    2927                 :            : static void
    2928                 :          0 : vect_get_gather_scatter_ops (vec_info *vinfo,
    2929                 :            :                              class loop *loop, stmt_vec_info stmt_info,
    2930                 :            :                              gather_scatter_info *gs_info,
    2931                 :            :                              tree *dataref_ptr, tree *vec_offset)
    2932                 :            : {
    2933                 :          0 :   gimple_seq stmts = NULL;
    2934                 :          0 :   *dataref_ptr = force_gimple_operand (gs_info->base, &stmts, true, NULL_TREE);
    2935                 :          0 :   if (stmts != NULL)
    2936                 :            :     {
    2937                 :          0 :       basic_block new_bb;
    2938                 :          0 :       edge pe = loop_preheader_edge (loop);
    2939                 :          0 :       new_bb = gsi_insert_seq_on_edge_immediate (pe, stmts);
    2940                 :          0 :       gcc_assert (!new_bb);
    2941                 :            :     }
    2942                 :          0 :   *vec_offset = vect_get_vec_def_for_operand (vinfo, gs_info->offset, stmt_info,
    2943                 :            :                                               gs_info->offset_vectype);
    2944                 :          0 : }
    2945                 :            : 
    2946                 :            : /* Prepare to implement a grouped or strided load or store using
    2947                 :            :    the gather load or scatter store operation described by GS_INFO.
    2948                 :            :    STMT_INFO is the load or store statement.
    2949                 :            : 
    2950                 :            :    Set *DATAREF_BUMP to the amount that should be added to the base
    2951                 :            :    address after each copy of the vectorized statement.  Set *VEC_OFFSET
    2952                 :            :    to an invariant offset vector in which element I has the value
    2953                 :            :    I * DR_STEP / SCALE.  */
    2954                 :            : 
    2955                 :            : static void
    2956                 :          0 : vect_get_strided_load_store_ops (stmt_vec_info stmt_info,
    2957                 :            :                                  loop_vec_info loop_vinfo,
    2958                 :            :                                  gather_scatter_info *gs_info,
    2959                 :            :                                  tree *dataref_bump, tree *vec_offset)
    2960                 :            : {
    2961                 :          0 :   struct data_reference *dr = STMT_VINFO_DATA_REF (stmt_info);
    2962                 :          0 :   class loop *loop = LOOP_VINFO_LOOP (loop_vinfo);
    2963                 :          0 :   tree vectype = STMT_VINFO_VECTYPE (stmt_info);
    2964                 :          0 :   gimple_seq stmts;
    2965                 :            : 
    2966                 :          0 :   tree bump = size_binop (MULT_EXPR,
    2967                 :            :                           fold_convert (sizetype, unshare_expr (DR_STEP (dr))),
    2968                 :            :                           size_int (TYPE_VECTOR_SUBPARTS (vectype)));
    2969                 :          0 :   *dataref_bump = force_gimple_operand (bump, &stmts, true, NULL_TREE);
    2970                 :          0 :   if (stmts)
    2971                 :          0 :     gsi_insert_seq_on_edge_immediate (loop_preheader_edge (loop), stmts);
    2972                 :            : 
    2973                 :            :   /* The offset given in GS_INFO can have pointer type, so use the element
    2974                 :            :      type of the vector instead.  */
    2975                 :          0 :   tree offset_type = TREE_TYPE (gs_info->offset);
    2976                 :          0 :   offset_type = TREE_TYPE (gs_info->offset_vectype);
    2977                 :            : 
    2978                 :            :   /* Calculate X = DR_STEP / SCALE and convert it to the appropriate type.  */
    2979                 :          0 :   tree step = size_binop (EXACT_DIV_EXPR, unshare_expr (DR_STEP (dr)),
    2980                 :            :                           ssize_int (gs_info->scale));
    2981                 :          0 :   step = fold_convert (offset_type, step);
    2982                 :          0 :   step = force_gimple_operand (step, &stmts, true, NULL_TREE);
    2983                 :            : 
    2984                 :            :   /* Create {0, X, X*2, X*3, ...}.  */
    2985                 :          0 :   *vec_offset = gimple_build (&stmts, VEC_SERIES_EXPR, gs_info->offset_vectype,
    2986                 :            :                               build_zero_cst (offset_type), step);
    2987                 :          0 :   if (stmts)
    2988                 :          0 :     gsi_insert_seq_on_edge_immediate (loop_preheader_edge (loop), stmts);
    2989                 :          0 : }
    2990                 :            : 
    2991                 :            : /* Return the amount that should be added to a vector pointer to move
    2992                 :            :    to the next or previous copy of AGGR_TYPE.  DR_INFO is the data reference
    2993                 :            :    being vectorized and MEMORY_ACCESS_TYPE describes the type of
    2994                 :            :    vectorization.  */
    2995                 :            : 
    2996                 :            : static tree
    2997                 :     107314 : vect_get_data_ptr_increment (vec_info *vinfo,
    2998                 :            :                              dr_vec_info *dr_info, tree aggr_type,
    2999                 :            :                              vect_memory_access_type memory_access_type)
    3000                 :            : {
    3001                 :     107314 :   if (memory_access_type == VMAT_INVARIANT)
    3002                 :          0 :     return size_zero_node;
    3003                 :            : 
    3004                 :     107314 :   tree iv_step = TYPE_SIZE_UNIT (aggr_type);
    3005                 :     107314 :   tree step = vect_dr_behavior (vinfo, dr_info)->step;
    3006                 :     107314 :   if (tree_int_cst_sgn (step) == -1)
    3007                 :       1470 :     iv_step = fold_build1 (NEGATE_EXPR, TREE_TYPE (iv_step), iv_step);
    3008                 :            :   return iv_step;
    3009                 :            : }
    3010                 :            : 
    3011                 :            : /* Check and perform vectorization of BUILT_IN_BSWAP{16,32,64,128}.  */
    3012                 :            : 
    3013                 :            : static bool
    3014                 :         27 : vectorizable_bswap (vec_info *vinfo,
    3015                 :            :                     stmt_vec_info stmt_info, gimple_stmt_iterator *gsi,
    3016                 :            :                     stmt_vec_info *vec_stmt, slp_tree slp_node,
    3017                 :            :                     slp_tree *slp_op,
    3018                 :            :                     tree vectype_in, stmt_vector_for_cost *cost_vec)
    3019                 :            : {
    3020                 :         27 :   tree op, vectype;
    3021                 :         27 :   gcall *stmt = as_a <gcall *> (stmt_info->stmt);
    3022                 :         27 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    3023                 :         27 :   unsigned ncopies;
    3024                 :            : 
    3025                 :         27 :   op = gimple_call_arg (stmt, 0);
    3026                 :         27 :   vectype = STMT_VINFO_VECTYPE (stmt_info);
    3027                 :         27 :   poly_uint64 nunits = TYPE_VECTOR_SUBPARTS (vectype);
    3028                 :            : 
    3029                 :            :   /* Multiple types in SLP are handled by creating the appropriate number of
    3030                 :            :      vectorized stmts for each SLP node.  Hence, NCOPIES is always 1 in
    3031                 :            :      case of SLP.  */
    3032                 :         27 :   if (slp_node)
    3033                 :            :     ncopies = 1;
    3034                 :            :   else
    3035                 :         20 :     ncopies = vect_get_num_copies (loop_vinfo, vectype);
    3036                 :            : 
    3037                 :         20 :   gcc_assert (ncopies >= 1);
    3038                 :            : 
    3039                 :         27 :   tree char_vectype = get_same_sized_vectype (char_type_node, vectype_in);
    3040                 :         27 :   if (! char_vectype)
    3041                 :            :     return false;
    3042                 :            : 
    3043                 :         27 :   poly_uint64 num_bytes = TYPE_VECTOR_SUBPARTS (char_vectype);
    3044                 :         27 :   unsigned word_bytes;
    3045                 :         54 :   if (!constant_multiple_p (num_bytes, nunits, &word_bytes))
    3046                 :            :     return false;
    3047                 :            : 
    3048                 :            :   /* The encoding uses one stepped pattern for each byte in the word.  */
    3049                 :         27 :   vec_perm_builder elts (num_bytes, word_bytes, 3);
    3050                 :        108 :   for (unsigned i = 0; i < 3; ++i)
    3051                 :        525 :     for (unsigned j = 0; j < word_bytes; ++j)
    3052                 :        444 :       elts.quick_push ((i + 1) * word_bytes - j - 1);
    3053                 :            : 
    3054                 :         54 :   vec_perm_indices indices (elts, 1, num_bytes);
    3055                 :         27 :   if (!can_vec_perm_const_p (TYPE_MODE (char_vectype), indices))
    3056                 :            :     return false;
    3057                 :            : 
    3058                 :         22 :   if (! vec_stmt)
    3059                 :            :     {
    3060                 :         11 :       if (slp_node
    3061                 :         11 :           && !vect_maybe_update_slp_op_vectype (slp_op[0], vectype_in))
    3062                 :            :         {
    3063                 :          0 :           if (dump_enabled_p ())
    3064                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    3065                 :            :                              "incompatible vector types for invariants\n");
    3066                 :          0 :           return false;
    3067                 :            :         }
    3068                 :            : 
    3069                 :         11 :       STMT_VINFO_TYPE (stmt_info) = call_vec_info_type;
    3070                 :         11 :       DUMP_VECT_SCOPE ("vectorizable_bswap");
    3071                 :         11 :       if (! slp_node)
    3072                 :            :         {
    3073                 :          9 :           record_stmt_cost (cost_vec,
    3074                 :            :                             1, vector_stmt, stmt_info, 0, vect_prologue);
    3075                 :          9 :           record_stmt_cost (cost_vec,
    3076                 :            :                             ncopies, vec_perm, stmt_info, 0, vect_body);
    3077                 :            :         }
    3078                 :         11 :       return true;
    3079                 :            :     }
    3080                 :            : 
    3081                 :         11 :   tree bswap_vconst = vec_perm_indices_to_tree (char_vectype, indices);
    3082                 :            : 
    3083                 :            :   /* Transform.  */
    3084                 :         11 :   vec<tree> vec_oprnds = vNULL;
    3085                 :         11 :   stmt_vec_info new_stmt_info = NULL;
    3086                 :         11 :   stmt_vec_info prev_stmt_info = NULL;
    3087                 :         22 :   for (unsigned j = 0; j < ncopies; j++)
    3088                 :            :     {
    3089                 :            :       /* Handle uses.  */
    3090                 :         11 :       if (j == 0)
    3091                 :         11 :         vect_get_vec_defs (vinfo, op, NULL, stmt_info, &vec_oprnds, NULL,
    3092                 :            :                            slp_node);
    3093                 :            :       else
    3094                 :          0 :         vect_get_vec_defs_for_stmt_copy (vinfo, &vec_oprnds, NULL);
    3095                 :            : 
    3096                 :            :       /* Arguments are ready. create the new vector stmt.  */
    3097                 :            :       unsigned i;
    3098                 :            :       tree vop;
    3099                 :         22 :       FOR_EACH_VEC_ELT (vec_oprnds, i, vop)
    3100                 :            :        {
    3101                 :         11 :          gimple *new_stmt;
    3102                 :         11 :          tree tem = make_ssa_name (char_vectype);
    3103                 :         11 :          new_stmt = gimple_build_assign (tem, build1 (VIEW_CONVERT_EXPR,
    3104                 :            :                                                       char_vectype, vop));
    3105                 :         11 :          vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    3106                 :         11 :          tree tem2 = make_ssa_name (char_vectype);
    3107                 :         11 :          new_stmt = gimple_build_assign (tem2, VEC_PERM_EXPR,
    3108                 :            :                                          tem, tem, bswap_vconst);
    3109                 :         11 :          vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    3110                 :         11 :          tem = make_ssa_name (vectype);
    3111                 :         11 :          new_stmt = gimple_build_assign (tem, build1 (VIEW_CONVERT_EXPR,
    3112                 :            :                                                       vectype, tem2));
    3113                 :         11 :          new_stmt_info
    3114                 :         11 :            = vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    3115                 :         11 :          if (slp_node)
    3116                 :         13 :            SLP_TREE_VEC_STMTS (slp_node).quick_push (new_stmt_info);
    3117                 :            :        }
    3118                 :            : 
    3119                 :         11 :       if (slp_node)
    3120                 :          2 :         continue;
    3121                 :            : 
    3122                 :          9 :       if (j == 0)
    3123                 :          9 :         STMT_VINFO_VEC_STMT (stmt_info) = *vec_stmt = new_stmt_info;
    3124                 :            :       else
    3125                 :          0 :         STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    3126                 :            : 
    3127                 :            :       prev_stmt_info = new_stmt_info;
    3128                 :            :     }
    3129                 :            : 
    3130                 :         38 :   vec_oprnds.release ();
    3131                 :            :   return true;
    3132                 :            : }
    3133                 :            : 
    3134                 :            : /* Return true if vector types VECTYPE_IN and VECTYPE_OUT have
    3135                 :            :    integer elements and if we can narrow VECTYPE_IN to VECTYPE_OUT
    3136                 :            :    in a single step.  On success, store the binary pack code in
    3137                 :            :    *CONVERT_CODE.  */
    3138                 :            : 
    3139                 :            : static bool
    3140                 :         71 : simple_integer_narrowing (tree vectype_out, tree vectype_in,
    3141                 :            :                           tree_code *convert_code)
    3142                 :            : {
    3143                 :        142 :   if (!INTEGRAL_TYPE_P (TREE_TYPE (vectype_out))
    3144                 :        142 :       || !INTEGRAL_TYPE_P (TREE_TYPE (vectype_in)))
    3145                 :            :     return false;
    3146                 :            : 
    3147                 :         20 :   tree_code code;
    3148                 :         20 :   int multi_step_cvt = 0;
    3149                 :         20 :   auto_vec <tree, 8> interm_types;
    3150                 :         20 :   if (!supportable_narrowing_operation (NOP_EXPR, vectype_out, vectype_in,
    3151                 :            :                                         &code, &multi_step_cvt, &interm_types)
    3152                 :         20 :       || multi_step_cvt)
    3153                 :            :     return false;
    3154                 :            : 
    3155                 :         12 :   *convert_code = code;
    3156                 :         12 :   return true;
    3157                 :            : }
    3158                 :            : 
    3159                 :            : /* Function vectorizable_call.
    3160                 :            : 
    3161                 :            :    Check if STMT_INFO performs a function call that can be vectorized.
    3162                 :            :    If VEC_STMT is also passed, vectorize STMT_INFO: create a vectorized
    3163                 :            :    stmt to replace it, put it in VEC_STMT, and insert it at GSI.
    3164                 :            :    Return true if STMT_INFO is vectorizable in this way.  */
    3165                 :            : 
    3166                 :            : static bool
    3167                 :     259409 : vectorizable_call (vec_info *vinfo,
    3168                 :            :                    stmt_vec_info stmt_info, gimple_stmt_iterator *gsi,
    3169                 :            :                    stmt_vec_info *vec_stmt, slp_tree slp_node,
    3170                 :            :                    stmt_vector_for_cost *cost_vec)
    3171                 :            : {
    3172                 :     259409 :   gcall *stmt;
    3173                 :     259409 :   tree vec_dest;
    3174                 :     259409 :   tree scalar_dest;
    3175                 :     259409 :   tree op;
    3176                 :     259409 :   tree vec_oprnd0 = NULL_TREE, vec_oprnd1 = NULL_TREE;
    3177                 :     259409 :   stmt_vec_info prev_stmt_info;
    3178                 :     259409 :   tree vectype_out, vectype_in;
    3179                 :     259409 :   poly_uint64 nunits_in;
    3180                 :     259409 :   poly_uint64 nunits_out;
    3181                 :     259409 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    3182                 :     259409 :   bb_vec_info bb_vinfo = dyn_cast <bb_vec_info> (vinfo);
    3183                 :     259409 :   tree fndecl, new_temp, rhs_type;
    3184                 :     259409 :   enum vect_def_type dt[4]
    3185                 :            :     = { vect_unknown_def_type, vect_unknown_def_type, vect_unknown_def_type,
    3186                 :            :         vect_unknown_def_type };
    3187                 :     259409 :   tree vectypes[ARRAY_SIZE (dt)] = {};
    3188                 :     259409 :   slp_tree slp_op[ARRAY_SIZE (dt)] = {};
    3189                 :     259409 :   int ndts = ARRAY_SIZE (dt);
    3190                 :     259409 :   int ncopies, j;
    3191                 :     259409 :   auto_vec<tree, 8> vargs;
    3192                 :     259409 :   auto_vec<tree, 8> orig_vargs;
    3193                 :     259409 :   enum { NARROW, NONE, WIDEN } modifier;
    3194                 :     259409 :   size_t i, nargs;
    3195                 :     259409 :   tree lhs;
    3196                 :            : 
    3197                 :     259409 :   if (!STMT_VINFO_RELEVANT_P (stmt_info) && !bb_vinfo)
    3198                 :            :     return false;
    3199                 :            : 
    3200                 :     259409 :   if (STMT_VINFO_DEF_TYPE (stmt_info) != vect_internal_def
    3201                 :       2387 :       && ! vec_stmt)
    3202                 :            :     return false;
    3203                 :            : 
    3204                 :            :   /* Is STMT_INFO a vectorizable call?   */
    3205                 :     262201 :   stmt = dyn_cast <gcall *> (stmt_info->stmt);
    3206                 :       2792 :   if (!stmt)
    3207                 :            :     return false;
    3208                 :            : 
    3209                 :       2792 :   if (gimple_call_internal_p (stmt)
    3210                 :       2792 :       && (internal_load_fn_p (gimple_call_internal_fn (stmt))
    3211                 :       1427 :           || internal_store_fn_p (gimple_call_internal_fn (stmt))))
    3212                 :            :     /* Handled by vectorizable_load and vectorizable_store.  */
    3213                 :        690 :     return false;
    3214                 :            : 
    3215                 :       2102 :   if (gimple_call_lhs (stmt) == NULL_TREE
    3216                 :       2102 :       || TREE_CODE (gimple_call_lhs (stmt)) != SSA_NAME)
    3217                 :            :     return false;
    3218                 :            : 
    3219                 :       2092 :   gcc_checking_assert (!stmt_can_throw_internal (cfun, stmt));
    3220                 :            : 
    3221                 :       2092 :   vectype_out = STMT_VINFO_VECTYPE (stmt_info);
    3222                 :            : 
    3223                 :            :   /* Process function arguments.  */
    3224                 :       2092 :   rhs_type = NULL_TREE;
    3225                 :       2092 :   vectype_in = NULL_TREE;
    3226                 :       2092 :   nargs = gimple_call_num_args (stmt);
    3227                 :            : 
    3228                 :            :   /* Bail out if the function has more than four arguments, we do not have
    3229                 :            :      interesting builtin functions to vectorize with more than two arguments
    3230                 :            :      except for fma.  No arguments is also not good.  */
    3231                 :       2092 :   if (nargs == 0 || nargs > 4)
    3232                 :            :     return false;
    3233                 :            : 
    3234                 :            :   /* Ignore the arguments of IFN_GOMP_SIMD_LANE, they are magic.  */
    3235                 :       2087 :   combined_fn cfn = gimple_call_combined_fn (stmt);
    3236                 :       2087 :   if (cfn == CFN_GOMP_SIMD_LANE)
    3237                 :            :     {
    3238                 :       1032 :       nargs = 0;
    3239                 :       1032 :       rhs_type = unsigned_type_node;
    3240                 :            :     }
    3241                 :            : 
    3242                 :       2087 :   int mask_opno = -1;
    3243                 :       2087 :   if (internal_fn_p (cfn))
    3244                 :       1524 :     mask_opno = internal_fn_mask_index (as_internal_fn (cfn));
    3245                 :            : 
    3246                 :       3551 :   for (i = 0; i < nargs; i++)
    3247                 :            :     {
    3248                 :       1747 :       if ((int) i == mask_opno)
    3249                 :            :         {
    3250                 :          0 :           op = gimple_call_arg (stmt, i);
    3251                 :          0 :           if (!vect_check_scalar_mask (vinfo,
    3252                 :            :                                        stmt_info, op, &dt[i], &vectypes[i]))
    3253                 :            :             return false;
    3254                 :          0 :           continue;
    3255                 :            :         }
    3256                 :            : 
    3257                 :       1747 :       if (!vect_is_simple_use (vinfo, stmt_info, slp_node,
    3258                 :            :                                i, &op, &slp_op[i], &dt[i], &vectypes[i]))
    3259                 :            :         {
    3260                 :          0 :           if (dump_enabled_p ())
    3261                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    3262                 :            :                              "use not simple.\n");
    3263                 :          0 :           return false;
    3264                 :            :         }
    3265                 :            : 
    3266                 :            :       /* We can only handle calls with arguments of the same type.  */
    3267                 :       1747 :       if (rhs_type
    3268                 :       1747 :           && !types_compatible_p (rhs_type, TREE_TYPE (op)))
    3269                 :            :         {
    3270                 :        283 :           if (dump_enabled_p ())
    3271                 :        247 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    3272                 :            :                              "argument types differ.\n");
    3273                 :        283 :           return false;
    3274                 :            :         }
    3275                 :       1464 :       if (!rhs_type)
    3276                 :       1055 :         rhs_type = TREE_TYPE (op);
    3277                 :            : 
    3278                 :       1464 :       if (!vectype_in)
    3279                 :       1134 :         vectype_in = vectypes[i];
    3280                 :        330 :       else if (vectypes[i]
    3281                 :        330 :                && !types_compatible_p (vectypes[i], vectype_in))
    3282                 :            :         {
    3283                 :          0 :           if (dump_enabled_p ())
    3284                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    3285                 :            :                              "argument vector types differ.\n");
    3286                 :          0 :           return false;
    3287                 :            :         }
    3288                 :            :     }
    3289                 :            :   /* If all arguments are external or constant defs, infer the vector type
    3290                 :            :      from the scalar type.  */
    3291                 :       1804 :   if (!vectype_in)
    3292                 :       1052 :     vectype_in = get_vectype_for_scalar_type (vinfo, rhs_type, slp_node);
    3293                 :       1804 :   if (vec_stmt)
    3294                 :        594 :     gcc_assert (vectype_in);
    3295                 :       1804 :   if (!vectype_in)
    3296                 :            :     {
    3297                 :          0 :       if (dump_enabled_p ())
    3298                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    3299                 :            :                          "no vectype for scalar type %T\n", rhs_type);
    3300                 :            : 
    3301                 :          0 :       return false;
    3302                 :            :     }
    3303                 :            :   /* FORNOW: we don't yet support mixtures of vector sizes for calls,
    3304                 :            :      just mixtures of nunits.  E.g. DI->SI versions of __builtin_ctz*
    3305                 :            :      are traditionally vectorized as two VnDI->VnDI IFN_CTZs followed
    3306                 :            :      by a pack of the two vectors into an SI vector.  We would need
    3307                 :            :      separate code to handle direct VnDI->VnSI IFN_CTZs.  */
    3308                 :       1804 :   if (TYPE_SIZE (vectype_in) != TYPE_SIZE (vectype_out))
    3309                 :            :     {
    3310                 :          1 :       if (dump_enabled_p ())
    3311                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    3312                 :            :                          "mismatched vector sizes %T and %T\n",
    3313                 :            :                          vectype_in, vectype_out);
    3314                 :          1 :       return false;
    3315                 :            :     }
    3316                 :            : 
    3317                 :       5409 :   if (VECTOR_BOOLEAN_TYPE_P (vectype_out)
    3318                 :       3606 :       != VECTOR_BOOLEAN_TYPE_P (vectype_in))
    3319                 :            :     {
    3320                 :          0 :       if (dump_enabled_p ())
    3321                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    3322                 :            :                          "mixed mask and nonmask vector types\n");
    3323                 :          0 :       return false;
    3324                 :            :     }
    3325                 :            : 
    3326                 :            :   /* FORNOW */
    3327                 :       1803 :   nunits_in = TYPE_VECTOR_SUBPARTS (vectype_in);
    3328                 :       1803 :   nunits_out = TYPE_VECTOR_SUBPARTS (vectype_out);
    3329                 :       1803 :   if (known_eq (nunits_in * 2, nunits_out))
    3330                 :            :     modifier = NARROW;
    3331                 :       1706 :   else if (known_eq (nunits_out, nunits_in))
    3332                 :            :     modifier = NONE;
    3333                 :         10 :   else if (known_eq (nunits_out * 2, nunits_in))
    3334                 :            :     modifier = WIDEN;
    3335                 :            :   else
    3336                 :            :     return false;
    3337                 :            : 
    3338                 :            :   /* We only handle functions that do not read or clobber memory.  */
    3339                 :       3602 :   if (gimple_vuse (stmt))
    3340                 :            :     {
    3341                 :         40 :       if (dump_enabled_p ())
    3342                 :         16 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    3343                 :            :                          "function reads from or writes to memory.\n");
    3344                 :         40 :       return false;
    3345                 :            :     }
    3346                 :            : 
    3347                 :            :   /* For now, we only vectorize functions if a target specific builtin
    3348                 :            :      is available.  TODO -- in some cases, it might be profitable to
    3349                 :            :      insert the calls for pieces of the vector, in order to be able
    3350                 :            :      to vectorize other operations in the loop.  */
    3351                 :       1761 :   fndecl = NULL_TREE;
    3352                 :       1761 :   internal_fn ifn = IFN_LAST;
    3353                 :       1761 :   tree callee = gimple_call_fndecl (stmt);
    3354                 :            : 
    3355                 :            :   /* First try using an internal function.  */
    3356                 :       1761 :   tree_code convert_code = ERROR_MARK;
    3357                 :       1761 :   if (cfn != CFN_LAST
    3358                 :       1761 :       && (modifier == NONE
    3359                 :         76 :           || (modifier == NARROW
    3360                 :         71 :               && simple_integer_narrowing (vectype_out, vectype_in,
    3361                 :            :                                            &convert_code))))
    3362                 :       1576 :     ifn = vectorizable_internal_function (cfn, callee, vectype_out,
    3363                 :            :                                           vectype_in);
    3364                 :            : 
    3365                 :            :   /* If that fails, try asking for a target-specific built-in function.  */
    3366                 :       1576 :   if (ifn == IFN_LAST)
    3367                 :            :     {
    3368                 :       1480 :       if (cfn != CFN_LAST)
    3369                 :       1359 :         fndecl = targetm.vectorize.builtin_vectorized_function
    3370                 :       1359 :           (cfn, vectype_out, vectype_in);
    3371                 :        121 :       else if (callee && fndecl_built_in_p (callee, BUILT_IN_MD))
    3372                 :          0 :         fndecl = targetm.vectorize.builtin_md_vectorized_function
    3373                 :          0 :           (callee, vectype_out, vectype_in);
    3374                 :            :     }
    3375                 :            : 
    3376                 :       1761 :   if (ifn == IFN_LAST && !fndecl)
    3377                 :            :     {
    3378                 :       1344 :       if (cfn == CFN_GOMP_SIMD_LANE
    3379                 :       1344 :           && !slp_node
    3380                 :       1032 :           && loop_vinfo
    3381                 :       1032 :           && LOOP_VINFO_LOOP (loop_vinfo)->simduid
    3382                 :       1032 :           && TREE_CODE (gimple_call_arg (stmt, 0)) == SSA_NAME
    3383                 :       2376 :           && LOOP_VINFO_LOOP (loop_vinfo)->simduid
    3384                 :       1032 :              == SSA_NAME_VAR (gimple_call_arg (stmt, 0)))
    3385                 :            :         {
    3386                 :            :           /* We can handle IFN_GOMP_SIMD_LANE by returning a
    3387                 :            :              { 0, 1, 2, ... vf - 1 } vector.  */
    3388                 :       1032 :           gcc_assert (nargs == 0);
    3389                 :            :         }
    3390                 :        312 :       else if (modifier == NONE
    3391                 :        312 :                && (gimple_call_builtin_p (stmt, BUILT_IN_BSWAP16)
    3392                 :        262 :                    || gimple_call_builtin_p (stmt, BUILT_IN_BSWAP32)
    3393                 :        254 :                    || gimple_call_builtin_p (stmt, BUILT_IN_BSWAP64)
    3394                 :        241 :                    || gimple_call_builtin_p (stmt, BUILT_IN_BSWAP128)))
    3395                 :         27 :         return vectorizable_bswap (vinfo, stmt_info, gsi, vec_stmt, slp_node,
    3396                 :         27 :                                    slp_op, vectype_in, cost_vec);
    3397                 :            :       else
    3398                 :            :         {
    3399                 :        285 :           if (dump_enabled_p ())
    3400                 :         64 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    3401                 :            :                              "function is not vectorizable.\n");
    3402                 :        285 :           return false;
    3403                 :            :         }
    3404                 :            :     }
    3405                 :            : 
    3406                 :       1449 :   if (slp_node)
    3407                 :            :     ncopies = 1;
    3408                 :       1397 :   else if (modifier == NARROW && ifn == IFN_LAST)
    3409                 :         44 :     ncopies = vect_get_num_copies (loop_vinfo, vectype_out);
    3410                 :            :   else
    3411                 :       1353 :     ncopies = vect_get_num_copies (loop_vinfo, vectype_in);
    3412                 :            : 
    3413                 :            :   /* Sanity check: make sure that at least one copy of the vectorized stmt
    3414                 :            :      needs to be generated.  */
    3415                 :       1397 :   gcc_assert (ncopies >= 1);
    3416                 :            : 
    3417                 :       1449 :   vec_loop_masks *masks = (loop_vinfo ? &LOOP_VINFO_MASKS (loop_vinfo) : NULL);
    3418                 :       1449 :   if (!vec_stmt) /* transformation not required.  */
    3419                 :            :     {
    3420                 :        866 :       if (slp_node)
    3421                 :         74 :         for (i = 0; i < nargs; ++i)
    3422                 :         44 :           if (!vect_maybe_update_slp_op_vectype (slp_op[i], vectype_in))
    3423                 :            :             {
    3424                 :          0 :               if (dump_enabled_p ())
    3425                 :          0 :                 dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    3426                 :            :                                  "incompatible vector types for invariants\n");
    3427                 :          0 :               return false;
    3428                 :            :             }
    3429                 :        866 :       STMT_VINFO_TYPE (stmt_info) = call_vec_info_type;
    3430                 :        866 :       DUMP_VECT_SCOPE ("vectorizable_call");
    3431                 :        866 :       vect_model_simple_cost (vinfo, stmt_info,
    3432                 :            :                               ncopies, dt, ndts, slp_node, cost_vec);
    3433                 :        866 :       if (ifn != IFN_LAST && modifier == NARROW && !slp_node)
    3434                 :          0 :         record_stmt_cost (cost_vec, ncopies / 2,
    3435                 :            :                           vec_promote_demote, stmt_info, 0, vect_body);
    3436                 :            : 
    3437                 :        866 :       if (loop_vinfo && mask_opno >= 0)
    3438                 :            :         {
    3439                 :          0 :           unsigned int nvectors = (slp_node
    3440                 :          0 :                                    ? SLP_TREE_NUMBER_OF_VEC_STMTS (slp_node)
    3441                 :            :                                    : ncopies);
    3442                 :          0 :           tree scalar_mask = gimple_call_arg (stmt_info->stmt, mask_opno);
    3443                 :          0 :           vect_record_loop_mask (loop_vinfo, masks, nvectors,
    3444                 :            :                                  vectype_out, scalar_mask);
    3445                 :            :         }
    3446                 :        866 :       return true;
    3447                 :            :     }
    3448                 :            : 
    3449                 :            :   /* Transform.  */
    3450                 :            : 
    3451                 :        583 :   if (dump_enabled_p ())
    3452                 :        265 :     dump_printf_loc (MSG_NOTE, vect_location, "transform call.\n");
    3453                 :            : 
    3454                 :            :   /* Handle def.  */
    3455                 :        583 :   scalar_dest = gimple_call_lhs (stmt);
    3456                 :        583 :   vec_dest = vect_create_destination_var (scalar_dest, vectype_out);
    3457                 :            : 
    3458                 :        583 :   bool masked_loop_p = loop_vinfo && LOOP_VINFO_FULLY_MASKED_P (loop_vinfo);
    3459                 :            : 
    3460                 :        583 :   stmt_vec_info new_stmt_info = NULL;
    3461                 :        583 :   prev_stmt_info = NULL;
    3462                 :        583 :   if (modifier == NONE || ifn != IFN_LAST)
    3463                 :            :     {
    3464                 :        563 :       tree prev_res = NULL_TREE;
    3465                 :        563 :       vargs.safe_grow (nargs);
    3466                 :        563 :       orig_vargs.safe_grow (nargs);
    3467                 :       1240 :       for (j = 0; j < ncopies; ++j)
    3468                 :            :         {
    3469                 :            :           /* Build argument list for the vectorized call.  */
    3470                 :        677 :           if (slp_node)
    3471                 :            :             {
    3472                 :         44 :               auto_vec<vec<tree> > vec_defs (nargs);
    3473                 :         22 :               vec<tree> vec_oprnds0;
    3474                 :            : 
    3475                 :         22 :               vect_get_slp_defs (vinfo, slp_node, &vec_defs);
    3476                 :         22 :               vec_oprnds0 = vec_defs[0];
    3477                 :            : 
    3478                 :            :               /* Arguments are ready.  Create the new vector stmt.  */
    3479                 :         80 :               FOR_EACH_VEC_ELT (vec_oprnds0, i, vec_oprnd0)
    3480                 :            :                 {
    3481                 :            :                   size_t k;
    3482                 :         94 :                   for (k = 0; k < nargs; k++)
    3483                 :            :                     {
    3484                 :         58 :                       vec<tree> vec_oprndsk = vec_defs[k];
    3485                 :         58 :                       vargs[k] = vec_oprndsk[i];
    3486                 :            :                     }
    3487                 :         36 :                   if (modifier == NARROW)
    3488                 :            :                     {
    3489                 :            :                       /* We don't define any narrowing conditional functions
    3490                 :            :                          at present.  */
    3491                 :          0 :                       gcc_assert (mask_opno < 0);
    3492                 :          0 :                       tree half_res = make_ssa_name (vectype_in);
    3493                 :          0 :                       gcall *call
    3494                 :          0 :                         = gimple_build_call_internal_vec (ifn, vargs);
    3495                 :          0 :                       gimple_call_set_lhs (call, half_res);
    3496                 :          0 :                       gimple_call_set_nothrow (call, true);
    3497                 :          0 :                       vect_finish_stmt_generation (vinfo, stmt_info, call, gsi);
    3498                 :          0 :                       if ((i & 1) == 0)
    3499                 :            :                         {
    3500                 :          0 :                           prev_res = half_res;
    3501                 :          0 :                           continue;
    3502                 :            :                         }
    3503                 :          0 :                       new_temp = make_ssa_name (vec_dest);
    3504                 :          0 :                       gimple *new_stmt
    3505                 :          0 :                         = gimple_build_assign (new_temp, convert_code,
    3506                 :            :                                                prev_res, half_res);
    3507                 :          0 :                       new_stmt_info
    3508                 :          0 :                         = vect_finish_stmt_generation (vinfo, stmt_info,
    3509                 :            :                                                        new_stmt, gsi);
    3510                 :            :                     }
    3511                 :            :                   else
    3512                 :            :                     {
    3513                 :         36 :                       if (mask_opno >= 0 && masked_loop_p)
    3514                 :            :                         {
    3515                 :          0 :                           unsigned int vec_num = vec_oprnds0.length ();
    3516                 :            :                           /* Always true for SLP.  */
    3517                 :          0 :                           gcc_assert (ncopies == 1);
    3518                 :          0 :                           tree mask = vect_get_loop_mask (gsi, masks, vec_num,
    3519                 :            :                                                           vectype_out, i);
    3520                 :          0 :                           vargs[mask_opno] = prepare_load_store_mask
    3521                 :          0 :                             (TREE_TYPE (mask), mask, vargs[mask_opno], gsi);
    3522                 :            :                         }
    3523                 :            : 
    3524                 :         36 :                       gcall *call;
    3525                 :         36 :                       if (ifn != IFN_LAST)
    3526                 :         36 :                         call = gimple_build_call_internal_vec (ifn, vargs);
    3527                 :            :                       else
    3528                 :          0 :                         call = gimple_build_call_vec (fndecl, vargs);
    3529                 :         36 :                       new_temp = make_ssa_name (vec_dest, call);
    3530                 :         36 :                       gimple_call_set_lhs (call, new_temp);
    3531                 :         36 :                       gimple_call_set_nothrow (call, true);
    3532                 :         36 :                       new_stmt_info
    3533                 :         36 :                         = vect_finish_stmt_generation (vinfo, stmt_info,
    3534                 :            :                                                        call, gsi);
    3535                 :            :                     }
    3536                 :         72 :                   SLP_TREE_VEC_STMTS (slp_node).quick_push (new_stmt_info);
    3537                 :            :                 }
    3538                 :            : 
    3539                 :         58 :               for (i = 0; i < nargs; i++)
    3540                 :            :                 {
    3541                 :         36 :                   vec<tree> vec_oprndsi = vec_defs[i];
    3542                 :         72 :                   vec_oprndsi.release ();
    3543                 :            :                 }
    3544                 :         22 :               continue;
    3545                 :            :             }
    3546                 :            : 
    3547                 :        893 :           for (i = 0; i < nargs; i++)
    3548                 :            :             {
    3549                 :        238 :               op = gimple_call_arg (stmt, i);
    3550                 :        238 :               if (j == 0)
    3551                 :        228 :                 vec_oprnd0
    3552                 :        228 :                   = vect_get_vec_def_for_operand (vinfo,
    3553                 :            :                                                   op, stmt_info, vectypes[i]);
    3554                 :            :               else
    3555                 :         10 :                 vec_oprnd0
    3556                 :         10 :                   = vect_get_vec_def_for_stmt_copy (vinfo, orig_vargs[i]);
    3557                 :            : 
    3558                 :        238 :               orig_vargs[i] = vargs[i] = vec_oprnd0;
    3559                 :            :             }
    3560                 :            : 
    3561                 :        655 :           if (mask_opno >= 0 && masked_loop_p)
    3562                 :            :             {
    3563                 :          0 :               tree mask = vect_get_loop_mask (gsi, masks, ncopies,
    3564                 :            :                                               vectype_out, j);
    3565                 :          0 :               vargs[mask_opno]
    3566                 :          0 :                 = prepare_load_store_mask (TREE_TYPE (mask), mask,
    3567                 :          0 :                                            vargs[mask_opno], gsi);
    3568                 :            :             }
    3569                 :            : 
    3570                 :        655 :           if (cfn == CFN_GOMP_SIMD_LANE)
    3571                 :            :             {
    3572                 :        500 :               tree cst = build_index_vector (vectype_out, j * nunits_out, 1);
    3573                 :        500 :               tree new_var
    3574                 :        500 :                 = vect_get_new_ssa_name (vectype_out, vect_simple_var, "cst_");
    3575                 :        500 :               gimple *init_stmt = gimple_build_assign (new_var, cst);
    3576                 :        500 :               vect_init_vector_1 (vinfo, stmt_info, init_stmt, NULL);
    3577                 :        500 :               new_temp = make_ssa_name (vec_dest);
    3578                 :        500 :               gimple *new_stmt = gimple_build_assign (new_temp, new_var);
    3579                 :        500 :               new_stmt_info
    3580                 :        500 :                 = vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    3581                 :            :             }
    3582                 :        155 :           else if (modifier == NARROW)
    3583                 :            :             {
    3584                 :            :               /* We don't define any narrowing conditional functions at
    3585                 :            :                  present.  */
    3586                 :          0 :               gcc_assert (mask_opno < 0);
    3587                 :          0 :               tree half_res = make_ssa_name (vectype_in);
    3588                 :          0 :               gcall *call = gimple_build_call_internal_vec (ifn, vargs);
    3589                 :          0 :               gimple_call_set_lhs (call, half_res);
    3590                 :          0 :               gimple_call_set_nothrow (call, true);
    3591                 :          0 :               vect_finish_stmt_generation (vinfo, stmt_info, call, gsi);
    3592                 :          0 :               if ((j & 1) == 0)
    3593                 :            :                 {
    3594                 :          0 :                   prev_res = half_res;
    3595                 :          0 :                   continue;
    3596                 :            :                 }
    3597                 :          0 :               new_temp = make_ssa_name (vec_dest);
    3598                 :          0 :               gassign *new_stmt = gimple_build_assign (new_temp, convert_code,
    3599                 :            :                                                        prev_res, half_res);
    3600                 :          0 :               new_stmt_info
    3601                 :          0 :                 = vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    3602                 :            :             }
    3603                 :            :           else
    3604                 :            :             {
    3605                 :        155 :               gcall *call;
    3606                 :        155 :               if (ifn != IFN_LAST)
    3607                 :        111 :                 call = gimple_build_call_internal_vec (ifn, vargs);
    3608                 :            :               else
    3609                 :         44 :                 call = gimple_build_call_vec (fndecl, vargs);
    3610                 :        155 :               new_temp = make_ssa_name (vec_dest, call);
    3611                 :        155 :               gimple_call_set_lhs (call, new_temp);
    3612                 :        155 :               gimple_call_set_nothrow (call, true);
    3613                 :        155 :               new_stmt_info
    3614                 :        155 :                 = vect_finish_stmt_generation (vinfo, stmt_info, call, gsi);
    3615                 :            :             }
    3616                 :            : 
    3617                 :       1310 :           if (j == (modifier == NARROW ? 1 : 0))
    3618                 :        541 :             STMT_VINFO_VEC_STMT (stmt_info) = *vec_stmt = new_stmt_info;
    3619                 :            :           else
    3620                 :        114 :             STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    3621                 :            : 
    3622                 :            :           prev_stmt_info = new_stmt_info;
    3623                 :            :         }
    3624                 :            :     }
    3625                 :         20 :   else if (modifier == NARROW)
    3626                 :            :     {
    3627                 :            :       /* We don't define any narrowing conditional functions at present.  */
    3628                 :         20 :       gcc_assert (mask_opno < 0);
    3629                 :         40 :       for (j = 0; j < ncopies; ++j)
    3630                 :            :         {
    3631                 :            :           /* Build argument list for the vectorized call.  */
    3632                 :         20 :           if (j == 0)
    3633                 :         20 :             vargs.create (nargs * 2);
    3634                 :            :           else
    3635                 :          0 :             vargs.truncate (0);
    3636                 :            : 
    3637                 :         20 :           if (slp_node)
    3638                 :            :             {
    3639                 :          0 :               auto_vec<vec<tree> > vec_defs (nargs);
    3640                 :          0 :               vec<tree> vec_oprnds0;
    3641                 :            : 
    3642                 :          0 :               vect_get_slp_defs (vinfo, slp_node, &vec_defs);
    3643                 :          0 :               vec_oprnds0 = vec_defs[0];
    3644                 :            : 
    3645                 :            :               /* Arguments are ready.  Create the new vector stmt.  */
    3646                 :          0 :               for (i = 0; vec_oprnds0.iterate (i, &vec_oprnd0); i += 2)
    3647                 :            :                 {
    3648                 :          0 :                   size_t k;
    3649                 :          0 :                   vargs.truncate (0);
    3650                 :          0 :                   for (k = 0; k < nargs; k++)
    3651                 :            :                     {
    3652                 :          0 :                       vec<tree> vec_oprndsk = vec_defs[k];
    3653                 :          0 :                       vargs.quick_push (vec_oprndsk[i]);
    3654                 :          0 :                       vargs.quick_push (vec_oprndsk[i + 1]);
    3655                 :            :                     }
    3656                 :          0 :                   gcall *call;
    3657                 :          0 :                   if (ifn != IFN_LAST)
    3658                 :            :                     call = gimple_build_call_internal_vec (ifn, vargs);
    3659                 :            :                   else
    3660                 :          0 :                     call = gimple_build_call_vec (fndecl, vargs);
    3661                 :          0 :                   new_temp = make_ssa_name (vec_dest, call);
    3662                 :          0 :                   gimple_call_set_lhs (call, new_temp);
    3663                 :          0 :                   gimple_call_set_nothrow (call, true);
    3664                 :          0 :                   new_stmt_info
    3665                 :          0 :                     = vect_finish_stmt_generation (vinfo, stmt_info, call, gsi);
    3666                 :          0 :                   SLP_TREE_VEC_STMTS (slp_node).quick_push (new_stmt_info);
    3667                 :            :                 }
    3668                 :            : 
    3669                 :          0 :               for (i = 0; i < nargs; i++)
    3670                 :            :                 {
    3671                 :          0 :                   vec<tree> vec_oprndsi = vec_defs[i];
    3672                 :          0 :                   vec_oprndsi.release ();
    3673                 :            :                 }
    3674                 :          0 :               continue;
    3675                 :            :             }
    3676                 :            : 
    3677                 :         40 :           for (i = 0; i < nargs; i++)
    3678                 :            :             {
    3679                 :         20 :               op = gimple_call_arg (stmt, i);
    3680                 :         20 :               if (j == 0)
    3681                 :            :                 {
    3682                 :         20 :                   vec_oprnd0
    3683                 :         20 :                     = vect_get_vec_def_for_operand (vinfo, op, stmt_info,
    3684                 :            :                                                     vectypes[i]);
    3685                 :         20 :                   vec_oprnd1
    3686                 :         20 :                     = vect_get_vec_def_for_stmt_copy (vinfo, vec_oprnd0);
    3687                 :            :                 }
    3688                 :            :               else
    3689                 :            :                 {
    3690                 :          0 :                   vec_oprnd1 = gimple_call_arg (new_stmt_info->stmt,
    3691                 :            :                                                 2 * i + 1);
    3692                 :          0 :                   vec_oprnd0
    3693                 :          0 :                     = vect_get_vec_def_for_stmt_copy (vinfo, vec_oprnd1);
    3694                 :          0 :                   vec_oprnd1
    3695                 :          0 :                     = vect_get_vec_def_for_stmt_copy (vinfo, vec_oprnd0);
    3696                 :            :                 }
    3697                 :            : 
    3698                 :         20 :               vargs.quick_push (vec_oprnd0);
    3699                 :         20 :               vargs.quick_push (vec_oprnd1);
    3700                 :            :             }
    3701                 :            : 
    3702                 :         20 :           gcall *new_stmt = gimple_build_call_vec (fndecl, vargs);
    3703                 :         20 :           new_temp = make_ssa_name (vec_dest, new_stmt);
    3704                 :         20 :           gimple_call_set_lhs (new_stmt, new_temp);
    3705                 :         20 :           new_stmt_info
    3706                 :         20 :             = vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    3707                 :            : 
    3708                 :         20 :           if (j == 0)
    3709                 :         20 :             STMT_VINFO_VEC_STMT (stmt_info) = new_stmt_info;
    3710                 :            :           else
    3711                 :          0 :             STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    3712                 :            : 
    3713                 :            :           prev_stmt_info = new_stmt_info;
    3714                 :            :         }
    3715                 :            : 
    3716                 :         20 :       *vec_stmt = STMT_VINFO_VEC_STMT (stmt_info);
    3717                 :            :     }
    3718                 :            :   else
    3719                 :            :     /* No current target implements this case.  */
    3720                 :            :     return false;
    3721                 :            : 
    3722                 :        583 :   vargs.release ();
    3723                 :            : 
    3724                 :            :   /* The call in STMT might prevent it from being removed in dce.
    3725                 :            :      We however cannot remove it here, due to the way the ssa name
    3726                 :            :      it defines is mapped to the new definition.  So just replace
    3727                 :            :      rhs of the statement with something harmless.  */
    3728                 :            : 
    3729                 :        583 :   if (slp_node)
    3730                 :            :     return true;
    3731                 :            : 
    3732                 :        561 :   stmt_info = vect_orig_stmt (stmt_info);
    3733                 :        561 :   lhs = gimple_get_lhs (stmt_info->stmt);
    3734                 :            : 
    3735                 :        561 :   gassign *new_stmt
    3736                 :        561 :     = gimple_build_assign (lhs, build_zero_cst (TREE_TYPE (lhs)));
    3737                 :        561 :   vinfo->replace_stmt (gsi, stmt_info, new_stmt);
    3738                 :            : 
    3739                 :        561 :   return true;
    3740                 :            : }
    3741                 :            : 
    3742                 :            : 
    3743                 :            : struct simd_call_arg_info
    3744                 :            : {
    3745                 :            :   tree vectype;
    3746                 :            :   tree op;
    3747                 :            :   HOST_WIDE_INT linear_step;
    3748                 :            :   enum vect_def_type dt;
    3749                 :            :   unsigned int align;
    3750                 :            :   bool simd_lane_linear;
    3751                 :            : };
    3752                 :            : 
    3753                 :            : /* Helper function of vectorizable_simd_clone_call.  If OP, an SSA_NAME,
    3754                 :            :    is linear within simd lane (but not within whole loop), note it in
    3755                 :            :    *ARGINFO.  */
    3756                 :            : 
    3757                 :            : static void
    3758                 :         17 : vect_simd_lane_linear (tree op, class loop *loop,
    3759                 :            :                        struct simd_call_arg_info *arginfo)
    3760                 :            : {
    3761                 :         17 :   gimple *def_stmt = SSA_NAME_DEF_STMT (op);
    3762                 :            : 
    3763                 :         17 :   if (!is_gimple_assign (def_stmt)
    3764                 :         17 :       || gimple_assign_rhs_code (def_stmt) != POINTER_PLUS_EXPR
    3765                 :         31 :       || !is_gimple_min_invariant (gimple_assign_rhs1 (def_stmt)))
    3766                 :          5 :     return;
    3767                 :            : 
    3768                 :         12 :   tree base = gimple_assign_rhs1 (def_stmt);
    3769                 :         12 :   HOST_WIDE_INT linear_step = 0;
    3770                 :         12 :   tree v = gimple_assign_rhs2 (def_stmt);
    3771                 :         36 :   while (TREE_CODE (v) == SSA_NAME)
    3772                 :            :     {
    3773                 :         36 :       tree t;
    3774                 :         36 :       def_stmt = SSA_NAME_DEF_STMT (v);
    3775                 :         36 :       if (is_gimple_assign (def_stmt))
    3776                 :         24 :         switch (gimple_assign_rhs_code (def_stmt))
    3777                 :            :           {
    3778                 :          0 :           case PLUS_EXPR:
    3779                 :          0 :             t = gimple_assign_rhs2 (def_stmt);
    3780                 :          0 :             if (linear_step || TREE_CODE (t) != INTEGER_CST)
    3781                 :            :               return;
    3782                 :          0 :             base = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (base), base, t);
    3783                 :          0 :             v = gimple_assign_rhs1 (def_stmt);
    3784                 :          0 :             continue;
    3785                 :         12 :           case MULT_EXPR:
    3786                 :         12 :             t = gimple_assign_rhs2 (def_stmt);
    3787                 :         12 :             if (linear_step || !tree_fits_shwi_p (t) || integer_zerop (t))
    3788                 :          0 :               return;
    3789                 :         12 :             linear_step = tree_to_shwi (t);
    3790                 :         12 :             v = gimple_assign_rhs1 (def_stmt);
    3791                 :         12 :             continue;
    3792                 :         12 :           CASE_CONVERT:
    3793                 :         12 :             t = gimple_assign_rhs1 (def_stmt);
    3794                 :         12 :             if (TREE_CODE (TREE_TYPE (t)) != INTEGER_TYPE
    3795                 :         24 :                 || (TYPE_PRECISION (TREE_TYPE (v))
    3796                 :         12 :                     < TYPE_PRECISION (TREE_TYPE (t))))
    3797                 :            :               return;
    3798                 :         12 :             if (!linear_step)
    3799                 :          0 :               linear_step = 1;
    3800                 :         12 :             v = t;
    3801                 :         12 :             continue;
    3802                 :            :           default:
    3803                 :            :             return;
    3804                 :            :           }
    3805                 :         12 :       else if (gimple_call_internal_p (def_stmt, IFN_GOMP_SIMD_LANE)
    3806                 :         12 :                && loop->simduid
    3807                 :         12 :                && TREE_CODE (gimple_call_arg (def_stmt, 0)) == SSA_NAME
    3808                 :         24 :                && (SSA_NAME_VAR (gimple_call_arg (def_stmt, 0))
    3809                 :            :                    == loop->simduid))
    3810                 :            :         {
    3811                 :         12 :           if (!linear_step)
    3812                 :          0 :             linear_step = 1;
    3813                 :         12 :           arginfo->linear_step = linear_step;
    3814                 :         12 :           arginfo->op = base;
    3815                 :         12 :           arginfo->simd_lane_linear = true;
    3816                 :         12 :           return;
    3817                 :            :         }
    3818                 :            :     }
    3819                 :            : }
    3820                 :            : 
    3821                 :            : /* Return the number of elements in vector type VECTYPE, which is associated
    3822                 :            :    with a SIMD clone.  At present these vectors always have a constant
    3823                 :            :    length.  */
    3824                 :            : 
    3825                 :            : static unsigned HOST_WIDE_INT
    3826                 :       6131 : simd_clone_subparts (tree vectype)
    3827                 :            : {
    3828                 :       5573 :   return TYPE_VECTOR_SUBPARTS (vectype).to_constant ();
    3829                 :            : }
    3830                 :            : 
    3831                 :            : /* Function vectorizable_simd_clone_call.
    3832                 :            : 
    3833                 :            :    Check if STMT_INFO performs a function call that can be vectorized
    3834                 :            :    by calling a simd clone of the function.
    3835                 :            :    If VEC_STMT is also passed, vectorize STMT_INFO: create a vectorized
    3836                 :            :    stmt to replace it, put it in VEC_STMT, and insert it at GSI.
    3837                 :            :    Return true if STMT_INFO is vectorizable in this way.  */
    3838                 :            : 
    3839                 :            : static bool
    3840                 :     258211 : vectorizable_simd_clone_call (vec_info *vinfo, stmt_vec_info stmt_info,
    3841                 :            :                               gimple_stmt_iterator *gsi,
    3842                 :            :                               stmt_vec_info *vec_stmt, slp_tree slp_node,
    3843                 :            :                               stmt_vector_for_cost *)
    3844                 :            : {
    3845                 :     258211 :   tree vec_dest;
    3846                 :     258211 :   tree scalar_dest;
    3847                 :     258211 :   tree op, type;
    3848                 :     258211 :   tree vec_oprnd0 = NULL_TREE;
    3849                 :     258211 :   stmt_vec_info prev_stmt_info;
    3850                 :     258211 :   tree vectype;
    3851                 :     258211 :   unsigned int nunits;
    3852                 :     258211 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    3853                 :     258211 :   bb_vec_info bb_vinfo = dyn_cast <bb_vec_info> (vinfo);
    3854                 :     258211 :   class loop *loop = loop_vinfo ? LOOP_VINFO_LOOP (loop_vinfo) : NULL;
    3855                 :     258211 :   tree fndecl, new_temp;
    3856                 :     258211 :   int ncopies, j;
    3857                 :     258211 :   auto_vec<simd_call_arg_info> arginfo;
    3858                 :     258211 :   vec<tree> vargs = vNULL;
    3859                 :     258211 :   size_t i, nargs;
    3860                 :     258211 :   tree lhs, rtype, ratype;
    3861                 :     258211 :   vec<constructor_elt, va_gc> *ret_ctor_elts = NULL;
    3862                 :            : 
    3863                 :            :   /* Is STMT a vectorizable call?   */
    3864                 :     259805 :   gcall *stmt = dyn_cast <gcall *> (stmt_info->stmt);
    3865                 :       1594 :   if (!stmt)
    3866                 :            :     return false;
    3867                 :            : 
    3868                 :       1594 :   fndecl = gimple_call_fndecl (stmt);
    3869                 :       1594 :   if (fndecl == NULL_TREE)
    3870                 :            :     return false;
    3871                 :            : 
    3872                 :        900 :   struct cgraph_node *node = cgraph_node::get (fndecl);
    3873                 :        900 :   if (node == NULL || node->simd_clones == NULL)
    3874                 :            :     return false;
    3875                 :            : 
    3876                 :        687 :   if (!STMT_VINFO_RELEVANT_P (stmt_info) && !bb_vinfo)
    3877                 :            :     return false;
    3878                 :            : 
    3879                 :        687 :   if (STMT_VINFO_DEF_TYPE (stmt_info) != vect_internal_def
    3880                 :          0 :       && ! vec_stmt)
    3881                 :            :     return false;
    3882                 :            : 
    3883                 :        687 :   if (gimple_call_lhs (stmt)
    3884                 :        687 :       && TREE_CODE (gimple_call_lhs (stmt)) != SSA_NAME)
    3885                 :            :     return false;
    3886                 :            : 
    3887                 :        687 :   gcc_checking_assert (!stmt_can_throw_internal (cfun, stmt));
    3888                 :            : 
    3889                 :        687 :   vectype = STMT_VINFO_VECTYPE (stmt_info);
    3890                 :            : 
    3891                 :        687 :   if (loop_vinfo && nested_in_vect_loop_p (loop, stmt_info))
    3892                 :            :     return false;
    3893                 :            : 
    3894                 :            :   /* FORNOW */
    3895                 :        687 :   if (slp_node)
    3896                 :            :     return false;
    3897                 :            : 
    3898                 :            :   /* Process function arguments.  */
    3899                 :        685 :   nargs = gimple_call_num_args (stmt);
    3900                 :            : 
    3901                 :            :   /* Bail out if the function has zero arguments.  */
    3902                 :        685 :   if (nargs == 0)
    3903                 :            :     return false;
    3904                 :            : 
    3905                 :        685 :   arginfo.reserve (nargs, true);
    3906                 :            : 
    3907                 :       2231 :   for (i = 0; i < nargs; i++)
    3908                 :            :     {
    3909                 :       1546 :       simd_call_arg_info thisarginfo;
    3910                 :       1546 :       affine_iv iv;
    3911                 :            : 
    3912                 :       1546 :       thisarginfo.linear_step = 0;
    3913                 :       1546 :       thisarginfo.align = 0;
    3914                 :       1546 :       thisarginfo.op = NULL_TREE;
    3915                 :       1546 :       thisarginfo.simd_lane_linear = false;
    3916                 :            : 
    3917                 :       1546 :       op = gimple_call_arg (stmt, i);
    3918                 :       1546 :       if (!vect_is_simple_use (op, vinfo, &thisarginfo.dt,
    3919                 :            :                                &thisarginfo.vectype)
    3920                 :       1546 :           || thisarginfo.dt == vect_uninitialized_def)
    3921                 :            :         {
    3922                 :          0 :           if (dump_enabled_p ())
    3923                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    3924                 :            :                              "use not simple.\n");
    3925                 :          0 :           return false;
    3926                 :            :         }
    3927                 :            : 
    3928                 :       1546 :       if (thisarginfo.dt == vect_constant_def
    3929                 :       1546 :           || thisarginfo.dt == vect_external_def)
    3930                 :        291 :         gcc_assert (thisarginfo.vectype == NULL_TREE);
    3931                 :            :       else
    3932                 :            :         {
    3933                 :       1255 :           gcc_assert (thisarginfo.vectype != NULL_TREE);
    3934                 :       1255 :           if (VECTOR_BOOLEAN_TYPE_P (thisarginfo.vectype))
    3935                 :            :             {
    3936                 :          0 :               if (dump_enabled_p ())
    3937                 :          0 :                 dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    3938                 :            :                                  "vector mask arguments are not supported\n");
    3939                 :          0 :               return false;
    3940                 :            :             }
    3941                 :            :         }
    3942                 :            : 
    3943                 :            :       /* For linear arguments, the analyze phase should have saved
    3944                 :            :          the base and step in STMT_VINFO_SIMD_CLONE_INFO.  */
    3945                 :       1546 :       if (i * 3 + 4 <= STMT_VINFO_SIMD_CLONE_INFO (stmt_info).length ()
    3946                 :       1546 :           && STMT_VINFO_SIMD_CLONE_INFO (stmt_info)[i * 3 + 2])
    3947                 :            :         {
    3948                 :        133 :           gcc_assert (vec_stmt);
    3949                 :        133 :           thisarginfo.linear_step
    3950                 :        133 :             = tree_to_shwi (STMT_VINFO_SIMD_CLONE_INFO (stmt_info)[i * 3 + 2]);
    3951                 :        133 :           thisarginfo.op
    3952                 :        133 :             = STMT_VINFO_SIMD_CLONE_INFO (stmt_info)[i * 3 + 1];
    3953                 :        133 :           thisarginfo.simd_lane_linear
    3954                 :        133 :             = (STMT_VINFO_SIMD_CLONE_INFO (stmt_info)[i * 3 + 3]
    3955                 :        133 :                == boolean_true_node);
    3956                 :            :           /* If loop has been peeled for alignment, we need to adjust it.  */
    3957                 :        133 :           tree n1 = LOOP_VINFO_NITERS_UNCHANGED (loop_vinfo);
    3958                 :        133 :           tree n2 = LOOP_VINFO_NITERS (loop_vinfo);
    3959                 :        133 :           if (n1 != n2 && !thisarginfo.simd_lane_linear)
    3960                 :            :             {
    3961                 :          0 :               tree bias = fold_build2 (MINUS_EXPR, TREE_TYPE (n1), n1, n2);
    3962                 :          0 :               tree step = STMT_VINFO_SIMD_CLONE_INFO (stmt_info)[i * 3 + 2];
    3963                 :          0 :               tree opt = TREE_TYPE (thisarginfo.op);
    3964                 :          0 :               bias = fold_convert (TREE_TYPE (step), bias);
    3965                 :          0 :               bias = fold_build2 (MULT_EXPR, TREE_TYPE (step), bias, step);
    3966                 :          0 :               thisarginfo.op
    3967                 :          0 :                 = fold_build2 (POINTER_TYPE_P (opt)
    3968                 :            :                                ? POINTER_PLUS_EXPR : PLUS_EXPR, opt,
    3969                 :            :                                thisarginfo.op, bias);
    3970                 :            :             }
    3971                 :            :         }
    3972                 :       1413 :       else if (!vec_stmt
    3973                 :        939 :                && thisarginfo.dt != vect_constant_def
    3974                 :        892 :                && thisarginfo.dt != vect_external_def
    3975                 :        763 :                && loop_vinfo
    3976                 :        763 :                && TREE_CODE (op) == SSA_NAME
    3977                 :       1526 :                && simple_iv (loop, loop_containing_stmt (stmt), op,
    3978                 :            :                              &iv, false)
    3979                 :       1679 :                && tree_fits_shwi_p (iv.step))
    3980                 :            :         {
    3981                 :        266 :           thisarginfo.linear_step = tree_to_shwi (iv.step);
    3982                 :        266 :           thisarginfo.op = iv.base;
    3983                 :            :         }
    3984                 :       1147 :       else if ((thisarginfo.dt == vect_constant_def
    3985                 :       1147 :                 || thisarginfo.dt == vect_external_def)
    3986                 :       1147 :                && POINTER_TYPE_P (TREE_TYPE (op)))
    3987                 :        177 :         thisarginfo.align = get_pointer_alignment (op) / BITS_PER_UNIT;
    3988                 :            :       /* Addresses of array elements indexed by GOMP_SIMD_LANE are
    3989                 :            :          linear too.  */
    3990                 :       2803 :       if (POINTER_TYPE_P (TREE_TYPE (op))
    3991                 :        289 :           && !thisarginfo.linear_step
    3992                 :        203 :           && !vec_stmt
    3993                 :        134 :           && thisarginfo.dt != vect_constant_def
    3994                 :        134 :           && thisarginfo.dt != vect_external_def
    3995                 :         17 :           && loop_vinfo
    3996                 :         17 :           && !slp_node
    3997                 :       1563 :           && TREE_CODE (op) == SSA_NAME)
    3998                 :         17 :         vect_simd_lane_linear (op, loop, &thisarginfo);
    3999                 :            : 
    4000                 :       1546 :       arginfo.quick_push (thisarginfo);
    4001                 :            :     }
    4002                 :            : 
    4003                 :        685 :   unsigned HOST_WIDE_INT vf;
    4004                 :        685 :   if (!LOOP_VINFO_VECT_FACTOR (loop_vinfo).is_constant (&vf))
    4005                 :            :     {
    4006                 :            :       if (dump_enabled_p ())
    4007                 :            :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    4008                 :            :                          "not considering SIMD clones; not yet supported"
    4009                 :            :                          " for variable-width vectors.\n");
    4010                 :            :       return false;
    4011                 :            :     }
    4012                 :            : 
    4013                 :        685 :   unsigned int badness = 0;
    4014                 :        685 :   struct cgraph_node *bestn = NULL;
    4015                 :        685 :   if (STMT_VINFO_SIMD_CLONE_INFO (stmt_info).exists ())
    4016                 :        273 :     bestn = cgraph_node::get (STMT_VINFO_SIMD_CLONE_INFO (stmt_info)[0]);
    4017                 :            :   else
    4018                 :       2748 :     for (struct cgraph_node *n = node->simd_clones; n != NULL;
    4019                 :       2336 :          n = n->simdclone->next_clone)
    4020                 :            :       {
    4021                 :       2336 :         unsigned int this_badness = 0;
    4022                 :       2336 :         if (n->simdclone->simdlen > vf
    4023                 :       1529 :             || n->simdclone->nargs != nargs)
    4024                 :       1242 :           continue;
    4025                 :       1094 :         if (n->simdclone->simdlen < vf)
    4026                 :        365 :           this_badness += (exact_log2 (vf)
    4027                 :        730 :                            - exact_log2 (n->simdclone->simdlen)) * 1024;
    4028                 :       1094 :         if (n->simdclone->inbranch)
    4029                 :          0 :           this_badness += 2048;
    4030                 :       1094 :         int target_badness = targetm.simd_clone.usable (n);
    4031                 :       1094 :         if (target_badness < 0)
    4032                 :        297 :           continue;
    4033                 :        797 :         this_badness += target_badness * 512;
    4034                 :            :         /* FORNOW: Have to add code to add the mask argument.  */
    4035                 :        797 :         if (n->simdclone->inbranch)
    4036                 :          0 :           continue;
    4037                 :       2495 :         for (i = 0; i < nargs; i++)
    4038                 :            :           {
    4039                 :       1759 :             switch (n->simdclone->args[i].arg_type)
    4040                 :            :               {
    4041                 :       1212 :               case SIMD_CLONE_ARG_TYPE_VECTOR:
    4042                 :       1212 :                 if (!useless_type_conversion_p
    4043                 :       1212 :                         (n->simdclone->args[i].orig_type,
    4044                 :       1212 :                          TREE_TYPE (gimple_call_arg (stmt, i))))
    4045                 :            :                   i = -1;
    4046                 :       1190 :                 else if (arginfo[i].dt == vect_constant_def
    4047                 :       1141 :                          || arginfo[i].dt == vect_external_def
    4048                 :       2218 :                          || arginfo[i].linear_step)
    4049                 :        406 :                   this_badness += 64;
    4050                 :            :                 break;
    4051                 :        251 :               case SIMD_CLONE_ARG_TYPE_UNIFORM:
    4052                 :        251 :                 if (arginfo[i].dt != vect_constant_def
    4053                 :        251 :                     && arginfo[i].dt != vect_external_def)
    4054                 :            :                   i = -1;
    4055                 :            :                 break;
    4056                 :        296 :               case SIMD_CLONE_ARG_TYPE_LINEAR_CONSTANT_STEP:
    4057                 :        296 :               case SIMD_CLONE_ARG_TYPE_LINEAR_REF_CONSTANT_STEP:
    4058                 :        296 :                 if (arginfo[i].dt == vect_constant_def
    4059                 :        296 :                     || arginfo[i].dt == vect_external_def
    4060                 :        592 :                     || (arginfo[i].linear_step
    4061                 :        296 :                         != n->simdclone->args[i].linear_step))
    4062                 :            :                   i = -1;
    4063                 :            :                 break;
    4064                 :            :               case SIMD_CLONE_ARG_TYPE_LINEAR_VARIABLE_STEP:
    4065                 :            :               case SIMD_CLONE_ARG_TYPE_LINEAR_VAL_CONSTANT_STEP:
    4066                 :            :               case SIMD_CLONE_ARG_TYPE_LINEAR_UVAL_CONSTANT_STEP:
    4067                 :            :               case SIMD_CLONE_ARG_TYPE_LINEAR_REF_VARIABLE_STEP:
    4068                 :            :               case SIMD_CLONE_ARG_TYPE_LINEAR_VAL_VARIABLE_STEP:
    4069                 :            :               case SIMD_CLONE_ARG_TYPE_LINEAR_UVAL_VARIABLE_STEP:
    4070                 :            :                 /* FORNOW */
    4071                 :            :                 i = -1;
    4072                 :            :                 break;
    4073                 :          0 :               case SIMD_CLONE_ARG_TYPE_MASK:
    4074                 :          0 :                 gcc_unreachable ();
    4075                 :            :               }
    4076                 :       1698 :             if (i == (size_t) -1)
    4077                 :            :               break;
    4078                 :       1698 :             if (n->simdclone->args[i].alignment > arginfo[i].align)
    4079                 :            :               {
    4080                 :            :                 i = -1;
    4081                 :            :                 break;
    4082                 :            :               }
    4083                 :       1698 :             if (arginfo[i].align)
    4084                 :        238 :               this_badness += (exact_log2 (arginfo[i].align)
    4085                 :        316 :                                - exact_log2 (n->simdclone->args[i].alignment));
    4086                 :            :           }
    4087                 :        797 :         if (i == (size_t) -1)
    4088                 :         61 :           continue;
    4089                 :        736 :         if (bestn == NULL || this_badness < badness)
    4090                 :            :           {
    4091                 :        701 :             bestn = n;
    4092                 :        701 :             badness = this_badness;
    4093                 :            :           }
    4094                 :            :       }
    4095                 :            : 
    4096                 :        685 :   if (bestn == NULL)
    4097                 :            :     return false;
    4098                 :            : 
    4099                 :       2122 :   for (i = 0; i < nargs; i++)
    4100                 :       1470 :     if ((arginfo[i].dt == vect_constant_def
    4101                 :       1378 :          || arginfo[i].dt == vect_external_def)
    4102                 :       1669 :         && bestn->simdclone->args[i].arg_type == SIMD_CLONE_ARG_TYPE_VECTOR)
    4103                 :            :       {
    4104                 :         91 :         tree arg_type = TREE_TYPE (gimple_call_arg (stmt, i));
    4105                 :         91 :         arginfo[i].vectype = get_vectype_for_scalar_type (vinfo, arg_type,
    4106                 :            :                                                           slp_node);
    4107                 :         91 :         if (arginfo[i].vectype == NULL
    4108                 :         91 :             || (simd_clone_subparts (arginfo[i].vectype)
    4109                 :         91 :                 > bestn->simdclone->simdlen))
    4110                 :          0 :           return false;
    4111                 :            :       }
    4112                 :            : 
    4113                 :        652 :   fndecl = bestn->decl;
    4114                 :        652 :   nunits = bestn->simdclone->simdlen;
    4115                 :        652 :   ncopies = vf / nunits;
    4116                 :            : 
    4117                 :            :   /* If the function isn't const, only allow it in simd loops where user
    4118                 :            :      has asserted that at least nunits consecutive iterations can be
    4119                 :            :      performed using SIMD instructions.  */
    4120                 :        652 :   if ((loop == NULL || (unsigned) loop->safelen < nunits)
    4121                 :        719 :       && gimple_vuse (stmt))
    4122                 :            :     return false;
    4123                 :            : 
    4124                 :            :   /* Sanity check: make sure that at least one copy of the vectorized stmt
    4125                 :            :      needs to be generated.  */
    4126                 :        652 :   gcc_assert (ncopies >= 1);
    4127                 :            : 
    4128                 :        652 :   if (!vec_stmt) /* transformation not required.  */
    4129                 :            :     {
    4130                 :        379 :       STMT_VINFO_SIMD_CLONE_INFO (stmt_info).safe_push (bestn->decl);
    4131                 :       1242 :       for (i = 0; i < nargs; i++)
    4132                 :        863 :         if ((bestn->simdclone->args[i].arg_type
    4133                 :            :              == SIMD_CLONE_ARG_TYPE_LINEAR_CONSTANT_STEP)
    4134                 :        718 :             || (bestn->simdclone->args[i].arg_type
    4135                 :            :                 == SIMD_CLONE_ARG_TYPE_LINEAR_REF_CONSTANT_STEP))
    4136                 :            :           {
    4137                 :        158 :             STMT_VINFO_SIMD_CLONE_INFO (stmt_info).safe_grow_cleared (i * 3
    4138                 :            :                                                                         + 1);
    4139                 :        158 :             STMT_VINFO_SIMD_CLONE_INFO (stmt_info).safe_push (arginfo[i].op);
    4140                 :        276 :             tree lst = POINTER_TYPE_P (TREE_TYPE (arginfo[i].op))
    4141                 :        158 :                        ? size_type_node : TREE_TYPE (arginfo[i].op);
    4142                 :        158 :             tree ls = build_int_cst (lst, arginfo[i].linear_step);
    4143                 :        158 :             STMT_VINFO_SIMD_CLONE_INFO (stmt_info).safe_push (ls);
    4144                 :        158 :             tree sll = arginfo[i].simd_lane_linear
    4145                 :        158 :                        ? boolean_true_node : boolean_false_node;
    4146                 :        158 :             STMT_VINFO_SIMD_CLONE_INFO (stmt_info).safe_push (sll);
    4147                 :            :           }
    4148                 :        379 :       STMT_VINFO_TYPE (stmt_info) = call_simd_clone_vec_info_type;
    4149                 :        379 :       DUMP_VECT_SCOPE ("vectorizable_simd_clone_call");
    4150                 :            : /*      vect_model_simple_cost (vinfo, stmt_info, ncopies,
    4151                 :            :                                 dt, slp_node, cost_vec); */
    4152                 :        379 :       return true;
    4153                 :            :     }
    4154                 :            : 
    4155                 :            :   /* Transform.  */
    4156                 :            : 
    4157                 :        273 :   if (dump_enabled_p ())
    4158                 :        192 :     dump_printf_loc (MSG_NOTE, vect_location, "transform call.\n");
    4159                 :            : 
    4160                 :            :   /* Handle def.  */
    4161                 :        273 :   scalar_dest = gimple_call_lhs (stmt);
    4162                 :        273 :   vec_dest = NULL_TREE;
    4163                 :        273 :   rtype = NULL_TREE;
    4164                 :        273 :   ratype = NULL_TREE;
    4165                 :        273 :   if (scalar_dest)
    4166                 :            :     {
    4167                 :        264 :       vec_dest = vect_create_destination_var (scalar_dest, vectype);
    4168                 :        264 :       rtype = TREE_TYPE (TREE_TYPE (fndecl));
    4169                 :        264 :       if (TREE_CODE (rtype) == ARRAY_TYPE)
    4170                 :            :         {
    4171                 :          9 :           ratype = rtype;
    4172                 :          9 :           rtype = TREE_TYPE (ratype);
    4173                 :            :         }
    4174                 :            :     }
    4175                 :            : 
    4176                 :        273 :   prev_stmt_info = NULL;
    4177                 :        653 :   for (j = 0; j < ncopies; ++j)
    4178                 :            :     {
    4179                 :            :       /* Build argument list for the vectorized call.  */
    4180                 :        380 :       if (j == 0)
    4181                 :        273 :         vargs.create (nargs);
    4182                 :            :       else
    4183                 :        107 :         vargs.truncate (0);
    4184                 :            : 
    4185                 :       1291 :       for (i = 0; i < nargs; i++)
    4186                 :            :         {
    4187                 :        911 :           unsigned int k, l, m, o;
    4188                 :        911 :           tree atype;
    4189                 :        911 :           op = gimple_call_arg (stmt, i);
    4190                 :        911 :           switch (bestn->simdclone->args[i].arg_type)
    4191                 :            :             {
    4192                 :        686 :             case SIMD_CLONE_ARG_TYPE_VECTOR:
    4193                 :        686 :               atype = bestn->simdclone->args[i].vector_type;
    4194                 :        686 :               o = nunits / simd_clone_subparts (atype);
    4195                 :       1564 :               for (m = j * o; m < (j + 1) * o; m++)
    4196                 :            :                 {
    4197                 :        878 :                   if (simd_clone_subparts (atype)
    4198                 :        878 :                       < simd_clone_subparts (arginfo[i].vectype))
    4199                 :            :                     {
    4200                 :        372 :                       poly_uint64 prec = GET_MODE_BITSIZE (TYPE_MODE (atype));
    4201                 :        186 :                       k = (simd_clone_subparts (arginfo[i].vectype)
    4202                 :        186 :                            / simd_clone_subparts (atype));
    4203                 :        186 :                       gcc_assert ((k & (k - 1)) == 0);
    4204                 :        186 :                       if (m == 0)
    4205                 :         42 :                         vec_oprnd0
    4206                 :         42 :                           = vect_get_vec_def_for_operand (vinfo, op, stmt_info);
    4207                 :            :                       else
    4208                 :            :                         {
    4209                 :        144 :                           vec_oprnd0 = arginfo[i].op;
    4210                 :        144 :                           if ((m & (k - 1)) == 0)
    4211                 :         51 :                             vec_oprnd0
    4212                 :         51 :                               = vect_get_vec_def_for_stmt_copy (vinfo,
    4213                 :            :                                                                 vec_oprnd0);
    4214                 :            :                         }
    4215                 :        186 :                       arginfo[i].op = vec_oprnd0;
    4216                 :        186 :                       vec_oprnd0
    4217                 :        186 :                         = build3 (BIT_FIELD_REF, atype, vec_oprnd0,
    4218                 :            :                                   bitsize_int (prec),
    4219                 :        186 :                                   bitsize_int ((m & (k - 1)) * prec));
    4220                 :        186 :                       gassign *new_stmt
    4221                 :        186 :                         = gimple_build_assign (make_ssa_name (atype),
    4222                 :            :                                                vec_oprnd0);
    4223                 :        186 :                       vect_finish_stmt_generation (vinfo, stmt_info,
    4224                 :            :                                                    new_stmt, gsi);
    4225                 :        186 :                       vargs.safe_push (gimple_assign_lhs (new_stmt));
    4226                 :            :                     }
    4227                 :            :                   else
    4228                 :            :                     {
    4229                 :        692 :                       k = (simd_clone_subparts (atype)
    4230                 :        692 :                            / simd_clone_subparts (arginfo[i].vectype));
    4231                 :        692 :                       gcc_assert ((k & (k - 1)) == 0);
    4232                 :        692 :                       vec<constructor_elt, va_gc> *ctor_elts;
    4233                 :        692 :                       if (k != 1)
    4234                 :         11 :                         vec_alloc (ctor_elts, k);
    4235                 :            :                       else
    4236                 :        681 :                         ctor_elts = NULL;
    4237                 :        714 :                       for (l = 0; l < k; l++)
    4238                 :            :                         {
    4239                 :        703 :                           if (m == 0 && l == 0)
    4240                 :        349 :                             vec_oprnd0
    4241                 :        349 :                               = vect_get_vec_def_for_operand (vinfo,
    4242                 :            :                                                               op, stmt_info);
    4243                 :            :                           else
    4244                 :        354 :                             vec_oprnd0
    4245                 :        354 :                               = vect_get_vec_def_for_stmt_copy (vinfo,
    4246                 :        354 :                                                                 arginfo[i].op);
    4247                 :        703 :                           arginfo[i].op = vec_oprnd0;
    4248                 :        703 :                           if (k == 1)
    4249                 :            :                             break;
    4250                 :         22 :                           CONSTRUCTOR_APPEND_ELT (ctor_elts, NULL_TREE,
    4251                 :            :                                                   vec_oprnd0);
    4252                 :            :                         }
    4253                 :        692 :                       if (k == 1)
    4254                 :        681 :                         vargs.safe_push (vec_oprnd0);
    4255                 :            :                       else
    4256                 :            :                         {
    4257                 :         11 :                           vec_oprnd0 = build_constructor (atype, ctor_elts);
    4258                 :         11 :                           gassign *new_stmt
    4259                 :         11 :                             = gimple_build_assign (make_ssa_name (atype),
    4260                 :            :                                                    vec_oprnd0);
    4261                 :         11 :                           vect_finish_stmt_generation (vinfo, stmt_info,
    4262                 :            :                                                        new_stmt, gsi);
    4263                 :         11 :                           vargs.safe_push (gimple_assign_lhs (new_stmt));
    4264                 :            :                         }
    4265                 :            :                     }
    4266                 :            :                 }
    4267                 :            :               break;
    4268                 :         83 :             case SIMD_CLONE_ARG_TYPE_UNIFORM:
    4269                 :         83 :               vargs.safe_push (op);
    4270                 :         83 :               break;
    4271                 :        142 :             case SIMD_CLONE_ARG_TYPE_LINEAR_CONSTANT_STEP:
    4272                 :        142 :             case SIMD_CLONE_ARG_TYPE_LINEAR_REF_CONSTANT_STEP:
    4273                 :        142 :               if (j == 0)
    4274                 :            :                 {
    4275                 :        133 :                   gimple_seq stmts;
    4276                 :        133 :                   arginfo[i].op
    4277                 :        266 :                     = force_gimple_operand (unshare_expr (arginfo[i].op),
    4278                 :            :                                             &stmts, true, NULL_TREE);
    4279                 :        133 :                   if (stmts != NULL)
    4280                 :            :                     {
    4281                 :          0 :                       basic_block new_bb;
    4282                 :          0 :                       edge pe = loop_preheader_edge (loop);
    4283                 :          0 :                       new_bb = gsi_insert_seq_on_edge_immediate (pe, stmts);
    4284                 :          0 :                       gcc_assert (!new_bb);
    4285                 :            :                     }
    4286                 :        133 :                   if (arginfo[i].simd_lane_linear)
    4287                 :            :                     {
    4288                 :          6 :                       vargs.safe_push (arginfo[i].op);
    4289                 :          6 :                       break;
    4290                 :            :                     }
    4291                 :        127 :                   tree phi_res = copy_ssa_name (op);
    4292                 :        127 :                   gphi *new_phi = create_phi_node (phi_res, loop->header);
    4293                 :        127 :                   loop_vinfo->add_stmt (new_phi);
    4294                 :        127 :                   add_phi_arg (new_phi, arginfo[i].op,
    4295                 :            :                                loop_preheader_edge (loop), UNKNOWN_LOCATION);
    4296                 :        127 :                   enum tree_code code
    4297                 :        220 :                     = POINTER_TYPE_P (TREE_TYPE (op))
    4298                 :        127 :                       ? POINTER_PLUS_EXPR : PLUS_EXPR;
    4299                 :        127 :                   tree type = POINTER_TYPE_P (TREE_TYPE (op))
    4300                 :        127 :                               ? sizetype : TREE_TYPE (op);
    4301                 :        127 :                   widest_int cst
    4302                 :        127 :                     = wi::mul (bestn->simdclone->args[i].linear_step,
    4303                 :        127 :                                ncopies * nunits);
    4304                 :        127 :                   tree tcst = wide_int_to_tree (type, cst);
    4305                 :        127 :                   tree phi_arg = copy_ssa_name (op);
    4306                 :        127 :                   gassign *new_stmt
    4307                 :        127 :                     = gimple_build_assign (phi_arg, code, phi_res, tcst);
    4308                 :        127 :                   gimple_stmt_iterator si = gsi_after_labels (loop->header);
    4309                 :        127 :                   gsi_insert_after (&si, new_stmt, GSI_NEW_STMT);
    4310                 :        127 :                   loop_vinfo->add_stmt (new_stmt);
    4311                 :        127 :                   add_phi_arg (new_phi, phi_arg, loop_latch_edge (loop),
    4312                 :            :                                UNKNOWN_LOCATION);
    4313                 :        127 :                   arginfo[i].op = phi_res;
    4314                 :        127 :                   vargs.safe_push (phi_res);
    4315                 :            :                 }
    4316                 :            :               else
    4317                 :            :                 {
    4318                 :          9 :                   enum tree_code code
    4319                 :         18 :                     = POINTER_TYPE_P (TREE_TYPE (op))
    4320                 :          9 :                       ? POINTER_PLUS_EXPR : PLUS_EXPR;
    4321                 :          9 :                   tree type = POINTER_TYPE_P (TREE_TYPE (op))
    4322                 :          9 :                               ? sizetype : TREE_TYPE (op);
    4323                 :          9 :                   widest_int cst
    4324                 :          9 :                     = wi::mul (bestn->simdclone->args[i].linear_step,
    4325                 :          9 :                                j * nunits);
    4326                 :          9 :                   tree tcst = wide_int_to_tree (type, cst);
    4327                 :          9 :                   new_temp = make_ssa_name (TREE_TYPE (op));
    4328                 :          9 :                   gassign *new_stmt
    4329                 :         18 :                     = gimple_build_assign (new_temp, code,
    4330                 :          9 :                                            arginfo[i].op, tcst);
    4331                 :          9 :                   vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    4332                 :          9 :                   vargs.safe_push (new_temp);
    4333                 :            :                 }
    4334                 :            :               break;
    4335                 :          0 :             case SIMD_CLONE_ARG_TYPE_LINEAR_VAL_CONSTANT_STEP:
    4336                 :          0 :             case SIMD_CLONE_ARG_TYPE_LINEAR_UVAL_CONSTANT_STEP:
    4337                 :          0 :             case SIMD_CLONE_ARG_TYPE_LINEAR_VARIABLE_STEP:
    4338                 :          0 :             case SIMD_CLONE_ARG_TYPE_LINEAR_REF_VARIABLE_STEP:
    4339                 :          0 :             case SIMD_CLONE_ARG_TYPE_LINEAR_VAL_VARIABLE_STEP:
    4340                 :          0 :             case SIMD_CLONE_ARG_TYPE_LINEAR_UVAL_VARIABLE_STEP:
    4341                 :          0 :             default:
    4342                 :          0 :               gcc_unreachable ();
    4343                 :            :             }
    4344                 :            :         }
    4345                 :            : 
    4346                 :        380 :       gcall *new_call = gimple_build_call_vec (fndecl, vargs);
    4347                 :        380 :       if (vec_dest)
    4348                 :            :         {
    4349                 :        727 :           gcc_assert (ratype || simd_clone_subparts (rtype) == nunits);
    4350                 :        371 :           if (ratype)
    4351                 :         15 :             new_temp = create_tmp_var (ratype);
    4352                 :        356 :           else if (simd_clone_subparts (vectype)
    4353                 :        356 :                    == simd_clone_subparts (rtype))
    4354                 :        337 :             new_temp = make_ssa_name (vec_dest, new_call);
    4355                 :            :           else
    4356                 :         19 :             new_temp = make_ssa_name (rtype, new_call);
    4357                 :        371 :           gimple_call_set_lhs (new_call, new_temp);
    4358                 :            :         }
    4359                 :        380 :       stmt_vec_info new_stmt_info
    4360                 :        380 :         = vect_finish_stmt_generation (vinfo, stmt_info, new_call, gsi);
    4361                 :            : 
    4362                 :        380 :       if (vec_dest)
    4363                 :            :         {
    4364                 :        371 :           if (simd_clone_subparts (vectype) < nunits)
    4365                 :            :             {
    4366                 :         18 :               unsigned int k, l;
    4367                 :         36 :               poly_uint64 prec = GET_MODE_BITSIZE (TYPE_MODE (vectype));
    4368                 :         36 :               poly_uint64 bytes = GET_MODE_SIZE (TYPE_MODE (vectype));
    4369                 :         18 :               k = nunits / simd_clone_subparts (vectype);
    4370                 :         18 :               gcc_assert ((k & (k - 1)) == 0);
    4371                 :         66 :               for (l = 0; l < k; l++)
    4372                 :            :                 {
    4373                 :         48 :                   tree t;
    4374                 :         48 :                   if (ratype)
    4375                 :            :                     {
    4376                 :         42 :                       t = build_fold_addr_expr (new_temp);
    4377                 :         42 :                       t = build2 (MEM_REF, vectype, t,
    4378                 :         42 :                                   build_int_cst (TREE_TYPE (t), l * bytes));
    4379                 :            :                     }
    4380                 :            :                   else
    4381                 :          6 :                     t = build3 (BIT_FIELD_REF, vectype, new_temp,
    4382                 :          6 :                                 bitsize_int (prec), bitsize_int (l * prec));
    4383                 :         48 :                   gimple *new_stmt
    4384                 :         48 :                     = gimple_build_assign (make_ssa_name (vectype), t);
    4385                 :         48 :                   new_stmt_info
    4386                 :         48 :                     = vect_finish_stmt_generation (vinfo, stmt_info,
    4387                 :            :                                                    new_stmt, gsi);
    4388                 :            : 
    4389                 :         48 :                   if (j == 0 && l == 0)
    4390                 :         12 :                     STMT_VINFO_VEC_STMT (stmt_info)
    4391                 :         12 :                       = *vec_stmt = new_stmt_info;
    4392                 :            :                   else
    4393                 :         36 :                     STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    4394                 :            : 
    4395                 :         48 :                   prev_stmt_info = new_stmt_info;
    4396                 :            :                 }
    4397                 :            : 
    4398                 :         18 :               if (ratype)
    4399                 :         15 :                 vect_clobber_variable (vinfo, stmt_info, gsi, new_temp);
    4400                 :         18 :               continue;
    4401                 :            :             }
    4402                 :        353 :           else if (simd_clone_subparts (vectype) > nunits)
    4403                 :            :             {
    4404                 :         16 :               unsigned int k = (simd_clone_subparts (vectype)
    4405                 :         16 :                                 / simd_clone_subparts (rtype));
    4406                 :         16 :               gcc_assert ((k & (k - 1)) == 0);
    4407                 :         16 :               if ((j & (k - 1)) == 0)
    4408                 :          8 :                 vec_alloc (ret_ctor_elts, k);
    4409                 :         16 :               if (ratype)
    4410                 :            :                 {
    4411                 :          0 :                   unsigned int m, o = nunits / simd_clone_subparts (rtype);
    4412                 :          0 :                   for (m = 0; m < o; m++)
    4413                 :            :                     {
    4414                 :          0 :                       tree tem = build4 (ARRAY_REF, rtype, new_temp,
    4415                 :            :                                          size_int (m), NULL_TREE, NULL_TREE);
    4416                 :          0 :                       gimple *new_stmt
    4417                 :          0 :                         = gimple_build_assign (make_ssa_name (rtype), tem);
    4418                 :          0 :                       new_stmt_info
    4419                 :          0 :                         = vect_finish_stmt_generation (vinfo, stmt_info,
    4420                 :            :                                                        new_stmt, gsi);
    4421                 :          0 :                       CONSTRUCTOR_APPEND_ELT (ret_ctor_elts, NULL_TREE,
    4422                 :            :                                               gimple_assign_lhs (new_stmt));
    4423                 :            :                     }
    4424                 :          0 :                   vect_clobber_variable (vinfo, stmt_info, gsi, new_temp);
    4425                 :            :                 }
    4426                 :            :               else
    4427                 :         16 :                 CONSTRUCTOR_APPEND_ELT (ret_ctor_elts, NULL_TREE, new_temp);
    4428                 :         16 :               if ((j & (k - 1)) != k - 1)
    4429                 :          8 :                 continue;
    4430                 :          8 :               vec_oprnd0 = build_constructor (vectype, ret_ctor_elts);
    4431                 :          8 :               gimple *new_stmt
    4432                 :          8 :                 = gimple_build_assign (make_ssa_name (vec_dest), vec_oprnd0);
    4433                 :          8 :               new_stmt_info
    4434                 :          8 :                 = vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    4435                 :            : 
    4436                 :          8 :               if ((unsigned) j == k - 1)
    4437                 :          5 :                 STMT_VINFO_VEC_STMT (stmt_info) = *vec_stmt = new_stmt_info;
    4438                 :            :               else
    4439                 :          3 :                 STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    4440                 :            : 
    4441                 :          8 :               prev_stmt_info = new_stmt_info;
    4442                 :          8 :               continue;
    4443                 :            :             }
    4444                 :        337 :           else if (ratype)
    4445                 :            :             {
    4446                 :          0 :               tree t = build_fold_addr_expr (new_temp);
    4447                 :          0 :               t = build2 (MEM_REF, vectype, t,
    4448                 :          0 :                           build_int_cst (TREE_TYPE (t), 0));
    4449                 :          0 :               gimple *new_stmt
    4450                 :          0 :                 = gimple_build_assign (make_ssa_name (vec_dest), t);
    4451                 :          0 :               new_stmt_info
    4452                 :          0 :                 = vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    4453                 :          0 :               vect_clobber_variable (vinfo, stmt_info, gsi, new_temp);
    4454                 :            :             }
    4455                 :            :         }
    4456                 :            : 
    4457                 :        346 :       if (j == 0)
    4458                 :        256 :         STMT_VINFO_VEC_STMT (stmt_info) = *vec_stmt = new_stmt_info;
    4459                 :            :       else
    4460                 :         90 :         STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    4461                 :            : 
    4462                 :            :       prev_stmt_info = new_stmt_info;
    4463                 :            :     }
    4464                 :            : 
    4465                 :        273 :   vargs.release ();
    4466                 :            : 
    4467                 :            :   /* The call in STMT might prevent it from being removed in dce.
    4468                 :            :      We however cannot remove it here, due to the way the ssa name
    4469                 :            :      it defines is mapped to the new definition.  So just replace
    4470                 :            :      rhs of the statement with something harmless.  */
    4471                 :            : 
    4472                 :        273 :   if (slp_node)
    4473                 :            :     return true;
    4474                 :            : 
    4475                 :        273 :   gimple *new_stmt;
    4476                 :        273 :   if (scalar_dest)
    4477                 :            :     {
    4478                 :        264 :       type = TREE_TYPE (scalar_dest);
    4479                 :        266 :       lhs = gimple_call_lhs (vect_orig_stmt (stmt_info)->stmt);
    4480                 :        264 :       new_stmt = gimple_build_assign (lhs, build_zero_cst (type));
    4481                 :            :     }
    4482                 :            :   else
    4483                 :          9 :     new_stmt = gimple_build_nop ();
    4484                 :        275 :   vinfo->replace_stmt (gsi, vect_orig_stmt (stmt_info), new_stmt);
    4485                 :        273 :   unlink_stmt_vdef (stmt);
    4486                 :            : 
    4487                 :        273 :   return true;
    4488                 :            : }
    4489                 :            : 
    4490                 :            : 
    4491                 :            : /* Function vect_gen_widened_results_half
    4492                 :            : 
    4493                 :            :    Create a vector stmt whose code, type, number of arguments, and result
    4494                 :            :    variable are CODE, OP_TYPE, and VEC_DEST, and its arguments are
    4495                 :            :    VEC_OPRND0 and VEC_OPRND1.  The new vector stmt is to be inserted at GSI.
    4496                 :            :    In the case that CODE is a CALL_EXPR, this means that a call to DECL
    4497                 :            :    needs to be created (DECL is a function-decl of a target-builtin).
    4498                 :            :    STMT_INFO is the original scalar stmt that we are vectorizing.  */
    4499                 :            : 
    4500                 :            : static gimple *
    4501                 :       6694 : vect_gen_widened_results_half (vec_info *vinfo, enum tree_code code,
    4502                 :            :                                tree vec_oprnd0, tree vec_oprnd1, int op_type,
    4503                 :            :                                tree vec_dest, gimple_stmt_iterator *gsi,
    4504                 :            :                                stmt_vec_info stmt_info)
    4505                 :            : {
    4506                 :       6694 :   gimple *new_stmt;
    4507                 :       6694 :   tree new_temp;
    4508                 :            : 
    4509                 :            :   /* Generate half of the widened result:  */
    4510                 :       6694 :   gcc_assert (op_type == TREE_CODE_LENGTH (code));
    4511                 :       6694 :   if (op_type != binary_op)
    4512                 :       5870 :     vec_oprnd1 = NULL;
    4513                 :       6694 :   new_stmt = gimple_build_assign (vec_dest, code, vec_oprnd0, vec_oprnd1);
    4514                 :       6694 :   new_temp = make_ssa_name (vec_dest, new_stmt);
    4515                 :       6694 :   gimple_assign_set_lhs (new_stmt, new_temp);
    4516                 :       6694 :   vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    4517                 :            : 
    4518                 :       6694 :   return new_stmt;
    4519                 :            : }
    4520                 :            : 
    4521                 :            : 
    4522                 :            : /* Get vectorized definitions for loop-based vectorization of STMT_INFO.
    4523                 :            :    For the first operand we call vect_get_vec_def_for_operand (with OPRND
    4524                 :            :    containing scalar operand), and for the rest we get a copy with
    4525                 :            :    vect_get_vec_def_for_stmt_copy() using the previous vector definition
    4526                 :            :    (stored in OPRND). See vect_get_vec_def_for_stmt_copy() for details.
    4527                 :            :    The vectors are collected into VEC_OPRNDS.  */
    4528                 :            : 
    4529                 :            : static void
    4530                 :       1996 : vect_get_loop_based_defs (vec_info *vinfo, tree *oprnd, stmt_vec_info stmt_info,
    4531                 :            :                           vec<tree> *vec_oprnds, int multi_step_cvt)
    4532                 :            : {
    4533                 :       2372 :   tree vec_oprnd;
    4534                 :            : 
    4535                 :            :   /* Get first vector operand.  */
    4536                 :            :   /* All the vector operands except the very first one (that is scalar oprnd)
    4537                 :            :      are stmt copies.  */
    4538                 :       2372 :   if (TREE_CODE (TREE_TYPE (*oprnd)) != VECTOR_TYPE)
    4539                 :       1855 :     vec_oprnd = vect_get_vec_def_for_operand (vinfo, *oprnd, stmt_info);
    4540                 :            :   else
    4541                 :        517 :     vec_oprnd = vect_get_vec_def_for_stmt_copy (vinfo, *oprnd);
    4542                 :            : 
    4543                 :       2372 :   vec_oprnds->quick_push (vec_oprnd);
    4544                 :            : 
    4545                 :            :   /* Get second vector operand.  */
    4546                 :       2372 :   vec_oprnd = vect_get_vec_def_for_stmt_copy (vinfo, vec_oprnd);
    4547                 :       2372 :   vec_oprnds->quick_push (vec_oprnd);
    4548                 :            : 
    4549                 :       2372 :   *oprnd = vec_oprnd;
    4550                 :            : 
    4551                 :            :   /* For conversion in multiple steps, continue to get operands
    4552                 :            :      recursively.  */
    4553                 :       2372 :   if (multi_step_cvt)
    4554                 :        376 :     vect_get_loop_based_defs (vinfo, oprnd, stmt_info, vec_oprnds,
    4555                 :            :                               multi_step_cvt - 1);
    4556                 :       1996 : }
    4557                 :            : 
    4558                 :            : 
    4559                 :            : /* Create vectorized demotion statements for vector operands from VEC_OPRNDS.
    4560                 :            :    For multi-step conversions store the resulting vectors and call the function
    4561                 :            :    recursively.  */
    4562                 :            : 
    4563                 :            : static void
    4564                 :       2538 : vect_create_vectorized_demotion_stmts (vec_info *vinfo, vec<tree> *vec_oprnds,
    4565                 :            :                                        int multi_step_cvt,
    4566                 :            :                                        stmt_vec_info stmt_info,
    4567                 :            :                                        vec<tree> vec_dsts,
    4568                 :            :                                        gimple_stmt_iterator *gsi,
    4569                 :            :                                        slp_tree slp_node, enum tree_code code,
    4570                 :            :                                        stmt_vec_info *prev_stmt_info)
    4571                 :            : {
    4572                 :       2538 :   unsigned int i;
    4573                 :       2538 :   tree vop0, vop1, new_tmp, vec_dest;
    4574                 :            : 
    4575                 :       2538 :   vec_dest = vec_dsts.pop ();
    4576                 :            : 
    4577                 :      11210 :   for (i = 0; i < vec_oprnds->length (); i += 2)
    4578                 :            :     {
    4579                 :            :       /* Create demotion operation.  */
    4580                 :       3067 :       vop0 = (*vec_oprnds)[i];
    4581                 :       3067 :       vop1 = (*vec_oprnds)[i + 1];
    4582                 :       3067 :       gassign *new_stmt = gimple_build_assign (vec_dest, code, vop0, vop1);
    4583                 :       3067 :       new_tmp = make_ssa_name (vec_dest, new_stmt);
    4584                 :       3067 :       gimple_assign_set_lhs (new_stmt, new_tmp);
    4585                 :       3067 :       stmt_vec_info new_stmt_info
    4586                 :       3067 :         = vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    4587                 :            : 
    4588                 :       3067 :       if (multi_step_cvt)
    4589                 :            :         /* Store the resulting vector for next recursive call.  */
    4590                 :        848 :         (*vec_oprnds)[i/2] = new_tmp;
    4591                 :            :       else
    4592                 :            :         {
    4593                 :            :           /* This is the last step of the conversion sequence. Store the
    4594                 :            :              vectors in SLP_NODE or in vector info of the scalar statement
    4595                 :            :              (or in STMT_VINFO_RELATED_STMT chain).  */
    4596                 :       2219 :           if (slp_node)
    4597                 :       3290 :             SLP_TREE_VEC_STMTS (slp_node).quick_push (new_stmt_info);
    4598                 :            :           else
    4599                 :            :             {
    4600                 :       1996 :               if (!*prev_stmt_info)
    4601                 :       1855 :                 STMT_VINFO_VEC_STMT (stmt_info) = new_stmt_info;
    4602                 :            :               else
    4603                 :        141 :                 STMT_VINFO_RELATED_STMT (*prev_stmt_info) = new_stmt_info;
    4604                 :            : 
    4605                 :       1996 :               *prev_stmt_info = new_stmt_info;
    4606                 :            :             }
    4607                 :            :         }
    4608                 :            :     }
    4609                 :            : 
    4610                 :            :   /* For multi-step demotion operations we first generate demotion operations
    4611                 :            :      from the source type to the intermediate types, and then combine the
    4612                 :            :      results (stored in VEC_OPRNDS) in demotion operation to the destination
    4613                 :            :      type.  */
    4614                 :       2538 :   if (multi_step_cvt)
    4615                 :            :     {
    4616                 :            :       /* At each level of recursion we have half of the operands we had at the
    4617                 :            :          previous level.  */
    4618                 :        399 :       vec_oprnds->truncate ((i+1)/2);
    4619                 :        399 :       vect_create_vectorized_demotion_stmts (vinfo, vec_oprnds,
    4620                 :            :                                              multi_step_cvt - 1,
    4621                 :            :                                              stmt_info, vec_dsts, gsi,
    4622                 :            :                                              slp_node, VEC_PACK_TRUNC_EXPR,
    4623                 :            :                                              prev_stmt_info);
    4624                 :            :     }
    4625                 :            : 
    4626                 :       2538 :   vec_dsts.quick_push (vec_dest);
    4627                 :       2538 : }
    4628                 :            : 
    4629                 :            : 
    4630                 :            : /* Create vectorized promotion statements for vector operands from VEC_OPRNDS0
    4631                 :            :    and VEC_OPRNDS1, for a binary operation associated with scalar statement
    4632                 :            :    STMT_INFO.  For multi-step conversions store the resulting vectors and
    4633                 :            :    call the function recursively.  */
    4634                 :            : 
    4635                 :            : static void
    4636                 :       2747 : vect_create_vectorized_promotion_stmts (vec_info *vinfo,
    4637                 :            :                                         vec<tree> *vec_oprnds0,
    4638                 :            :                                         vec<tree> *vec_oprnds1,
    4639                 :            :                                         stmt_vec_info stmt_info, tree vec_dest,
    4640                 :            :                                         gimple_stmt_iterator *gsi,
    4641                 :            :                                         enum tree_code code1,
    4642                 :            :                                         enum tree_code code2, int op_type)
    4643                 :            : {
    4644                 :       2747 :   int i;
    4645                 :       2747 :   tree vop0, vop1, new_tmp1, new_tmp2;
    4646                 :       2747 :   gimple *new_stmt1, *new_stmt2;
    4647                 :       2747 :   vec<tree> vec_tmp = vNULL;
    4648                 :            : 
    4649                 :       5494 :   vec_tmp.create (vec_oprnds0->length () * 2);
    4650                 :       6094 :   FOR_EACH_VEC_ELT (*vec_oprnds0, i, vop0)
    4651                 :            :     {
    4652                 :       3347 :       if (op_type == binary_op)
    4653                 :        412 :         vop1 = (*vec_oprnds1)[i];
    4654                 :            :       else
    4655                 :            :         vop1 = NULL_TREE;
    4656                 :            : 
    4657                 :            :       /* Generate the two halves of promotion operation.  */
    4658                 :       3347 :       new_stmt1 = vect_gen_widened_results_half (vinfo, code1, vop0, vop1,
    4659                 :            :                                                  op_type, vec_dest, gsi,
    4660                 :            :                                                  stmt_info);
    4661                 :       3347 :       new_stmt2 = vect_gen_widened_results_half (vinfo, code2, vop0, vop1,
    4662                 :            :                                                  op_type, vec_dest, gsi,
    4663                 :            :                                                  stmt_info);
    4664                 :       3347 :       if (is_gimple_call (new_stmt1))
    4665                 :            :         {
    4666                 :          0 :           new_tmp1 = gimple_call_lhs (new_stmt1);
    4667                 :          0 :           new_tmp2 = gimple_call_lhs (new_stmt2);
    4668                 :            :         }
    4669                 :            :       else
    4670                 :            :         {
    4671                 :       3347 :           new_tmp1 = gimple_assign_lhs (new_stmt1);
    4672                 :       3347 :           new_tmp2 = gimple_assign_lhs (new_stmt2);
    4673                 :            :         }
    4674                 :            : 
    4675                 :            :       /* Store the results for the next step.  */
    4676                 :       3347 :       vec_tmp.quick_push (new_tmp1);
    4677                 :       3347 :       vec_tmp.quick_push (new_tmp2);
    4678                 :            :     }
    4679                 :            : 
    4680                 :       2747 :   vec_oprnds0->release ();
    4681                 :       2747 :   *vec_oprnds0 = vec_tmp;
    4682                 :       2747 : }
    4683                 :            : 
    4684                 :            : 
    4685                 :            : /* Check if STMT_INFO performs a conversion operation that can be vectorized.
    4686                 :            :    If VEC_STMT is also passed, vectorize STMT_INFO: create a vectorized
    4687                 :            :    stmt to replace it, put it in VEC_STMT, and insert it at GSI.
    4688                 :            :    Return true if STMT_INFO is vectorizable in this way.  */
    4689                 :            : 
    4690                 :            : static bool
    4691                 :     262959 : vectorizable_conversion (vec_info *vinfo,
    4692                 :            :                          stmt_vec_info stmt_info, gimple_stmt_iterator *gsi,
    4693                 :            :                          stmt_vec_info *vec_stmt, slp_tree slp_node,
    4694                 :            :                          stmt_vector_for_cost *cost_vec)
    4695                 :            : {
    4696                 :     262959 :   tree vec_dest;
    4697                 :     262959 :   tree scalar_dest;
    4698                 :     262959 :   tree op0, op1 = NULL_TREE;
    4699                 :     262959 :   tree vec_oprnd0 = NULL_TREE, vec_oprnd1 = NULL_TREE;
    4700                 :     262959 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    4701                 :     262959 :   enum tree_code code, code1 = ERROR_MARK, code2 = ERROR_MARK;
    4702                 :     262959 :   enum tree_code codecvt1 = ERROR_MARK, codecvt2 = ERROR_MARK;
    4703                 :     262959 :   tree new_temp;
    4704                 :     262959 :   enum vect_def_type dt[2] = {vect_unknown_def_type, vect_unknown_def_type};
    4705                 :     262959 :   int ndts = 2;
    4706                 :     262959 :   stmt_vec_info prev_stmt_info;
    4707                 :     262959 :   poly_uint64 nunits_in;
    4708                 :     262959 :   poly_uint64 nunits_out;
    4709                 :     262959 :   tree vectype_out, vectype_in;
    4710                 :     262959 :   int ncopies, i, j;
    4711                 :     262959 :   tree lhs_type, rhs_type;
    4712                 :     262959 :   enum { NARROW, NONE, WIDEN } modifier;
    4713                 :     262959 :   vec<tree> vec_oprnds0 = vNULL;
    4714                 :     262959 :   vec<tree> vec_oprnds1 = vNULL;
    4715                 :     262959 :   tree vop0;
    4716                 :     262959 :   bb_vec_info bb_vinfo = dyn_cast <bb_vec_info> (vinfo);
    4717                 :     262959 :   int multi_step_cvt = 0;
    4718                 :     262959 :   vec<tree> interm_types = vNULL;
    4719                 :     262959 :   tree last_oprnd, intermediate_type, cvt_type = NULL_TREE;
    4720                 :     262959 :   int op_type;
    4721                 :     262959 :   unsigned short fltsz;
    4722                 :            : 
    4723                 :            :   /* Is STMT a vectorizable conversion?   */
    4724                 :            : 
    4725                 :     262959 :   if (!STMT_VINFO_RELEVANT_P (stmt_info) && !bb_vinfo)
    4726                 :            :     return false;
    4727                 :            : 
    4728                 :     262959 :   if (STMT_VINFO_DEF_TYPE (stmt_info) != vect_internal_def
    4729                 :       2387 :       && ! vec_stmt)
    4730                 :            :     return false;
    4731                 :            : 
    4732                 :     260572 :   gassign *stmt = dyn_cast <gassign *> (stmt_info->stmt);
    4733                 :     260572 :   if (!stmt)
    4734                 :            :     return false;
    4735                 :            : 
    4736                 :     259630 :   if (TREE_CODE (gimple_assign_lhs (stmt)) != SSA_NAME)
    4737                 :            :     return false;
    4738                 :            : 
    4739                 :     165246 :   code = gimple_assign_rhs_code (stmt);
    4740                 :     165246 :   if (!CONVERT_EXPR_CODE_P (code)
    4741                 :            :       && code != FIX_TRUNC_EXPR
    4742                 :     143898 :       && code != FLOAT_EXPR
    4743                 :     140525 :       && code != WIDEN_MULT_EXPR
    4744                 :     140525 :       && code != WIDEN_LSHIFT_EXPR)
    4745                 :            :     return false;
    4746                 :            : 
    4747                 :      25503 :   op_type = TREE_CODE_LENGTH (code);
    4748                 :            : 
    4749                 :            :   /* Check types of lhs and rhs.  */
    4750                 :      25503 :   scalar_dest = gimple_assign_lhs (stmt);
    4751                 :      25503 :   lhs_type = TREE_TYPE (scalar_dest);
    4752                 :      25503 :   vectype_out = STMT_VINFO_VECTYPE (stmt_info);
    4753                 :            : 
    4754                 :            :   /* Check the operands of the operation.  */
    4755                 :      25503 :   slp_tree slp_op0, slp_op1 = NULL;
    4756                 :      25503 :   if (!vect_is_simple_use (vinfo, stmt_info, slp_node,
    4757                 :            :                            0, &op0, &slp_op0, &dt[0], &vectype_in))
    4758                 :            :     {
    4759                 :          0 :       if (dump_enabled_p ())
    4760                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    4761                 :            :                          "use not simple.\n");
    4762                 :          0 :       return false;
    4763                 :            :     }
    4764                 :            : 
    4765                 :      25503 :   rhs_type = TREE_TYPE (op0);
    4766                 :      25503 :   if ((code != FIX_TRUNC_EXPR && code != FLOAT_EXPR)
    4767                 :      22208 :       && !((INTEGRAL_TYPE_P (lhs_type)
    4768                 :      20622 :             && INTEGRAL_TYPE_P (rhs_type))
    4769                 :            :            || (SCALAR_FLOAT_TYPE_P (lhs_type)
    4770                 :       1456 :                && SCALAR_FLOAT_TYPE_P (rhs_type))))
    4771                 :            :     return false;
    4772                 :            : 
    4773                 :      25373 :   if (!VECTOR_BOOLEAN_TYPE_P (vectype_out)
    4774                 :      49587 :       && ((INTEGRAL_TYPE_P (lhs_type)
    4775                 :      19814 :            && !type_has_mode_precision_p (lhs_type))
    4776                 :      24200 :           || (INTEGRAL_TYPE_P (rhs_type)
    4777                 :      22315 :               && !type_has_mode_precision_p (rhs_type))))
    4778                 :            :     {
    4779                 :        127 :       if (dump_enabled_p ())
    4780                 :          2 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    4781                 :            :                          "type conversion to/from bit-precision unsupported."
    4782                 :            :                          "\n");
    4783                 :        127 :       return false;
    4784                 :            :     }
    4785                 :            : 
    4786                 :      25246 :   if (op_type == binary_op)
    4787                 :            :     {
    4788                 :        782 :       gcc_assert (code == WIDEN_MULT_EXPR || code == WIDEN_LSHIFT_EXPR);
    4789                 :            : 
    4790                 :        782 :       op1 = gimple_assign_rhs2 (stmt);
    4791                 :        782 :       tree vectype1_in;
    4792                 :        782 :       if (!vect_is_simple_use (vinfo, stmt_info, slp_node, 1,
    4793                 :            :                                &op1, &slp_op1, &dt[1], &vectype1_in))
    4794                 :            :         {
    4795                 :          0 :           if (dump_enabled_p ())
    4796                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    4797                 :            :                              "use not simple.\n");
    4798                 :          0 :           return false;
    4799                 :            :         }
    4800                 :            :       /* For WIDEN_MULT_EXPR, if OP0 is a constant, use the type of
    4801                 :            :          OP1.  */
    4802                 :        782 :       if (!vectype_in)
    4803                 :         14 :         vectype_in = vectype1_in;
    4804                 :            :     }
    4805                 :            : 
    4806                 :            :   /* If op0 is an external or constant def, infer the vector type
    4807                 :            :      from the scalar type.  */
    4808                 :      25246 :   if (!vectype_in)
    4809                 :       1193 :     vectype_in = get_vectype_for_scalar_type (vinfo, rhs_type, slp_node);
    4810                 :      25246 :   if (vec_stmt)
    4811                 :       5400 :     gcc_assert (vectype_in);
    4812                 :      25246 :   if (!vectype_in)
    4813                 :            :     {
    4814                 :          0 :       if (dump_enabled_p ())
    4815                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    4816                 :            :                          "no vectype for scalar type %T\n", rhs_type);
    4817                 :            : 
    4818                 :          0 :       return false;
    4819                 :            :     }
    4820                 :            : 
    4821                 :      25246 :   if (VECTOR_BOOLEAN_TYPE_P (vectype_out)
    4822                 :      26405 :       && !VECTOR_BOOLEAN_TYPE_P (vectype_in))
    4823                 :            :     {
    4824                 :          0 :       if (dump_enabled_p ())
    4825                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    4826                 :            :                          "can't convert between boolean and non "
    4827                 :            :                          "boolean vectors %T\n", rhs_type);
    4828                 :            : 
    4829                 :          0 :       return false;
    4830                 :            :     }
    4831                 :            : 
    4832                 :      25246 :   nunits_in = TYPE_VECTOR_SUBPARTS (vectype_in);
    4833                 :      25246 :   nunits_out = TYPE_VECTOR_SUBPARTS (vectype_out);
    4834                 :      25246 :   if (known_eq (nunits_out, nunits_in))
    4835                 :            :     modifier = NONE;
    4836                 :      10898 :   else if (multiple_p (nunits_out, nunits_in))
    4837                 :            :     modifier = NARROW;
    4838                 :            :   else
    4839                 :            :     {
    4840                 :       5785 :       gcc_checking_assert (multiple_p (nunits_in, nunits_out));
    4841                 :            :       modifier = WIDEN;
    4842                 :            :     }
    4843                 :            : 
    4844                 :            :   /* Multiple types in SLP are handled by creating the appropriate number of
    4845                 :            :      vectorized stmts for each SLP node.  Hence, NCOPIES is always 1 in
    4846                 :            :      case of SLP.  */
    4847                 :      25246 :   if (slp_node)
    4848                 :            :     ncopies = 1;
    4849                 :      22086 :   else if (modifier == NARROW)
    4850                 :       4692 :     ncopies = vect_get_num_copies (loop_vinfo, vectype_out);
    4851                 :            :   else
    4852                 :      17394 :     ncopies = vect_get_num_copies (loop_vinfo, vectype_in);
    4853                 :            : 
    4854                 :            :   /* Sanity check: make sure that at least one copy of the vectorized stmt
    4855                 :            :      needs to be generated.  */
    4856                 :      22086 :   gcc_assert (ncopies >= 1);
    4857                 :            : 
    4858                 :      25246 :   bool found_mode = false;
    4859                 :      25246 :   scalar_mode lhs_mode = SCALAR_TYPE_MODE (lhs_type);
    4860                 :      25246 :   scalar_mode rhs_mode = SCALAR_TYPE_MODE (rhs_type);
    4861                 :      25246 :   opt_scalar_mode rhs_mode_iter;
    4862                 :            : 
    4863                 :            :   /* Supportable by target?  */
    4864                 :      25246 :   switch (modifier)
    4865                 :            :     {
    4866                 :      14348 :     case NONE:
    4867                 :      14348 :       if (code != FIX_TRUNC_EXPR
    4868                 :            :           && code != FLOAT_EXPR
    4869                 :      11806 :           && !CONVERT_EXPR_CODE_P (code))
    4870                 :            :         return false;
    4871                 :      14342 :       if (supportable_convert_operation (code, vectype_out, vectype_in, &code1))
    4872                 :            :         break;
    4873                 :            :       /* FALLTHRU */
    4874                 :      11690 :     unsupported:
    4875                 :      12951 :       if (dump_enabled_p ())
    4876                 :       2753 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    4877                 :            :                          "conversion not supported by target.\n");
    4878                 :            :       return false;
    4879                 :            : 
    4880                 :       5785 :     case WIDEN:
    4881                 :       5785 :       if (supportable_widening_operation (vinfo, code, stmt_info, vectype_out,
    4882                 :            :                                           vectype_in, &code1, &code2,
    4883                 :            :                                           &multi_step_cvt, &interm_types))
    4884                 :            :         {
    4885                 :            :           /* Binary widening operation can only be supported directly by the
    4886                 :            :              architecture.  */
    4887                 :       5134 :           gcc_assert (!(multi_step_cvt && op_type == binary_op));
    4888                 :            :           break;
    4889                 :            :         }
    4890                 :            : 
    4891                 :        651 :       if (code != FLOAT_EXPR
    4892                 :        743 :           || GET_MODE_SIZE (lhs_mode) <= GET_MODE_SIZE (rhs_mode))
    4893                 :        605 :         goto unsupported;
    4894                 :            : 
    4895                 :         46 :       fltsz = GET_MODE_SIZE (lhs_mode);
    4896                 :         58 :       FOR_EACH_2XWIDER_MODE (rhs_mode_iter, rhs_mode)
    4897                 :            :         {
    4898                 :         58 :           rhs_mode = rhs_mode_iter.require ();
    4899                 :        116 :           if (GET_MODE_SIZE (rhs_mode) > fltsz)
    4900                 :            :             break;
    4901                 :            : 
    4902                 :         56 :           cvt_type
    4903                 :         56 :             = build_nonstandard_integer_type (GET_MODE_BITSIZE (rhs_mode), 0);
    4904                 :         56 :           cvt_type = get_same_sized_vectype (cvt_type, vectype_in);
    4905                 :         56 :           if (cvt_type == NULL_TREE)
    4906                 :          0 :             goto unsupported;
    4907                 :            : 
    4908                 :        112 :           if (GET_MODE_SIZE (rhs_mode) == fltsz)
    4909                 :            :             {
    4910                 :          2 :               if (!supportable_convert_operation (code, vectype_out,
    4911                 :            :                                                   cvt_type, &codecvt1))
    4912                 :          0 :                 goto unsupported;
    4913                 :            :             }
    4914                 :         54 :           else if (!supportable_widening_operation (vinfo, code, stmt_info,
    4915                 :            :                                                     vectype_out, cvt_type,
    4916                 :            :                                                     &codecvt1, &codecvt2,
    4917                 :            :                                                     &multi_step_cvt,
    4918                 :            :                                                     &interm_types))
    4919                 :         10 :             continue;
    4920                 :            :           else
    4921                 :         44 :             gcc_assert (multi_step_cvt == 0);
    4922                 :            : 
    4923                 :         46 :           if (supportable_widening_operation (vinfo, NOP_EXPR, stmt_info,
    4924                 :            :                                               cvt_type,
    4925                 :            :                                               vectype_in, &code1, &code2,
    4926                 :            :                                               &multi_step_cvt, &interm_types))
    4927                 :            :             {
    4928                 :            :               found_mode = true;
    4929                 :            :               break;
    4930                 :            :             }
    4931                 :            :         }
    4932                 :            : 
    4933                 :         46 :       if (!found_mode)
    4934                 :          2 :         goto unsupported;
    4935                 :            : 
    4936                 :         88 :       if (GET_MODE_SIZE (rhs_mode) == fltsz)
    4937                 :          0 :         codecvt2 = ERROR_MARK;
    4938                 :            :       else
    4939                 :            :         {
    4940                 :         44 :           multi_step_cvt++;
    4941                 :         44 :           interm_types.safe_push (cvt_type);
    4942                 :         44 :           cvt_type = NULL_TREE;
    4943                 :            :         }
    4944                 :            :       break;
    4945                 :            : 
    4946                 :       5113 :     case NARROW:
    4947                 :       5113 :       gcc_assert (op_type == unary_op);
    4948                 :       5113 :       if (supportable_narrowing_operation (code, vectype_out, vectype_in,
    4949                 :            :                                            &code1, &multi_step_cvt,
    4950                 :            :                                            &interm_types))
    4951                 :            :         break;
    4952                 :            : 
    4953                 :        674 :       if (code != FIX_TRUNC_EXPR
    4954                 :        714 :           || GET_MODE_SIZE (lhs_mode) >= GET_MODE_SIZE (rhs_mode))
    4955                 :        654 :         goto unsupported;
    4956                 :            : 
    4957                 :         20 :       cvt_type
    4958                 :         20 :         = build_nonstandard_integer_type (GET_MODE_BITSIZE (rhs_mode), 0);
    4959                 :         20 :       cvt_type = get_same_sized_vectype (cvt_type, vectype_in);
    4960                 :         20 :       if (cvt_type == NULL_TREE)
    4961                 :          0 :         goto unsupported;
    4962                 :         20 :       if (!supportable_convert_operation (code, cvt_type, vectype_in,
    4963                 :            :                                           &codecvt1))
    4964                 :          0 :         goto unsupported;
    4965                 :         20 :       if (supportable_narrowing_operation (NOP_EXPR, vectype_out, cvt_type,
    4966                 :            :                                            &code1, &multi_step_cvt,
    4967                 :            :                                            &interm_types))
    4968                 :            :         break;
    4969                 :          0 :       goto unsupported;
    4970                 :            : 
    4971                 :            :     default:
    4972                 :            :       gcc_unreachable ();
    4973                 :            :     }
    4974                 :            : 
    4975                 :      12289 :   if (!vec_stmt)                /* transformation not required.  */
    4976                 :            :     {
    4977                 :       6889 :       if (slp_node
    4978                 :       6889 :           && (!vect_maybe_update_slp_op_vectype (slp_op0, vectype_in)
    4979                 :        961 :               || !vect_maybe_update_slp_op_vectype (slp_op1, vectype_in)))
    4980                 :            :         {
    4981                 :          0 :           if (dump_enabled_p ())
    4982                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    4983                 :            :                              "incompatible vector types for invariants\n");
    4984                 :          0 :           return false;
    4985                 :            :         }
    4986                 :       6889 :       DUMP_VECT_SCOPE ("vectorizable_conversion");
    4987                 :       6889 :       if (modifier == NONE)
    4988                 :            :         {
    4989                 :       1529 :           STMT_VINFO_TYPE (stmt_info) = type_conversion_vec_info_type;
    4990                 :       1529 :           vect_model_simple_cost (vinfo, stmt_info, ncopies, dt, ndts, slp_node,
    4991                 :            :                                   cost_vec);
    4992                 :            :         }
    4993                 :       5360 :       else if (modifier == NARROW)
    4994                 :            :         {
    4995                 :       2461 :           STMT_VINFO_TYPE (stmt_info) = type_demotion_vec_info_type;
    4996                 :            :           /* The final packing step produces one vector result per copy.  */
    4997                 :       4922 :           unsigned int nvectors
    4998                 :       2461 :             = (slp_node ? SLP_TREE_NUMBER_OF_VEC_STMTS (slp_node) : ncopies);
    4999                 :       2461 :           vect_model_promotion_demotion_cost (stmt_info, dt, nvectors,
    5000                 :            :                                               multi_step_cvt, cost_vec);
    5001                 :            :         }
    5002                 :            :       else
    5003                 :            :         {
    5004                 :       2899 :           STMT_VINFO_TYPE (stmt_info) = type_promotion_vec_info_type;
    5005                 :            :           /* The initial unpacking step produces two vector results
    5006                 :            :              per copy.  MULTI_STEP_CVT is 0 for a single conversion,
    5007                 :            :              so >> MULTI_STEP_CVT divides by 2^(number of steps - 1).  */
    5008                 :       5798 :           unsigned int nvectors
    5009                 :            :             = (slp_node
    5010                 :       2899 :                ? SLP_TREE_NUMBER_OF_VEC_STMTS (slp_node) >> multi_step_cvt
    5011                 :       2527 :                : ncopies * 2);
    5012                 :       2899 :           vect_model_promotion_demotion_cost (stmt_info, dt, nvectors,
    5013                 :            :                                               multi_step_cvt, cost_vec);
    5014                 :            :         }
    5015                 :       6889 :       interm_types.release ();
    5016                 :       6889 :       return true;
    5017                 :            :     }
    5018                 :            : 
    5019                 :            :   /* Transform.  */
    5020                 :       5400 :   if (dump_enabled_p ())
    5021                 :       2675 :     dump_printf_loc (MSG_NOTE, vect_location,
    5022                 :            :                      "transform conversion. ncopies = %d.\n", ncopies);
    5023                 :            : 
    5024                 :       5400 :   if (op_type == binary_op)
    5025                 :            :     {
    5026                 :        377 :       if (CONSTANT_CLASS_P (op0))
    5027                 :          0 :         op0 = fold_convert (TREE_TYPE (op1), op0);
    5028                 :        377 :       else if (CONSTANT_CLASS_P (op1))
    5029                 :        199 :         op1 = fold_convert (TREE_TYPE (op0), op1);
    5030                 :            :     }
    5031                 :            : 
    5032                 :            :   /* In case of multi-step conversion, we first generate conversion operations
    5033                 :            :      to the intermediate types, and then from that types to the final one.
    5034                 :            :      We create vector destinations for the intermediate type (TYPES) received
    5035                 :            :      from supportable_*_operation, and store them in the correct order
    5036                 :            :      for future use in vect_create_vectorized_*_stmts ().  */
    5037                 :       5400 :   auto_vec<tree> vec_dsts (multi_step_cvt + 1);
    5038                 :       5400 :   vec_dest = vect_create_destination_var (scalar_dest,
    5039                 :       5400 :                                           (cvt_type && modifier == WIDEN)
    5040                 :            :                                           ? cvt_type : vectype_out);
    5041                 :       5400 :   vec_dsts.quick_push (vec_dest);
    5042                 :            : 
    5043                 :       5400 :   if (multi_step_cvt)
    5044                 :            :     {
    5045                 :       1154 :       for (i = interm_types.length () - 1;
    5046                 :       1154 :            interm_types.iterate (i, &intermediate_type); i--)
    5047                 :            :         {
    5048                 :        597 :           vec_dest = vect_create_destination_var (scalar_dest,
    5049                 :            :                                                   intermediate_type);
    5050                 :        597 :           vec_dsts.quick_push (vec_dest);
    5051                 :            :         }
    5052                 :            :     }
    5053                 :            : 
    5054                 :       5400 :   if (cvt_type)
    5055                 :         20 :     vec_dest = vect_create_destination_var (scalar_dest,
    5056                 :            :                                             modifier == WIDEN
    5057                 :            :                                             ? vectype_out : cvt_type);
    5058                 :            : 
    5059                 :       5400 :   if (!slp_node)
    5060                 :            :     {
    5061                 :       4738 :       if (modifier == WIDEN)
    5062                 :            :         {
    5063                 :       2019 :           vec_oprnds0.create (multi_step_cvt ? vect_pow2 (multi_step_cvt) : 1);
    5064                 :       2019 :           if (op_type == binary_op)
    5065                 :        352 :             vec_oprnds1.create (1);
    5066                 :            :         }
    5067                 :       2719 :       else if (modifier == NARROW)
    5068                 :       1855 :         vec_oprnds0.create (
    5069                 :       1855 :                    2 * (multi_step_cvt ? vect_pow2 (multi_step_cvt) : 1));
    5070                 :            :     }
    5071                 :        662 :   else if (code == WIDEN_LSHIFT_EXPR)
    5072                 :          0 :     vec_oprnds1.create (slp_node->vec_stmts_size);
    5073                 :            : 
    5074                 :       5400 :   last_oprnd = op0;
    5075                 :       5400 :   prev_stmt_info = NULL;
    5076                 :       5400 :   switch (modifier)
    5077                 :            :     {
    5078                 :            :     case NONE:
    5079                 :       2279 :       for (j = 0; j < ncopies; j++)
    5080                 :            :         {
    5081                 :       1156 :           if (j == 0)
    5082                 :       1123 :             vect_get_vec_defs (vinfo, op0, NULL, stmt_info, &vec_oprnds0,
    5083                 :            :                                NULL, slp_node);
    5084                 :            :           else
    5085                 :         33 :             vect_get_vec_defs_for_stmt_copy (vinfo, &vec_oprnds0, NULL);
    5086                 :            : 
    5087                 :       2528 :           FOR_EACH_VEC_ELT (vec_oprnds0, i, vop0)
    5088                 :            :             {
    5089                 :       1372 :               stmt_vec_info new_stmt_info;
    5090                 :            :               /* Arguments are ready, create the new vector stmt.  */
    5091                 :       1372 :               gcc_assert (TREE_CODE_LENGTH (code1) == unary_op);
    5092                 :       1372 :               gassign *new_stmt = gimple_build_assign (vec_dest, code1, vop0);
    5093                 :       1372 :               new_temp = make_ssa_name (vec_dest, new_stmt);
    5094                 :       1372 :               gimple_assign_set_lhs (new_stmt, new_temp);
    5095                 :       1372 :               new_stmt_info
    5096                 :       1372 :                 = vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    5097                 :            : 
    5098                 :       1372 :               if (slp_node)
    5099                 :        475 :                 SLP_TREE_VEC_STMTS (slp_node).quick_push (new_stmt_info);
    5100                 :            :               else
    5101                 :            :                 {
    5102                 :        897 :                   if (!prev_stmt_info)
    5103                 :        864 :                     STMT_VINFO_VEC_STMT (stmt_info)
    5104                 :        864 :                       = *vec_stmt = new_stmt_info;
    5105                 :            :                   else
    5106                 :         33 :                     STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    5107                 :        897 :                   prev_stmt_info = new_stmt_info;
    5108                 :            :                 }
    5109                 :            :             }
    5110                 :            :         }
    5111                 :            :       break;
    5112                 :            : 
    5113                 :            :     case WIDEN:
    5114                 :            :       /* In case the vectorization factor (VF) is bigger than the number
    5115                 :            :          of elements that we can fit in a vectype (nunits), we have to
    5116                 :            :          generate more than one vector stmt - i.e - we need to "unroll"
    5117                 :            :          the vector stmt by a factor VF/nunits.  */
    5118                 :       4828 :       for (j = 0; j < ncopies; j++)
    5119                 :            :         {
    5120                 :            :           /* Handle uses.  */
    5121                 :       2549 :           if (j == 0)
    5122                 :            :             {
    5123                 :       2279 :               if (slp_node)
    5124                 :            :                 {
    5125                 :        260 :                   if (code == WIDEN_LSHIFT_EXPR)
    5126                 :            :                     {
    5127                 :          0 :                       unsigned int k;
    5128                 :            : 
    5129                 :          0 :                       vec_oprnd1 = op1;
    5130                 :            :                       /* Store vec_oprnd1 for every vector stmt to be created
    5131                 :            :                          for SLP_NODE.  We check during the analysis that all
    5132                 :            :                          the shift arguments are the same.  */
    5133                 :          0 :                       for (k = 0; k < slp_node->vec_stmts_size - 1; k++)
    5134                 :          0 :                         vec_oprnds1.quick_push (vec_oprnd1);
    5135                 :            : 
    5136                 :          0 :                       vect_get_vec_defs (vinfo, op0, NULL_TREE, stmt_info,
    5137                 :            :                                          &vec_oprnds0, NULL, slp_node);
    5138                 :            :                     }
    5139                 :            :                   else
    5140                 :        260 :                     vect_get_vec_defs (vinfo, op0, op1, stmt_info, &vec_oprnds0,
    5141                 :            :                                        &vec_oprnds1, slp_node);
    5142                 :            :                 }
    5143                 :            :               else
    5144                 :            :                 {
    5145                 :       2019 :                   vec_oprnd0 = vect_get_vec_def_for_operand (vinfo,
    5146                 :            :                                                              op0, stmt_info);
    5147                 :       2019 :                   vec_oprnds0.quick_push (vec_oprnd0);
    5148                 :       2019 :                   if (op_type == binary_op)
    5149                 :            :                     {
    5150                 :        352 :                       if (code == WIDEN_LSHIFT_EXPR)
    5151                 :          0 :                         vec_oprnd1 = op1;
    5152                 :            :                       else
    5153                 :        352 :                         vec_oprnd1
    5154                 :        352 :                           = vect_get_vec_def_for_operand (vinfo,
    5155                 :            :                                                           op1, stmt_info);
    5156                 :        352 :                       vec_oprnds1.quick_push (vec_oprnd1);
    5157                 :            :                     }
    5158                 :            :                 }
    5159                 :            :             }
    5160                 :            :           else
    5161                 :            :             {
    5162                 :        270 :               vec_oprnd0 = vect_get_vec_def_for_stmt_copy (vinfo, vec_oprnd0);
    5163                 :        270 :               vec_oprnds0.truncate (0);
    5164                 :        270 :               vec_oprnds0.quick_push (vec_oprnd0);
    5165                 :        270 :               if (op_type == binary_op)
    5166                 :            :                 {
    5167                 :         32 :                   if (code == WIDEN_LSHIFT_EXPR)
    5168                 :          0 :                     vec_oprnd1 = op1;
    5169                 :            :                   else
    5170                 :         32 :                     vec_oprnd1 = vect_get_vec_def_for_stmt_copy (vinfo,
    5171                 :            :                                                                  vec_oprnd1);
    5172                 :         32 :                   vec_oprnds1.truncate (0);
    5173                 :         32 :                   vec_oprnds1.quick_push (vec_oprnd1);
    5174                 :            :                 }
    5175                 :            :             }
    5176                 :            : 
    5177                 :            :           /* Arguments are ready.  Create the new vector stmts.  */
    5178                 :       5296 :           for (i = multi_step_cvt; i >= 0; i--)
    5179                 :            :             {
    5180                 :       2747 :               tree this_dest = vec_dsts[i];
    5181                 :       2747 :               enum tree_code c1 = code1, c2 = code2;
    5182                 :       2747 :               if (i == 0 && codecvt2 != ERROR_MARK)
    5183                 :            :                 {
    5184                 :         22 :                   c1 = codecvt1;
    5185                 :         22 :                   c2 = codecvt2;
    5186                 :            :                 }
    5187                 :       2747 :               vect_create_vectorized_promotion_stmts (vinfo, &vec_oprnds0,
    5188                 :            :                                                       &vec_oprnds1, stmt_info,
    5189                 :            :                                                       this_dest, gsi,
    5190                 :            :                                                       c1, c2, op_type);
    5191                 :            :             }
    5192                 :            : 
    5193                 :       8741 :           FOR_EACH_VEC_ELT (vec_oprnds0, i, vop0)
    5194                 :            :             {
    5195                 :       6192 :               stmt_vec_info new_stmt_info;
    5196                 :       6192 :               if (cvt_type)
    5197                 :            :                 {
    5198                 :          0 :                   gcc_assert (TREE_CODE_LENGTH (codecvt1) == unary_op);
    5199                 :          0 :                   new_temp = make_ssa_name (vec_dest);
    5200                 :          0 :                   gassign *new_stmt
    5201                 :          0 :                     = gimple_build_assign (new_temp, codecvt1, vop0);
    5202                 :          0 :                   new_stmt_info
    5203                 :          0 :                     = vect_finish_stmt_generation (vinfo, stmt_info,
    5204                 :            :                                                    new_stmt, gsi);
    5205                 :            :                 }
    5206                 :            :               else
    5207                 :       6192 :                 new_stmt_info = vinfo->lookup_def (vop0);
    5208                 :            : 
    5209                 :       6192 :               if (slp_node)
    5210                 :       1228 :                 SLP_TREE_VEC_STMTS (slp_node).quick_push (new_stmt_info);
    5211                 :            :               else
    5212                 :            :                 {
    5213                 :       4964 :                   if (!prev_stmt_info)
    5214                 :       2019 :                     STMT_VINFO_VEC_STMT (stmt_info) = new_stmt_info;
    5215                 :            :                   else
    5216                 :       2945 :                     STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    5217                 :       4964 :                   prev_stmt_info = new_stmt_info;
    5218                 :            :                 }
    5219                 :            :             }
    5220                 :            :         }
    5221                 :            : 
    5222                 :       2279 :       *vec_stmt = STMT_VINFO_VEC_STMT (stmt_info);
    5223                 :       2279 :       break;
    5224                 :            : 
    5225                 :            :     case NARROW:
    5226                 :            :       /* In case the vectorization factor (VF) is bigger than the number
    5227                 :            :          of elements that we can fit in a vectype (nunits), we have to
    5228                 :            :          generate more than one vector stmt - i.e - we need to "unroll"
    5229                 :            :          the vector stmt by a factor VF/nunits.  */
    5230                 :       4137 :       for (j = 0; j < ncopies; j++)
    5231                 :            :         {
    5232                 :            :           /* Handle uses.  */
    5233                 :       2139 :           if (slp_node)
    5234                 :        143 :             vect_get_vec_defs (vinfo, op0, NULL_TREE, stmt_info, &vec_oprnds0,
    5235                 :            :                                NULL, slp_node);
    5236                 :            :           else
    5237                 :            :             {
    5238                 :       1996 :               vec_oprnds0.truncate (0);
    5239                 :       1996 :               vect_get_loop_based_defs (vinfo,
    5240                 :            :                                         &last_oprnd, stmt_info, &vec_oprnds0,
    5241                 :       1996 :                                         vect_pow2 (multi_step_cvt) - 1);
    5242                 :            :             }
    5243                 :            : 
    5244                 :            :           /* Arguments are ready.  Create the new vector stmts.  */
    5245                 :       2139 :           if (cvt_type)
    5246                 :         58 :             FOR_EACH_VEC_ELT (vec_oprnds0, i, vop0)
    5247                 :            :               {
    5248                 :         48 :                 gcc_assert (TREE_CODE_LENGTH (codecvt1) == unary_op);
    5249                 :         48 :                 new_temp = make_ssa_name (vec_dest);
    5250                 :         48 :                 gassign *new_stmt
    5251                 :         48 :                     = gimple_build_assign (new_temp, codecvt1, vop0);
    5252                 :         48 :                 vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    5253                 :         48 :                 vec_oprnds0[i] = new_temp;
    5254                 :            :               }
    5255                 :            : 
    5256                 :       2139 :           vect_create_vectorized_demotion_stmts (vinfo, &vec_oprnds0,
    5257                 :            :                                                  multi_step_cvt,
    5258                 :            :                                                  stmt_info, vec_dsts, gsi,
    5259                 :            :                                                  slp_node, code1,
    5260                 :            :                                                  &prev_stmt_info);
    5261                 :            :         }
    5262                 :            : 
    5263                 :       1998 :       *vec_stmt = STMT_VINFO_VEC_STMT (stmt_info);
    5264                 :       1998 :       break;
    5265                 :            :     }
    5266                 :            : 
    5267                 :       5400 :   vec_oprnds0.release ();
    5268                 :       5400 :   vec_oprnds1.release ();
    5269                 :       5400 :   interm_types.release ();
    5270                 :            : 
    5271                 :       5400 :   return true;
    5272                 :            : }
    5273                 :            : 
    5274                 :            : /* Return true if we can assume from the scalar form of STMT_INFO that
    5275                 :            :    neither the scalar nor the vector forms will generate code.  STMT_INFO
    5276                 :            :    is known not to involve a data reference.  */
    5277                 :            : 
    5278                 :            : bool
    5279                 :     136023 : vect_nop_conversion_p (stmt_vec_info stmt_info)
    5280                 :            : {
    5281                 :     136023 :   gassign *stmt = dyn_cast <gassign *> (stmt_info->stmt);
    5282                 :     134410 :   if (!stmt)
    5283                 :            :     return false;
    5284                 :            : 
    5285                 :     134410 :   tree lhs = gimple_assign_lhs (stmt);
    5286                 :     134410 :   tree_code code = gimple_assign_rhs_code (stmt);
    5287                 :     134410 :   tree rhs = gimple_assign_rhs1 (stmt);
    5288                 :            : 
    5289                 :     134410 :   if (code == SSA_NAME || code == VIEW_CONVERT_EXPR)
    5290                 :            :     return true;
    5291                 :            : 
    5292                 :     134288 :   if (CONVERT_EXPR_CODE_P (code))
    5293                 :      30897 :     return tree_nop_conversion_p (TREE_TYPE (lhs), TREE_TYPE (rhs));
    5294                 :            : 
    5295                 :            :   return false;
    5296                 :            : }
    5297                 :            : 
    5298                 :            : /* Function vectorizable_assignment.
    5299                 :            : 
    5300                 :            :    Check if STMT_INFO performs an assignment (copy) that can be vectorized.
    5301                 :            :    If VEC_STMT is also passed, vectorize the STMT_INFO: create a vectorized
    5302                 :            :    stmt to replace it, put it in VEC_STMT, and insert it at GSI.
    5303                 :            :    Return true if STMT_INFO is vectorizable in this way.  */
    5304                 :            : 
    5305                 :            : static bool
    5306                 :     195575 : vectorizable_assignment (vec_info *vinfo,
    5307                 :            :                          stmt_vec_info stmt_info, gimple_stmt_iterator *gsi,
    5308                 :            :                          stmt_vec_info *vec_stmt, slp_tree slp_node,
    5309                 :            :                          stmt_vector_for_cost *cost_vec)
    5310                 :            : {
    5311                 :     195575 :   tree vec_dest;
    5312                 :     195575 :   tree scalar_dest;
    5313                 :     195575 :   tree op;
    5314                 :     195575 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    5315                 :     195575 :   tree new_temp;
    5316                 :     195575 :   enum vect_def_type dt[1] = {vect_unknown_def_type};
    5317                 :     195575 :   int ndts = 1;
    5318                 :     195575 :   int ncopies;
    5319                 :     195575 :   int i, j;
    5320                 :     195575 :   vec<tree> vec_oprnds = vNULL;
    5321                 :     195575 :   tree vop;
    5322                 :     195575 :   bb_vec_info bb_vinfo = dyn_cast <bb_vec_info> (vinfo);
    5323                 :     195575 :   stmt_vec_info prev_stmt_info = NULL;
    5324                 :     195575 :   enum tree_code code;
    5325                 :     195575 :   tree vectype_in;
    5326                 :            : 
    5327                 :     195575 :   if (!STMT_VINFO_RELEVANT_P (stmt_info) && !bb_vinfo)
    5328                 :            :     return false;
    5329                 :            : 
    5330                 :     195575 :   if (STMT_VINFO_DEF_TYPE (stmt_info) != vect_internal_def
    5331                 :       2387 :       && ! vec_stmt)
    5332                 :            :     return false;
    5333                 :            : 
    5334                 :            :   /* Is vectorizable assignment?  */
    5335                 :     193188 :   gassign *stmt = dyn_cast <gassign *> (stmt_info->stmt);
    5336                 :     192246 :   if (!stmt)
    5337                 :            :     return false;
    5338                 :            : 
    5339                 :     192246 :   scalar_dest = gimple_assign_lhs (stmt);
    5340                 :     192246 :   if (TREE_CODE (scalar_dest) != SSA_NAME)
    5341                 :            :     return false;
    5342                 :            : 
    5343                 :      97862 :   if (STMT_VINFO_DATA_REF (stmt_info))
    5344                 :            :     return false;
    5345                 :            : 
    5346                 :      39442 :   code = gimple_assign_rhs_code (stmt);
    5347                 :      39442 :   if (!(gimple_assign_single_p (stmt)
    5348                 :      39323 :         || code == PAREN_EXPR
    5349                 :      38610 :         || CONVERT_EXPR_CODE_P (code)))
    5350                 :            :     return false;
    5351                 :            : 
    5352                 :      22311 :   tree vectype = STMT_VINFO_VECTYPE (stmt_info);
    5353                 :      22311 :   poly_uint64 nunits = TYPE_VECTOR_SUBPARTS (vectype);
    5354                 :            : 
    5355                 :            :   /* Multiple types in SLP are handled by creating the appropriate number of
    5356                 :            :      vectorized stmts for each SLP node.  Hence, NCOPIES is always 1 in
    5357                 :            :      case of SLP.  */
    5358                 :      22311 :   if (slp_node)
    5359                 :            :     ncopies = 1;
    5360                 :            :   else
    5361                 :      19994 :     ncopies = vect_get_num_copies (loop_vinfo, vectype);
    5362                 :            : 
    5363                 :      19994 :   gcc_assert (ncopies >= 1);
    5364                 :            : 
    5365                 :      22311 :   slp_tree slp_op;
    5366                 :      22311 :   if (!vect_is_simple_use (vinfo, stmt_info, slp_node, 0, &op, &slp_op,
    5367                 :            :                            &dt[0], &vectype_in))
    5368                 :            :     {
    5369                 :          4 :       if (dump_enabled_p ())
    5370                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5371                 :            :                          "use not simple.\n");
    5372                 :          4 :       return false;
    5373                 :            :     }
    5374                 :      22307 :   if (!vectype_in)
    5375                 :        868 :     vectype_in = get_vectype_for_scalar_type (vinfo, TREE_TYPE (op), slp_node);
    5376                 :            : 
    5377                 :            :   /* We can handle NOP_EXPR conversions that do not change the number
    5378                 :            :      of elements or the vector size.  */
    5379                 :      22307 :   if ((CONVERT_EXPR_CODE_P (code)
    5380                 :        828 :        || code == VIEW_CONVERT_EXPR)
    5381                 :      22351 :       && (!vectype_in
    5382                 :      21523 :           || maybe_ne (TYPE_VECTOR_SUBPARTS (vectype_in), nunits)
    5383                 :      40536 :           || maybe_ne (GET_MODE_SIZE (TYPE_MODE (vectype)),
    5384                 :      40536 :                        GET_MODE_SIZE (TYPE_MODE (vectype_in)))))
    5385                 :       1767 :     return false;
    5386                 :            : 
    5387                 :            :   /* We do not handle bit-precision changes.  */
    5388                 :      20540 :   if ((CONVERT_EXPR_CODE_P (code)
    5389                 :        828 :        || code == VIEW_CONVERT_EXPR)
    5390                 :      19756 :       && INTEGRAL_TYPE_P (TREE_TYPE (scalar_dest))
    5391                 :      19658 :       && (!type_has_mode_precision_p (TREE_TYPE (scalar_dest))
    5392                 :      19648 :           || !type_has_mode_precision_p (TREE_TYPE (op)))
    5393                 :            :       /* But a conversion that does not change the bit-pattern is ok.  */
    5394                 :         22 :       && !((TYPE_PRECISION (TREE_TYPE (scalar_dest))
    5395                 :         16 :             > TYPE_PRECISION (TREE_TYPE (op)))
    5396                 :          6 :            && TYPE_UNSIGNED (TREE_TYPE (op)))
    5397                 :            :       /* Conversion between boolean types of different sizes is
    5398                 :            :          a simple assignment in case their vectypes are same
    5399                 :            :          boolean vectors.  */
    5400                 :      20560 :       && (!VECTOR_BOOLEAN_TYPE_P (vectype)
    5401                 :          6 :           || !VECTOR_BOOLEAN_TYPE_P (vectype_in)))
    5402                 :            :     {
    5403                 :          4 :       if (dump_enabled_p ())
    5404                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5405                 :            :                          "type conversion to/from bit-precision "
    5406                 :            :                          "unsupported.\n");
    5407                 :          4 :       return false;
    5408                 :            :     }
    5409                 :            : 
    5410                 :      20536 :   if (!vec_stmt) /* transformation not required.  */
    5411                 :            :     {
    5412                 :      11848 :       if (slp_node
    5413                 :      11848 :           && !vect_maybe_update_slp_op_vectype (slp_op, vectype_in))
    5414                 :            :         {
    5415                 :          0 :           if (dump_enabled_p ())
    5416                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5417                 :            :                              "incompatible vector types for invariants\n");
    5418                 :          0 :           return false;
    5419                 :            :         }
    5420                 :      11848 :       STMT_VINFO_TYPE (stmt_info) = assignment_vec_info_type;
    5421                 :      11848 :       DUMP_VECT_SCOPE ("vectorizable_assignment");
    5422                 :      11848 :       if (!vect_nop_conversion_p (stmt_info))
    5423                 :        408 :         vect_model_simple_cost (vinfo, stmt_info, ncopies, dt, ndts, slp_node,
    5424                 :            :                                 cost_vec);
    5425                 :      11848 :       return true;
    5426                 :            :     }
    5427                 :            : 
    5428                 :            :   /* Transform.  */
    5429                 :       8688 :   if (dump_enabled_p ())
    5430                 :       1981 :     dump_printf_loc (MSG_NOTE, vect_location, "transform assignment.\n");
    5431                 :            : 
    5432                 :            :   /* Handle def.  */
    5433                 :       8688 :   vec_dest = vect_create_destination_var (scalar_dest, vectype);
    5434                 :            : 
    5435                 :            :   /* Handle use.  */
    5436                 :      18190 :   for (j = 0; j < ncopies; j++)
    5437                 :            :     {
    5438                 :            :       /* Handle uses.  */
    5439                 :       9502 :       if (j == 0)
    5440                 :       8688 :         vect_get_vec_defs (vinfo, op, NULL, stmt_info, &vec_oprnds, NULL,
    5441                 :            :                            slp_node);
    5442                 :            :       else
    5443                 :        814 :         vect_get_vec_defs_for_stmt_copy (vinfo, &vec_oprnds, NULL);
    5444                 :            : 
    5445                 :            :       /* Arguments are ready. create the new vector stmt.  */
    5446                 :            :       stmt_vec_info new_stmt_info = NULL;
    5447                 :      19576 :       FOR_EACH_VEC_ELT (vec_oprnds, i, vop)
    5448                 :            :        {
    5449                 :      10074 :          if (CONVERT_EXPR_CODE_P (code)
    5450                 :        389 :              || code == VIEW_CONVERT_EXPR)
    5451                 :       9704 :            vop = build1 (VIEW_CONVERT_EXPR, vectype, vop);
    5452                 :      10074 :          gassign *new_stmt = gimple_build_assign (vec_dest, vop);
    5453                 :      10074 :          new_temp = make_ssa_name (vec_dest, new_stmt);
    5454                 :      10074 :          gimple_assign_set_lhs (new_stmt, new_temp);
    5455                 :      10074 :          new_stmt_info
    5456                 :      10074 :            = vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    5457                 :      10074 :          if (slp_node)
    5458                 :      11180 :            SLP_TREE_VEC_STMTS (slp_node).quick_push (new_stmt_info);
    5459                 :            :        }
    5460                 :            : 
    5461                 :       9502 :       if (slp_node)
    5462                 :        534 :         continue;
    5463                 :            : 
    5464                 :       8968 :       if (j == 0)
    5465                 :       8154 :         STMT_VINFO_VEC_STMT (stmt_info) = *vec_stmt = new_stmt_info;
    5466                 :            :       else
    5467                 :        814 :         STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    5468                 :            : 
    5469                 :            :       prev_stmt_info = new_stmt_info;
    5470                 :            :     }
    5471                 :            : 
    5472                 :       8688 :   vec_oprnds.release ();
    5473                 :            :   return true;
    5474                 :            : }
    5475                 :            : 
    5476                 :            : 
    5477                 :            : /* Return TRUE if CODE (a shift operation) is supported for SCALAR_TYPE
    5478                 :            :    either as shift by a scalar or by a vector.  */
    5479                 :            : 
    5480                 :            : bool
    5481                 :      18235 : vect_supportable_shift (vec_info *vinfo, enum tree_code code, tree scalar_type)
    5482                 :            : {
    5483                 :            : 
    5484                 :      18235 :   machine_mode vec_mode;
    5485                 :      18235 :   optab optab;
    5486                 :      18235 :   int icode;
    5487                 :      18235 :   tree vectype;
    5488                 :            : 
    5489                 :      18235 :   vectype = get_vectype_for_scalar_type (vinfo, scalar_type);
    5490                 :      18235 :   if (!vectype)
    5491                 :            :     return false;
    5492                 :            : 
    5493                 :      18235 :   optab = optab_for_tree_code (code, vectype, optab_scalar);
    5494                 :      18235 :   if (!optab
    5495                 :      36470 :       || optab_handler (optab, TYPE_MODE (vectype)) == CODE_FOR_nothing)
    5496                 :            :     {
    5497                 :       4497 :       optab = optab_for_tree_code (code, vectype, optab_vector);
    5498                 :       4497 :       if (!optab
    5499                 :       8994 :           || (optab_handler (optab, TYPE_MODE (vectype))
    5500                 :            :                       == CODE_FOR_nothing))
    5501                 :       4497 :         return false;
    5502                 :            :     }
    5503                 :            : 
    5504                 :      13738 :   vec_mode = TYPE_MODE (vectype);
    5505                 :      13738 :   icode = (int) optab_handler (optab, vec_mode);
    5506                 :      13738 :   if (icode == CODE_FOR_nothing)
    5507                 :          0 :     return false;
    5508                 :            : 
    5509                 :            :   return true;
    5510                 :            : }
    5511                 :            : 
    5512                 :            : 
    5513                 :            : /* Function vectorizable_shift.
    5514                 :            : 
    5515                 :            :    Check if STMT_INFO performs a shift operation that can be vectorized.
    5516                 :            :    If VEC_STMT is also passed, vectorize the STMT_INFO: create a vectorized
    5517                 :            :    stmt to replace it, put it in VEC_STMT, and insert it at GSI.
    5518                 :            :    Return true if STMT_INFO is vectorizable in this way.  */
    5519                 :            : 
    5520                 :            : static bool
    5521                 :      95402 : vectorizable_shift (vec_info *vinfo,
    5522                 :            :                     stmt_vec_info stmt_info, gimple_stmt_iterator *gsi,
    5523                 :            :                     stmt_vec_info *vec_stmt, slp_tree slp_node,
    5524                 :            :                     stmt_vector_for_cost *cost_vec)
    5525                 :            : {
    5526                 :      95402 :   tree vec_dest;
    5527                 :      95402 :   tree scalar_dest;
    5528                 :      95402 :   tree op0, op1 = NULL;
    5529                 :      95402 :   tree vec_oprnd1 = NULL_TREE;
    5530                 :      95402 :   tree vectype;
    5531                 :      95402 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    5532                 :      95402 :   enum tree_code code;
    5533                 :      95402 :   machine_mode vec_mode;
    5534                 :      95402 :   tree new_temp;
    5535                 :      95402 :   optab optab;
    5536                 :      95402 :   int icode;
    5537                 :      95402 :   machine_mode optab_op2_mode;
    5538                 :      95402 :   enum vect_def_type dt[2] = {vect_unknown_def_type, vect_unknown_def_type};
    5539                 :      95402 :   int ndts = 2;
    5540                 :      95402 :   stmt_vec_info prev_stmt_info;
    5541                 :      95402 :   poly_uint64 nunits_in;
    5542                 :      95402 :   poly_uint64 nunits_out;
    5543                 :      95402 :   tree vectype_out;
    5544                 :      95402 :   tree op1_vectype;
    5545                 :      95402 :   int ncopies;
    5546                 :      95402 :   int j, i;
    5547                 :      95402 :   vec<tree> vec_oprnds0 = vNULL;
    5548                 :      95402 :   vec<tree> vec_oprnds1 = vNULL;
    5549                 :      95402 :   tree vop0, vop1;
    5550                 :      95402 :   unsigned int k;
    5551                 :      95402 :   bool scalar_shift_arg = true;
    5552                 :      95402 :   bb_vec_info bb_vinfo = dyn_cast <bb_vec_info> (vinfo);
    5553                 :      95402 :   bool incompatible_op1_vectype_p = false;
    5554                 :            : 
    5555                 :      95402 :   if (!STMT_VINFO_RELEVANT_P (stmt_info) && !bb_vinfo)
    5556                 :            :     return false;
    5557                 :            : 
    5558                 :      95402 :   if (STMT_VINFO_DEF_TYPE (stmt_info) != vect_internal_def
    5559                 :         62 :       && STMT_VINFO_DEF_TYPE (stmt_info) != vect_nested_cycle
    5560                 :         62 :       && ! vec_stmt)
    5561                 :            :     return false;
    5562                 :            : 
    5563                 :            :   /* Is STMT a vectorizable binary/unary operation?   */
    5564                 :      95340 :   gassign *stmt = dyn_cast <gassign *> (stmt_info->stmt);
    5565                 :      95063 :   if (!stmt)
    5566                 :            :     return false;
    5567                 :            : 
    5568                 :      95063 :   if (TREE_CODE (gimple_assign_lhs (stmt)) != SSA_NAME)
    5569                 :            :     return false;
    5570                 :            : 
    5571                 :      32051 :   code = gimple_assign_rhs_code (stmt);
    5572                 :            : 
    5573                 :      32051 :   if (!(code == LSHIFT_EXPR || code == RSHIFT_EXPR || code == LROTATE_EXPR
    5574                 :            :       || code == RROTATE_EXPR))
    5575                 :            :     return false;
    5576                 :            : 
    5577                 :       5783 :   scalar_dest = gimple_assign_lhs (stmt);
    5578                 :       5783 :   vectype_out = STMT_VINFO_VECTYPE (stmt_info);
    5579                 :       5783 :   if (!type_has_mode_precision_p (TREE_TYPE (scalar_dest)))
    5580                 :            :     {
    5581                 :          0 :       if (dump_enabled_p ())
    5582                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5583                 :            :                          "bit-precision shifts not supported.\n");
    5584                 :          0 :       return false;
    5585                 :            :     }
    5586                 :            : 
    5587                 :       5783 :   slp_tree slp_op0;
    5588                 :       5783 :   if (!vect_is_simple_use (vinfo, stmt_info, slp_node,
    5589                 :            :                            0, &op0, &slp_op0, &dt[0], &vectype))
    5590                 :            :     {
    5591                 :          0 :       if (dump_enabled_p ())
    5592                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5593                 :            :                          "use not simple.\n");
    5594                 :          0 :       return false;
    5595                 :            :     }
    5596                 :            :   /* If op0 is an external or constant def, infer the vector type
    5597                 :            :      from the scalar type.  */
    5598                 :       5783 :   if (!vectype)
    5599                 :        598 :     vectype = get_vectype_for_scalar_type (vinfo, TREE_TYPE (op0), slp_node);
    5600                 :       5783 :   if (vec_stmt)
    5601                 :       2174 :     gcc_assert (vectype);
    5602                 :       5783 :   if (!vectype)
    5603                 :            :     {
    5604                 :          0 :       if (dump_enabled_p ())
    5605                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5606                 :            :                          "no vectype for scalar type\n");
    5607                 :          0 :       return false;
    5608                 :            :     }
    5609                 :            : 
    5610                 :       5783 :   nunits_out = TYPE_VECTOR_SUBPARTS (vectype_out);
    5611                 :       5783 :   nunits_in = TYPE_VECTOR_SUBPARTS (vectype);
    5612                 :       5783 :   if (maybe_ne (nunits_out, nunits_in))
    5613                 :            :     return false;
    5614                 :            : 
    5615                 :       5783 :   stmt_vec_info op1_def_stmt_info;
    5616                 :       5783 :   slp_tree slp_op1;
    5617                 :       5783 :   if (!vect_is_simple_use (vinfo, stmt_info, slp_node, 1, &op1, &slp_op1,
    5618                 :            :                            &dt[1], &op1_vectype, &op1_def_stmt_info))
    5619                 :            :     {
    5620                 :          0 :       if (dump_enabled_p ())
    5621                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5622                 :            :                          "use not simple.\n");
    5623                 :          0 :       return false;
    5624                 :            :     }
    5625                 :            : 
    5626                 :            :   /* Multiple types in SLP are handled by creating the appropriate number of
    5627                 :            :      vectorized stmts for each SLP node.  Hence, NCOPIES is always 1 in
    5628                 :            :      case of SLP.  */
    5629                 :       5783 :   if (slp_node)
    5630                 :            :     ncopies = 1;
    5631                 :            :   else
    5632                 :       5017 :     ncopies = vect_get_num_copies (loop_vinfo, vectype);
    5633                 :            : 
    5634                 :       5017 :   gcc_assert (ncopies >= 1);
    5635                 :            : 
    5636                 :            :   /* Determine whether the shift amount is a vector, or scalar.  If the
    5637                 :            :      shift/rotate amount is a vector, use the vector/vector shift optabs.  */
    5638                 :            : 
    5639                 :       5783 :   if ((dt[1] == vect_internal_def
    5640                 :       5783 :        || dt[1] == vect_induction_def
    5641                 :       5026 :        || dt[1] == vect_nested_cycle)
    5642                 :        781 :       && !slp_node)
    5643                 :            :     scalar_shift_arg = false;
    5644                 :       5050 :   else if (dt[1] == vect_constant_def
    5645                 :            :            || dt[1] == vect_external_def
    5646                 :       5050 :            || dt[1] == vect_internal_def)
    5647                 :            :     {
    5648                 :            :       /* In SLP, need to check whether the shift count is the same,
    5649                 :            :          in loops if it is a constant or invariant, it is always
    5650                 :            :          a scalar shift.  */
    5651                 :       5046 :       if (slp_node)
    5652                 :            :         {
    5653                 :        762 :           vec<stmt_vec_info> stmts = SLP_TREE_SCALAR_STMTS (slp_node);
    5654                 :        762 :           stmt_vec_info slpstmt_info;
    5655                 :            : 
    5656                 :       6378 :           FOR_EACH_VEC_ELT (stmts, k, slpstmt_info)
    5657                 :            :             {
    5658                 :       5616 :               gassign *slpstmt = as_a <gassign *> (slpstmt_info->stmt);
    5659                 :      11232 :               if (!operand_equal_p (gimple_assign_rhs2 (slpstmt), op1, 0))
    5660                 :        522 :                 scalar_shift_arg = false;
    5661                 :            :             }
    5662                 :            : 
    5663                 :            :           /* For internal SLP defs we have to make sure we see scalar stmts
    5664                 :            :              for all vector elements.
    5665                 :            :              ???  For different vectors we could resort to a different
    5666                 :            :              scalar shift operand but code-generation below simply always
    5667                 :            :              takes the first.  */
    5668                 :        762 :           if (dt[1] == vect_internal_def
    5669                 :        806 :               && maybe_ne (nunits_out * SLP_TREE_NUMBER_OF_VEC_STMTS (slp_node),
    5670                 :         44 :                            stmts.length ()))
    5671                 :            :             scalar_shift_arg = false;
    5672                 :            :         }
    5673                 :            : 
    5674                 :            :       /* If the shift amount is computed by a pattern stmt we cannot
    5675                 :            :          use the scalar amount directly thus give up and use a vector
    5676                 :            :          shift.  */
    5677                 :       5046 :       if (op1_def_stmt_info && is_pattern_stmt_p (op1_def_stmt_info))
    5678                 :            :         scalar_shift_arg = false;
    5679                 :            :     }
    5680                 :            :   else
    5681                 :            :     {
    5682                 :          4 :       if (dump_enabled_p ())
    5683                 :          4 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5684                 :            :                          "operand mode requires invariant argument.\n");
    5685                 :          4 :       return false;
    5686                 :            :     }
    5687                 :            : 
    5688                 :            :   /* Vector shifted by vector.  */
    5689                 :       5811 :   bool was_scalar_shift_arg = scalar_shift_arg;
    5690                 :       5038 :   if (!scalar_shift_arg)
    5691                 :            :     {
    5692                 :        773 :       optab = optab_for_tree_code (code, vectype, optab_vector);
    5693                 :        773 :       if (dump_enabled_p ())
    5694                 :        294 :         dump_printf_loc (MSG_NOTE, vect_location,
    5695                 :            :                          "vector/vector shift/rotate found.\n");
    5696                 :            : 
    5697                 :        773 :       if (!op1_vectype)
    5698                 :          8 :         op1_vectype = get_vectype_for_scalar_type (vinfo, TREE_TYPE (op1),
    5699                 :            :                                                    slp_op1);
    5700                 :        773 :       incompatible_op1_vectype_p
    5701                 :       1546 :         = (op1_vectype == NULL_TREE
    5702                 :        773 :            || maybe_ne (TYPE_VECTOR_SUBPARTS (op1_vectype),
    5703                 :        773 :                         TYPE_VECTOR_SUBPARTS (vectype))
    5704                 :       1384 :            || TYPE_MODE (op1_vectype) != TYPE_MODE (vectype));
    5705                 :        606 :       if (incompatible_op1_vectype_p
    5706                 :        167 :           && (!slp_node
    5707                 :          7 :               || SLP_TREE_DEF_TYPE (slp_op1) != vect_constant_def
    5708                 :          1 :               || slp_op1->refcnt != 1))
    5709                 :            :         {
    5710                 :        166 :           if (dump_enabled_p ())
    5711                 :          4 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5712                 :            :                              "unusable type for last operand in"
    5713                 :            :                              " vector/vector shift/rotate.\n");
    5714                 :        166 :           return false;
    5715                 :            :         }
    5716                 :            :     }
    5717                 :            :   /* See if the machine has a vector shifted by scalar insn and if not
    5718                 :            :      then see if it has a vector shifted by vector insn.  */
    5719                 :            :   else
    5720                 :            :     {
    5721                 :       5006 :       optab = optab_for_tree_code (code, vectype, optab_scalar);
    5722                 :       5006 :       if (optab
    5723                 :       5006 :           && optab_handler (optab, TYPE_MODE (vectype)) != CODE_FOR_nothing)
    5724                 :            :         {
    5725                 :       4954 :           if (dump_enabled_p ())
    5726                 :       2805 :             dump_printf_loc (MSG_NOTE, vect_location,
    5727                 :            :                              "vector/scalar shift/rotate found.\n");
    5728                 :            :         }
    5729                 :            :       else
    5730                 :            :         {
    5731                 :         52 :           optab = optab_for_tree_code (code, vectype, optab_vector);
    5732                 :         52 :           if (optab
    5733                 :         52 :                && (optab_handler (optab, TYPE_MODE (vectype))
    5734                 :            :                       != CODE_FOR_nothing))
    5735                 :            :             {
    5736                 :          0 :               scalar_shift_arg = false;
    5737                 :            : 
    5738                 :          0 :               if (dump_enabled_p ())
    5739                 :          0 :                 dump_printf_loc (MSG_NOTE, vect_location,
    5740                 :            :                                  "vector/vector shift/rotate found.\n");
    5741                 :            : 
    5742                 :          0 :               if (!op1_vectype)
    5743                 :          0 :                 op1_vectype = get_vectype_for_scalar_type (vinfo,
    5744                 :          0 :                                                            TREE_TYPE (op1),
    5745                 :            :                                                            slp_node);
    5746                 :            : 
    5747                 :            :               /* Unlike the other binary operators, shifts/rotates have
    5748                 :            :                  the rhs being int, instead of the same type as the lhs,
    5749                 :            :                  so make sure the scalar is the right type if we are
    5750                 :            :                  dealing with vectors of long long/long/short/char.  */
    5751                 :          0 :               incompatible_op1_vectype_p
    5752                 :          0 :                 = (!op1_vectype
    5753                 :          0 :                    || !tree_nop_conversion_p (TREE_TYPE (vectype),
    5754                 :          0 :                                               TREE_TYPE (op1)));
    5755                 :            :             }
    5756                 :            :         }
    5757                 :            :     }
    5758                 :            : 
    5759                 :            :   /* Supportable by target?  */
    5760                 :       5613 :   if (!optab)
    5761                 :            :     {
    5762                 :          0 :       if (dump_enabled_p ())
    5763                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5764                 :            :                          "no optab.\n");
    5765                 :          0 :       return false;
    5766                 :            :     }
    5767                 :       5613 :   vec_mode = TYPE_MODE (vectype);
    5768                 :       5613 :   icode = (int) optab_handler (optab, vec_mode);
    5769                 :       5613 :   if (icode == CODE_FOR_nothing)
    5770                 :            :     {
    5771                 :        411 :       if (dump_enabled_p ())
    5772                 :        204 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5773                 :            :                          "op not supported by target.\n");
    5774                 :            :       /* Check only during analysis.  */
    5775                 :        822 :       if (maybe_ne (GET_MODE_SIZE (vec_mode), UNITS_PER_WORD)
    5776                 :        411 :           || (!vec_stmt
    5777                 :        129 :               && !vect_worthwhile_without_simd_p (vinfo, code)))
    5778                 :        411 :         return false;
    5779                 :          0 :       if (dump_enabled_p ())
    5780                 :          0 :         dump_printf_loc (MSG_NOTE, vect_location,
    5781                 :            :                          "proceeding using word mode.\n");
    5782                 :            :     }
    5783                 :            : 
    5784                 :            :   /* Worthwhile without SIMD support?  Check only during analysis.  */
    5785                 :       5202 :   if (!vec_stmt
    5786                 :       3028 :       && !VECTOR_MODE_P (TYPE_MODE (vectype))
    5787                 :       5248 :       && !vect_worthwhile_without_simd_p (vinfo, code))
    5788                 :            :     {
    5789                 :         46 :       if (dump_enabled_p ())
    5790                 :          2 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5791                 :            :                          "not worthwhile without SIMD support.\n");
    5792                 :         46 :       return false;
    5793                 :            :     }
    5794                 :            : 
    5795                 :       5156 :   if (!vec_stmt) /* transformation not required.  */
    5796                 :            :     {
    5797                 :       2982 :       if (slp_node
    5798                 :       2982 :           && (!vect_maybe_update_slp_op_vectype (slp_op0, vectype)
    5799                 :        496 :               || (!scalar_shift_arg
    5800                 :         23 :                   && (!incompatible_op1_vectype_p
    5801                 :          1 :                       || dt[1] == vect_constant_def)
    5802                 :         23 :                   && !vect_maybe_update_slp_op_vectype
    5803                 :         23 :                         (slp_op1,
    5804                 :            :                          incompatible_op1_vectype_p ? vectype : op1_vectype))))
    5805                 :            :         {
    5806                 :          0 :           if (dump_enabled_p ())
    5807                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    5808                 :            :                              "incompatible vector types for invariants\n");
    5809                 :          0 :           return false;
    5810                 :            :         }
    5811                 :            :       /* Now adjust the constant shift amount in place.  */
    5812                 :       2982 :       if (slp_node
    5813                 :       2982 :           && incompatible_op1_vectype_p
    5814                 :          1 :           && dt[1] == vect_constant_def)
    5815                 :            :         {
    5816                 :          4 :           for (unsigned i = 0;
    5817                 :         10 :                i < SLP_TREE_SCALAR_OPS (slp_op1).length (); ++i)
    5818                 :            :             {
    5819                 :          8 :               SLP_TREE_SCALAR_OPS (slp_op1)[i]
    5820                 :          4 :                 = fold_convert (TREE_TYPE (vectype),
    5821                 :            :                                 SLP_TREE_SCALAR_OPS (slp_op1)[i]);
    5822                 :          4 :               gcc_assert ((TREE_CODE (SLP_TREE_SCALAR_OPS (slp_op1)[i])
    5823                 :            :                            == INTEGER_CST));
    5824                 :            :             }
    5825                 :            :         }
    5826                 :       2982 :       STMT_VINFO_TYPE (stmt_info) = shift_vec_info_type;
    5827                 :       2982 :       DUMP_VECT_SCOPE ("vectorizable_shift");
    5828                 :       3124 :       vect_model_simple_cost (vinfo, stmt_info, ncopies, dt,
    5829                 :            :                               scalar_shift_arg ? 1 : ndts, slp_node, cost_vec);
    5830                 :       2982 :       return true;
    5831                 :            :     }
    5832                 :            : 
    5833                 :            :   /* Transform.  */
    5834                 :            : 
    5835                 :       2174 :   if (dump_enabled_p ())
    5836                 :       1363 :     dump_printf_loc (MSG_NOTE, vect_location,
    5837                 :            :                      "transform binary/unary operation.\n");
    5838                 :            : 
    5839                 :       2174 :   if (incompatible_op1_vectype_p && !slp_node)
    5840                 :            :     {
    5841                 :          0 :       op1 = fold_convert (TREE_TYPE (vectype), op1);
    5842                 :          0 :       if (dt[1] != vect_constant_def)
    5843                 :          0 :         op1 = vect_init_vector (vinfo, stmt_info, op1,
    5844                 :          0 :                                 TREE_TYPE (vectype), NULL);
    5845                 :            :     }
    5846                 :            : 
    5847                 :            :   /* Handle def.  */
    5848                 :       2174 :   vec_dest = vect_create_destination_var (scalar_dest, vectype);
    5849                 :            : 
    5850                 :       2174 :   prev_stmt_info = NULL;
    5851                 :       4849 :   for (j = 0; j < ncopies; j++)
    5852                 :            :     {
    5853                 :            :       /* Handle uses.  */
    5854                 :       2675 :       if (j == 0)
    5855                 :            :         {
    5856                 :       2174 :           if (scalar_shift_arg)
    5857                 :            :             {
    5858                 :            :               /* Vector shl and shr insn patterns can be defined with scalar
    5859                 :            :                  operand 2 (shift operand).  In this case, use constant or loop
    5860                 :            :                  invariant op1 directly, without extending it to vector mode
    5861                 :            :                  first.  */
    5862                 :       2068 :               optab_op2_mode = insn_data[icode].operand[2].mode;
    5863                 :       2068 :               if (!VECTOR_MODE_P (optab_op2_mode))
    5864                 :            :                 {
    5865                 :       2068 :                   if (dump_enabled_p ())
    5866                 :       1311 :                     dump_printf_loc (MSG_NOTE, vect_location,
    5867                 :            :                                      "operand 1 using scalar mode.\n");
    5868                 :       2068 :                   vec_oprnd1 = op1;
    5869                 :       2068 :                   vec_oprnds1.create (slp_node ? slp_node->vec_stmts_size : 1);
    5870                 :       2068 :                   vec_oprnds1.quick_push (vec_oprnd1);
    5871                 :       2068 :                   if (slp_node)
    5872                 :            :                     {
    5873                 :            :                       /* Store vec_oprnd1 for every vector stmt to be created
    5874                 :            :                          for SLP_NODE.  We check during the analysis that all
    5875                 :            :                          the shift arguments are the same.
    5876                 :            :                          TODO: Allow different constants for different vector
    5877                 :            :                          stmts generated for an SLP instance.  */
    5878                 :        433 :                       for (k = 0; k < slp_node->vec_stmts_size - 1; k++)
    5879                 :        230 :                         vec_oprnds1.quick_push (vec_oprnd1);
    5880                 :            :                     }
    5881                 :            :                 }
    5882                 :            :             }
    5883                 :        106 :           else if (slp_node && incompatible_op1_vectype_p)
    5884                 :            :             {
    5885                 :          0 :               if (was_scalar_shift_arg)
    5886                 :            :                 {
    5887                 :            :                   /* If the argument was the same in all lanes create
    5888                 :            :                      the correctly typed vector shift amount directly.  */
    5889                 :          0 :                   op1 = fold_convert (TREE_TYPE (vectype), op1);
    5890                 :          0 :                   op1 = vect_init_vector (vinfo, stmt_info,
    5891                 :          0 :                                           op1, TREE_TYPE (vectype),
    5892                 :            :                                           !loop_vinfo ? gsi : NULL);
    5893                 :          0 :                   vec_oprnd1 = vect_init_vector (vinfo, stmt_info, op1, vectype,
    5894                 :            :                                                  !loop_vinfo ? gsi : NULL);
    5895                 :          0 :                   vec_oprnds1.create (slp_node->vec_stmts_size);
    5896                 :          0 :                   for (k = 0; k < slp_node->vec_stmts_size; k++)
    5897                 :          0 :                     vec_oprnds1.quick_push (vec_oprnd1);
    5898                 :            :                 }
    5899                 :          0 :               else if (dt[1] == vect_constant_def)
    5900                 :            :                 /* The constant shift amount has been adjusted in place.  */
    5901                 :            :                 ;
    5902                 :            :               else
    5903                 :          0 :                 gcc_assert (TYPE_MODE (op1_vectype) == TYPE_MODE (vectype));
    5904                 :            :             }
    5905                 :            : 
    5906                 :            :           /* vec_oprnd1 is available if operand 1 should be of a scalar-type
    5907                 :            :              (a special case for certain kind of vector shifts); otherwise,
    5908                 :            :              operand 1 should be of a vector type (the usual case).  */
    5909                 :       2174 :           if (vec_oprnd1)
    5910                 :       2068 :             vect_get_vec_defs (vinfo, op0, NULL_TREE, stmt_info,
    5911                 :            :                                &vec_oprnds0, NULL, slp_node);
    5912                 :            :           else
    5913                 :        106 :             vect_get_vec_defs (vinfo, op0, op1, stmt_info,
    5914                 :            :                                &vec_oprnds0, &vec_oprnds1, slp_node);
    5915                 :            :         }
    5916                 :            :       else
    5917                 :        501 :         vect_get_vec_defs_for_stmt_copy (vinfo, &vec_oprnds0, &vec_oprnds1);
    5918                 :            : 
    5919                 :            :       /* Arguments are ready.  Create the new vector stmt.  */
    5920                 :       2675 :       stmt_vec_info new_stmt_info = NULL;
    5921                 :       5672 :       FOR_EACH_VEC_ELT (vec_oprnds0, i, vop0)
    5922                 :            :         {
    5923                 :       2997 :           vop1 = vec_oprnds1[i];
    5924                 :       2997 :           gassign *new_stmt = gimple_build_assign (vec_dest, code, vop0, vop1);
    5925                 :       2997 :           new_temp = make_ssa_name (vec_dest, new_stmt);
    5926                 :       2997 :           gimple_assign_set_lhs (new_stmt, new_temp);
    5927                 :       2997 :           new_stmt_info
    5928                 :       2997 :             = vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    5929                 :       2997 :           if (slp_node)
    5930                 :       3527 :             SLP_TREE_VEC_STMTS (slp_node).quick_push (new_stmt_info);
    5931                 :            :         }
    5932                 :            : 
    5933                 :       2675 :       if (slp_node)
    5934                 :        208 :         continue;
    5935                 :            : 
    5936                 :       2467 :       if (j == 0)
    5937                 :       1966 :         STMT_VINFO_VEC_STMT (stmt_info) = *vec_stmt = new_stmt_info;
    5938                 :            :       else
    5939                 :        501 :         STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    5940                 :            :       prev_stmt_info = new_stmt_info;
    5941                 :            :     }
    5942                 :            : 
    5943                 :       2174 :   vec_oprnds0.release ();
    5944                 :       2174 :   vec_oprnds1.release ();
    5945                 :            : 
    5946                 :            :   return true;
    5947                 :            : }
    5948                 :            : 
    5949                 :            : 
    5950                 :            : /* Function vectorizable_operation.
    5951                 :            : 
    5952                 :            :    Check if STMT_INFO performs a binary, unary or ternary operation that can
    5953                 :            :    be vectorized.
    5954                 :            :    If VEC_STMT is also passed, vectorize STMT_INFO: create a vectorized
    5955                 :            :    stmt to replace it, put it in VEC_STMT, and insert it at GSI.
    5956                 :            :    Return true if STMT_INFO is vectorizable in this way.  */
    5957                 :            : 
    5958                 :            : static bool
    5959                 :     303129 : vectorizable_operation (vec_info *vinfo,
    5960                 :            :                         stmt_vec_info stmt_info, gimple_stmt_iterator *gsi,
    5961                 :            :                         stmt_vec_info *vec_stmt, slp_tree slp_node,
    5962                 :            :                         stmt_vector_for_cost *cost_vec)
    5963                 :            : {
    5964                 :     303129 :   tree vec_dest;
    5965                 :     303129 :   tree scalar_dest;
    5966                 :     303129 :   tree op0, op1 = NULL_TREE, op2 = NULL_TREE;
    5967                 :     303129 :   tree vectype;
    5968                 :     303129 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    5969                 :     303129 :   enum tree_code code, orig_code;
    5970                 :     303129 :   machine_mode vec_mode;
    5971                 :     303129 :   tree new_temp;
    5972                 :     303129 :   int op_type;
    5973                 :     303129 :   optab optab;
    5974                 :     303129 :   bool target_support_p;
    5975                 :     303129 :   enum vect_def_type dt[3]
    5976                 :            :     = {vect_unknown_def_type, vect_unknown_def_type, vect_unknown_def_type};
    5977                 :     303129 :   int ndts = 3;
    5978                 :     303129 :   stmt_vec_info prev_stmt_info;
    5979                 :     303129 :   poly_uint64 nunits_in;
    5980                 :     303129 :   poly_uint64 nunits_out;
    5981                 :     303129 :   tree vectype_out;
    5982                 :     303129 :   int ncopies, vec_num;
    5983                 :     303129 :   int j, i;
    5984                 :     303129 :   vec<tree> vec_oprnds0 = vNULL;
    5985                 :     303129 :   vec<tree> vec_oprnds1 = vNULL;
    5986                 :     303129 :   vec<tree> vec_oprnds2 = vNULL;
    5987                 :     303129 :   tree vop0, vop1, vop2;
    5988                 :     303129 :   bb_vec_info bb_vinfo = dyn_cast <bb_vec_info> (vinfo);
    5989                 :            : 
    5990                 :     303129 :   if (!STMT_VINFO_RELEVANT_P (stmt_info) && !bb_vinfo)
    5991                 :            :     return false;
    5992                 :            : 
    5993                 :     303129 :   if (STMT_VINFO_DEF_TYPE (stmt_info) != vect_internal_def
    5994                 :       2390 :       && ! vec_stmt)
    5995                 :            :     return false;
    5996                 :            : 
    5997                 :            :   /* Is STMT a vectorizable binary/unary operation?   */
    5998                 :     300742 :   gassign *stmt = dyn_cast <gassign *> (stmt_info->stmt);
    5999                 :     299800 :   if (!stmt)
    6000                 :            :     return false;
    6001                 :            : 
    6002                 :            :   /* Loads and stores are handled in vectorizable_{load,store}.  */
    6003                 :     299800 :   if (STMT_VINFO_DATA_REF (stmt_info))
    6004                 :            :     return false;
    6005                 :            : 
    6006                 :     146996 :   orig_code = code = gimple_assign_rhs_code (stmt);
    6007                 :            : 
    6008                 :            :   /* Shifts are handled in vectorizable_shift.  */
    6009                 :     146996 :   if (code == LSHIFT_EXPR
    6010                 :            :       || code == RSHIFT_EXPR
    6011                 :            :       || code == LROTATE_EXPR
    6012                 :     146996 :       || code == RROTATE_EXPR)
    6013                 :            :    return false;
    6014                 :            : 
    6015                 :            :   /* Comparisons are handled in vectorizable_comparison.  */
    6016                 :     143714 :   if (TREE_CODE_CLASS (code) == tcc_comparison)
    6017                 :            :     return false;
    6018                 :            : 
    6019                 :            :   /* Conditions are handled in vectorizable_condition.  */
    6020                 :     141146 :   if (code == COND_EXPR)
    6021                 :            :     return false;
    6022                 :            : 
    6023                 :            :   /* For pointer addition and subtraction, we should use the normal
    6024                 :            :      plus and minus for the vector operation.  */
    6025                 :     138515 :   if (code == POINTER_PLUS_EXPR)
    6026                 :            :     code = PLUS_EXPR;
    6027                 :     138056 :   if (code == POINTER_DIFF_EXPR)
    6028                 :          4 :     code = MINUS_EXPR;
    6029                 :            : 
    6030                 :            :   /* Support only unary or binary operations.  */
    6031                 :     138515 :   op_type = TREE_CODE_LENGTH (code);
    6032                 :     138515 :   if (op_type != unary_op && op_type != binary_op && op_type != ternary_op)
    6033                 :            :     {
    6034                 :         35 :       if (dump_enabled_p ())
    6035                 :         23 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6036                 :            :                          "num. args = %d (not unary/binary/ternary op).\n",
    6037                 :            :                          op_type);
    6038                 :         35 :       return false;
    6039                 :            :     }
    6040                 :            : 
    6041                 :     138480 :   scalar_dest = gimple_assign_lhs (stmt);
    6042                 :     138480 :   vectype_out = STMT_VINFO_VECTYPE (stmt_info);
    6043                 :            : 
    6044                 :            :   /* Most operations cannot handle bit-precision types without extra
    6045                 :            :      truncations.  */
    6046                 :     276960 :   bool mask_op_p = VECTOR_BOOLEAN_TYPE_P (vectype_out);
    6047                 :     137455 :   if (!mask_op_p
    6048                 :     137455 :       && !type_has_mode_precision_p (TREE_TYPE (scalar_dest))
    6049                 :            :       /* Exception are bitwise binary operations.  */
    6050                 :            :       && code != BIT_IOR_EXPR
    6051                 :        133 :       && code != BIT_XOR_EXPR
    6052                 :        117 :       && code != BIT_AND_EXPR)
    6053                 :            :     {
    6054                 :         68 :       if (dump_enabled_p ())
    6055                 :         17 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6056                 :            :                          "bit-precision arithmetic not supported.\n");
    6057                 :         68 :       return false;
    6058                 :            :     }
    6059                 :            : 
    6060                 :     138412 :   slp_tree slp_op0;
    6061                 :     138412 :   if (!vect_is_simple_use (vinfo, stmt_info, slp_node,
    6062                 :            :                            0, &op0, &slp_op0, &dt[0], &vectype))
    6063                 :            :     {
    6064                 :          2 :       if (dump_enabled_p ())
    6065                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6066                 :            :                          "use not simple.\n");
    6067                 :          2 :       return false;
    6068                 :            :     }
    6069                 :            :   /* If op0 is an external or constant def, infer the vector type
    6070                 :            :      from the scalar type.  */
    6071                 :     138410 :   if (!vectype)
    6072                 :            :     {
    6073                 :            :       /* For boolean type we cannot determine vectype by
    6074                 :            :          invariant value (don't know whether it is a vector
    6075                 :            :          of booleans or vector of integers).  We use output
    6076                 :            :          vectype because operations on boolean don't change
    6077                 :            :          type.  */
    6078                 :       9848 :       if (VECT_SCALAR_BOOLEAN_TYPE_P (TREE_TYPE (op0)))
    6079                 :            :         {
    6080                 :        190 :           if (!VECT_SCALAR_BOOLEAN_TYPE_P (TREE_TYPE (scalar_dest)))
    6081                 :            :             {
    6082                 :        113 :               if (dump_enabled_p ())
    6083                 :          2 :                 dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6084                 :            :                                  "not supported operation on bool value.\n");
    6085                 :        113 :               return false;
    6086                 :            :             }
    6087                 :         77 :           vectype = vectype_out;
    6088                 :            :         }
    6089                 :            :       else
    6090                 :       9658 :         vectype = get_vectype_for_scalar_type (vinfo, TREE_TYPE (op0),
    6091                 :            :                                                slp_node);
    6092                 :            :     }
    6093                 :     138297 :   if (vec_stmt)
    6094                 :      52786 :     gcc_assert (vectype);
    6095                 :     138297 :   if (!vectype)
    6096                 :            :     {
    6097                 :          0 :       if (dump_enabled_p ())
    6098                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6099                 :            :                          "no vectype for scalar type %T\n",
    6100                 :          0 :                          TREE_TYPE (op0));
    6101                 :            : 
    6102                 :          0 :       return false;
    6103                 :            :     }
    6104                 :            : 
    6105                 :     138297 :   nunits_out = TYPE_VECTOR_SUBPARTS (vectype_out);
    6106                 :     138297 :   nunits_in = TYPE_VECTOR_SUBPARTS (vectype);
    6107                 :     138297 :   if (maybe_ne (nunits_out, nunits_in))
    6108                 :            :     return false;
    6109                 :            : 
    6110                 :     137036 :   tree vectype2 = NULL_TREE, vectype3 = NULL_TREE;
    6111                 :     137036 :   slp_tree slp_op1 = NULL, slp_op2 = NULL;
    6112                 :     137036 :   if (op_type == binary_op || op_type == ternary_op)
    6113                 :            :     {
    6114                 :     122570 :       if (!vect_is_simple_use (vinfo, stmt_info, slp_node,
    6115                 :            :                                1, &op1, &slp_op1, &dt[1], &vectype2))
    6116                 :            :         {
    6117                 :          0 :           if (dump_enabled_p ())
    6118                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6119                 :            :                              "use not simple.\n");
    6120                 :          0 :           return false;
    6121                 :            :         }
    6122                 :            :     }
    6123                 :     137036 :   if (op_type == ternary_op)
    6124                 :            :     {
    6125                 :          0 :       if (!vect_is_simple_use (vinfo, stmt_info, slp_node,
    6126                 :            :                                2, &op2, &slp_op2, &dt[2], &vectype3))
    6127                 :            :         {
    6128                 :          0 :           if (dump_enabled_p ())
    6129                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6130                 :            :                              "use not simple.\n");
    6131                 :          0 :           return false;
    6132                 :            :         }
    6133                 :            :     }
    6134                 :            : 
    6135                 :            :   /* Multiple types in SLP are handled by creating the appropriate number of
    6136                 :            :      vectorized stmts for each SLP node.  Hence, NCOPIES is always 1 in
    6137                 :            :      case of SLP.  */
    6138                 :     137036 :   if (slp_node)
    6139                 :            :     {
    6140                 :      19358 :       ncopies = 1;
    6141                 :      19358 :       vec_num = SLP_TREE_NUMBER_OF_VEC_STMTS (slp_node);
    6142                 :            :     }
    6143                 :            :   else
    6144                 :            :     {
    6145                 :     117678 :       ncopies = vect_get_num_copies (loop_vinfo, vectype);
    6146                 :     117678 :       vec_num = 1;
    6147                 :            :     }
    6148                 :            : 
    6149                 :     137036 :   gcc_assert (ncopies >= 1);
    6150                 :            : 
    6151                 :            :   /* Reject attempts to combine mask types with nonmask types, e.g. if
    6152                 :            :      we have an AND between a (nonmask) boolean loaded from memory and
    6153                 :            :      a (mask) boolean result of a comparison.
    6154                 :            : 
    6155                 :            :      TODO: We could easily fix these cases up using pattern statements.  */
    6156                 :     137036 :   if (VECTOR_BOOLEAN_TYPE_P (vectype) != mask_op_p
    6157                 :     230979 :       || (vectype2 && VECTOR_BOOLEAN_TYPE_P (vectype2) != mask_op_p)
    6158                 :     274046 :       || (vectype3 && VECTOR_BOOLEAN_TYPE_P (vectype3) != mask_op_p))
    6159                 :            :     {
    6160                 :         26 :       if (dump_enabled_p ())
    6161                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6162                 :            :                          "mixed mask and nonmask vector types\n");
    6163                 :         26 :       return false;
    6164                 :            :     }
    6165                 :            : 
    6166                 :            :   /* Supportable by target?  */
    6167                 :            : 
    6168                 :     137010 :   vec_mode = TYPE_MODE (vectype);
    6169                 :     137010 :   if (code == MULT_HIGHPART_EXPR)
    6170                 :        442 :     target_support_p = can_mult_highpart_p (vec_mode, TYPE_UNSIGNED (vectype));
    6171                 :            :   else
    6172                 :            :     {
    6173                 :     136568 :       optab = optab_for_tree_code (code, vectype, optab_default);
    6174                 :     136568 :       if (!optab)
    6175                 :            :         {
    6176                 :      12250 :           if (dump_enabled_p ())
    6177                 :       2275 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6178                 :            :                              "no optab.\n");
    6179                 :      12250 :           return false;
    6180                 :            :         }
    6181                 :     124318 :       target_support_p = (optab_handler (optab, vec_mode)
    6182                 :            :                           != CODE_FOR_nothing);
    6183                 :            :     }
    6184                 :            : 
    6185                 :     124760 :   if (!target_support_p)
    6186                 :            :     {
    6187                 :       4411 :       if (dump_enabled_p ())
    6188                 :        665 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6189                 :            :                          "op not supported by target.\n");
    6190                 :            :       /* Check only during analysis.  */
    6191                 :       8930 :       if (maybe_ne (GET_MODE_SIZE (vec_mode), UNITS_PER_WORD)
    6192                 :       4411 :           || (!vec_stmt && !vect_worthwhile_without_simd_p (vinfo, code)))
    6193                 :       4409 :         return false;
    6194                 :          2 :       if (dump_enabled_p ())
    6195                 :          2 :         dump_printf_loc (MSG_NOTE, vect_location,
    6196                 :            :                          "proceeding using word mode.\n");
    6197                 :            :     }
    6198                 :            : 
    6199                 :            :   /* Worthwhile without SIMD support?  Check only during analysis.  */
    6200                 :      70059 :   if (!VECTOR_MODE_P (vec_mode)
    6201                 :       4285 :       && !vec_stmt
    6202                 :     124553 :       && !vect_worthwhile_without_simd_p (vinfo, code))
    6203                 :            :     {
    6204                 :       4109 :       if (dump_enabled_p ())
    6205                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6206                 :            :                          "not worthwhile without SIMD support.\n");
    6207                 :       4109 :       return false;
    6208                 :            :     }
    6209                 :            : 
    6210                 :     116242 :   int reduc_idx = STMT_VINFO_REDUC_IDX (stmt_info);
    6211                 :     116242 :   vec_loop_masks *masks = (loop_vinfo ? &LOOP_VINFO_MASKS (loop_vinfo) : NULL);
    6212                 :     116242 :   internal_fn cond_fn = get_conditional_internal_fn (code);
    6213                 :            : 
    6214                 :     116242 :   if (!vec_stmt) /* transformation not required.  */
    6215                 :            :     {
    6216                 :            :       /* If this operation is part of a reduction, a fully-masked loop
    6217                 :            :          should only change the active lanes of the reduction chain,
    6218                 :            :          keeping the inactive lanes as-is.  */
    6219                 :      63456 :       if (loop_vinfo
    6220                 :      60480 :           && LOOP_VINFO_CAN_FULLY_MASK_P (loop_vinfo)
    6221                 :      14673 :           && reduc_idx >= 0)
    6222                 :            :         {
    6223                 :       1415 :           if (cond_fn == IFN_LAST
    6224                 :       1415 :               || !direct_internal_fn_supported_p (cond_fn, vectype,
    6225                 :            :                                                   OPTIMIZE_FOR_SPEED))
    6226                 :            :             {
    6227                 :       1415 :               if (dump_enabled_p ())
    6228                 :        152 :                 dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6229                 :            :                                  "can't use a fully-masked loop because no"
    6230                 :            :                                  " conditional operation is available.\n");
    6231                 :       1415 :               LOOP_VINFO_CAN_FULLY_MASK_P (loop_vinfo) = false;
    6232                 :            :             }
    6233                 :            :           else
    6234                 :          0 :             vect_record_loop_mask (loop_vinfo, masks, ncopies * vec_num,
    6235                 :            :                                    vectype, NULL);
    6236                 :            :         }
    6237                 :            : 
    6238                 :            :       /* Put types on constant and invariant SLP children.  */
    6239                 :      63456 :       if (slp_node
    6240                 :      63456 :           && (!vect_maybe_update_slp_op_vectype (slp_op0, vectype)
    6241                 :       6700 :               || !vect_maybe_update_slp_op_vectype (slp_op1, vectype)
    6242                 :       6700 :               || !vect_maybe_update_slp_op_vectype (slp_op2, vectype)))
    6243                 :            :         {
    6244                 :          0 :           if (dump_enabled_p ())
    6245                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6246                 :            :                              "incompatible vector types for invariants\n");
    6247                 :          0 :           return false;
    6248                 :            :         }
    6249                 :            : 
    6250                 :      63456 :       STMT_VINFO_TYPE (stmt_info) = op_vec_info_type;
    6251                 :      63456 :       DUMP_VECT_SCOPE ("vectorizable_operation");
    6252                 :      63456 :       vect_model_simple_cost (vinfo, stmt_info,
    6253                 :            :                               ncopies, dt, ndts, slp_node, cost_vec);
    6254                 :      63456 :       return true;
    6255                 :            :     }
    6256                 :            : 
    6257                 :            :   /* Transform.  */
    6258                 :            : 
    6259                 :      52786 :   if (dump_enabled_p ())
    6260                 :       9232 :     dump_printf_loc (MSG_NOTE, vect_location,
    6261                 :            :                      "transform binary/unary operation.\n");
    6262                 :            : 
    6263                 :      52786 :   bool masked_loop_p = loop_vinfo && LOOP_VINFO_FULLY_MASKED_P (loop_vinfo);
    6264                 :            : 
    6265                 :            :   /* POINTER_DIFF_EXPR has pointer arguments which are vectorized as
    6266                 :            :      vectors with unsigned elements, but the result is signed.  So, we
    6267                 :            :      need to compute the MINUS_EXPR into vectype temporary and
    6268                 :            :      VIEW_CONVERT_EXPR it into the final vectype_out result.  */
    6269                 :      52786 :   tree vec_cvt_dest = NULL_TREE;
    6270                 :      52786 :   if (orig_code == POINTER_DIFF_EXPR)
    6271                 :            :     {
    6272                 :          2 :       vec_dest = vect_create_destination_var (scalar_dest, vectype);
    6273                 :          2 :       vec_cvt_dest = vect_create_destination_var (scalar_dest, vectype_out);
    6274                 :            :     }
    6275                 :            :   /* Handle def.  */
    6276                 :            :   else
    6277                 :      52784 :     vec_dest = vect_create_destination_var (scalar_dest, vectype_out);
    6278                 :            : 
    6279                 :            :   /* In case the vectorization factor (VF) is bigger than the number
    6280                 :            :      of elements that we can fit in a vectype (nunits), we have to generate
    6281                 :            :      more than one vector stmt - i.e - we need to "unroll" the
    6282                 :            :      vector stmt by a factor VF/nunits.  In doing so, we record a pointer
    6283                 :            :      from one copy of the vector stmt to the next, in the field
    6284                 :            :      STMT_VINFO_RELATED_STMT.  This is necessary in order to allow following
    6285                 :            :      stages to find the correct vector defs to be used when vectorizing
    6286                 :            :      stmts that use the defs of the current stmt.  The example below
    6287                 :            :      illustrates the vectorization process when VF=16 and nunits=4 (i.e.,
    6288                 :            :      we need to create 4 vectorized stmts):
    6289                 :            : 
    6290                 :            :      before vectorization:
    6291                 :            :                                 RELATED_STMT    VEC_STMT
    6292                 :            :         S1:     x = memref      -               -
    6293                 :            :         S2:     z = x + 1       -               -
    6294                 :            : 
    6295                 :            :      step 1: vectorize stmt S1 (done in vectorizable_load. See more details
    6296                 :            :              there):
    6297                 :            :                                 RELATED_STMT    VEC_STMT
    6298                 :            :         VS1_0:  vx0 = memref0   VS1_1           -
    6299                 :            :         VS1_1:  vx1 = memref1   VS1_2           -
    6300                 :            :         VS1_2:  vx2 = memref2   VS1_3           -
    6301                 :            :         VS1_3:  vx3 = memref3   -               -
    6302                 :            :         S1:     x = load        -               VS1_0
    6303                 :            :         S2:     z = x + 1       -               -
    6304                 :            : 
    6305                 :            :      step2: vectorize stmt S2 (done here):
    6306                 :            :         To vectorize stmt S2 we first need to find the relevant vector
    6307                 :            :         def for the first operand 'x'.  This is, as usual, obtained from
    6308                 :            :         the vector stmt recorded in the STMT_VINFO_VEC_STMT of the stmt
    6309                 :            :         that defines 'x' (S1).  This way we find the stmt VS1_0, and the
    6310                 :            :         relevant vector def 'vx0'.  Having found 'vx0' we can generate
    6311                 :            :         the vector stmt VS2_0, and as usual, record it in the
    6312                 :            :         STMT_VINFO_VEC_STMT of stmt S2.
    6313                 :            :         When creating the second copy (VS2_1), we obtain the relevant vector
    6314                 :            :         def from the vector stmt recorded in the STMT_VINFO_RELATED_STMT of
    6315                 :            :         stmt VS1_0.  This way we find the stmt VS1_1 and the relevant
    6316                 :            :         vector def 'vx1'.  Using 'vx1' we create stmt VS2_1 and record a
    6317                 :            :         pointer to it in the STMT_VINFO_RELATED_STMT of the vector stmt VS2_0.
    6318                 :            :         Similarly when creating stmts VS2_2 and VS2_3.  This is the resulting
    6319                 :            :         chain of stmts and pointers:
    6320                 :            :                                 RELATED_STMT    VEC_STMT
    6321                 :            :         VS1_0:  vx0 = memref0   VS1_1           -
    6322                 :            :         VS1_1:  vx1 = memref1   VS1_2           -
    6323                 :            :         VS1_2:  vx2 = memref2   VS1_3           -
    6324                 :            :         VS1_3:  vx3 = memref3   -               -
    6325                 :            :         S1:     x = load        -               VS1_0
    6326                 :            :         VS2_0:  vz0 = vx0 + v1  VS2_1           -
    6327                 :            :         VS2_1:  vz1 = vx1 + v1  VS2_2           -
    6328                 :            :         VS2_2:  vz2 = vx2 + v1  VS2_3           -
    6329                 :            :         VS2_3:  vz3 = vx3 + v1  -               -
    6330                 :            :         S2:     z = x + 1       -               VS2_0  */
    6331                 :            : 
    6332                 :      52786 :   prev_stmt_info = NULL;
    6333                 :     108215 :   for (j = 0; j < ncopies; j++)
    6334                 :            :     {
    6335                 :            :       /* Handle uses.  */
    6336                 :      55429 :       if (j == 0)
    6337                 :            :         {
    6338                 :      52786 :           if (op_type == binary_op)
    6339                 :      51750 :             vect_get_vec_defs (vinfo, op0, op1, stmt_info,
    6340                 :            :                                &vec_oprnds0, &vec_oprnds1, slp_node);
    6341                 :       1036 :           else if (op_type == ternary_op)
    6342                 :            :             {
    6343                 :          0 :               if (slp_node)
    6344                 :            :                 {
    6345                 :          0 :                   auto_vec<vec<tree> > vec_defs(3);
    6346                 :          0 :                   vect_get_slp_defs (vinfo, slp_node, &vec_defs);
    6347                 :          0 :                   vec_oprnds0 = vec_defs[0];
    6348                 :          0 :                   vec_oprnds1 = vec_defs[1];
    6349                 :          0 :                   vec_oprnds2 = vec_defs[2];
    6350                 :            :                 }
    6351                 :            :               else
    6352                 :            :                 {
    6353                 :          0 :                   vect_get_vec_defs (vinfo, op0, op1, stmt_info, &vec_oprnds0,
    6354                 :            :                                      &vec_oprnds1, NULL);
    6355                 :          0 :                   vect_get_vec_defs (vinfo, op2, NULL_TREE, stmt_info,
    6356                 :            :                                      &vec_oprnds2, NULL, NULL);
    6357                 :            :                 }
    6358                 :            :             }
    6359                 :            :           else
    6360                 :       1036 :             vect_get_vec_defs (vinfo, op0, NULL_TREE, stmt_info, &vec_oprnds0,
    6361                 :            :                                NULL, slp_node);
    6362                 :            :         }
    6363                 :            :       else
    6364                 :            :         {
    6365                 :       2643 :           vect_get_vec_defs_for_stmt_copy (vinfo, &vec_oprnds0, &vec_oprnds1);
    6366                 :       2643 :           if (op_type == ternary_op)
    6367                 :            :             {
    6368                 :          0 :               tree vec_oprnd = vec_oprnds2.pop ();
    6369                 :          0 :               vec_oprnds2.quick_push (vect_get_vec_def_for_stmt_copy (vinfo,
    6370                 :            :                                                                    vec_oprnd));
    6371                 :            :             }
    6372                 :            :         }
    6373                 :            : 
    6374                 :            :       /* Arguments are ready.  Create the new vector stmt.  */
    6375                 :            :       stmt_vec_info new_stmt_info = NULL;
    6376                 :     114654 :       FOR_EACH_VEC_ELT (vec_oprnds0, i, vop0)
    6377                 :            :         {
    6378                 :     118450 :           vop1 = ((op_type == binary_op || op_type == ternary_op)
    6379                 :      59225 :                   ? vec_oprnds1[i] : NULL_TREE);
    6380                 :     118450 :           vop2 = ((op_type == ternary_op)
    6381                 :      59225 :                   ? vec_oprnds2[i] : NULL_TREE);
    6382                 :      59225 :           if (masked_loop_p && reduc_idx >= 0)
    6383                 :            :             {
    6384                 :            :               /* Perform the operation on active elements only and take
    6385                 :            :                  inactive elements from the reduction chain input.  */
    6386                 :          0 :               gcc_assert (!vop2);
    6387                 :          0 :               vop2 = reduc_idx == 1 ? vop1 : vop0;
    6388                 :          0 :               tree mask = vect_get_loop_mask (gsi, masks, vec_num * ncopies,
    6389                 :          0 :                                               vectype, i * ncopies + j);
    6390                 :          0 :               gcall *call = gimple_build_call_internal (cond_fn, 4, mask,
    6391                 :            :                                                         vop0, vop1, vop2);
    6392                 :          0 :               new_temp = make_ssa_name (vec_dest, call);
    6393                 :          0 :               gimple_call_set_lhs (call, new_temp);
    6394                 :          0 :               gimple_call_set_nothrow (call, true);
    6395                 :          0 :               new_stmt_info
    6396                 :          0 :                 = vect_finish_stmt_generation (vinfo, stmt_info, call, gsi);
    6397                 :            :             }
    6398                 :            :           else
    6399                 :            :             {
    6400                 :      59225 :               gassign *new_stmt = gimple_build_assign (vec_dest, code,
    6401                 :            :                                                        vop0, vop1, vop2);
    6402                 :      59225 :               new_temp = make_ssa_name (vec_dest, new_stmt);
    6403                 :      59225 :               gimple_assign_set_lhs (new_stmt, new_temp);
    6404                 :      59225 :               new_stmt_info
    6405                 :      59225 :                 = vect_finish_stmt_generation (vinfo, stmt_info, new_stmt, gsi);
    6406                 :      59225 :               if (vec_cvt_dest)
    6407                 :            :                 {
    6408                 :          2 :                   new_temp = build1 (VIEW_CONVERT_EXPR, vectype_out, new_temp);
    6409                 :          2 :                   gassign *new_stmt
    6410                 :          2 :                     = gimple_build_assign (vec_cvt_dest, VIEW_CONVERT_EXPR,
    6411                 :            :                                            new_temp);
    6412                 :          2 :                   new_temp = make_ssa_name (vec_cvt_dest, new_stmt);
    6413                 :          2 :                   gimple_assign_set_lhs (new_stmt, new_temp);
    6414                 :          2 :                   new_stmt_info = vect_finish_stmt_generation (vinfo, stmt_info,
    6415                 :            :                                                                new_stmt, gsi);
    6416                 :            :                 }
    6417                 :            :             }
    6418                 :      59225 :           if (slp_node)
    6419                 :      67931 :             SLP_TREE_VEC_STMTS (slp_node).quick_push (new_stmt_info);
    6420                 :            :         }
    6421                 :            : 
    6422                 :      55429 :       if (slp_node)
    6423                 :       4910 :         continue;
    6424                 :            : 
    6425                 :      50519 :       if (j == 0)
    6426                 :      47876 :         STMT_VINFO_VEC_STMT (stmt_info) = *vec_stmt = new_stmt_info;
    6427                 :            :       else
    6428                 :       2643 :         STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    6429                 :            :       prev_stmt_info = new_stmt_info;
    6430                 :            :     }
    6431                 :            : 
    6432                 :      52786 :   vec_oprnds0.release ();
    6433                 :      52786 :   vec_oprnds1.release ();
    6434                 :      52786 :   vec_oprnds2.release ();
    6435                 :            : 
    6436                 :            :   return true;
    6437                 :            : }
    6438                 :            : 
    6439                 :            : /* A helper function to ensure data reference DR_INFO's base alignment.  */
    6440                 :            : 
    6441                 :            : static void
    6442                 :     114172 : ensure_base_align (dr_vec_info *dr_info)
    6443                 :            : {
    6444                 :     114172 :   if (dr_info->misalignment == DR_MISALIGNMENT_UNINITIALIZED)
    6445                 :            :     return;
    6446                 :            : 
    6447                 :     114172 :   if (dr_info->base_misaligned)
    6448                 :            :     {
    6449                 :       3415 :       tree base_decl = dr_info->base_decl;
    6450                 :            : 
    6451                 :            :       // We should only be able to increase the alignment of a base object if
    6452                 :            :       // we know what its new alignment should be at compile time.
    6453                 :       3415 :       unsigned HOST_WIDE_INT align_base_to =
    6454                 :       3415 :         DR_TARGET_ALIGNMENT (dr_info).to_constant () * BITS_PER_UNIT;
    6455                 :            : 
    6456                 :       3415 :       if (decl_in_symtab_p (base_decl))
    6457                 :        278 :         symtab_node::get (base_decl)->increase_alignment (align_base_to);
    6458                 :       3137 :       else if (DECL_ALIGN (base_decl) < align_base_to)
    6459                 :            :         {
    6460                 :       2658 :           SET_DECL_ALIGN (base_decl, align_base_to);
    6461                 :       2658 :           DECL_USER_ALIGN (base_decl) = 1;
    6462                 :            :         }
    6463                 :       3415 :       dr_info->base_misaligned = false;
    6464                 :            :     }
    6465                 :            : }
    6466                 :            : 
    6467                 :            : 
    6468                 :            : /* Function get_group_alias_ptr_type.
    6469                 :            : 
    6470                 :            :    Return the alias type for the group starting at FIRST_STMT_INFO.  */
    6471                 :            : 
    6472                 :            : static tree
    6473                 :      60075 : get_group_alias_ptr_type (stmt_vec_info first_stmt_info)
    6474                 :            : {
    6475                 :      60075 :   struct data_reference *first_dr, *next_dr;
    6476                 :            : 
    6477                 :      60075 :   first_dr = STMT_VINFO_DATA_REF (first_stmt_info);
    6478                 :      60075 :   stmt_vec_info next_stmt_info = DR_GROUP_NEXT_ELEMENT (first_stmt_info);
    6479                 :     199573 :   while (next_stmt_info)
    6480                 :            :     {
    6481                 :     140962 :       next_dr = STMT_VINFO_DATA_REF (next_stmt_info);
    6482                 :     281924 :       if (get_alias_set (DR_REF (first_dr))
    6483                 :     140962 :           != get_alias_set (DR_REF (next_dr)))
    6484                 :            :         {
    6485                 :       1464 :           if (dump_enabled_p ())
    6486                 :          0 :             dump_printf_loc (MSG_NOTE, vect_location,
    6487                 :            :                              "conflicting alias set types.\n");
    6488                 :       1464 :           return ptr_type_node;
    6489                 :            :         }
    6490                 :     139498 :       next_stmt_info = DR_GROUP_NEXT_ELEMENT (next_stmt_info);
    6491                 :            :     }
    6492                 :      58611 :   return reference_alias_ptr_type (DR_REF (first_dr));
    6493                 :            : }
    6494                 :            : 
    6495                 :            : 
    6496                 :            : /* Function scan_operand_equal_p.
    6497                 :            : 
    6498                 :            :    Helper function for check_scan_store.  Compare two references
    6499                 :            :    with .GOMP_SIMD_LANE bases.  */
    6500                 :            : 
    6501                 :            : static bool
    6502                 :       1328 : scan_operand_equal_p (tree ref1, tree ref2)
    6503                 :            : {
    6504                 :       1328 :   tree ref[2] = { ref1, ref2 };
    6505                 :       1328 :   poly_int64 bitsize[2], bitpos[2];
    6506                 :            :   tree offset[2], base[2];
    6507                 :       3984 :   for (int i = 0; i < 2; ++i)
    6508                 :            :     {
    6509                 :       2656 :       machine_mode mode;
    6510                 :       2656 :       int unsignedp, reversep, volatilep = 0;
    6511                 :       2656 :       base[i] = get_inner_reference (ref[i], &bitsize[i], &bitpos[i],
    6512                 :            :                                      &offset[i], &mode, &unsignedp,
    6513                 :            :                                      &reversep, &volatilep);
    6514                 :       2656 :       if (reversep || volatilep || maybe_ne (bitpos[i], 0))
    6515                 :          0 :         return false;
    6516                 :       2656 :       if (TREE_CODE (base[i]) == MEM_REF
    6517                 :         56 :           && offset[i] == NULL_TREE
    6518                 :       2712 :           && TREE_CODE (TREE_OPERAND (base[i], 0)) == SSA_NAME)
    6519                 :            :         {
    6520                 :         56 :           gimple *def_stmt = SSA_NAME_DEF_STMT (TREE_OPERAND (base[i], 0));
    6521                 :         56 :           if (is_gimple_assign (def_stmt)
    6522                 :         56 :               && gimple_assign_rhs_code (def_stmt) == POINTER_PLUS_EXPR
    6523                 :         56 :               && TREE_CODE (gimple_assign_rhs1 (def_stmt)) == ADDR_EXPR
    6524                 :        112 :               && TREE_CODE (gimple_assign_rhs2 (def_stmt)) == SSA_NAME)
    6525                 :            :             {
    6526                 :         56 :               if (maybe_ne (mem_ref_offset (base[i]), 0))
    6527                 :          0 :                 return false;
    6528                 :         56 :               base[i] = TREE_OPERAND (gimple_assign_rhs1 (def_stmt), 0);
    6529                 :         56 :               offset[i] = gimple_assign_rhs2 (def_stmt);
    6530                 :            :             }
    6531                 :            :         }
    6532                 :            :     }
    6533                 :            : 
    6534                 :       1328 :   if (!operand_equal_p (base[0], base[1], 0))
    6535                 :            :     return false;
    6536                 :        976 :   if (maybe_ne (bitsize[0], bitsize[1]))
    6537                 :            :     return false;
    6538                 :        976 :   if (offset[0] != offset[1])
    6539                 :            :     {
    6540                 :        952 :       if (!offset[0] || !offset[1])
    6541                 :            :         return false;
    6542                 :        952 :       if (!operand_equal_p (offset[0], offset[1], 0))
    6543                 :            :         {
    6544                 :            :           tree step[2];
    6545                 :          0 :           for (int i = 0; i < 2; ++i)
    6546                 :            :             {
    6547                 :          0 :               step[i] = integer_one_node;
    6548                 :          0 :               if (TREE_CODE (offset[i]) == SSA_NAME)
    6549                 :            :                 {
    6550                 :          0 :                   gimple *def_stmt = SSA_NAME_DEF_STMT (offset[i]);
    6551                 :          0 :                   if (is_gimple_assign (def_stmt)
    6552                 :          0 :                       && gimple_assign_rhs_code (def_stmt) == MULT_EXPR
    6553                 :          0 :                       && (TREE_CODE (gimple_assign_rhs2 (def_stmt))
    6554                 :            :                           == INTEGER_CST))
    6555                 :            :                     {
    6556                 :          0 :                       step[i] = gimple_assign_rhs2 (def_stmt);
    6557                 :          0 :                       offset[i] = gimple_assign_rhs1 (def_stmt);
    6558                 :            :                     }
    6559                 :            :                 }
    6560                 :          0 :               else if (TREE_CODE (offset[i]) == MULT_EXPR)
    6561                 :            :                 {
    6562                 :          0 :                   step[i] = TREE_OPERAND (offset[i], 1);
    6563                 :          0 :                   offset[i] = TREE_OPERAND (offset[i], 0);
    6564                 :            :                 }
    6565                 :          0 :               tree rhs1 = NULL_TREE;
    6566                 :          0 :               if (TREE_CODE (offset[i]) == SSA_NAME)
    6567                 :            :                 {
    6568                 :          0 :                   gimple *def_stmt = SSA_NAME_DEF_STMT (offset[i]);
    6569                 :          0 :                   if (gimple_assign_cast_p (def_stmt))
    6570                 :          0 :                     rhs1 = gimple_assign_rhs1 (def_stmt);
    6571                 :            :                 }
    6572                 :          0 :               else if (CONVERT_EXPR_P (offset[i]))
    6573                 :          0 :                 rhs1 = TREE_OPERAND (offset[i], 0);
    6574                 :          0 :               if (rhs1
    6575                 :          0 :                   && INTEGRAL_TYPE_P (TREE_TYPE (rhs1))
    6576                 :          0 :                   && INTEGRAL_TYPE_P (TREE_TYPE (offset[i]))
    6577                 :          0 :                   && (TYPE_PRECISION (TREE_TYPE (offset[i]))
    6578                 :          0 :                       >= TYPE_PRECISION (TREE_TYPE (rhs1))))
    6579                 :          0 :                 offset[i] = rhs1;
    6580                 :            :             }
    6581                 :          0 :           if (!operand_equal_p (offset[0], offset[1], 0)
    6582                 :          0 :               || !operand_equal_p (step[0], step[1], 0))
    6583                 :          0 :             return false;
    6584                 :            :         }
    6585                 :            :     }
    6586                 :            :   return true;
    6587                 :            : }
    6588                 :            : 
    6589                 :            : 
    6590                 :            : enum scan_store_kind {
    6591                 :            :   /* Normal permutation.  */
    6592                 :            :   scan_store_kind_perm,
    6593                 :            : 
    6594                 :            :   /* Whole vector left shift permutation with zero init.  */
    6595                 :            :   scan_store_kind_lshift_zero,
    6596                 :            : 
    6597                 :            :   /* Whole vector left shift permutation and VEC_COND_EXPR.  */
    6598                 :            :   scan_store_kind_lshift_cond
    6599                 :            : };
    6600                 :            : 
    6601                 :            : /* Function check_scan_store.
    6602                 :            : 
    6603                 :            :    Verify if we can perform the needed permutations or whole vector shifts.
    6604                 :            :    Return -1 on failure, otherwise exact log2 of vectype's nunits.
    6605                 :            :    USE_WHOLE_VECTOR is a vector of enum scan_store_kind which operation
    6606                 :            :    to do at each step.  */
    6607                 :            : 
    6608                 :            : static int
    6609                 :       1056 : scan_store_can_perm_p (tree vectype, tree init,
    6610                 :            :                        vec<enum scan_store_kind> *use_whole_vector = NULL)
    6611                 :            : {
    6612                 :       1056 :   enum machine_mode vec_mode = TYPE_MODE (vectype);
    6613                 :       1056 :   unsigned HOST_WIDE_INT nunits;
    6614                 :       1056 :   if (!TYPE_VECTOR_SUBPARTS (vectype).is_constant (&nunits))
    6615                 :            :     return -1;
    6616                 :       1056 :   int units_log2 = exact_log2 (nunits);
    6617                 :       1056 :   if (units_log2 <= 0)
    6618                 :            :     return -1;
    6619                 :            : 
    6620                 :            :   int i;
    6621                 :            :   enum scan_store_kind whole_vector_shift_kind = scan_store_kind_perm;
    6622                 :       4912 :   for (i = 0; i <= units_log2; ++i)
    6623                 :            :     {
    6624                 :       3856 :       unsigned HOST_WIDE_INT j, k;
    6625                 :       3856 :       enum scan_store_kind kind = scan_store_kind_perm;
    6626                 :       7712 :       vec_perm_builder sel (nunits, nunits, 1);
    6627                 :       3856 :       sel.quick_grow (nunits);
    6628                 :       3856 :       if (i == units_log2)
    6629                 :            :         {
    6630                 :       9888 :           for (j = 0; j < nunits; ++j)
    6631                 :       8832 :             sel[j] = nunits - 1;
    6632                 :            :         }
    6633                 :            :       else
    6634                 :            :         {
    6635                 :      10576 :           for (j = 0; j < (HOST_WIDE_INT_1U << i); ++j)
    6636                 :       7776 :             sel[j] = j;
    6637                 :      26640 :           for (k = 0; j < nunits; ++j, ++k)
    6638                 :      23840 :             sel[j] = nunits + k;
    6639                 :            :         }
    6640                 :       7712 :       vec_perm_indices indices (sel, i == units_log2 ? 1 : 2, nunits);
    6641                 :       3856 :       if (!can_vec_perm_const_p (vec_mode, indices))
    6642                 :            :         {
    6643                 :        160 :           if (i == units_log2)
    6644                 :          0 :             return -1;
    6645                 :            : 
    6646                 :        160 :           if (whole_vector_shift_kind == scan_store_kind_perm)
    6647                 :            :             {
    6648                 :        112 :               if (optab_handler (vec_shl_optab, vec_mode) == CODE_FOR_nothing)
    6649                 :            :                 return -1;
    6650                 :        112 :               whole_vector_shift_kind = scan_store_kind_lshift_zero;
    6651                 :            :               /* Whole vector shifts shift in zeros, so if init is all zero
    6652                 :            :                  constant, there is no need to do anything further.  */
    6653                 :        112 :               if ((TREE_CODE (init) != INTEGER_CST
    6654                 :         32 :                    && TREE_CODE (init) != REAL_CST)
    6655                 :        144 :                   || !initializer_zerop (init))
    6656                 :            :                 {
    6657                 :         32 :                   tree masktype = truth_type_for (vectype);
    6658                 :         32 :                   if (!expand_vec_cond_expr_p (vectype, masktype, VECTOR_CST))
    6659                 :            :                     return -1;
    6660                 :            :                   whole_vector_shift_kind = scan_store_kind_lshift_cond;
    6661                 :            :                 }
    6662                 :            :             }
    6663                 :        160 :           kind = whole_vector_shift_kind;
    6664                 :            :         }
    6665                 :       3856 :       if (use_whole_vector)
    6666                 :            :         {
    6667                 :       1928 :           if (kind != scan_store_kind_perm && use_whole_vector->is_empty ())
    6668                 :         56 :             use_whole_vector->safe_grow_cleared (i);
    6669                 :       1928 :           if (kind != scan_store_kind_perm || !use_whole_vector->is_empty ())
    6670                 :        192 :             use_whole_vector->safe_push (kind);
    6671                 :            :         }
    6672                 :            :     }
    6673                 :            : 
    6674                 :            :   return units_log2;
    6675                 :            : }
    6676                 :            : 
    6677                 :            : 
    6678                 :            : /* Function check_scan_store.
    6679                 :            : 
    6680                 :            :    Check magic stores for #pragma omp scan {in,ex}clusive reductions.  */
    6681                 :            : 
    6682                 :            : static bool
    6683                 :        964 : check_scan_store (vec_info *vinfo, stmt_vec_info stmt_info, tree vectype,
    6684                 :            :                   enum vect_def_type rhs_dt, bool slp, tree mask,
    6685                 :            :                   vect_memory_access_type memory_access_type)
    6686                 :            : {
    6687                 :        964 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    6688                 :        964 :   dr_vec_info *dr_info = STMT_VINFO_DR_INFO (stmt_info);
    6689                 :        964 :   tree ref_type;
    6690                 :            : 
    6691                 :        964 :   gcc_assert (STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) > 1);
    6692                 :        964 :   if (slp
    6693                 :        964 :       || mask
    6694                 :        964 :       || memory_access_type != VMAT_CONTIGUOUS
    6695                 :        964 :       || TREE_CODE (DR_BASE_ADDRESS (dr_info->dr)) != ADDR_EXPR
    6696                 :        964 :       || !VAR_P (TREE_OPERAND (DR_BASE_ADDRESS (dr_info->dr), 0))
    6697                 :        964 :       || loop_vinfo == NULL
    6698                 :        964 :       || LOOP_VINFO_FULLY_MASKED_P (loop_vinfo)
    6699                 :        964 :       || STMT_VINFO_GROUPED_ACCESS (stmt_info)
    6700                 :        964 :       || !integer_zerop (get_dr_vinfo_offset (vinfo, dr_info))
    6701                 :        964 :       || !integer_zerop (DR_INIT (dr_info->dr))
    6702                 :        964 :       || !(ref_type = reference_alias_ptr_type (DR_REF (dr_info->dr)))
    6703                 :       1928 :       || !alias_sets_conflict_p (get_alias_set (vectype),
    6704                 :        964 :                                  get_alias_set (TREE_TYPE (ref_type))))
    6705                 :            :     {
    6706                 :          0 :       if (dump_enabled_p ())
    6707                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6708                 :            :                          "unsupported OpenMP scan store.\n");
    6709                 :          0 :       return false;
    6710                 :            :     }
    6711                 :            : 
    6712                 :            :   /* We need to pattern match code built by OpenMP lowering and simplified
    6713                 :            :      by following optimizations into something we can handle.
    6714                 :            :      #pragma omp simd reduction(inscan,+:r)
    6715                 :            :      for (...)
    6716                 :            :        {
    6717                 :            :          r += something ();
    6718                 :            :          #pragma omp scan inclusive (r)
    6719                 :            :          use (r);
    6720                 :            :        }
    6721                 :            :      shall have body with:
    6722                 :            :        // Initialization for input phase, store the reduction initializer:
    6723                 :            :        _20 = .GOMP_SIMD_LANE (simduid.3_14(D), 0);
    6724                 :            :        _21 = .GOMP_SIMD_LANE (simduid.3_14(D), 1);
    6725                 :            :        D.2042[_21] = 0;
    6726                 :            :        // Actual input phase:
    6727                 :            :        ...
    6728                 :            :        r.0_5 = D.2042[_20];
    6729                 :            :        _6 = _4 + r.0_5;
    6730                 :            :        D.2042[_20] = _6;
    6731                 :            :        // Initialization for scan phase:
    6732                 :            :        _25 = .GOMP_SIMD_LANE (simduid.3_14(D), 2);
    6733                 :            :        _26 = D.2043[_25];
    6734                 :            :        _27 = D.2042[_25];
    6735                 :            :        _28 = _26 + _27;
    6736                 :            :        D.2043[_25] = _28;
    6737                 :            :        D.2042[_25] = _28;
    6738                 :            :        // Actual scan phase:
    6739                 :            :        ...
    6740                 :            :        r.1_8 = D.2042[_20];
    6741                 :            :        ...
    6742                 :            :      The "omp simd array" variable D.2042 holds the privatized copy used
    6743                 :            :      inside of the loop and D.2043 is another one that holds copies of
    6744                 :            :      the current original list item.  The separate GOMP_SIMD_LANE ifn
    6745                 :            :      kinds are there in order to allow optimizing the initializer store
    6746                 :            :      and combiner sequence, e.g. if it is originally some C++ish user
    6747                 :            :      defined reduction, but allow the vectorizer to pattern recognize it
    6748                 :            :      and turn into the appropriate vectorized scan.
    6749                 :            : 
    6750                 :            :      For exclusive scan, this is slightly different:
    6751                 :            :      #pragma omp simd reduction(inscan,+:r)
    6752                 :            :      for (...)
    6753                 :            :        {
    6754                 :            :          use (r);
    6755                 :            :          #pragma omp scan exclusive (r)
    6756                 :            :          r += something ();
    6757                 :            :        }
    6758                 :            :      shall have body with:
    6759                 :            :        // Initialization for input phase, store the reduction initializer:
    6760                 :            :        _20 = .GOMP_SIMD_LANE (simduid.3_14(D), 0);
    6761                 :            :        _21 = .GOMP_SIMD_LANE (simduid.3_14(D), 1);
    6762                 :            :        D.2042[_21] = 0;
    6763                 :            :        // Actual input phase:
    6764                 :            :        ...
    6765                 :            :        r.0_5 = D.2042[_20];
    6766                 :            :        _6 = _4 + r.0_5;
    6767                 :            :        D.2042[_20] = _6;
    6768                 :            :        // Initialization for scan phase:
    6769                 :            :        _25 = .GOMP_SIMD_LANE (simduid.3_14(D), 3);
    6770                 :            :        _26 = D.2043[_25];
    6771                 :            :        D.2044[_25] = _26;
    6772                 :            :        _27 = D.2042[_25];
    6773                 :            :        _28 = _26 + _27;
    6774                 :            :        D.2043[_25] = _28;
    6775                 :            :        // Actual scan phase:
    6776                 :            :        ...
    6777                 :            :        r.1_8 = D.2044[_20];
    6778                 :            :        ...  */
    6779                 :            : 
    6780                 :        964 :   if (STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) == 2)
    6781                 :            :     {
    6782                 :            :       /* Match the D.2042[_21] = 0; store above.  Just require that
    6783                 :            :          it is a constant or external definition store.  */
    6784                 :        436 :       if (rhs_dt != vect_constant_def && rhs_dt != vect_external_def)
    6785                 :            :         {
    6786                 :          0 :          fail_init:
    6787                 :          0 :           if (dump_enabled_p ())
    6788                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6789                 :            :                              "unsupported OpenMP scan initializer store.\n");
    6790                 :          0 :           return false;
    6791                 :            :         }
    6792                 :            : 
    6793                 :        436 :       if (! loop_vinfo->scan_map)
    6794                 :        348 :         loop_vinfo->scan_map = new hash_map<tree, tree>;
    6795                 :        436 :       tree var = TREE_OPERAND (DR_BASE_ADDRESS (dr_info->dr), 0);
    6796                 :        436 :       tree &cached = loop_vinfo->scan_map->get_or_insert (var);
    6797                 :        436 :       if (cached)
    6798                 :          0 :         goto fail_init;
    6799                 :        436 :       cached = gimple_assign_rhs1 (STMT_VINFO_STMT (stmt_info));
    6800                 :            : 
    6801                 :            :       /* These stores can be vectorized normally.  */
    6802                 :        436 :       return true;
    6803                 :            :     }
    6804                 :            : 
    6805                 :        528 :   if (rhs_dt != vect_internal_def)
    6806                 :            :     {
    6807                 :          0 :      fail:
    6808                 :          0 :       if (dump_enabled_p ())
    6809                 :          0 :         dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    6810                 :            :                          "unsupported OpenMP scan combiner pattern.\n");
    6811                 :          0 :       return false;
    6812                 :            :     }
    6813                 :            : 
    6814                 :        528 :   gimple *stmt = STMT_VINFO_STMT (stmt_info);
    6815                 :        528 :   tree rhs = gimple_assign_rhs1 (stmt);
    6816                 :        528 :   if (TREE_CODE (rhs) != SSA_NAME)
    6817                 :          0 :     goto fail;
    6818                 :            : 
    6819                 :        528 :   gimple *other_store_stmt = NULL;
    6820                 :        528 :   tree var = TREE_OPERAND (DR_BASE_ADDRESS (dr_info->dr), 0);
    6821                 :        528 :   bool inscan_var_store
    6822                 :        528 :     = lookup_attribute ("omp simd inscan", DECL_ATTRIBUTES (var)) != NULL;
    6823                 :            : 
    6824                 :        528 :   if (STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) == 4)
    6825                 :            :     {
    6826                 :        256 :       if (!inscan_var_store)
    6827                 :            :         {
    6828                 :        128 :           use_operand_p use_p;
    6829                 :        128 :           imm_use_iterator iter;
    6830                 :        384 :           FOR_EACH_IMM_USE_FAST (use_p, iter, rhs)
    6831                 :            :             {
    6832                 :        256 :               gimple *use_stmt = USE_STMT (use_p);
    6833                 :        256 :               if (use_stmt == stmt || is_gimple_debug (use_stmt))
    6834                 :        128 :                 continue;
    6835                 :        128 :               if (gimple_bb (use_stmt) != gimple_bb (stmt)
    6836                 :        128 :                   || !is_gimple_assign (use_stmt)
    6837                 :        128 :                   || gimple_assign_rhs_class (use_stmt) != GIMPLE_BINARY_RHS
    6838                 :        128 :                   || other_store_stmt
    6839                 :        256 :                   || TREE_CODE (gimple_assign_lhs (use_stmt)) != SSA_NAME)
    6840                 :          0 :                 goto fail;
    6841                 :        128 :               other_store_stmt = use_stmt;
    6842                 :            :             }
    6843                 :        128 :           if (other_store_stmt == NULL)
    6844                 :          0 :             goto fail;
    6845                 :        128 :           rhs = gimple_assign_lhs (other_store_stmt);
    6846                 :        128 :           if (!single_imm_use (rhs, &use_p, &other_store_stmt))
    6847                 :          0 :             goto fail;
    6848                 :            :         }
    6849                 :            :     }
    6850                 :        272 :   else if (STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) == 3)
    6851                 :            :     {
    6852                 :        272 :       use_operand_p use_p;
    6853                 :        272 :       imm_use_iterator iter;
    6854                 :        816 :       FOR_EACH_IMM_USE_FAST (use_p, iter, rhs)
    6855                 :            :         {
    6856                 :        544 :           gimple *use_stmt = USE_STMT (use_p);
    6857                 :        544 :           if (use_stmt == stmt || is_gimple_debug (use_stmt))
    6858                 :        272 :             continue;
    6859                 :        272 :           if (other_store_stmt)
    6860                 :          0 :             goto fail;
    6861                 :        272 :           other_store_stmt = use_stmt;
    6862                 :            :         }
    6863                 :            :     }
    6864                 :            :   else
    6865                 :          0 :     goto fail;
    6866                 :            : 
    6867                 :        528 :   gimple *def_stmt = SSA_NAME_DEF_STMT (rhs);
    6868                 :        528 :   if (gimple_bb (def_stmt) != gimple_bb (stmt)
    6869                 :        528 :       || !is_gimple_assign (def_stmt)
    6870                 :       1056 :       || gimple_assign_rhs_class (def_stmt) != GIMPLE_BINARY_RHS)
    6871                 :          0 :     goto fail;
    6872                 :            : 
    6873                 :        528 :   enum tree_code code = gimple_assign_rhs_code (def_stmt);
    6874                 :            :   /* For pointer addition, we should use the normal plus for the vector
    6875                 :            :      operation.  */
    6876                 :        528 :   switch (code)
    6877                 :            :     {
    6878                 :          0 :     case POINTER_PLUS_EXPR:
    6879                 :          0 :       code = PLUS_EXPR;
    6880                 :          0 :       break;
    6881                 :          0 :     case MULT_HIGHPART_EXPR:
    6882                 :          0 :       goto fail;
    6883                 :            :     default:
    6884                 :            :       break;
    6885                 :            :     }
    6886                 :        528 :   if (TREE_CODE_LENGTH (code) != binary_op || !commutative_tree_code (code))
    6887                 :          0 :     goto fail;
    6888                 :            : 
    6889                 :        528 :   tree rhs1 = gimple_assign_rhs1 (def_stmt);
    6890                 :        528 :   tree rhs2 = gimple_assign_rhs2 (def_stmt);
    6891                 :        528 :   if (TREE_CODE (rhs1) != SSA_NAME || TREE_CODE (rhs2) != SSA_NAME)
    6892                 :          0 :     goto fail;
    6893                 :            : 
    6894                 :        528 :   gimple *load1_stmt = SSA_NAME_DEF_STMT (rhs1);
    6895                 :        528 :   gimple *load2_stmt = SSA_NAME_DEF_STMT (rhs2);
    6896                 :        528 :   if (gimple_bb (load1_stmt) != gimple_bb (stmt)
    6897                 :        528 :       || !gimple_assign_load_p (load1_stmt)
    6898                 :        528 :       || gimple_bb (load2_stmt) != gimple_bb (stmt)
    6899                 :       1056 :       || !gimple_assign_load_p (load2_stmt))
    6900                 :          0 :     goto fail;
    6901                 :            : 
    6902                 :        528 :   stmt_vec_info load1_stmt_info = loop_vinfo->lookup_stmt (load1_stmt);
    6903                 :        528 :   stmt_vec_info load2_stmt_info = loop_vinfo->lookup_stmt (load2_stmt);
    6904                 :        528 :   if (load1_stmt_info == NULL
    6905                 :        528 :       || load2_stmt_info == NULL
    6906                 :        528 :       || (STMT_VINFO_SIMD_LANE_ACCESS_P (load1_stmt_info)
    6907                 :        528 :           != STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info))
    6908                 :        528 :       || (STMT_VINFO_SIMD_LANE_ACCESS_P (load2_stmt_info)
    6909                 :        528 :           != STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info)))
    6910                 :          0 :     goto fail;
    6911                 :            : 
    6912                 :        528 :   if (STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) == 4 && inscan_var_store)
    6913                 :            :     {
    6914                 :        128 :       dr_vec_info *load1_dr_info = STMT_VINFO_DR_INFO (load1_stmt_info);
    6915                 :        128 :       if (TREE_CODE (DR_BASE_ADDRESS (load1_dr_info->dr)) != ADDR_EXPR
    6916                 :        128 :           || !VAR_P (TREE_OPERAND (DR_BASE_ADDRESS (load1_dr_info->dr), 0)))
    6917                 :          0 :         goto fail;
    6918                 :        128 :       tree var1 = TREE_OPERAND (DR_BASE_ADDRESS (load1_dr_info->dr), 0);
    6919                 :        128 :       tree lrhs;
    6920                 :        128 :       if (lookup_attribute ("omp simd inscan", DECL_ATTRIBUTES (var1)))
    6921                 :            :         lrhs = rhs1;
    6922                 :            :       else
    6923                 :         20 :         lrhs = rhs2;
    6924                 :        128 :       use_operand_p use_p;
    6925                 :        128 :       imm_use_iterator iter;
    6926                 :        384 :       FOR_EACH_IMM_USE_FAST (use_p, iter, lrhs)
    6927                 :            :         {
    6928                 :        256 :           gimple *use_stmt = USE_STMT (use_p);
    6929                 :        256 :           if (use_stmt == def_stmt || is_gimple_debug (use_stmt))
    6930                 :        128 :             continue;
    6931                 :        128 :           if (other_store_stmt)
    6932                 :          0 :             goto fail;
    6933                 :        128 :           other_store_stmt = use_stmt;
    6934                 :            :         }
    6935                 :            :     }
    6936                 :            : 
    6937                 :        528 :   if (other_store_stmt == NULL)
    6938                 :          0 :     goto fail;
    6939                 :        528 :   if (gimple_bb (other_store_stmt) != gimple_bb (stmt)
    6940                 :        528 :       || !gimple_store_p (other_store_stmt))
    6941                 :          0 :     goto fail;
    6942                 :            : 
    6943                 :        528 :   stmt_vec_info other_store_stmt_info
    6944                 :        528 :     = loop_vinfo->lookup_stmt (other_store_stmt);
    6945                 :        528 :   if (other_store_stmt_info == NULL
    6946                 :        528 :       || (STMT_VINFO_SIMD_LANE_ACCESS_P (other_store_stmt_info)
    6947                 :        528 :           != STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info)))
    6948                 :          0 :     goto fail;
    6949                 :            : 
    6950                 :        528 :   gimple *stmt1 = stmt;
    6951                 :        528 :   gimple *stmt2 = other_store_stmt;
    6952                 :        528 :   if (STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) == 4 && !inscan_var_store)
    6953                 :        128 :     std::swap (stmt1, stmt2);
    6954                 :        528 :   if (scan_operand_equal_p (gimple_assign_lhs (stmt1),
    6955                 :            :                             gimple_assign_rhs1 (load2_stmt)))
    6956                 :            :     {
    6957                 :        176 :       std::swap (rhs1, rhs2);
    6958                 :        176 :       std::swap (load1_stmt, load2_stmt);
    6959                 :        176 :       std::swap (load1_stmt_info, load2_stmt_info);
    6960                 :            :     }
    6961                 :        528 :   if (!scan_operand_equal_p (gimple_assign_lhs (stmt1),
    6962                 :            :                              gimple_assign_rhs1 (load1_stmt)))
    6963                 :          0 :     goto fail;
    6964                 :            : 
    6965                 :        528 :   tree var3 = NULL_TREE;
    6966                 :        528 :   if (STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) == 3
    6967                 :        528 :       && !scan_operand_equal_p (gimple_assign_lhs (stmt2),
    6968                 :            :                                 gimple_assign_rhs1 (load2_stmt)))
    6969                 :          0 :     goto fail;
    6970                 :        528 :   else if (STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) == 4)
    6971                 :            :     {
    6972                 :        256 :       dr_vec_info *load2_dr_info = STMT_VINFO_DR_INFO (load2_stmt_info);
    6973                 :        256 :       if (TREE_CODE (DR_BASE_ADDRESS (load2_dr_info->dr)) != ADDR_EXPR
    6974                 :        256 :           || !VAR_P (TREE_OPERAND (DR_BASE_ADDRESS (load2_dr_info->dr), 0)))
    6975                 :          0 :         goto fail;
    6976                 :        256 :       var3 = TREE_OPERAND (DR_BASE_ADDRESS (load2_dr_info->dr), 0);
    6977                 :        256 :       if (!lookup_attribute ("omp simd array", DECL_ATTRIBUTES (var3))
    6978                 :        256 :           || lookup_attribute ("omp simd inscan", DECL_ATTRIBUTES (var3))
    6979                 :        512 :           || lookup_attribute ("omp simd inscan exclusive",
    6980                 :        256 :                                DECL_ATTRIBUTES (var3)))
    6981                 :          0 :         goto fail;
    6982                 :            :     }
    6983                 :            : 
    6984                 :        528 :   dr_vec_info *other_dr_info = STMT_VINFO_DR_INFO (other_store_stmt_info);
    6985                 :        528 :   if (TREE_CODE (DR_BASE_ADDRESS (other_dr_info->dr)) != ADDR_EXPR
    6986                 :        528 :       || !VAR_P (TREE_OPERAND (DR_BASE_ADDRESS (other_dr_info->dr), 0)))
    6987                 :          0 :     goto fail;
    6988                 :            : 
    6989                 :        528 :   tree var1 = TREE_OPERAND (DR_BASE_ADDRESS (dr_info->dr), 0);
    6990                 :        528 :   tree var2 = TREE_OPERAND (DR_BASE_ADDRESS (other_dr_info->dr), 0);
    6991                 :        528 :   if (!lookup_attribute ("omp simd array", DECL_ATTRIBUTES (var1))
    6992                 :        528 :       || !lookup_attribute ("omp simd array", DECL_ATTRIBUTES (var2))
    6993                 :       1056 :       || (!lookup_attribute ("omp simd inscan", DECL_ATTRIBUTES (var1)))
    6994                 :        528 :          == (!lookup_attribute ("omp simd inscan", DECL_ATTRIBUTES (var2))))
    6995                 :          0 :     goto fail;
    6996                 :            : 
    6997                 :        528 :   if (lookup_attribute ("omp simd inscan", DECL_ATTRIBUTES (var1)))
    6998                 :        264 :     std::swap (var1, var2);
    6999                 :            : 
    7000                 :        528 :   if (STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) == 4)
    7001                 :            :     {
    7002                 :        256 :       if (!lookup_attribute ("omp simd inscan exclusive",
    7003                 :        256 :                              DECL_ATTRIBUTES (var1)))
    7004                 :          0 :         goto fail;
    7005                 :        256 :       var1 = var3;
    7006                 :            :     }
    7007                 :            : 
    7008                 :        528 :   if (loop_vinfo->scan_map == NULL)
    7009                 :          0 :     goto fail;
    7010                 :        528 :   tree *init = loop_vinfo->scan_map->get (var1);
    7011                 :        528 :   if (init == NULL)
    7012                 :          0 :     goto fail;
    7013                 :            : 
    7014                 :            :   /* The IL is as expected, now check if we can actually vectorize it.
    7015                 :            :      Inclusive scan:
    7016                 :            :        _26 = D.2043[_25];
    7017                 :            :        _27 = D.2042[_25];
    7018                 :            :        _28 = _26 + _27;
    7019                 :            :        D.2043[_25] = _28;
    7020                 :            :        D.2042[_25] = _28;
    7021                 :            :      should be vectorized as (where _40 is the vectorized rhs
    7022                 :            :      from the D.2042[_21] = 0; store):
    7023                 :            :        _30 = MEM <vector(8) int> [(int *)&D.2043];
    7024                 :            :        _31 = MEM <vector(8) int> [(int *)&D.2042];
    7025                 :            :        _32 = VEC_PERM_EXPR <_40, _31, { 0, 8, 9, 10, 11, 12, 13, 14 }>;
    7026                 :            :        _33 = _31 + _32;
    7027                 :            :        // _33 = { _31[0], _31[0]+_31[1], _31[1]+_31[2], ..., _31[6]+_31[7] };
    7028                 :            :        _34 = VEC_PERM_EXPR <_40, _33, { 0, 1, 8, 9, 10, 11, 12, 13 }>;
    7029                 :            :        _35 = _33 + _34;
    7030                 :            :        // _35 = { _31[0], _31[0]+_31[1], _31[0]+.._31[2], _31[0]+.._31[3],
    7031                 :            :        //         _31[1]+.._31[4], ... _31[4]+.._31[7] };
    7032                 :            :        _36 = VEC_PERM_EXPR <_40, _35, { 0, 1, 2, 3, 8, 9, 10, 11 }>;
    7033                 :            :        _37 = _35 + _36;
    7034                 :            :        // _37 = { _31[0], _31[0]+_31[1], _31[0]+.._31[2], _31[0]+.._31[3],
    7035                 :            :        //         _31[0]+.._31[4], ... _31[0]+.._31[7] };
    7036                 :            :        _38 = _30 + _37;
    7037                 :            :        _39 = VEC_PERM_EXPR <_38, _38, { 7, 7, 7, 7, 7, 7, 7, 7 }>;
    7038                 :            :        MEM <vector(8) int> [(int *)&D.2043] = _39;
    7039                 :            :        MEM <vector(8) int> [(int *)&D.2042] = _38;
    7040                 :            :      Exclusive scan:
    7041                 :            :        _26 = D.2043[_25];
    7042                 :            :        D.2044[_25] = _26;
    7043                 :            :        _27 = D.2042[_25];
    7044                 :            :        _28 = _26 + _27;
    7045                 :            :        D.2043[_25] = _28;
    7046                 :            :      should be vectorized as (where _40 is the vectorized rhs
    7047                 :            :      from the D.2042[_21] = 0; store):
    7048                 :            :        _30 = MEM <vector(8) int> [(int *)&D.2043];
    7049                 :            :        _31 = MEM <vector(8) int> [(int *)&D.2042];
    7050                 :            :        _32 = VEC_PERM_EXPR <_40, _31, { 0, 8, 9, 10, 11, 12, 13, 14 }>;
    7051                 :            :        _33 = VEC_PERM_EXPR <_40, _32, { 0, 8, 9, 10, 11, 12, 13, 14 }>;
    7052                 :            :        _34 = _32 + _33;
    7053                 :            :        // _34 = { 0, _31[0], _31[0]+_31[1], _31[1]+_31[2], _31[2]+_31[3],
    7054                 :            :        //         _31[3]+_31[4], ... _31[5]+.._31[6] };
    7055                 :            :        _35 = VEC_PERM_EXPR <_40, _34, { 0, 1, 8, 9, 10, 11, 12, 13 }>;
    7056                 :            :        _36 = _34 + _35;
    7057                 :            :        // _36 = { 0, _31[0], _31[0]+_31[1], _31[0]+.._31[2], _31[0]+.._31[3],
    7058                 :            :        //         _31[1]+.._31[4], ... _31[3]+.._31[6] };
    7059                 :            :        _37 = VEC_PERM_EXPR <_40, _36, { 0, 1, 2, 3, 8, 9, 10, 11 }>;
    7060                 :            :        _38 = _36 + _37;
    7061                 :            :        // _38 = { 0, _31[0], _31[0]+_31[1], _31[0]+.._31[2], _31[0]+.._31[3],
    7062                 :            :        //         _31[0]+.._31[4], ... _31[0]+.._31[6] };
    7063                 :            :        _39 = _30 + _38;
    7064                 :            :        _50 = _31 + _39;
    7065                 :            :        _51 = VEC_PERM_EXPR <_50, _50, { 7, 7, 7, 7, 7, 7, 7, 7 }>;
    7066                 :            :        MEM <vector(8) int> [(int *)&D.2044] = _39;
    7067                 :            :        MEM <vector(8) int> [(int *)&D.2042] = _51;  */
    7068                 :        528 :   enum machine_mode vec_mode = TYPE_MODE (vectype);
    7069                 :        528 :   optab optab = optab_for_tree_code (code, vectype, optab_default);
    7070                 :        528 :   if (!optab || optab_handler (optab, vec_mode) == CODE_FOR_nothing)
    7071                 :          0 :     goto fail;
    7072                 :            : 
    7073                 :        528 :   int units_log2 = scan_store_can_perm_p (vectype, *init);
    7074                 :        528 :   if (units_log2 == -1)
    7075                 :          0 :     goto fail;
    7076                 :            : 
    7077                 :            :   return true;
    7078                 :            : }
    7079                 :            : 
    7080                 :            : 
    7081                 :            : /* Function vectorizable_scan_store.
    7082                 :            : 
    7083                 :            :    Helper of vectorizable_score, arguments like on vectorizable_store.
    7084                 :            :    Handle only the transformation, checking is done in check_scan_store.  */
    7085                 :            : 
    7086                 :            : static bool
    7087                 :        528 : vectorizable_scan_store (vec_info *vinfo,
    7088                 :            :                          stmt_vec_info stmt_info, gimple_stmt_iterator *gsi,
    7089                 :            :                          stmt_vec_info *vec_stmt, int ncopies)
    7090                 :            : {
    7091                 :        528 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    7092                 :        528 :   dr_vec_info *dr_info = STMT_VINFO_DR_INFO (stmt_info);
    7093                 :        528 :   tree ref_type = reference_alias_ptr_type (DR_REF (dr_info->dr));
    7094                 :        528 :   tree vectype = STMT_VINFO_VECTYPE (stmt_info);
    7095                 :            : 
    7096                 :        528 :   if (dump_enabled_p ())
    7097                 :        528 :     dump_printf_loc (MSG_NOTE, vect_location,
    7098                 :            :                      "transform scan store. ncopies = %d\n", ncopies);
    7099                 :            : 
    7100                 :        528 :   gimple *stmt = STMT_VINFO_STMT (stmt_info);
    7101                 :        528 :   tree rhs = gimple_assign_rhs1 (stmt);
    7102                 :        528 :   gcc_assert (TREE_CODE (rhs) == SSA_NAME);
    7103                 :            : 
    7104                 :        528 :   tree var = TREE_OPERAND (DR_BASE_ADDRESS (dr_info->dr), 0);
    7105                 :        528 :   bool inscan_var_store
    7106                 :        528 :     = lookup_attribute ("omp simd inscan", DECL_ATTRIBUTES (var)) != NULL;
    7107                 :            : 
    7108                 :        528 :   if (STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) == 4 && !inscan_var_store)
    7109                 :            :     {
    7110                 :        128 :       use_operand_p use_p;
    7111                 :        128 :       imm_use_iterator iter;
    7112                 :        128 :       FOR_EACH_IMM_USE_FAST (use_p, iter, rhs)
    7113                 :            :         {
    7114                 :        128 :           gimple *use_stmt = USE_STMT (use_p);
    7115                 :        128 :           if (use_stmt == stmt || is_gimple_debug (use_stmt))
    7116                 :          0 :             continue;
    7117                 :        128 :           rhs = gimple_assign_lhs (use_stmt);
    7118                 :        128 :           break;
    7119                 :            :         }
    7120                 :            :     }
    7121                 :            : 
    7122                 :        528 :   gimple *def_stmt = SSA_NAME_DEF_STMT (rhs);
    7123                 :        528 :   enum tree_code code = gimple_assign_rhs_code (def_stmt);
    7124                 :        528 :   if (code == POINTER_PLUS_EXPR)
    7125                 :          0 :     code = PLUS_EXPR;
    7126                 :        528 :   gcc_assert (TREE_CODE_LENGTH (code) == binary_op
    7127                 :            :               && commutative_tree_code (code));
    7128                 :        528 :   tree rhs1 = gimple_assign_rhs1 (def_stmt);
    7129                 :        528 :   tree rhs2 = gimple_assign_rhs2 (def_stmt);
    7130                 :        528 :   gcc_assert (TREE_CODE (rhs1) == SSA_NAME && TREE_CODE (rhs2) == SSA_NAME);
    7131                 :        528 :   gimple *load1_stmt = SSA_NAME_DEF_STMT (rhs1);
    7132                 :        528 :   gimple *load2_stmt = SSA_NAME_DEF_STMT (rhs2);
    7133                 :        528 :   stmt_vec_info load1_stmt_info = loop_vinfo->lookup_stmt (load1_stmt);
    7134                 :        528 :   stmt_vec_info load2_stmt_info = loop_vinfo->lookup_stmt (load2_stmt);
    7135                 :        528 :   dr_vec_info *load1_dr_info = STMT_VINFO_DR_INFO (load1_stmt_info);
    7136                 :        528 :   dr_vec_info *load2_dr_info = STMT_VINFO_DR_INFO (load2_stmt_info);
    7137                 :        528 :   tree var1 = TREE_OPERAND (DR_BASE_ADDRESS (load1_dr_info->dr), 0);
    7138                 :        528 :   tree var2 = TREE_OPERAND (DR_BASE_ADDRESS (load2_dr_info->dr), 0);
    7139                 :            : 
    7140                 :        528 :   if (lookup_attribute ("omp simd inscan", DECL_ATTRIBUTES (var1)))
    7141                 :            :     {
    7142                 :        440 :       std::swap (rhs1, rhs2);
    7143                 :        440 :       std::swap (var1, var2);
    7144                 :        440 :       std::swap (load1_dr_info, load2_dr_info);
    7145                 :            :     }
    7146                 :            : 
    7147                 :        528 :   tree *init = loop_vinfo->scan_map->get (var1);
    7148                 :          0 :   gcc_assert (init);
    7149                 :            : 
    7150                 :        528 :   unsigned HOST_WIDE_INT nunits;
    7151                 :        528 :   if (!TYPE_VECTOR_SUBPARTS (vectype).is_constant (&nunits))
    7152                 :            :     gcc_unreachable ();
    7153                 :        528 :   auto_vec<enum scan_store_kind, 16> use_whole_vector;
    7154                 :        528 :   int units_log2 = scan_store_can_perm_p (vectype, *init, &use_whole_vector);
    7155                 :        528 :   gcc_assert (units_log2 > 0);
    7156                 :       1056 :   auto_vec<tree, 16> perms;
    7157                 :        528 :   perms.quick_grow (units_log2 + 1);
    7158                 :        528 :   tree zero_vec = NULL_TREE, masktype = NULL_TREE;
    7159                 :       2456 :   for (int i = 0; i <= units_log2; ++i)
    7160                 :            :     {
    7161                 :       1928 :       unsigned HOST_WIDE_INT j, k;
    7162                 :       3856 :       vec_perm_builder sel (nunits, nunits, 1);
    7163                 :       1928 :       sel.quick_grow (nunits);
    7164                 :       1928 :       if (i == units_log2)
    7165                 :       4944 :         for (j = 0; j < nunits; ++j)
    7166                 :       4416 :           sel[j] = nunits - 1;
    7167                 :            :       else
    7168                 :            :         {
    7169                 :       5288 :           for (j = 0; j < (HOST_WIDE_INT_1U << i); ++j)
    7170                 :       3888 :             sel[j] = j;
    7171                 :      13320 :           for (k = 0; j < nunits; ++j, ++k)
    7172                 :      11920 :             sel[j] = nunits + k;
    7173                 :            :         }
    7174                 :       3856 :       vec_perm_indices indices (sel, i == units_log2 ? 1 : 2, nunits);
    7175                 :       1928 :       if (!use_whole_vector.is_empty ()
    7176                 :        192 :           && use_whole_vector[i] != scan_store_kind_perm)
    7177                 :            :         {
    7178                 :         80 :           if (zero_vec == NULL_TREE)
    7179                 :         56 :             zero_vec = build_zero_cst (vectype);
    7180                 :         80 :           if (masktype == NULL_TREE
    7181                 :         80 :               && use_whole_vector[i] == scan_store_kind_lshift_cond)
    7182                 :         16 :             masktype = truth_type_for (vectype);
    7183                 :         80 :           perms[i] = vect_gen_perm_mask_any (vectype, indices);
    7184                 :            :         }
    7185                 :            :       else
    7186                 :       1848 :         perms[i] = vect_gen_perm_mask_checked (vectype, indices);
    7187                 :            :     }
    7188                 :            : 
    7189                 :        528 :   stmt_vec_info prev_stmt_info = NULL;
    7190                 :        528 :   tree vec_oprnd1 = NULL_TREE;
    7191                 :        528 :   tree vec_oprnd2 = NULL_TREE;
    7192                 :        528 :   tree vec_oprnd3 = NULL_TREE;
    7193                 :        528 :   tree dataref_ptr = DR_BASE_ADDRESS (dr_info->dr);
    7194                 :        528 :   tree dataref_offset = build_int_cst (ref_type, 0);
    7195                 :        528 :   tree bump = vect_get_data_ptr_increment (vinfo, dr_info,
    7196                 :            :                                            vectype, VMAT_CONTIGUOUS);
    7197                 :        528 :   tree ldataref_ptr = NULL_TREE;
    7198                 :        528 :   tree orig = NULL_TREE;
    7199                 :        528 :   if (STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) == 4 && !inscan_var_store)
    7200                 :        128 :     ldataref_ptr = DR_BASE_ADDRESS (load1_dr_info->dr);
    7201                 :       1280 :   for (int j = 0; j < ncopies; j++)
    7202                 :            :     {
    7203                 :        752 :       stmt_vec_info new_stmt_info;
    7204                 :        752 :       if (j == 0)
    7205                 :            :         {
    7206                 :        528 :           vec_oprnd1 = vect_get_vec_def_for_operand (vinfo, *init, stmt_info);
    7207                 :        528 :           if (ldataref_ptr == NULL)
    7208                 :        400 :             vec_oprnd2 = vect_get_vec_def_for_operand (vinfo, rhs1, stmt_info);
    7209                 :        528 :           vec_oprnd3 = vect_get_vec_def_for_operand (vinfo, rhs2, stmt_info);
    7210                 :        528 :           orig = vec_oprnd3;
    7211                 :            :         }
    7212                 :            :       else
    7213                 :            :         {
    7214                 :        224 :           vec_oprnd1 = vect_get_vec_def_for_stmt_copy (vinfo, vec_oprnd1);
    7215                 :        224 :           if (ldataref_ptr == NULL)
    7216                 :        168 :             vec_oprnd2 = vect_get_vec_def_for_stmt_copy (vinfo, vec_oprnd2);
    7217                 :        224 :           vec_oprnd3 = vect_get_vec_def_for_stmt_copy (vinfo, vec_oprnd3);
    7218                 :        224 :           if (!inscan_var_store)
    7219                 :        112 :             dataref_offset = int_const_binop (PLUS_EXPR, dataref_offset, bump);
    7220                 :            :         }
    7221                 :            : 
    7222                 :        752 :       if (ldataref_ptr)
    7223                 :            :         {
    7224                 :        184 :           vec_oprnd2 = make_ssa_name (vectype);
    7225                 :        184 :           tree data_ref = fold_build2 (MEM_REF, vectype,
    7226                 :            :                                        unshare_expr (ldataref_ptr),
    7227                 :            :                                        dataref_offset);
    7228                 :        184 :           vect_copy_ref_info (data_ref, DR_REF (load1_dr_info->dr));
    7229                 :        184 :           gimple *g = gimple_build_assign (vec_oprnd2, data_ref);
    7230                 :        184 :           new_stmt_info = vect_finish_stmt_generation (vinfo, stmt_info, g, gsi);
    7231                 :        184 :           if (prev_stmt_info == NULL)
    7232                 :        128 :             STMT_VINFO_VEC_STMT (stmt_info) = *vec_stmt = new_stmt_info;
    7233                 :            :           else
    7234                 :         56 :             STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    7235                 :            :           prev_stmt_info = new_stmt_info;
    7236                 :            :         }
    7237                 :            : 
    7238                 :        752 :       tree v = vec_oprnd2;
    7239                 :       3120 :       for (int i = 0; i < units_log2; ++i)
    7240                 :            :         {
    7241                 :       2368 :           tree new_temp = make_ssa_name (vectype);
    7242                 :       2368 :           gimple *g = gimple_build_assign (new_temp, VEC_PERM_EXPR,
    7243                 :            :                                            (zero_vec
    7244                 :        252 :                                             && (use_whole_vector[i]
    7245                 :        252 :                                                 != scan_store_kind_perm))
    7246                 :            :                                            ? zero_vec : vec_oprnd1, v,
    7247                 :       2368 :                                            perms[i]);
    7248                 :       2368 :           new_stmt_info = vect_finish_stmt_generation (vinfo, stmt_info, g, gsi);
    7249                 :       2368 :           if (prev_stmt_info == NULL)
    7250                 :        400 :             STMT_VINFO_VEC_STMT (stmt_info) = *vec_stmt = new_stmt_info;
    7251                 :            :           else
    7252                 :       1968 :             STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    7253                 :       2368 :           prev_stmt_info = new_stmt_info;
    7254                 :            : 
    7255                 :       2368 :           if (zero_vec && use_whole_vector[i] == scan_store_kind_lshift_cond)
    7256                 :            :             {
    7257                 :            :               /* Whole vector shift shifted in zero bits, but if *init
    7258                 :            :                  is not initializer_zerop, we need to replace those elements
    7259                 :            :                  with elements from vec_oprnd1.  */
    7260                 :         24 :               tree_vector_builder vb (masktype, nunits, 1);
    7261                 :        120 :               for (unsigned HOST_WIDE_INT k = 0; k < nunits; ++k)
    7262                 :        168 :                 vb.quick_push (k < (HOST_WIDE_INT_1U << i)
    7263                 :            :                                ? boolean_false_node : boolean_true_node);
    7264                 :            : 
    7265                 :         24 :               tree new_temp2 = make_ssa_name (vectype);
    7266                 :         24 :               g = gimple_build_assign (new_temp2, VEC_COND_EXPR, vb.build (),
    7267                 :            :                                        new_temp, vec_oprnd1);
    7268                 :         24 :               new_stmt_info = vect_finish_stmt_generation (vinfo, stmt_info,
    7269                 :            :                                                            g, gsi);
    7270                 :         24 :               STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    7271                 :         24 :               prev_stmt_info = new_stmt_info;
    7272                 :         24 :               new_temp = new_temp2;
    7273                 :            :             }
    7274                 :            : 
    7275                 :            :           /* For exclusive scan, perform the perms[i] permutation once
    7276                 :            :              more.  */
    7277                 :       2368 :           if (i == 0
    7278                 :       1120 :               && STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) == 4
    7279                 :        736 :               && v == vec_oprnd2)
    7280                 :            :             {
    7281                 :        368 :               v = new_temp;
    7282                 :        368 :               --i;
    7283                 :        368 :               continue;
    7284                 :            :             }
    7285                 :            : 
    7286                 :       2000 :           tree new_temp2 = make_ssa_name (vectype);
    7287                 :       2000 :           g = gimple_build_assign (new_temp2, code, v, new_temp);
    7288                 :       2000 :           new_stmt_info = vect_finish_stmt_generation (vinfo, stmt_info, g, gsi);
    7289                 :       2000 :           STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    7290                 :       2000 :           prev_stmt_info = new_stmt_info;
    7291                 :            : 
    7292                 :       2000 :           v = new_temp2;
    7293                 :            :         }
    7294                 :            : 
    7295                 :        752 :       tree new_temp = make_ssa_name (vectype);
    7296                 :        752 :       gimple *g = gimple_build_assign (new_temp, code, orig, v);
    7297                 :        752 :       new_stmt_info = vect_finish_stmt_generation (vinfo, stmt_info, g, gsi);
    7298                 :        752 :       STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    7299                 :        752 :       prev_stmt_info = new_stmt_info;
    7300                 :            : 
    7301                 :        752 :       tree last_perm_arg = new_temp;
    7302                 :            :       /* For exclusive scan, new_temp computed above is the exclusive scan
    7303                 :            :          prefix sum.  Turn it into inclusive prefix sum for the broadcast
    7304                 :            :          of the last element into orig.  */
    7305                 :        752 :       if (STMT_VINFO_SIMD_LANE_ACCESS_P (stmt_info) == 4)
    7306                 :            :         {
    7307                 :        368 :           last_perm_arg = make_ssa_name (vectype);
    7308                 :        368 :           g = gimple_build_assign (last_perm_arg, code, new_temp, vec_oprnd2);
    7309                 :        368 :           new_stmt_info = vect_finish_stmt_generation (vinfo, stmt_info, g, gsi);
    7310                 :        368 :           STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    7311                 :        368 :           prev_stmt_info = new_stmt_info;
    7312                 :            :         }
    7313                 :            : 
    7314                 :        752 :       orig = make_ssa_name (vectype);
    7315                 :       2256 :       g = gimple_build_assign (orig, VEC_PERM_EXPR, last_perm_arg,
    7316                 :        752 :                                last_perm_arg, perms[units_log2]);
    7317                 :        752 :       new_stmt_info = vect_finish_stmt_generation (vinfo, stmt_info, g, gsi);
    7318                 :        752 :       STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    7319                 :        752 :       prev_stmt_info = new_stmt_info;
    7320                 :            : 
    7321                 :        752 :       if (!inscan_var_store)
    7322                 :            :         {
    7323                 :        376 :           tree data_ref = fold_build2 (MEM_REF, vectype,
    7324                 :            :                                        unshare_expr (dataref_ptr),
    7325                 :            :                                        dataref_offset);
    7326                 :        376 :           vect_copy_ref_info (data_ref, DR_REF (dr_info->dr));
    7327                 :        376 :           g = gimple_build_assign (data_ref, new_temp);
    7328                 :        376 :           new_stmt_info = vect_finish_stmt_generation (vinfo, stmt_info, g, gsi);
    7329                 :        376 :           STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    7330                 :        376 :           prev_stmt_info = new_stmt_info;
    7331                 :            :         }
    7332                 :            :     }
    7333                 :            : 
    7334                 :        528 :   if (inscan_var_store)
    7335                 :        640 :     for (int j = 0; j < ncopies; j++)
    7336                 :            :       {
    7337                 :        376 :         if (j != 0)
    7338                 :        112 :           dataref_offset = int_const_binop (PLUS_EXPR, dataref_offset, bump);
    7339                 :            : 
    7340                 :        376 :         tree data_ref = fold_build2 (MEM_REF, vectype,
    7341                 :            :                                      unshare_expr (dataref_ptr),
    7342                 :            :                                      dataref_offset);
    7343                 :        376 :         vect_copy_ref_info (data_ref, DR_REF (dr_info->dr));
    7344                 :        376 :         gimple *g = gimple_build_assign (data_ref, orig);
    7345                 :        376 :         stmt_vec_info new_stmt_info
    7346                 :        376 :           = vect_finish_stmt_generation (vinfo, stmt_info, g, gsi);
    7347                 :        376 :         STMT_VINFO_RELATED_STMT (prev_stmt_info) = new_stmt_info;
    7348                 :        376 :         prev_stmt_info = new_stmt_info;
    7349                 :            :       }
    7350                 :        528 :   return true;
    7351                 :            : }
    7352                 :            : 
    7353                 :            : 
    7354                 :            : /* Function vectorizable_store.
    7355                 :            : 
    7356                 :            :    Check if STMT_INFO defines a non scalar data-ref (array/pointer/structure)
    7357                 :            :    that can be vectorized.
    7358                 :            :    If VEC_STMT is also passed, vectorize STMT_INFO: create a vectorized
    7359                 :            :    stmt to replace it, put it in VEC_STMT, and insert it at GSI.
    7360                 :            :    Return true if STMT_INFO is vectorizable in this way.  */
    7361                 :            : 
    7362                 :            : static bool
    7363                 :     191695 : vectorizable_store (vec_info *vinfo,
    7364                 :            :                     stmt_vec_info stmt_info, gimple_stmt_iterator *gsi,
    7365                 :            :                     stmt_vec_info *vec_stmt, slp_tree slp_node,
    7366                 :            :                     stmt_vector_for_cost *cost_vec)
    7367                 :            : {
    7368                 :     191695 :   tree data_ref;
    7369                 :     191695 :   tree op;
    7370                 :     191695 :   tree vec_oprnd = NULL_TREE;
    7371                 :     191695 :   tree elem_type;
    7372                 :     191695 :   loop_vec_info loop_vinfo = dyn_cast <loop_vec_info> (vinfo);
    7373                 :     191695 :   class loop *loop = NULL;
    7374                 :     191695 :   machine_mode vec_mode;
    7375                 :     191695 :   tree dummy;
    7376                 :     191695 :   enum dr_alignment_support alignment_support_scheme;
    7377                 :     191695 :   enum vect_def_type rhs_dt = vect_unknown_def_type;
    7378                 :     191695 :   enum vect_def_type mask_dt = vect_unknown_def_type;
    7379                 :     191695 :   stmt_vec_info prev_stmt_info = NULL;
    7380                 :     191695 :   tree dataref_ptr = NULL_TREE;
    7381                 :     191695 :   tree dataref_offset = NULL_TREE;
    7382                 :     191695 :   gimple *ptr_incr = NULL;
    7383                 :     191695 :   int ncopies;
    7384                 :     191695 :   int j;
    7385                 :     191695 :   stmt_vec_info first_stmt_info;
    7386                 :     191695 :   bool grouped_store;
    7387                 :     191695 :   unsigned int group_size, i;
    7388                 :     191695 :   vec<tree> oprnds = vNULL;
    7389                 :     191695 :   vec<tree> result_chain = vNULL;
    7390                 :     191695 :   tree offset = NULL_TREE;
    7391                 :     191695 :   vec<tree> vec_oprnds = vNULL;
    7392                 :     191695 :   bool slp = (slp_node != NULL);
    7393                 :     191695 :   unsigned int vec_num;
    7394                 :     191695 :   bb_vec_info bb_vinfo = dyn_cast <bb_vec_info> (vinfo);
    7395                 :     191695 :   tree aggr_type;
    7396                 :     191695 :   gather_scatter_info gs_info;
    7397                 :     191695 :   poly_uint64 vf;
    7398                 :     191695 :   vec_load_store_type vls_type;
    7399                 :     191695 :   tree ref_type;
    7400                 :            : 
    7401                 :     191695 :   if (!STMT_VINFO_RELEVANT_P (stmt_info) && !bb_vinfo)
    7402                 :            :     return false;
    7403                 :            : 
    7404                 :     191695 :   if (STMT_VINFO_DEF_TYPE (stmt_info) != vect_internal_def
    7405                 :       2387 :       && ! vec_stmt)
    7406                 :            :     return false;
    7407                 :            : 
    7408                 :            :   /* Is vectorizable store? */
    7409                 :            : 
    7410                 :     189308 :   tree mask = NULL_TREE, mask_vectype = NULL_TREE;
    7411                 :     189308 :   if (gassign *assign = dyn_cast <gassign *> (stmt_info->stmt))
    7412                 :            :     {
    7413                 :     188405 :       tree scalar_dest = gimple_assign_lhs (assign);
    7414                 :     188405 :       if (TREE_CODE (scalar_dest) == VIEW_CONVERT_EXPR
    7415                 :     188405 :           && is_pattern_stmt_p (stmt_info))
    7416                 :        239 :         scalar_dest = TREE_OPERAND (scalar_dest, 0);
    7417                 :     188405 :       if (TREE_CODE (scalar_dest) != ARRAY_REF
    7418                 :     188405 :           && TREE_CODE (scalar_dest) != BIT_FIELD_REF
    7419                 :     137610 :           && TREE_CODE (scalar_dest) != INDIRECT_REF
    7420                 :     137610 :           && TREE_CODE (scalar_dest) != COMPONENT_REF
    7421                 :      47534 :           && TREE_CODE (scalar_dest) != IMAGPART_EXPR
    7422                 :      47007 :           && TREE_CODE (scalar_dest) != REALPART_EXPR
    7423                 :      43560 :           && TREE_CODE (scalar_dest) != MEM_REF)
    7424                 :            :         return false;
    7425                 :            :     }
    7426                 :            :   else
    7427                 :            :     {
    7428                 :        903 :       gcall *call = dyn_cast <gcall *> (stmt_info->stmt);
    7429                 :        903 :       if (!call || !gimple_call_internal_p (call))
    7430                 :            :         return false;
    7431                 :            : 
    7432                 :        651 :       internal_fn ifn = gimple_call_internal_fn (call);
    7433                 :        651 :       if (!internal_store_fn_p (ifn))
    7434                 :            :         return false;
    7435                 :            : 
    7436                 :        642 :       if (slp_node != NULL)
    7437                 :            :         {
    7438                 :          0 :           if (dump_enabled_p ())
    7439                 :          0 :             dump_printf_loc (MSG_MISSED_OPTIMIZATION, vect_location,
    7440                 :            :                              "SLP of masked stores not supported.\n");
    7441                 :          0 :           return false;
    7442                 :            :         }
    7443                 :            : 
    7444                 :        642 :       int mask_index = internal_fn_mask_index (ifn);
    7445                 :        642 :       if (mask_index >= 0)
    7446                 :            :         {
    7447                 :        642 :           mask = gimple_call_arg (call, mask_index);
    7448                 :        642 :           if (!vect_check_scalar_mask (vinfo, stmt_info, mask, &mask_dt,
    7449                 :            :                                        &mask_vectype))
    7450                 :            :             return false;
    7451                 :            :         }
    7452                 :            :     }
    7453                 :            : 
    7454                 :     167393 :   op = vect_get_store_rhs (stmt_info);
    7455                 :            : 
    7456                 :            :   /* Cannot have hybrid store SLP -- that would mean storing to the
    7457                 :            :      same location twice.  */
    7458                 :     167393 :   gcc_assert (slp == PURE_SLP_STMT (stmt_info));
    7459                 :            :