Răsfoiți Sursa

CUDA: add unused vars to mmvf and mmvq (#16807)

Aman Gupta 2 luni în urmă
părinte
comite
463bbf20bf
2 a modificat fișierele cu 8 adăugiri și 0 ștergeri
  1. 4 0
      ggml/src/ggml-cuda/mmvf.cu
  2. 4 0
      ggml/src/ggml-cuda/mmvq.cu

+ 4 - 0
ggml/src/ggml-cuda/mmvf.cu

@@ -343,6 +343,10 @@ static __global__ void mul_mat_vec_f(
     }
     }
 
 
     dst[tid*stride_col_dst + row] = value;
     dst[tid*stride_col_dst + row] = value;
+
+    if constexpr (!has_fusion) {
+        GGML_UNUSED_VARS(use_gate, use_bias, use_gate_bias, glu_op, gate_x, x_bias, gate_bias, sumf_gate);
+    }
 }
 }
 
 
 template<typename T, typename type_acc, int ncols_dst, int block_size>
 template<typename T, typename type_acc, int ncols_dst, int block_size>

+ 4 - 0
ggml/src/ggml-cuda/mmvq.cu

@@ -310,6 +310,10 @@ static __global__ void mul_mat_vec_q(
             dst[j*stride_col_dst + threadIdx.x] = result;
             dst[j*stride_col_dst + threadIdx.x] = result;
         }
         }
     }
     }
+
+    if constexpr (!has_fusion) {
+        GGML_UNUSED_VARS(use_gate, use_bias, use_gate_bias, active_glu, gate_bias, x_bias, tmp_gate);
+    }
 }
 }
 
 
 static std::pair<dim3, dim3> calc_launch_params(
 static std::pair<dim3, dim3> calc_launch_params(