Răsfoiți Sursa

CUDA: fix logic for V100 + GGML_CUDA_FORCE_MMQ (#12098)

Johannes Gäßler 10 luni în urmă
părinte
comite
9c42b1718c
1 a modificat fișierele cu 2 adăugiri și 2 ștergeri
  1. 2 2
      ggml/src/ggml-cuda/mmq.cuh

+ 2 - 2
ggml/src/ggml-cuda/mmq.cuh

@@ -109,9 +109,9 @@ static constexpr __device__ int get_mmq_x_max_device() {
 
 #if __CUDA_ARCH__ >= GGML_CUDA_CC_VOLTA
 #ifdef GGML_CUDA_FORCE_MMQ
-    return MMQ_DP4A_MAX_BATCH_SIZE;
-#else // GGML_CUDA_FORCE_MMQ
     return 128;
+#else // GGML_CUDA_FORCE_MMQ
+    return MMQ_DP4A_MAX_BATCH_SIZE;
 #endif // GGML_CUDA_FORCE_MMQ
 #else // __CUDA_ARCH__ >= GGML_CUDA_CC_VOLTA