Procházet zdrojové kódy

CUDA: fix logic for V100 + GGML_CUDA_FORCE_MMQ (#12098)

Johannes Gäßler před 10 měsíci
rodič
revize
9c42b1718c
1 změnil soubory, kde provedl 2 přidání a 2 odebrání
  1. 2 2
      ggml/src/ggml-cuda/mmq.cuh

+ 2 - 2
ggml/src/ggml-cuda/mmq.cuh

@@ -109,9 +109,9 @@ static constexpr __device__ int get_mmq_x_max_device() {
 
 #if __CUDA_ARCH__ >= GGML_CUDA_CC_VOLTA
 #ifdef GGML_CUDA_FORCE_MMQ
-    return MMQ_DP4A_MAX_BATCH_SIZE;
-#else // GGML_CUDA_FORCE_MMQ
     return 128;
+#else // GGML_CUDA_FORCE_MMQ
+    return MMQ_DP4A_MAX_BATCH_SIZE;
 #endif // GGML_CUDA_FORCE_MMQ
 #else // __CUDA_ARCH__ >= GGML_CUDA_CC_VOLTA