Explorar el Código

CUDA: fix logic for V100 + GGML_CUDA_FORCE_MMQ (#12098)

Johannes Gäßler hace 10 meses
padre
commit
9c42b1718c
Se han modificado 1 ficheros con 2 adiciones y 2 borrados
  1. 2 2
      ggml/src/ggml-cuda/mmq.cuh

+ 2 - 2
ggml/src/ggml-cuda/mmq.cuh

@@ -109,9 +109,9 @@ static constexpr __device__ int get_mmq_x_max_device() {
 
 #if __CUDA_ARCH__ >= GGML_CUDA_CC_VOLTA
 #ifdef GGML_CUDA_FORCE_MMQ
-    return MMQ_DP4A_MAX_BATCH_SIZE;
-#else // GGML_CUDA_FORCE_MMQ
     return 128;
+#else // GGML_CUDA_FORCE_MMQ
+    return MMQ_DP4A_MAX_BATCH_SIZE;
 #endif // GGML_CUDA_FORCE_MMQ
 #else // __CUDA_ARCH__ >= GGML_CUDA_CC_VOLTA