|
|
@@ -109,9 +109,9 @@ static constexpr __device__ int get_mmq_x_max_device() {
|
|
|
|
|
|
#if __CUDA_ARCH__ >= GGML_CUDA_CC_VOLTA
|
|
|
#ifdef GGML_CUDA_FORCE_MMQ
|
|
|
- return MMQ_DP4A_MAX_BATCH_SIZE;
|
|
|
-#else // GGML_CUDA_FORCE_MMQ
|
|
|
return 128;
|
|
|
+#else // GGML_CUDA_FORCE_MMQ
|
|
|
+ return MMQ_DP4A_MAX_BATCH_SIZE;
|
|
|
#endif // GGML_CUDA_FORCE_MMQ
|
|
|
#else // __CUDA_ARCH__ >= GGML_CUDA_CC_VOLTA
|
|
|
|