Просмотр исходного кода

CUDA: use min compute capability of GPUs actually used (#2506)

Cebtenzzre 2 лет назад
Родитель
Сommit
4329d1acb0
1 измененных файлов с 2 добавлено и 1 удалено
  1. 2 1
      ggml-cuda.cu

+ 2 - 1
ggml-cuda.cu

@@ -5347,7 +5347,8 @@ void ggml_cuda_mul_mat(const ggml_tensor * src0, const ggml_tensor * src1, ggml_
         } else {
             int min_compute_capability = INT_MAX;
             for (int id = 0; id < g_device_count; ++id) {
-                if (min_compute_capability > g_compute_capabilities[id]) {
+                if (min_compute_capability > g_compute_capabilities[id]
+                        && g_tensor_split[id] < (id + 1 < g_device_count ? g_tensor_split[id + 1] : 1.0f)) {
                     min_compute_capability = g_compute_capabilities[id];
                 }
             }