Ver Fonte

CUDA: use min compute capability of GPUs actually used (#2506)

Cebtenzzre há 2 anos atrás
pai
commit
4329d1acb0
1 ficheiros alterados com 2 adições e 1 exclusões
  1. 2 1
      ggml-cuda.cu

+ 2 - 1
ggml-cuda.cu

@@ -5347,7 +5347,8 @@ void ggml_cuda_mul_mat(const ggml_tensor * src0, const ggml_tensor * src1, ggml_
         } else {
         } else {
             int min_compute_capability = INT_MAX;
             int min_compute_capability = INT_MAX;
             for (int id = 0; id < g_device_count; ++id) {
             for (int id = 0; id < g_device_count; ++id) {
-                if (min_compute_capability > g_compute_capabilities[id]) {
+                if (min_compute_capability > g_compute_capabilities[id]
+                        && g_tensor_split[id] < (id + 1 < g_device_count ? g_tensor_split[id + 1] : 1.0f)) {
                     min_compute_capability = g_compute_capabilities[id];
                     min_compute_capability = g_compute_capabilities[id];
                 }
                 }
             }
             }