Просмотр исходного кода

CUDA: fixed row rounding for 0 tensor splits (#4594)

Johannes Gäßler 2 лет назад
Родитель
Сommit
e0a4002273
1 измененных файлов с 6 добавлено и 2 удалено
  1. 6 2
      ggml-cuda.cu

+ 6 - 2
ggml-cuda.cu

@@ -7937,12 +7937,16 @@ static void ggml_cuda_op_mul_mat(
 
             if (id != 0) {
                 row_low[id]  = ne01*g_tensor_split[id];
-                row_low[id] -= row_low[id] % rounding;
+                if (row_low[id] < ne01) {
+                    row_low[id] -= row_low[id] % rounding;
+                }
             }
 
             if (id != g_device_count - 1) {
                 row_high[id]  = ne01*g_tensor_split[id + 1];
-                row_high[id] -= row_high[id] % rounding;
+                if (row_high[id] < ne01) {
+                    row_high[id] -= row_high[id] % rounding;
+                }
             }
         }
     }