Просмотр исходного кода

CUDA: fix race condition in MMQ stream-k fixup (#13299)

Johannes Gäßler 8 месяцев назад
Родитель
Сommit
93c4e23905
1 измененных файлов с 1 добавлено и 0 удалено
  1. 1 0
      ggml/src/ggml-cuda/mmq.cuh

+ 1 - 0
ggml/src/ggml-cuda/mmq.cuh

@@ -2958,6 +2958,7 @@ static __global__ void mul_mat_q_stream_k_fixup(
     for (int j = threadIdx.y*WARP_SIZE + threadIdx.x; j < mmq_x; j += nwarps*WARP_SIZE) {
         ids_dst_shared[j] = ids_dst[col_low + j];
     }
+    __syncthreads();
 
     const int offset_dst = it*mmq_y;
     dst += offset_dst;