Просмотр исходного кода

vulkan: fix assertion when qy_needs_dequant (#12068)

Looks like a copy/paste bug from qx_needs_dequant.
Jeff Bolz 10 месяцев назад
Родитель
Сommit
a82c9e7c23
1 измененных файлов с 2 добавлено и 2 удалено
  1. 2 2
      ggml/src/ggml-vulkan/ggml-vulkan.cpp

+ 2 - 2
ggml/src/ggml-vulkan/ggml-vulkan.cpp

@@ -4192,7 +4192,7 @@ static void ggml_vk_mul_mat_q_f16(ggml_backend_vk_context * ctx, vk_context& sub
     }
     }
     if (qy_needs_dequant) {
     if (qy_needs_dequant) {
         d_Y = ctx->prealloc_y;
         d_Y = ctx->prealloc_y;
-        GGML_ASSERT(d_Y->size >= y_sz * ne02 * ne03);
+        GGML_ASSERT(d_Y->size >= y_sz * ne12 * ne13);
     } else {
     } else {
         d_Y = d_Qy;
         d_Y = d_Qy;
         y_buf_offset = qy_buf_offset;
         y_buf_offset = qy_buf_offset;
@@ -4769,7 +4769,7 @@ static void ggml_vk_mul_mat_id_q_f16(ggml_backend_vk_context * ctx, vk_context&
     }
     }
     if (qy_needs_dequant) {
     if (qy_needs_dequant) {
         d_Y = ctx->prealloc_y;
         d_Y = ctx->prealloc_y;
-        GGML_ASSERT(d_Y->size >= y_sz * ne02 * ne03);
+        GGML_ASSERT(d_Y->size >= y_sz * ne12 * ne13);
     } else {
     } else {
         d_Y = d_Qy;
         d_Y = d_Qy;
         y_buf_offset = qy_buf_offset;
         y_buf_offset = qy_buf_offset;