Переглянути джерело

fix q4_0_8_8 format for corrupted tokens issue (#10198)

Co-authored-by: EC2 Default User <ec2-user@ip-172-31-62-167.us-west-2.compute.internal>
snadampal 1 рік тому
батько
коміт
2319126a70
1 змінених файлів з 2 додано та 0 видалено
  1. 2 0
      ggml/src/ggml-cpu.c

+ 2 - 0
ggml/src/ggml-cpu.c

@@ -409,6 +409,8 @@ static const struct ggml_type_traits_cpu type_traits_cpu[GGML_TYPE_COUNT] = {
         .gemm                     = ggml_gemm_q4_0_4x8_q8_0,
         .gemm                     = ggml_gemm_q4_0_4x8_q8_0,
     },
     },
     [GGML_TYPE_Q4_0_8_8] = {
     [GGML_TYPE_Q4_0_8_8] = {
+        .vec_dot                  = NULL,
+        .vec_dot_type             = GGML_TYPE_Q8_0,
         .nrows                    = 1,
         .nrows                    = 1,
         .ncols                    = 8,
         .ncols                    = 8,
         .gemv                     = ggml_gemv_q4_0_8x8_q8_0,
         .gemv                     = ggml_gemv_q4_0_8x8_q8_0,