Ver Fonte

CUDA: mul_mat_q=true llama_context_params default (#2912)

Johannes Gäßler há 2 anos atrás
pai
commit
8afe228000
1 ficheiros alterados com 1 adições e 1 exclusões
  1. 1 1
      llama.cpp

+ 1 - 1
llama.cpp

@@ -5287,7 +5287,7 @@ struct llama_context_params llama_context_default_params() {
         /*.progress_callback           =*/ nullptr,
         /*.progress_callback           =*/ nullptr,
         /*.progress_callback_user_data =*/ nullptr,
         /*.progress_callback_user_data =*/ nullptr,
         /*.low_vram                    =*/ false,
         /*.low_vram                    =*/ false,
-        /*.mul_mat_q                   =*/ false,
+        /*.mul_mat_q                   =*/ true,
         /*.f16_kv                      =*/ true,
         /*.f16_kv                      =*/ true,
         /*.logits_all                  =*/ false,
         /*.logits_all                  =*/ false,
         /*.vocab_only                  =*/ false,
         /*.vocab_only                  =*/ false,