Преглед на файлове

make kv_f16 the default for api users (#1517)

Erik Scholz преди 2 години
родител
ревизия
5ea4339273
променени са 1 файла, в които са добавени 1 реда и са изтрити 1 реда
  1. 1 1
      llama.cpp

+ 1 - 1
llama.cpp

@@ -814,7 +814,7 @@ struct llama_context_params llama_context_default_params() {
         /*.n_ctx                       =*/ 512,
         /*.gpu_layers                  =*/ 0,
         /*.seed                        =*/ -1,
-        /*.f16_kv                      =*/ false,
+        /*.f16_kv                      =*/ true,
         /*.logits_all                  =*/ false,
         /*.vocab_only                  =*/ false,
         /*.use_mmap                    =*/ true,