Procházet zdrojové kódy

llama : do not allocate KV cache for "vocab_only == true" (#682)

Fixes sanitizer CI
Stephan Walter před 2 roky
rodič
revize
81040f10aa
1 změnil soubory, kde provedl 1 přidání a 1 odebrání
  1. 1 1
      llama.cpp

+ 1 - 1
llama.cpp

@@ -1608,7 +1608,7 @@ struct llama_context * llama_init_from_file(
     }
 
     // reserve memory for context buffers
-    {
+    if (!params.vocab_only) {
         if (!kv_cache_init(ctx->model.hparams, ctx->model.kv_self, memory_type, ctx->model.hparams.n_ctx)) {
             fprintf(stderr, "%s: kv_cache_init() failed for self-attention cache\n", __func__);
             llama_free(ctx);