Explorar o código

llguidance : set tokenizer slices to default (#13424)

Sigbjørn Skjæret hai 8 meses
pai
achega
43dfd741a5
Modificáronse 1 ficheiros con 1 adicións e 0 borrados
  1. 1 0
      common/llguidance.cpp

+ 1 - 0
common/llguidance.cpp

@@ -189,6 +189,7 @@ static LlgTokenizer * llama_sampler_llg_new_tokenizer(const llama_vocab * vocab)
         /* .tokenize_fn                        = */ llama_sampler_llg_tokenize_fn,
         /* .tokenize_fn                        = */ llama_sampler_llg_tokenize_fn,
         /* .use_approximate_greedy_tokenize_fn = */ false,
         /* .use_approximate_greedy_tokenize_fn = */ false,
         /* .tokenize_user_data                 = */ vocab,
         /* .tokenize_user_data                 = */ vocab,
+        /* .slices                             = */ nullptr,
     };
     };
 
 
     char           error_buffer[1024];
     char           error_buffer[1024];