Răsfoiți Sursa

server : fix crash with multimodal models without BOS token (#4904)

makomk 2 ani în urmă
părinte
comite
ee8243adaa
1 a modificat fișierele cu 1 adăugiri și 1 ștergeri
  1. 1 1
      examples/server/server.cpp

+ 1 - 1
examples/server/server.cpp

@@ -1835,7 +1835,7 @@ struct llama_server_context
 
 
                     slot.cache_tokens = prompt_tokens;
                     slot.cache_tokens = prompt_tokens;
 
 
-                    if (slot.n_past == slot.num_prompt_tokens)
+                    if (slot.n_past == slot.num_prompt_tokens && slot.n_past > 0)
                     {
                     {
                         // we have to evaluate at least 1 token to generate logits.
                         // we have to evaluate at least 1 token to generate logits.
                         LOG_TEE("slot %d : we have to evaluate at least 1 token to generate logits\n", slot.id);
                         LOG_TEE("slot %d : we have to evaluate at least 1 token to generate logits\n", slot.id);