Pārlūkot izejas kodu

server : send partial stop string when <EOG> is reached (#15007)

matteo 2 mēneši atpakaļ
vecāks
revīzija
8cf6b42d46
1 mainītis faili ar 1 papildinājumiem un 1 dzēšanām
  1. 1 1
      tools/server/server.cpp

+ 1 - 1
tools/server/server.cpp

@@ -2839,7 +2839,7 @@ struct server_context {
                     slot.generated_text.begin() + pos + stop_pos,
                     slot.generated_text.end());
                 pos = std::min(slot.n_sent_text, slot.generated_text.size());
-            } else if (slot.has_next_token) {
+            } else if (slot.has_next_token && !llama_vocab_is_eog(vocab, result.tok) ) {
                 stop_pos = slot.find_stopping_strings(str_test, token_str.size(), false);
                 send_text = stop_pos == std::string::npos;
             }