소스 검색

server : fix EOS token detection with disabled cache (#5938)

Georgi Gerganov 1 년 전
부모
커밋
af37fd8b30
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      examples/server/server.cpp

+ 1 - 1
examples/server/server.cpp

@@ -1123,7 +1123,7 @@ struct server_context {
             });
         }
 
-        if (!slot.cache_tokens.empty() && result.tok == llama_token_eos(model)) {
+        if (result.tok == llama_token_eos(model)) {
             slot.stopped_eos    = true;
             slot.has_next_token = false;