Просмотр исходного кода

server : fix passing prompt as tokens (#5955)

* server: fix passing prompt as tokens

* Update examples/server/server.cpp

---------

Co-authored-by: Georgi Gerganov <ggerganov@gmail.com>
Alexey Parfenov 1 год назад
Родитель
Сommit
0db32beaf0
1 измененных файлов с 10 добавлено и 1 удалено
  1. 10 1
      examples/server/server.cpp

+ 10 - 1
examples/server/server.cpp

@@ -852,7 +852,16 @@ struct server_context {
         // infill
         // infill
         slot.params.input_prefix = json_value(data, "input_prefix", default_params.input_prefix);
         slot.params.input_prefix = json_value(data, "input_prefix", default_params.input_prefix);
         slot.params.input_suffix = json_value(data, "input_suffix", default_params.input_suffix);
         slot.params.input_suffix = json_value(data, "input_suffix", default_params.input_suffix);
-        slot.prompt              = json_value(data, "prompt",       std::string(""));
+
+        // get prompt
+        {
+            const auto & prompt = data.find("prompt");
+            if (prompt == data.end()) {
+                slot.prompt = "";
+            } else {
+                slot.prompt = *prompt;
+            }
+        }
 
 
         // penalize user-provided tokens
         // penalize user-provided tokens
         {
         {