Ver Fonte

fix server hangs on empty prompt (#5733)

Xuan Son Nguyen há 1 ano atrás
pai
commit
b11a93df41
1 ficheiros alterados com 4 adições e 0 exclusões
  1. 4 0
      examples/server/server.cpp

+ 4 - 0
examples/server/server.cpp

@@ -1336,6 +1336,10 @@ struct llama_server_context
                 split_multiprompt_task(task_id, task);
             }
         } else {
+            // an empty prompt can make slot become buggy
+            if (task.data.contains("prompt") && task.data["prompt"].is_string() && task.data["prompt"].get<std::string>().empty()) {
+                task.data["prompt"] = " "; // add a space so that we have one token
+            }
             queue_tasks.post(task);
         }
     }