Просмотр исходного кода

server : fix grammar being ignored (#4494)

Fix bug in identifying the grammar.
AdithyanI 2 лет назад
Родитель
Сommit
8edd2b40fd
1 измененных файлов с 1 добавлено и 1 удалено
  1. 1 1
      examples/server/server.cpp

+ 1 - 1
examples/server/server.cpp

@@ -2414,7 +2414,7 @@ json oaicompat_completion_params_parse(
     llama_params["ignore_eos"]        = json_value(body, "ignore_eos", false);
     llama_params["tfs_z"]             = json_value(body, "tfs_z", 0.0);
 
-    if (llama_params.count("grammar") != 0) {
+    if (body.count("grammar") != 0) {
         llama_params["grammar"] = json_value(body, "grammar", json::object());
     }