Parcourir la source

server : fix grammar being ignored (#4494)

Fix bug in identifying the grammar.
AdithyanI il y a 2 ans
Parent
commit
8edd2b40fd
1 fichiers modifiés avec 1 ajouts et 1 suppressions
  1. 1 1
      examples/server/server.cpp

+ 1 - 1
examples/server/server.cpp

@@ -2414,7 +2414,7 @@ json oaicompat_completion_params_parse(
     llama_params["ignore_eos"]        = json_value(body, "ignore_eos", false);
     llama_params["tfs_z"]             = json_value(body, "tfs_z", 0.0);
 
-    if (llama_params.count("grammar") != 0) {
+    if (body.count("grammar") != 0) {
         llama_params["grammar"] = json_value(body, "grammar", json::object());
     }