소스 검색

Server: Enable setting default sampling parameters via command-line (#8402)

* Load server sampling parameters from the server context by default.

* Wordsmithing comment
Clint Herron 1 년 전
부모
커밋
a59f8fdc85
1개의 변경된 파일2개의 추가작업 그리고 1개의 파일을 삭제
  1. 2 1
      examples/server/server.cpp

+ 2 - 1
examples/server/server.cpp

@@ -884,7 +884,8 @@ struct server_context {
 
     bool launch_slot_with_task(server_slot & slot, const server_task & task) {
         slot_params default_params;
-        llama_sampling_params default_sparams;
+        // Sampling parameter defaults are loaded from the global server context (but individual requests can still override them)
+        llama_sampling_params default_sparams = params.sparams;
         auto & data = task.data;
 
         if (data.count("__oaicompat") != 0) {