Преглед изворни кода

server : bring back timings_per_token (#15879)

Xuan-Son Nguyen пре 4 месеци
родитељ
комит
56920f5665
1 измењених фајлова са 1 додато и 0 уклоњено
  1. 1 0
      tools/server/server.cpp

+ 1 - 0
tools/server/server.cpp

@@ -308,6 +308,7 @@ struct server_task {
 
         // enabling this will output extra debug information in the HTTP responses from the server
         params.verbose           = params_base.verbosity > 9;
+        params.timings_per_token = json_value(data, "timings_per_token", false);
 
         params.stream           = json_value(data, "stream",             false);
         params.cache_prompt     = json_value(data, "cache_prompt",       true);