ソースを参照

server : bring back timings_per_token (#15879)

Xuan-Son Nguyen 4 ヶ月 前
コミット
56920f5665
1 ファイル変更1 行追加0 行削除
  1. 1 0
      tools/server/server.cpp

+ 1 - 0
tools/server/server.cpp

@@ -308,6 +308,7 @@ struct server_task {
 
         // enabling this will output extra debug information in the HTTP responses from the server
         params.verbose           = params_base.verbosity > 9;
+        params.timings_per_token = json_value(data, "timings_per_token", false);
 
         params.stream           = json_value(data, "stream",             false);
         params.cache_prompt     = json_value(data, "cache_prompt",       true);