Просмотр исходного кода

server : bring back timings_per_token (#15879)

Xuan-Son Nguyen 4 месяцев назад
Родитель
Сommit
56920f5665
1 измененных файлов с 1 добавлено и 0 удалено
  1. 1 0
      tools/server/server.cpp

+ 1 - 0
tools/server/server.cpp

@@ -308,6 +308,7 @@ struct server_task {
 
         // enabling this will output extra debug information in the HTTP responses from the server
         params.verbose           = params_base.verbosity > 9;
+        params.timings_per_token = json_value(data, "timings_per_token", false);
 
         params.stream           = json_value(data, "stream",             false);
         params.cache_prompt     = json_value(data, "cache_prompt",       true);