Browse Source

server : fix division by zero when reporting stats (#16501)

Georgi Gerganov 3 tháng trước cách đây
mục cha
commit
e60f01d941
1 tập tin đã thay đổi với 1 bổ sung1 xóa
  1. 1 1
      tools/server/server.cpp

+ 1 - 1
tools/server/server.cpp

@@ -4226,7 +4226,7 @@ struct server_context {
                     metrics.on_prompt_eval(slot);
                 }
 
-                slot.t_token_generation = (t_current - slot.t_start_generation) / 1e3;
+                slot.t_token_generation = std::max<int64_t>(1, t_current - slot.t_start_generation) / 1e3;
 
                 completion_token_output result;
                 result.tok          = id;