Преглед на файлове

server : disable Nagle's algorithm (#12020)

Georgi Gerganov преди 11 месеца
родител
ревизия
cf756d6e0a
променени са 1 файла, в които са добавени 2 реда и са изтрити 0 реда
  1. 2 0
      examples/server/utils.hpp

+ 2 - 0
examples/server/utils.hpp

@@ -7,6 +7,8 @@
 
 // increase max payload length to allow use of larger context size
 #define CPPHTTPLIB_FORM_URL_ENCODED_PAYLOAD_MAX_LENGTH 1048576
+// disable Nagle's algorithm
+#define CPPHTTPLIB_TCP_NODELAY true
 #include "httplib.h"
 
 // Change JSON_ASSERT from assert() to GGML_ASSERT: