 Johannes Gäßler
|
28103f4832
Server: fix seed for multiple slots (#6835)
|
1 vuosi sitten |
 Pedro Cuenca
|
b97bc3966e
llama : support Llama 3 HF conversion (#6745)
|
1 vuosi sitten |
 Olivier Chafik
|
ab9a3240a9
JSON schema conversion: ⚡️ faster repetitions, min/maxLength for strings, cap number length (#6555)
|
1 vuosi sitten |
 Pierrick Hymbert
|
24ee66ed0d
server : coherent log output for KV cache full (#6637)
|
1 vuosi sitten |
 Jared Van Bortel
|
1b67731e18
BERT tokenizer fixes (#6498)
|
1 vuosi sitten |
 Jan Boon
|
beea6e1b16
llama : save and restore kv cache for single seq id (#6341)
|
1 vuosi sitten |
 Georgi Gerganov
|
4399f13fb9
server : remove obsolete --memory-f32 option
|
1 vuosi sitten |
 Xiao-Yong Jin
|
1a43c7254e
server : add option to disable KV offload (#6468)
|
1 vuosi sitten |
 Eric Zhang
|
6902cb7f2e
server : stop gracefully on SIGTERM (#6348)
|
1 vuosi sitten |
 compilade
|
557410b8f0
llama : greatly reduce output buffer memory usage (#6122)
|
1 vuosi sitten |
|
Jan Boon
|
3d032ece8e
server : add `n_discard` parameter (#6300)
|
1 vuosi sitten |
 slaren
|
280345968d
cuda : rename build flag to LLAMA_CUDA (#6299)
|
1 vuosi sitten |
 Xuan Son Nguyen
|
ad3a0505e3
Server: clean up OAI params parsing function (#6284)
|
1 vuosi sitten |
|
Pierrick Hymbert
|
f482bb2e49
common: llama_load_model_from_url split support (#6192)
|
1 vuosi sitten |
|
Olivier Chafik
|
72114edf06
json-schema-to-grammar : fix order of props + non-str const/enum (#6232)
|
1 vuosi sitten |
 Jan Boon
|
6b8bb3a31d
server : fix n_keep always showing as 0 in response (#6211)
|
1 vuosi sitten |
|
Georgi Gerganov
|
68e210b354
server : enable continuous batching by default (#6231)
|
1 vuosi sitten |
|
Olivier Chafik
|
5b7b0ac8df
json-schema-to-grammar improvements (+ added to server) (#5978)
|
1 vuosi sitten |
|
Pierrick Hymbert
|
d01b3c4c32
common: llama_load_model_from_url using --model-url (#6098)
|
1 vuosi sitten |
|
slaren
|
f30ea47a87
llama : add pipeline parallelism support (#6017)
|
1 vuosi sitten |
|
Xuan Son Nguyen
|
99b71c068f
Server: Use multi-task for embeddings endpoint (#6001)
|
1 vuosi sitten |
|
Xuan Son Nguyen
|
caa106d4e0
Server: format error to json (#5961)
|
1 vuosi sitten |
 Minsoo Cheong
|
332bdfd798
server : maintain chat completion id for streaming responses (#5988)
|
1 vuosi sitten |
|
Pierrick Hymbert
|
621e86b331
server: benchmark: chat/completions scenario and other llm servers comparison (#5941)
|
1 vuosi sitten |
|
Georgi Gerganov
|
77d1ac7e00
server : print chat template info
|
1 vuosi sitten |
|
Georgi Gerganov
|
58308a0ecc
server : fix metrics init (#5964)
|
1 vuosi sitten |
 SeungWon Jeong
|
fb215c3832
server : normalize embeddings (#5956)
|
1 vuosi sitten |
 Alexey Parfenov
|
0db32beaf0
server : fix passing prompt as tokens (#5955)
|
1 vuosi sitten |
|
Georgi Gerganov
|
9674aaf35c
server : simplify logic for empty prompts (#5953)
|
1 vuosi sitten |
|
Xuan Son Nguyen
|
950ba1ab84
Server: reorganize some http logic (#5939)
|
1 vuosi sitten |
