 Jan Boon
|
6b8bb3a31d
server : fix n_keep always showing as 0 in response (#6211)
|
1 рік тому |
 Georgi Gerganov
|
68e210b354
server : enable continuous batching by default (#6231)
|
1 рік тому |
 Olivier Chafik
|
5b7b0ac8df
json-schema-to-grammar improvements (+ added to server) (#5978)
|
1 рік тому |
 Pierrick Hymbert
|
d01b3c4c32
common: llama_load_model_from_url using --model-url (#6098)
|
1 рік тому |
 slaren
|
f30ea47a87
llama : add pipeline parallelism support (#6017)
|
1 рік тому |
 Xuan Son Nguyen
|
99b71c068f
Server: Use multi-task for embeddings endpoint (#6001)
|
1 рік тому |
|
Xuan Son Nguyen
|
caa106d4e0
Server: format error to json (#5961)
|
1 рік тому |
 Minsoo Cheong
|
332bdfd798
server : maintain chat completion id for streaming responses (#5988)
|
1 рік тому |
|
Pierrick Hymbert
|
621e86b331
server: benchmark: chat/completions scenario and other llm servers comparison (#5941)
|
1 рік тому |
|
Georgi Gerganov
|
77d1ac7e00
server : print chat template info
|
1 рік тому |
|
Georgi Gerganov
|
58308a0ecc
server : fix metrics init (#5964)
|
1 рік тому |
 SeungWon Jeong
|
fb215c3832
server : normalize embeddings (#5956)
|
1 рік тому |
 Alexey Parfenov
|
0db32beaf0
server : fix passing prompt as tokens (#5955)
|
1 рік тому |
|
Georgi Gerganov
|
9674aaf35c
server : simplify logic for empty prompts (#5953)
|
1 рік тому |
|
Xuan Son Nguyen
|
950ba1ab84
Server: reorganize some http logic (#5939)
|
1 рік тому |
 Gabe Goodhart
|
e1fa9569ba
server : add SSL support (#5926)
|
1 рік тому |
|
Pierrick Hymbert
|
fd72d2d2a5
server: tests: add truncated prompt tests, better kv cache size (#5933)
|
1 рік тому |
 compilade
|
c2101a2e90
llama : support Mamba Selective State Space Models (#5328)
|
1 рік тому |
|
Pierrick Hymbert
|
76e868821a
server: metrics: add llamacpp:prompt_seconds_total and llamacpp:tokens_predicted_seconds_total, reset bucket only on /metrics. Fix values cast to int. Add Process-Start-Time-Unix header. (#5937)
|
1 рік тому |
|
Georgi Gerganov
|
af37fd8b30
server : fix EOS token detection with disabled cache (#5938)
|
1 рік тому |
|
Minsoo Cheong
|
55a2a900ff
server : add `/v1/completions` endpoint (#5914)
|
1 рік тому |
|
Georgi Gerganov
|
2002bc96bf
server : refactor (#5882)
|
1 рік тому |
|
Georgi Gerganov
|
29ae62d2ae
llama : fix embeddings (#5796)
|
1 рік тому |
|
Xuan Son Nguyen
|
4ffcdce2ff
add alias for chat template (#5858)
|
1 рік тому |
|
Pierrick Hymbert
|
8ef969afce
server : init http requests thread pool with --parallel if set (#5836)
|
1 рік тому |
|
Pierrick Hymbert
|
9731134296
server: tests: passkey challenge / self-extend with context shift demo (#5832)
|
1 рік тому |
|
Pierrick Hymbert
|
3ab8b3a92e
llama : cleanup unused mmq flags (#5772)
|
1 рік тому |
|
Pierrick Hymbert
|
5cb02b4a01
server: allow to override threads server pool with --threads-http (#5794)
|
1 рік тому |
|
Georgi Gerganov
|
f105471ef6
server : fix newlines in help (#5785)
|
1 рік тому |
|
Xuan Son Nguyen
|
052051d8ae
Server: normalize naming (#5779)
|
1 рік тому |
