 Minsoo Cheong
|
332bdfd798
server : maintain chat completion id for streaming responses (#5988)
|
hace 1 año |
 Pierrick Hymbert
|
621e86b331
server: benchmark: chat/completions scenario and other llm servers comparison (#5941)
|
hace 1 año |
 Georgi Gerganov
|
77d1ac7e00
server : print chat template info
|
hace 1 año |
|
Georgi Gerganov
|
58308a0ecc
server : fix metrics init (#5964)
|
hace 1 año |
 SeungWon Jeong
|
fb215c3832
server : normalize embeddings (#5956)
|
hace 1 año |
 Alexey Parfenov
|
0db32beaf0
server : fix passing prompt as tokens (#5955)
|
hace 1 año |
|
Georgi Gerganov
|
9674aaf35c
server : simplify logic for empty prompts (#5953)
|
hace 1 año |
 Xuan Son Nguyen
|
950ba1ab84
Server: reorganize some http logic (#5939)
|
hace 1 año |
 Gabe Goodhart
|
e1fa9569ba
server : add SSL support (#5926)
|
hace 1 año |
|
Pierrick Hymbert
|
fd72d2d2a5
server: tests: add truncated prompt tests, better kv cache size (#5933)
|
hace 1 año |
 compilade
|
c2101a2e90
llama : support Mamba Selective State Space Models (#5328)
|
hace 1 año |
|
Pierrick Hymbert
|
76e868821a
server: metrics: add llamacpp:prompt_seconds_total and llamacpp:tokens_predicted_seconds_total, reset bucket only on /metrics. Fix values cast to int. Add Process-Start-Time-Unix header. (#5937)
|
hace 1 año |
|
Georgi Gerganov
|
af37fd8b30
server : fix EOS token detection with disabled cache (#5938)
|
hace 1 año |
|
Minsoo Cheong
|
55a2a900ff
server : add `/v1/completions` endpoint (#5914)
|
hace 1 año |
|
Georgi Gerganov
|
2002bc96bf
server : refactor (#5882)
|
hace 1 año |
|
Georgi Gerganov
|
29ae62d2ae
llama : fix embeddings (#5796)
|
hace 1 año |
|
Xuan Son Nguyen
|
4ffcdce2ff
add alias for chat template (#5858)
|
hace 1 año |
|
Pierrick Hymbert
|
8ef969afce
server : init http requests thread pool with --parallel if set (#5836)
|
hace 1 año |
|
Pierrick Hymbert
|
9731134296
server: tests: passkey challenge / self-extend with context shift demo (#5832)
|
hace 1 año |
|
Pierrick Hymbert
|
3ab8b3a92e
llama : cleanup unused mmq flags (#5772)
|
hace 1 año |
|
Pierrick Hymbert
|
5cb02b4a01
server: allow to override threads server pool with --threads-http (#5794)
|
hace 1 año |
|
Georgi Gerganov
|
f105471ef6
server : fix newlines in help (#5785)
|
hace 1 año |
|
Xuan Son Nguyen
|
052051d8ae
Server: normalize naming (#5779)
|
hace 1 año |
|
Xuan Son Nguyen
|
a693bea1e6
server : hit Ctrl+C twice to exit (#5734)
|
hace 1 año |
 Jorge A
|
efc72253f7
server : add "/chat/completions" alias for "/v1/...` (#5722)
|
hace 1 año |
|
Xuan Son Nguyen
|
b11a93df41
fix server hangs on empty prompt (#5733)
|
hace 1 año |
|
Georgi Gerganov
|
bf08e00643
llama : refactor k-shift implementation + KV defragmentation (#5691)
|
hace 1 año |
|
compilade
|
f7625019c5
server : fix crash when system prompt is bigger than batch size (#5714)
|
hace 1 año |
|
Pierrick Hymbert
|
930b178026
server: logs - unified format and --log-format option (#5700)
|
hace 1 año |
|
Pierrick Hymbert
|
d52d7819b8
server: concurrency fix + monitoring - add /metrics prometheus compatible endpoint (#5708)
|
hace 1 año |
