 Xuan Son Nguyen
|
f30f099228
server : implement cancellable request (#11285)
|
vor 1 Jahr |
|
Xuan Son Nguyen
|
5896c65232
server : add OAI compat for /v1/completions (#10974)
|
vor 1 Jahr |
 Djip007
|
2cd43f4900
ggml : more perfo with llamafile tinyblas on x86_64 (#10714)
|
vor 1 Jahr |
 NeverLucky
|
09fe2e7613
server: allow filtering llama server response fields (#10940)
|
vor 1 Jahr |
|
Xuan Son Nguyen
|
57bb2c40cd
server : fix logprobs, make it OAI-compatible (#10783)
|
vor 1 Jahr |
 Georgi Gerganov
|
0e70ba686e
server : add "tokens" output (#10853)
|
vor 1 Jahr |
 Michelle Tan
|
89d604f2c8
server: Fix `has_next_line` in JSON response (#10818)
|
vor 1 Jahr |
|
Xuan Son Nguyen
|
e52522b869
server : bring back info of final chunk in stream mode (#10722)
|
vor 1 Jahr |
|
Xuan Son Nguyen
|
6c5bc0625f
server : (refactoring) do not rely on JSON internally (#10643)
|
vor 1 Jahr |
|
Xuan Son Nguyen
|
45abe0f74e
server : replace behave with pytest (#10416)
|
vor 1 Jahr |
