 Georgi Gerganov
|
6ff13987ad
common : normalize naming style (#7462)
|
1 год назад |
|
Georgi Gerganov
|
e932094d58
server : return error on too large embedding input (#7389)
|
1 год назад |
 Johannes Gäßler
|
41858392e1
server: fix seed being reported back (#7382)
|
1 год назад |
 Radoslav Gerganov
|
ee94172d33
server : add support for the RPC backend (#7305)
|
1 год назад |
 Steve Grubb
|
4f0263633b
server: free sampling contexts on exit (#7264)
|
1 год назад |
 Xuan Son Nguyen
|
72c177c1f6
fix system prompt handling (#7153)
|
1 год назад |
|
Steve Grubb
|
988631335a
server : free llama_batch on exit (#7212)
|
1 год назад |
|
Johannes Gäßler
|
5ae3426b0b
server: fix reported top tokens for temperature 0 (#7203)
|
1 год назад |
|
Johannes Gäßler
|
c12452c7ae
JSON: [key] -> .at(key), assert() -> GGML_ASSERT (#7143)
|
1 год назад |
 Johan
|
911b3900dd
server : add_special option for tokenize endpoint (#7059)
|
1 год назад |
|
Johannes Gäßler
|
af0a5b6163
server: fix incorrectly reported token probabilities (#7125)
|
1 год назад |
 maor-ps
|
03fb8a002d
If first token generated from the server is the stop word the server will crash (#7038)
|
1 год назад |
|
Georgi Gerganov
|
9c67c2773d
ggml : add Flash Attention (#5021)
|
1 год назад |
 Olivier Chafik
|
8843a98c2b
Improve usability of --model-url & related flags (#6930)
|
1 год назад |
 Pierrick Hymbert
|
b7368332e2
ci: server: tests python env on github container ubuntu latest / fix n_predict (#6935)
|
1 год назад |
|
Pierrick Hymbert
|
0c4d489e29
quantize: add imatrix and dataset metadata in GGUF (#6658)
|
1 год назад |
|
Pierrick Hymbert
|
7f5ff558ee
server: stop generation at `n_ctx_train` if `n_predict` is not set (#6638)
|
1 год назад |
 Kyle Mistele
|
37246b1031
common : revert showing control tokens by default for server (#6860)
|
1 год назад |
|
Johannes Gäßler
|
28103f4832
Server: fix seed for multiple slots (#6835)
|
1 год назад |
 Pedro Cuenca
|
b97bc3966e
llama : support Llama 3 HF conversion (#6745)
|
1 год назад |
|
Olivier Chafik
|
ab9a3240a9
JSON schema conversion: ⚡️ faster repetitions, min/maxLength for strings, cap number length (#6555)
|
1 год назад |
|
Pierrick Hymbert
|
24ee66ed0d
server : coherent log output for KV cache full (#6637)
|
1 год назад |
 Jared Van Bortel
|
1b67731e18
BERT tokenizer fixes (#6498)
|
1 год назад |
 Jan Boon
|
beea6e1b16
llama : save and restore kv cache for single seq id (#6341)
|
1 год назад |
|
Georgi Gerganov
|
4399f13fb9
server : remove obsolete --memory-f32 option
|
1 год назад |
 Xiao-Yong Jin
|
1a43c7254e
server : add option to disable KV offload (#6468)
|
1 год назад |
 Eric Zhang
|
6902cb7f2e
server : stop gracefully on SIGTERM (#6348)
|
1 год назад |
 compilade
|
557410b8f0
llama : greatly reduce output buffer memory usage (#6122)
|
1 год назад |
|
Jan Boon
|
3d032ece8e
server : add `n_discard` parameter (#6300)
|
1 год назад |
 slaren
|
280345968d
cuda : rename build flag to LLAMA_CUDA (#6299)
|
1 год назад |
