 bmwl
|
f486f6e1e5
ggml : add numa options (#5377)
|
před 1 rokem |
 Georgi Gerganov
|
5cb04dbc16
llama : remove LLAMA_MAX_DEVICES and LLAMA_SUPPORTS_GPU_OFFLOAD (#5240)
|
před 1 rokem |
 slaren
|
e7e4df031b
llama : ggml-backend integration (#4766)
|
před 2 roky |
|
Georgi Gerganov
|
ef47ec18da
ggml : add ggml_soft_max_ext (#4256)
|
před 2 roky |
 Kerfuffle
|
6e08281e58
Extend llama_kv_cache_seq_rm to allow matching any sequence (#3843)
|
před 2 roky |
|
Georgi Gerganov
|
6961c4bd0b
batched-bench : print params at start
|
před 2 roky |
|
Georgi Gerganov
|
0e89203b51
speculative : add tree-based sampling example (#3624)
|
před 2 roky |
|
Georgi Gerganov
|
8c70a5ff25
batched : add bench tool (#3545)
|
před 2 roky |
