 Georgi Gerganov
|
c311ac664d
cparams : rename LLAMA_MAX_PARALLEL_SEQUENCES to LLAMA_MAX_SEQ (#14188)
|
hace 7 meses |
|
Georgi Gerganov
|
b9912ac570
batch : auto-gen positions + verify multi-sequence input (#14177)
|
hace 7 meses |
|
Georgi Gerganov
|
de2ef53a4b
kv-cache : rework kv_cell (#13706)
|
hace 8 meses |
 David Huang
|
7f323a589f
Add `--no-op-offload` to improve `-ot` pp perf in MoE models like llama4 400B (#13386)
|
hace 9 meses |
 fairydreaming
|
8fcb563613
Load all MoE experts during warmup (#11571)
|
hace 10 meses |
|
Georgi Gerganov
|
f66f582927
llama : refactor `src/llama.cpp` (#10902)
|
hace 1 año |
