 Georgi Gerganov
|
c560316440
graph : reuse SSM graphs (#16490)
|
1 månad sedan |
|
Georgi Gerganov
|
0123ff38f5
memory : use sequential equal splits for recurrent modules (#16442)
|
3 månader sedan |
 ddh0
|
f6dcda3900
server : context checkpointing for hybrid and recurrent models (#16382)
|
3 månader sedan |
 Johannes Gäßler
|
e789095502
llama: print memory breakdown on exit (#15860)
|
4 månader sedan |
|
Georgi Gerganov
|
c610b6c11b
kv-cache : fix SWA checks + disable cacheless iSWA (#15811)
|
4 månader sedan |
 Daniel Bevenius
|
fb15d649ed
llama : add support for EmbeddingGemma 300m (#15798)
|
4 månader sedan |
|
Georgi Gerganov
|
b730706a49
kv-cache : support layer reuse (#15504)
|
5 månader sedan |
|
Georgi Gerganov
|
715a6db02c
kv-cache : drop the "unified" prefix (#15467)
|
5 månader sedan |
|
Georgi Gerganov
|
d32e03f449
server : add SWA checkpoints (#15293)
|
5 månader sedan |
 compilade
|
11a3811164
memory : handle kv_unified for hybrid models (#15050)
|
5 månader sedan |
 Diner Burger
|
496957e1cb
llama : fix parameter order for hybrid memory initialization (#14725)
|
6 månader sedan |
|
Georgi Gerganov
|
225e7a1438
llama : add high-throughput mode (#14363)
|
6 månader sedan |
|
Georgi Gerganov
|
67d1ef23c6
batch : add optional for sequential equal split (#14511)
|
6 månader sedan |
|
Georgi Gerganov
|
c79184d2d1
batch : add n_used count (#14512)
|
6 månader sedan |
|
Georgi Gerganov
|
a70c8a0c4b
kv-cache : use ggml_set_rows (#14285)
|
6 månader sedan |
|
Georgi Gerganov
|
745f11fed0
memory : correctly handle failure in apply() (#14438)
|
6 månader sedan |
|
Georgi Gerganov
|
692e3cdd0a
memory : rename interface to llama_memory_context_i (#14296)
|
7 månader sedan |
|
Georgi Gerganov
|
4c9fdfbe15
ubatch : new splitting logic (#14217)
|
7 månader sedan |
 Gabe Goodhart
|
edc4a29eff
memory : Hybrid recurrent cache (#13979)
|
7 månader sedan |
