 Georgi Gerganov
|
a885dcff11
batched-bench : fix llama_synchronize usage during prompt processing (#15835)
|
před 4 měsíci |
 Johannes Gäßler
|
e81b8e4b7f
llama: use FA + max. GPU layers by default (#15434)
|
před 4 měsíci |
|
Georgi Gerganov
|
b3964c1e89
metal : optimize FA vec for large sequences and BS <= 8 (#15566)
|
před 4 měsíci |
|
Georgi Gerganov
|
6b64f74b55
batched-bench : fix unified KV cache handling + pp timing (#15562)
|
před 4 měsíci |
|
Georgi Gerganov
|
f0d3c7405c
batched-bench : use rand tokens (#15398)
|
před 5 měsíci |
|
Georgi Gerganov
|
225e7a1438
llama : add high-throughput mode (#14363)
|
před 6 měsíci |
|
Georgi Gerganov
|
745aa5319b
llama : deprecate llama_kv_self_ API (#14030)
|
před 7 měsíci |
|
Georgi Gerganov
|
b89d605a91
batched-bench : fix pp batch contents (#13492)
|
před 8 měsíci |
 Diego Devesa
|
1d36b3670b
llama : move end-user examples to tools directory (#13249)
|
před 8 měsíci |
