 slaren
|
08a0c02060
ggml : mul_mat_id use the same tensor for all the experts (#6387)
|
před 1 rokem |
 compilade
|
557410b8f0
llama : greatly reduce output buffer memory usage (#6122)
|
před 1 rokem |
 Georgi Gerganov
|
a0e584defd
imatrix : fix wname for mul_mat_id ops (#6271)
|
před 1 rokem |
|
slaren
|
2bf8d0f7c4
backend : offload large batches to GPU (#6083)
|
před 1 rokem |
 bmwl
|
f486f6e1e5
ggml : add numa options (#5377)
|
před 1 rokem |
 Kawrakow
|
5ed26e1fc9
Adding some imatrix tools (#5302)
|
před 1 rokem |
|
Kawrakow
|
15bceec2d7
imatrix : keep intermediate imatrix results (#5077)
|
před 2 roky |
|
Kawrakow
|
726c0fa9a2
Slightly faster imatrix (#5050)
|
před 2 roky |
|
Georgi Gerganov
|
2d5419d08a
imatrix : fix assert for src0 non-cont check
|
před 2 roky |
|
Georgi Gerganov
|
ba69bbc84c
imatrix : offload to GPU support (#4957)
|
před 2 roky |
|
Kawrakow
|
326b418b59
Importance Matrix calculation (#4861)
|
před 2 roky |
