 Howard Su
|
3d59ec5935
ggml : fix warnings under MSVC (#1908)
|
hace 2 años |
 Kawrakow
|
3d01122610
CUDA : faster k-quant dot kernels (#1862)
|
hace 2 años |
 Johannes Gäßler
|
a09f9195be
Fixed CUDA runtime version check (#1879)
|
hace 2 años |
|
Howard Su
|
64cc19b4fe
Fix the validation of main device (#1872)
|
hace 2 años |
|
Johannes Gäßler
|
254a7a7a5f
CUDA full GPU acceleration, KV cache in VRAM (#1827)
|
hace 2 años |
|
Howard Su
|
58970a4c39
Leverage mmap for offloading tensors to GPU (#1597)
|
hace 2 años |
 Kyle Liang
|
12b063f0ec
Fixed WSL cuda's OOM error (#1594)
|
hace 2 años |
|
Johannes Gäßler
|
ae9663f188
Windows nvcc workaround (#1753)
|
hace 2 años |
 Georgi Gerganov
|
5c64a0952e
k-quants : allow to optionally disable at compile time (#1734)
|
hace 2 años |
|
Johannes Gäßler
|
17366df842
Multi GPU support, CUDA refactor, CUDA scratch buffer (#1703)
|
hace 2 años |
|
Kawrakow
|
99009e72f8
ggml : add SOTA 2,3,4,5,6 bit k-quantizations (#1684)
|
hace 2 años |
|
Johannes Gäßler
|
1fcdcc28b1
cuda : performance optimizations (#1530)
|
hace 2 años |
|
Johannes Gäßler
|
affc76edfd
cuda : loading models directly into VRAM, norm calculation on GPU, broadcasting for ggml_mul (#1483)
|
hace 2 años |
|
Georgi Gerganov
|
2d5db48371
ggml : use F16 instead of F32 in Q4_0, Q4_1, Q8_0 (#1508)
|
hace 2 años |
|
Johannes Gäßler
|
eb363627fd
cuda : deduplicated dequantization code (#1453)
|
hace 2 años |
|
Georgi Gerganov
|
08737ef720
cuda : fix convert function (#1412)
|
hace 2 años |
|
Johannes Gäßler
|
905d87b70a
ggml : GPU-accelerated token generation (#1412)
|
hace 2 años |
|
Georgi Gerganov
|
b9fd7eee57
ggml : remove bit shuffling (#1405)
|
hace 2 años |
|
Johannes Gäßler
|
1f48b0abcf
Documented CUDA reproducibility, added warning (#1346)
|
hace 2 años |
 slaren
|
58b367c2d7
cuBLAS: refactor and optimize f16 mat mul performance (#1259)
|
hace 2 años |
|
slaren
|
b925f1f1b0
cuBLAS: fall back to pageable memory if pinned alloc fails (#1233)
|
hace 2 años |
|
slaren
|
7fc50c051a
cuBLAS: use host pinned memory and dequantize while copying (#1207)
|
hace 2 años |
 Henri Vasserman
|
b1ee8f59b4
cuBLAS: non-contiguous tensor support (#1215)
|
hace 2 años |
 Stephan Walter
|
36d19a603b
Remove Q4_3 which is no better than Q5 (#1218)
|
hace 2 años |
|
Georgi Gerganov
|
574406dc7e
ggml : add Q5_0 and Q5_1 quantization (#1187)
|
hace 2 años |
|
Georgi Gerganov
|
7a32fcb3b2
ggml : add Q8_0 quantization format (rename the old one to Q8_1) (ARM NEON) (#1179)
|
hace 2 años |
|
slaren
|
50cb666b8a
Improve cuBLAS performance by using a memory pool (#1094)
|
hace 2 años |
|
slaren
|
2005469ea1
Add Q4_3 support to cuBLAS (#1086)
|
hace 2 años |
|
slaren
|
02d6988121
Improve cuBLAS performance by dequantizing on the GPU (#1065)
|
hace 2 años |
