 Johannes Gäßler
|
254a7a7a5f
CUDA full GPU acceleration, KV cache in VRAM (#1827)
|
vor 2 Jahren |
 xaedes
|
e32089b2c2
train : improved training-from-scratch example (#1652)
|
vor 2 Jahren |
 Kerfuffle
|
74d4cfa343
Allow "quantizing" to f16 and f32 (#1787)
|
vor 2 Jahren |
 Georgi Gerganov
|
17c10acfb4
ggml : force no_alloc == false when creating opt tensors (close #1699)
|
vor 2 Jahren |
 Xingchen Song(宋星辰)
|
ef3171d162
ggml : workaround for missing _mm256_setr_m128i in GCC < 8 (#1638)
|
vor 2 Jahren |
 Steven Roussey
|
b50b570ed9
ggml : fix fprintf warnings (#1720)
|
vor 2 Jahren |
|
Georgi Gerganov
|
5c64a0952e
k-quants : allow to optionally disable at compile time (#1734)
|
vor 2 Jahren |
|
Georgi Gerganov
|
2a4e41a086
llama : fix compile warnings
|
vor 2 Jahren |
|
Johannes Gäßler
|
17366df842
Multi GPU support, CUDA refactor, CUDA scratch buffer (#1703)
|
vor 2 Jahren |
|
Georgi Gerganov
|
2d43387daf
ggml : fix builds, add ggml-quants-k.o (close #1712, close #1710)
|
vor 2 Jahren |
 kiltyj
|
9d0693bce3
metal : use shared buffers between CPU and GPU (#1696)
|
vor 2 Jahren |
 grahameth
|
efe0507632
ggml : fix internal overflow in ggml_time_us on Windows (#1702)
|
vor 2 Jahren |
 Kawrakow
|
99009e72f8
ggml : add SOTA 2,3,4,5,6 bit k-quantizations (#1684)
|
vor 2 Jahren |
|
Georgi Gerganov
|
ecb217db4f
llama : Metal inference (#1642)
|
vor 2 Jahren |
 0cc4m
|
dcb2ed4826
OpenCL: Fix duplication of layers in VRAM and RAM, add GPU mul kernel (#1653)
|
vor 2 Jahren |
|
Georgi Gerganov
|
7552ac5863
ggml : sync cgraph import / export API
|
vor 2 Jahren |
|
Georgi Gerganov
|
5d1830b99d
ggml : fix bug in ggml_alibi
|
vor 2 Jahren |
 apcameron
|
a6704643b6
ggml : add support for the RISCV architecture (#1616)
|
vor 2 Jahren |
|
Georgi Gerganov
|
93618031c7
ggml : add ggml_tensor_overhead()
|
vor 2 Jahren |
|
Georgi Gerganov
|
bdbda1b17a
ggml : sync ggml core (minor additions, e.g. ggml_get_tensor_by_name())
|
vor 2 Jahren |
|
0cc4m
|
2e6cd4b025
OpenCL Token Generation Acceleration (#1459)
|
vor 2 Jahren |
|
Georgi Gerganov
|
265db9834e
ggml : output 3d sizes in ggml_graph_dump_dot()
|
vor 2 Jahren |
|
Georgi Gerganov
|
fab49c685e
ggml : update WASM SIMD
|
vor 2 Jahren |
|
Georgi Gerganov
|
3de84b2606
ggml : add ggml_clamp() (#1539)
|
vor 2 Jahren |
|
Johannes Gäßler
|
affc76edfd
cuda : loading models directly into VRAM, norm calculation on GPU, broadcasting for ggml_mul (#1483)
|
vor 2 Jahren |
 Maxime
|
503db28849
llama : fix name shadowing and C4146 (#1526)
|
vor 2 Jahren |
|
Georgi Gerganov
|
4fd3e29297
ggml : fix scalar implementation of Q4_1 dot
|
vor 2 Jahren |
|
Georgi Gerganov
|
2d5db48371
ggml : use F16 instead of F32 in Q4_0, Q4_1, Q8_0 (#1508)
|
vor 2 Jahren |
 Ilya Kurdyukov
|
42627421ec
~7% faster Q5_1 AVX2 code (#1477)
|
vor 2 Jahren |
|
xaedes
|
79b2d5b69d
ggml : alternative fix for race condition bug in non-inplace ggml_compute_forward_diag_mask_f32 (#1454)
|
vor 2 Jahren |
