 Johannes Gäßler
|
0728c5a8b9
CUDA: mmq CLI option, fixed mmq build issues (#2453)
|
před 2 roky |
|
Johannes Gäßler
|
1215ed7d5c
CUDA: Implemented row flattening for non-glm RoPE (#2468)
|
před 2 roky |
|
Johannes Gäßler
|
2dbf518911
CUDA: fewer memory bank conflicts for mul_mat_q (#2458)
|
před 2 roky |
|
Johannes Gäßler
|
11f3ca06b8
CUDA: Quantized matrix matrix multiplication (#2160)
|
před 2 roky |
|
Johannes Gäßler
|
9baf9ef304
CUDA: faster multi GPU synchronization (#2448)
|
před 2 roky |
 Kawrakow
|
129d844c87
Fix Q4_K and Q5_K for QK_K = 64 on CUDA (#2359)
|
před 2 roky |
 slaren
|
41c674161f
make rms_norm_eps a parameter (#2374)
|
před 2 roky |
 Georgi Gerganov
|
5b2b2dc6ae
ggml : sync (unary ops refactor, static-correctness) (#2370)
|
před 2 roky |
|
Kawrakow
|
2f9cf974a0
Some more Q4_K and Q5_K speedup on CUDA (#2346)
|
před 2 roky |
|
slaren
|
95a6c595e7
ggml: move op parameters from tensors to ggml_tensor::op_params (#2333)
|
před 2 roky |
|
Georgi Gerganov
|
e76d630df1
llama : grouped-query attention + LLaMAv2 70B support (#2276)
|
před 2 roky |
|
Kawrakow
|
d2a43664f9
Speed up Q4_K (#2322)
|
před 2 roky |
|
Johannes Gäßler
|
b9b7d94fc1
CUDA: Fixed 7b q3_K_S with mul_mat_vec_q (#2313)
|
před 2 roky |
|
Kawrakow
|
d924522a46
Custom RoPE + bettter memory management for CUDA (#2295)
|
před 2 roky |
|
Georgi Gerganov
|
ae178ab46b
llama : make tensor_split ptr instead of array (#2272)
|
před 2 roky |
 Jiahao Li
|
7568d1a2b2
Support dup & cont ops on CUDA (#2242)
|
před 2 roky |
 Bach Le
|
7cdd30bf1f
cuda : allocate all temporary ggml_tensor_extra_gpu from a fixed-size buffer (#2220)
|
před 2 roky |
|
Jiahao Li
|
206e01de11
cuda : support broadcast add & mul (#2192)
|
před 2 roky |
|
Johannes Gäßler
|
4304bd3cde
CUDA: mul_mat_vec_q kernels for k-quants (#2203)
|
před 2 roky |
|
Georgi Gerganov
|
697966680b
ggml : sync (ggml_conv_2d, fix mul_mat bug, CUDA GLM rope)
|
před 2 roky |
 Howard Su
|
ff5d58faec
Fix compile error on Windows CUDA (#2207)
|
před 2 roky |
|
Georgi Gerganov
|
680e6f9177
cuda : add gelu support
|
před 2 roky |
|
Johannes Gäßler
|
2b5eb72e10
Fixed __dp4a compute capability: 6.0 -> 6.1 (#2189)
|
před 2 roky |
|
Georgi Gerganov
|
f7d278faf3
ggml : revert CUDA broadcast changes from #2183 (#2191)
|
před 2 roky |
|
Georgi Gerganov
|
20d7740a9b
ggml : sync (abort callback, mul / add broadcast, fix alibi) (#2183)
|
před 2 roky |
 Spencer Sutton
|
5bf2a27718
ggml : remove src0 and src1 from ggml_tensor and rename opt to src (#2178)
|
před 2 roky |
|
Johannes Gäßler
|
64639555ff
Fixed OpenLLaMA 3b CUDA mul_mat_vec_q (#2144)
|
před 2 roky |
|
Johannes Gäßler
|
061f5f8d21
CUDA: add __restrict__ to mul mat vec kernels (#2140)
|
před 2 roky |
|
Johannes Gäßler
|
924dd22fd3
Quantized dot products for CUDA mul mat vec (#2067)
|
před 2 roky |
|
Howard Su
|
cc45a7feb8
Fix crash of test-tokenizer-0 under Debug build (#2064)
|
před 2 roky |
