 slaren
|
0e0590adab
cuda : update supports_op for matrix multiplication (#8245)
|
1 рік тому |
 Georgi Gerganov
|
f3f65429c4
llama : reorganize source code + improve CMake (#8006)
|
1 рік тому |
|
slaren
|
b6b9a8e606
fix CI failures (#8066)
|
1 рік тому |
 Calvin Laurenson
|
43b35e38ba
Add support for sqrt on CUDA (#7953)
|
1 рік тому |
|
Georgi Gerganov
|
a9cae48003
tests : add non-cont unary tests (#7857)
|
1 рік тому |
|
Georgi Gerganov
|
2b3389677a
ggml : refactor rope norm/neox (#7634)
|
1 рік тому |
 Johannes Gäßler
|
e141ce624a
Fix FlashAttention debug test, FP32 assert (#7684)
|
1 рік тому |
|
Johannes Gäßler
|
9b596417af
CUDA: quantized KV support for FA vec (#7527)
|
1 рік тому |
|
Georgi Gerganov
|
fb76ec31a9
ggml : fix YARN + add tests + add asserts (#7617)
|
1 рік тому |
|
Georgi Gerganov
|
cce3dcffc5
cuda : non-cont concat support (#7610)
|
1 рік тому |
|
Georgi Gerganov
|
0548a4187f
ggml : generalize GGML_OP_CONCAT (#7563)
|
1 рік тому |
|
Georgi Gerganov
|
3e5faa8503
cuda : fix rope + add tests (#7452)
|
1 рік тому |
 liuwei-git
|
201cc11afa
llama : add phi3 128K model support (#7225)
|
1 рік тому |
|
slaren
|
05834841dc
ggml : fix quants nans when all the group weights are very close to zero (#7313)
|
1 рік тому |
 John Balis
|
48aa8fd1f2
ggml : add `ggml_upscale_ext` (ggml/814)
|
1 рік тому |
|
Georgi Gerganov
|
e8a7fd4fb0
metal : support FA without mask + add asserts (#7278)
|
1 рік тому |
|
Johannes Gäßler
|
dc685be466
CUDA: add FP32 FlashAttention vector kernel (#7188)
|
1 рік тому |
|
Georgi Gerganov
|
9cb317f77e
ggml : full ALiBi support (#7192)
|
1 рік тому |
|
Johannes Gäßler
|
a743d76a01
CUDA: generalize FP16 fattn vec kernel (#7061)
|
1 рік тому |
 Justine Tunney
|
3855416027
ggml : introduce bfloat16 support (#6412)
|
1 рік тому |
|
Georgi Gerganov
|
9c67c2773d
ggml : add Flash Attention (#5021)
|
1 рік тому |
|
slaren
|
0d56246f4b
ggml : group all experts in a single ggml_mul_mat_id (#6505)
|
1 рік тому |
 Shijie
|
f4dea7da18
llama : add qwen2moe (#6074)
|
1 рік тому |
|
slaren
|
fbbc030ba9
metal : unify mul_mv_id kernels (#6556)
|
1 рік тому |
|
slaren
|
08a0c02060
ggml : mul_mat_id use the same tensor for all the experts (#6387)
|
1 рік тому |
 Kawrakow
|
55c1b2a3bb
IQ1_M: 1.75 bpw quantization (#6302)
|
1 рік тому |
|
Georgi Gerganov
|
95d576b48e
metal : pad n_ctx by 32 (#6177)
|
1 рік тому |
|
slaren
|
d8fd0ccf6a
test-backend-ops : skip CPU backend by default (#6028)
|
1 рік тому |
|
Georgi Gerganov
|
5b09797321
ggml : remove old quantization functions (#5942)
|
1 рік тому |
 leejet
|
7d43c585dc
add some new ops, fix some operators and add batch operations to certain operators. (ggml/747)
|
1 рік тому |
