 slaren
|
0d56246f4b
ggml : group all experts in a single ggml_mul_mat_id (#6505)
|
1 an în urmă |
 Shijie
|
f4dea7da18
llama : add qwen2moe (#6074)
|
1 an în urmă |
 Dave
|
422c2aff1c
Added support for GGML_OP_CLAMP in Metal (#6662)
|
1 an în urmă |
|
slaren
|
fbbc030ba9
metal : unify mul_mv_id kernels (#6556)
|
1 an în urmă |
|
slaren
|
08a0c02060
ggml : mul_mat_id use the same tensor for all the experts (#6387)
|
1 an în urmă |
 Kawrakow
|
cbc8343619
Make IQ1_M work for QK_K = 64 (#6327)
|
1 an în urmă |
|
Kawrakow
|
55c1b2a3bb
IQ1_M: 1.75 bpw quantization (#6302)
|
1 an în urmă |
 Georgi Gerganov
|
b3e94f26ba
metal : proper assert for mat-mat memory alignment (#6225)
|
1 an în urmă |
|
Kawrakow
|
76aa30a263
Add ability to use Q5_0, Q5_1, and IQ4_NL for quantized K cache (#6183)
|
1 an în urmă |
|
Georgi Gerganov
|
381da2d9f0
metal : build metallib + fix embed path (#6015)
|
1 an în urmă |
|
Georgi Gerganov
|
8030da7afe
ggml : reuse quantum structs across backends (#5943)
|
1 an în urmă |
|
Kawrakow
|
44ca159faf
1.5 bit: we can do even better (#5999)
|
1 an în urmă |
|
Kawrakow
|
be858f6205
Better 1.5 bit quantization (#5971)
|
1 an în urmă |
|
Georgi Gerganov
|
bb6d00bbf9
metal : move mm_id indices to shared mem (#5982)
|
1 an în urmă |
|
Georgi Gerganov
|
8a3012a4ad
ggml : add ggml-common.h to deduplicate shared code (#5940)
|
1 an în urmă |
 leejet
|
7d43c585dc
add some new ops, fix some operators and add batch operations to certain operators. (ggml/747)
|
1 an în urmă |
|
Kawrakow
|
bbde6eb256
ggml : IQ3_S improvements (#5829)
|
1 an în urmă |
|
Kawrakow
|
7c4263d426
ggml : make i-quants work with super-blocks of 64 (CPU,Metal) (#5760)
|
1 an în urmă |
|
Kawrakow
|
0becb22ac0
IQ4_XS: a 4.25 bpw quantization (#5747)
|
1 an în urmă |
|
Kawrakow
|
a33e6a0d2a
Adding IQ2_S and IQ2_M to complete coverage of the 2-3 bit quantization range (#5721)
|
1 an în urmă |
|
Kawrakow
|
4c4cb30736
IQ3_S: a much better alternative to Q3_K (#5676)
|
1 an în urmă |
|
Kawrakow
|
a14679cc30
IQ4_NL: 4-bit non-linear quants with blocks of 32 (#5590)
|
1 an în urmă |
|
slaren
|
3a9cb4ca64
cuda, metal : fix nans in soft_max (#5574)
|
1 an în urmă |
|
Georgi Gerganov
|
7ad554f90e
metal : fix unused warnings (#0)
|
1 an în urmă |
|
Kawrakow
|
bd2d4e393b
1.5 bit quantization (#5453)
|
1 an în urmă |
|
Georgi Gerganov
|
8f1be0d42f
ggml : add ALiBi support for ggml_soft_max_ext (#5488)
|
1 an în urmă |
|
Georgi Gerganov
|
efb7bdbbd0
metal : add im2col F32 dst support (#5132)
|
1 an în urmă |
|
Kawrakow
|
fea4fd4ba7
ggml : fix IQ3_XXS on Metal (#5219)
|
1 an în urmă |
|
Kawrakow
|
f4d7e54974
SOTA 3-bit quants (#5196)
|
1 an în urmă |
|
Kawrakow
|
49662cbed3
ggml : SOTA 2-bit quants (add IQ2_XS) (#4856)
|
2 ani în urmă |
