leejet
|
7d43c585dc
add some new ops, fix some operators and add batch operations to certain operators. (ggml/747)
|
1 tahun lalu |
Kawrakow
|
bbde6eb256
ggml : IQ3_S improvements (#5829)
|
1 tahun lalu |
Kawrakow
|
7c4263d426
ggml : make i-quants work with super-blocks of 64 (CPU,Metal) (#5760)
|
1 tahun lalu |
Kawrakow
|
0becb22ac0
IQ4_XS: a 4.25 bpw quantization (#5747)
|
1 tahun lalu |
Kawrakow
|
a33e6a0d2a
Adding IQ2_S and IQ2_M to complete coverage of the 2-3 bit quantization range (#5721)
|
1 tahun lalu |
Kawrakow
|
4c4cb30736
IQ3_S: a much better alternative to Q3_K (#5676)
|
1 tahun lalu |
Kawrakow
|
a14679cc30
IQ4_NL: 4-bit non-linear quants with blocks of 32 (#5590)
|
1 tahun lalu |
slaren
|
3a9cb4ca64
cuda, metal : fix nans in soft_max (#5574)
|
1 tahun lalu |
Georgi Gerganov
|
7ad554f90e
metal : fix unused warnings (#0)
|
1 tahun lalu |
Kawrakow
|
bd2d4e393b
1.5 bit quantization (#5453)
|
1 tahun lalu |
Georgi Gerganov
|
8f1be0d42f
ggml : add ALiBi support for ggml_soft_max_ext (#5488)
|
1 tahun lalu |
Georgi Gerganov
|
efb7bdbbd0
metal : add im2col F32 dst support (#5132)
|
2 tahun lalu |
Kawrakow
|
fea4fd4ba7
ggml : fix IQ3_XXS on Metal (#5219)
|
2 tahun lalu |
Kawrakow
|
f4d7e54974
SOTA 3-bit quants (#5196)
|
2 tahun lalu |
Kawrakow
|
49662cbed3
ggml : SOTA 2-bit quants (add IQ2_XS) (#4856)
|
2 tahun lalu |
Georgi Gerganov
|
4dccb38d9a
metal : improve dequantize precision to match CPU (#4836)
|
2 tahun lalu |
Kawrakow
|
dd5ae06405
SOTA 2-bit quants (#4773)
|
2 tahun lalu |
Georgi Gerganov
|
289313716f
metal : add kernel_get_rows_i32
|
2 tahun lalu |
Georgi Gerganov
|
f3f62f0d83
metal : optimize ggml_mul_mat_id (faster Mixtral PP) (#4725)
|
2 tahun lalu |
Georgi Gerganov
|
58ba655af0
metal : enable shader debugging (cmake option) (#4705)
|
2 tahun lalu |
Ebey Abraham
|
b9e74f9bca
llama : add phi-2 + fix NeoX rope + ggml_mul_mat_set_prec (#4490)
|
2 tahun lalu |
Georgi Gerganov
|
4d98d9a656
sync : ggml (SD ops, tests, kernels) (#4444)
|
2 tahun lalu |
slaren
|
799a1cb13b
llama : add Mixtral support (#4406)
|
2 tahun lalu |
Georgi Gerganov
|
fe680e3d10
sync : ggml (new ops, tests, backend, etc.) (#4359)
|
2 tahun lalu |
Georgi Gerganov
|
bcc0eb4591
llama : per-layer KV cache + quantum K cache (#4309)
|
2 tahun lalu |
Georgi Gerganov
|
ef47ec18da
ggml : add ggml_soft_max_ext (#4256)
|
2 tahun lalu |
Georgi Gerganov
|
3d68f364f1
ggml : sync (im2col, GPU conv, 32-bit arm compat) (#4060)
|
2 tahun lalu |
Georgi Gerganov
|
183b3fac6c
metal : fix build errors and kernel sig after #2268 (#3898)
|
2 tahun lalu |
cebtenzzre
|
898aeca90a
llama : implement YaRN RoPE scaling (#2268)
|
2 tahun lalu |
Georgi Gerganov
|
e16b9fa4ba
metal : multi-simd softmax (#3710)
|
2 tahun lalu |