 0cc4m
|
c9c64dee57
Set GLM4 blk.*.attn_output.weight, kqv_out-* matmul to GGML_PREC_F32 to fix infinity values in output (#13639)
|
před 8 měsíci |
 Georgi Gerganov
|
e298d2fbd0
kv-cache : add SWA support (#13194)
|
před 8 měsíci |
 Johannes Gäßler
|
10d2af0eaa
llama/ggml: add LLM training support (#10544)
|
před 8 měsíci |
|
Johannes Gäßler
|
0cf6725e9f
CUDA: FA support for Deepseek (Ampere or newer) (#13306)
|
před 8 měsíci |
 Xuan-Son Nguyen
|
2f54e348ad
llama : fix build_ffn without gate (#13336)
|
před 8 měsíci |
|
Georgi Gerganov
|
c642bc014c
kv-cache : separate recurrent vs non-recurrent impl (#12799)
|
před 8 měsíci |
|
Xuan-Son Nguyen
|
b6ce7430b7
llama-graph : fix text position for mrope (#13159)
|
před 8 měsíci |
 AT
|
5f5e39e1ba
model : Nomic Embed Text V2 with Mixture-of-Experts (MoE) architecture (#12466)
|
před 8 měsíci |
|
Xuan-Son Nguyen
|
d2b2031e5f
llama : (mrope) allow using normal 1D position for text token (#13138)
|
před 8 měsíci |
 City
|
558a764713
Force FP32 compute in GLM4 FFN Down (#13101)
|
před 8 měsíci |
|
Georgi Gerganov
|
2f74c354c0
graph : make FA compatible with MLA + add initial Metal kernels (#12953)
|
před 9 měsíci |
 Juk Armstrong
|
daa422881a
llama : DeepSeek V2/V3 MLA implementation (#12801)
|
před 9 měsíci |
|
Georgi Gerganov
|
a19b5cef16
llama : fix FA when KV cache is not used (i.e. embeddings) (#12825)
|
před 9 měsíci |
|
Xuan-Son Nguyen
|
1466621e73
llama : Support llama 4 text-only (#12791)
|
před 9 měsíci |
|
Xuan-Son Nguyen
|
af6ae1efb2
llama : fix non-causal mask for gemma 3 (#12615)
|
před 9 měsíci |
|
Georgi Gerganov
|
75422e8bc4
graph : normalize Q, K, V shapes + sync cross attention (#12449)
|
před 10 měsíci |
 fairydreaming
|
8fcb563613
Load all MoE experts during warmup (#11571)
|
před 10 měsíci |
|
Georgi Gerganov
|
c522ce4143
graph : simplify attn input build for unified KV cache (#12381)
|
před 10 měsíci |
|
Georgi Gerganov
|
081bee8c64
hparams : add SWA rope parameters (#12374)
|
před 10 měsíci |
|
Georgi Gerganov
|
84d5475541
llama : fix Gemma3 SWA KV cache shift (#12373)
|
před 10 měsíci |
|
Georgi Gerganov
|
e0dbec0bc6
llama : refactor llama_context, llama_kv_cache, llm_build_context (#12181)
|
před 10 měsíci |
