Просмотр исходного кода

model : nit, DeepSeek V1 MoE is 16B and GigaChat is 20B (#12652)

* nit, DeepSeek V1 MoE is 16B

* base type on n_ff_exp instead
Sigbjørn Skjæret 1 месяц назад
Родитель
Сommit
42b12b5608
1 измененных файлов с 3 добавлено и 2 удалено
  1. 3 2
      src/llama-model.cpp

+ 3 - 2
src/llama-model.cpp

@@ -1606,8 +1606,9 @@ void llama_model::load_hparams(llama_model_loader & ml) {
                 ml.get_key(LLM_KV_EXPERT_SHARED_COUNT,         hparams.n_expert_shared);
                 ml.get_key(LLM_KV_EXPERT_WEIGHTS_SCALE,        hparams.expert_weights_scale);
 
-                switch (hparams.n_layer) {
-                    case 28: type = LLM_TYPE_20B; break;
+                switch (hparams.n_ff_exp) {
+                    case 1408: type = LLM_TYPE_16B; break;
+                    case 1792: type = LLM_TYPE_20B; break;
                     default: type = LLM_TYPE_UNKNOWN;
                 }
             } break;