Quellcode durchsuchen

llama : recognize 1B phi models (#4847)

This update categorizes models with 24 layers as MODEL_1B, ensuring compatibility with different Phi model variants without impacting existing Phi-2 model functionality.
Austin vor 2 Jahren
Ursprung
Commit
329ff61569
1 geänderte Dateien mit 1 neuen und 0 gelöschten Zeilen
  1. 1 0
      llama.cpp

+ 1 - 0
llama.cpp

@@ -2829,6 +2829,7 @@ static void llm_load_hparams(
                 ml.get_key(LLM_KV_ATTENTION_LAYERNORM_EPS, hparams.f_norm_eps);
 
                 switch (hparams.n_layer) {
+                    case 24: model.type = e_model::MODEL_1B; break;
                     case 32: model.type = e_model::MODEL_3B; break;
                     default: model.type = e_model::MODEL_UNKNOWN;
                 }