Просмотр исходного кода

llama : fix incorrect Qwen2Moe ffn_moe_out graph callback (#12631)

Sigbjørn Skjæret 9 месяцев назад
Родитель
Сommit
3714c3ee1a
1 измененных файлов с 1 добавлено и 1 удалено
  1. 1 1
      src/llama-model.cpp

+ 1 - 1
src/llama-model.cpp

@@ -6323,7 +6323,7 @@ struct llm_build_qwen2moe : public llm_graph_context {
                         false, 0.0,
                         LLAMA_EXPERT_GATING_FUNC_TYPE_SOFTMAX,
                         il);
-            cb(cur, "ffn_moe_out", il);
+            cb(moe_out, "ffn_moe_out", il);
 
             // FFN shared expert
             {