Browse Source

llama : fix incorrect Qwen2Moe ffn_moe_out graph callback (#12631)

Sigbjørn Skjæret 9 tháng trước cách đây
mục cha
commit
3714c3ee1a
1 tập tin đã thay đổi với 1 bổ sung1 xóa
  1. 1 1
      src/llama-model.cpp

+ 1 - 1
src/llama-model.cpp

@@ -6323,7 +6323,7 @@ struct llm_build_qwen2moe : public llm_graph_context {
                         false, 0.0,
                         false, 0.0,
                         LLAMA_EXPERT_GATING_FUNC_TYPE_SOFTMAX,
                         LLAMA_EXPERT_GATING_FUNC_TYPE_SOFTMAX,
                         il);
                         il);
-            cb(cur, "ffn_moe_out", il);
+            cb(moe_out, "ffn_moe_out", il);
 
 
             // FFN shared expert
             // FFN shared expert
             {
             {