Explorar o código

llama : fix old glm4 models (#11670)

tv1wnd hai 11 meses
pai
achega
855cd0734a
Modificáronse 1 ficheiros con 1 adicións e 1 borrados
  1. 1 1
      src/llama.cpp

+ 1 - 1
src/llama.cpp

@@ -7217,7 +7217,7 @@ struct llm_build_context {
                 struct ggml_tensor * Qcur = nullptr;
                 struct ggml_tensor * Kcur = nullptr;
                 struct ggml_tensor * Vcur = nullptr;
-                if (model.type == LLM_TYPE_1_5B || model.type == LLM_TYPE_4B || model.type == LLM_TYPE_9B) {
+                if (model.layers[il].wqkv == nullptr) {
                     Qcur = llm_build_lora_mm(lctx, ctx0, model.layers[il].wq, cur);
                     if (model.layers[il].bq) {
                         Qcur = ggml_add(ctx0, Qcur, model.layers[il].bq);