Procházet zdrojové kódy

convert : Qwerky : use lora_rank_tokenshift and lora_rank_decay if present (#12667)

Sigbjørn Skjæret před 9 měsíci
rodič
revize
403fbacbbc
1 změnil soubory, kde provedl 2 přidání a 2 odebrání
  1. 2 2
      convert_hf_to_gguf.py

+ 2 - 2
convert_hf_to_gguf.py

@@ -3557,8 +3557,8 @@ class RWKV6Qwen2Model(Rwkv6Model):
         head_size = hidden_size // num_attention_heads
         rms_norm_eps = self.hparams["rms_norm_eps"]
         intermediate_size = self.hparams["intermediate_size"]
-        time_mix_extra_dim = 64 if hidden_size >= 4096 else 32
-        time_decay_extra_dim = 128 if hidden_size >= 4096 else 64
+        time_mix_extra_dim = self.hparams.get("lora_rank_tokenshift", 64 if hidden_size >= 4096 else 32)
+        time_decay_extra_dim = self.hparams.get("lora_rank_decay", 128 if hidden_size >= 4096 else 64)
 
         # RWKV isn't context limited
         self.gguf_writer.add_context_length(1048576)