Procházet zdrojové kódy

convert : fix rwkv bos/eos token (#13844)

Sigbjørn Skjæret před 7 měsíci
rodič
revize
db38704f01
1 změnil soubory, kde provedl 4 přidání a 0 odebrání
  1. 4 0
      convert_hf_to_gguf.py

+ 4 - 0
convert_hf_to_gguf.py

@@ -1047,6 +1047,10 @@ class TextModel(ModelBase):
         special_vocab.chat_template = "rwkv-world"
         # hack: Add '\n\n' as the EOT token to make it chat normally
         special_vocab._set_special_token("eot", 261)
+        # hack: Override these as they have already been set (incorrectly)
+        special_vocab.special_token_ids["bos"] = 0
+        special_vocab.special_token_ids["eos"] = 0
+
         special_vocab.add_to_gguf(self.gguf_writer)
 
     def _set_vocab_builtin(self, model_name: Literal["gpt-neox", "llama-spm"], vocab_size: int):