Просмотр исходного кода

py : add special tokens in hf_converter for RWKV v6 (#9428)

Signed-off-by: Molly Sophia <mollysophia379@gmail.com>
Molly Sophia 1 год назад
Родитель
Сommit
39f852f440
1 измененных файлов с 2 добавлено и 0 удалено
  1. 2 0
      convert_hf_to_gguf.py

+ 2 - 0
convert_hf_to_gguf.py

@@ -2771,6 +2771,8 @@ class Rwkv6Model(Model):
         self.gguf_writer.add_tokenizer_model("rwkv")
         self.gguf_writer.add_tokenizer_model("rwkv")
         self.gguf_writer.add_token_list(tokens)
         self.gguf_writer.add_token_list(tokens)
         self.gguf_writer.add_token_types(toktypes)
         self.gguf_writer.add_token_types(toktypes)
+        special_vocab = gguf.SpecialVocab(self.dir_model, load_merges=False)
+        special_vocab.add_to_gguf(self.gguf_writer)
 
 
     def set_gguf_parameters(self):
     def set_gguf_parameters(self):
         block_count = self.hparams["num_hidden_layers"]
         block_count = self.hparams["num_hidden_layers"]