Преглед изворни кода

Missing tokenizer.model error during gguf conversion (#6443)

Co-authored-by: Jared Van Bortel <jared@nomic.ai>
Abhishek Gopinath K пре 1 година
родитељ
комит
db214fa578
1 измењених фајлова са 1 додато и 2 уклоњено
  1. 1 2
      convert-hf-to-gguf.py

+ 1 - 2
convert-hf-to-gguf.py

@@ -323,8 +323,7 @@ class Model(ABC):
         toktypes: list[int] = []
 
         if not tokenizer_path.is_file():
-            print(f'Error: Missing {tokenizer_path}', file=sys.stderr)
-            sys.exit(1)
+            raise FileNotFoundError(f"File not found: {tokenizer_path}")
 
         tokenizer = SentencePieceProcessor(str(tokenizer_path))
         vocab_size = self.hparams.get('vocab_size', tokenizer.vocab_size())