Procházet zdrojové kódy

convert : fix TypeError on GPT-2 vocab.json (#5288)

Sang-Kil Park před 1 rokem
rodič
revize
f68664ac24
1 změnil soubory, kde provedl 2 přidání a 2 odebrání
  1. 2 2
      convert.py

+ 2 - 2
convert.py

@@ -334,9 +334,9 @@ class Params:
 class BpeVocab:
 class BpeVocab:
     def __init__(self, fname_tokenizer: Path, fname_added_tokens: Path | None) -> None:
     def __init__(self, fname_tokenizer: Path, fname_added_tokens: Path | None) -> None:
         self.bpe_tokenizer = json.loads(open(str(fname_tokenizer), encoding="utf-8").read())
         self.bpe_tokenizer = json.loads(open(str(fname_tokenizer), encoding="utf-8").read())
-        try:
+        if isinstance(self.bpe_tokenizer.get('model'), dict):
             self.vocab = self.bpe_tokenizer["model"]["vocab"]
             self.vocab = self.bpe_tokenizer["model"]["vocab"]
-        except KeyError:
+        else:
             self.vocab = self.bpe_tokenizer
             self.vocab = self.bpe_tokenizer
         added_tokens: dict[str, int]
         added_tokens: dict[str, int]
         if fname_added_tokens is not None:
         if fname_added_tokens is not None: