Просмотр исходного кода

py : remove unnecessary hasattr (#4903)

Georgi Gerganov 2 лет назад
Родитель
Сommit
5c99960901
1 измененных файлов с 4 добавлено и 5 удалено
  1. 4 5
      convert-hf-to-gguf.py

+ 4 - 5
convert-hf-to-gguf.py

@@ -266,11 +266,10 @@ class Model:
                 toktypes.append(gguf.TokenType.USER_DEFINED)
             elif reverse_vocab[i] in added_vocab:
                 tokens.append(reverse_vocab[i])
-                if hasattr(tokenizer, "added_tokens_decoder"):
-                    if tokenizer.added_tokens_decoder[i].special:
-                        toktypes.append(gguf.TokenType.CONTROL)
-                    else:
-                        toktypes.append(gguf.TokenType.USER_DEFINED)
+                if tokenizer.added_tokens_decoder[i].special:
+                    toktypes.append(gguf.TokenType.CONTROL)
+                else:
+                    toktypes.append(gguf.TokenType.USER_DEFINED)
             else:
                 tokens.append(reverse_vocab[i])
                 toktypes.append(gguf.TokenType.NORMAL)