Просмотр исходного кода

Fix for #3454 (#3455)

Fix: `sentencepiece` tokenizers with added tokens failed with an incorrect assertion
goerch 2 лет назад
Родитель
Сommit
3a716b4dae
1 измененных файлов с 6 добавлено и 2 удалено
  1. 6 2
      llama.cpp

+ 6 - 2
llama.cpp

@@ -8200,7 +8200,9 @@ int llama_token_to_piece(const struct llama_model * model, llama_token token, ch
                 buf[0] = llama_token_to_byte(model->vocab, token);
                 buf[0] = llama_token_to_byte(model->vocab, token);
                 return 1;
                 return 1;
             } else {
             } else {
-                GGML_ASSERT(false);
+                // TODO: for now we accept all unsupported token types,
+                // suppressing them like CONTROL tokens.
+                // GGML_ASSERT(false);
             }
             }
             break;
             break;
         }
         }
@@ -8216,7 +8218,9 @@ int llama_token_to_piece(const struct llama_model * model, llama_token token, ch
             } else if (llama_is_control_token(model->vocab, token)) {
             } else if (llama_is_control_token(model->vocab, token)) {
                 ;
                 ;
             } else {
             } else {
-                GGML_ASSERT(false);
+                // TODO: for now we accept all unsupported token types,
+                // suppressing them like CONTROL tokens.
+                // GGML_ASSERT(false);
             }
             }
             break;
             break;
         }
         }