Commit History

Auteur SHA1 Bericht Datum
  compilade 3fd62a6b1c py : type-check all Python scripts with Pyright (#8341) 1 jaar geleden
  jaime-m-p 37bef89433 tokenizer : BPE fixes (#7530) 1 jaar geleden
  jaime-m-p b43272afa2 Unicode codepoint flags for custom regexs (#7245) 1 jaar geleden
  jaime-m-p 43248e5594 llama3 custom regex split (#6965) 1 jaar geleden
  Brian 6fbd432211 py : logging and flake8 suppression refactoring (#7081) 1 jaar geleden
  Georgi Gerganov 92139b90af tests : add test-tokenizer-0.sh + fix some tokenizers (#7036) 1 jaar geleden