 Ren Xuancheng
|
229ffff872
llama : add BPE pre-tokenization for Qwen2 (#7114)
|
1 год назад |
 DAN™
|
4cd621c26d
convert : add BPE pre-tokenization for DBRX (#7132)
|
1 год назад |
 Georgi Gerganov
|
7e0b6a7b3b
py : also print the normalizers
|
1 год назад |
 nopperl
|
b6aa670203
Fix OLMo HF to GGUF conversion (#6910)
|
1 год назад |
|
DAN™
|
889bdd7686
command-r : add BPE pre-tokenization (#7063)
|
1 год назад |
 Brian
|
6fbd432211
py : logging and flake8 suppression refactoring (#7081)
|
1 год назад |
|
Georgi Gerganov
|
92139b90af
tests : add test-tokenizer-0.sh + fix some tokenizers (#7036)
|
1 год назад |
|
Brian
|
a2ac89d6ef
convert.py : add python logging instead of print() (#6511)
|
1 год назад |
|
Georgi Gerganov
|
952d03dbea
convert : use utf8 encoding (#7000)
|
1 год назад |
|
Georgi Gerganov
|
f4ab2a4147
llama : fix BPE pre-tokenization (#6920)
|
1 год назад |
