 jaime-m-p
|
37bef89433
tokenizer : BPE fixes (#7530)
|
1 рік тому |
|
jaime-m-p
|
3b38d48609
Per token attributes (#7685)
|
1 рік тому |
|
jaime-m-p
|
02c1ecad07
Tokenizer WPM fixes (#7500)
|
1 рік тому |
|
jaime-m-p
|
d7e852c1bc
Tokenizer SPM fixes for phi-3 and llama-spm (bugfix) (#7425)
|
1 рік тому |
|
jaime-m-p
|
917dc8cfa6
Tokenizer SPM fixes for phi-3 and llama-spm (#7375)
|
1 рік тому |
|
jaime-m-p
|
b43272afa2
Unicode codepoint flags for custom regexs (#7245)
|
1 рік тому |
|
jaime-m-p
|
43248e5594
llama3 custom regex split (#6965)
|
1 рік тому |
