Commit History

Autor SHA1 Mensaxe Data
  Haoxiang Fei f99e1e456e llama : lookup word in vocab before doing BPE merges (#7193) hai 1 ano
  Georgi Gerganov 83796e62bc llama : refactor unicode stuff (#5992) hai 1 ano
  bmwl f486f6e1e5 ggml : add numa options (#5377) hai 1 ano
  Georgi Gerganov cf45252a7c tests : multi-thread the tokenizer tests (#5474) hai 1 ano
  Galunid daab3d7f45 Add more tokenizer tests (#3742) %!s(int64=2) %!d(string=hai) anos
  goerch ff5a3f0c09 Work on the BPE tokenizer (#3252) %!s(int64=2) %!d(string=hai) anos