Commit Verlauf

Autor SHA1 Nachricht Datum
  Georgi Gerganov afa8a9ec9b llama : add `llama_vocab`, functions -> methods, naming (#11110) vor 1 Jahr
  Georgi Gerganov 47182dd03f llama : update llama_model API names (#11063) vor 1 Jahr
  Diego Devesa 7eee341bee common : use common_ prefix for common library functions (#9805) vor 1 Jahr
  jaime-m-p 213701b51a Detokenizer fixes (#8039) vor 1 Jahr
  Haoxiang Fei f99e1e456e llama : lookup word in vocab before doing BPE merges (#7193) vor 1 Jahr
  Georgi Gerganov 83796e62bc llama : refactor unicode stuff (#5992) vor 1 Jahr
  bmwl f486f6e1e5 ggml : add numa options (#5377) vor 1 Jahr
  Georgi Gerganov cf45252a7c tests : multi-thread the tokenizer tests (#5474) vor 1 Jahr
  Galunid daab3d7f45 Add more tokenizer tests (#3742) vor 2 Jahren
  goerch ff5a3f0c09 Work on the BPE tokenizer (#3252) vor 2 Jahren