コミット履歴

作者 SHA1 メッセージ 日付
  Xuan-Son Nguyen 07e4351ce6 convert : allow partial update to the chkhsh pre-tokenizer list (#13847) 8 ヶ月 前
  fairydreaming 807b0c49ff Inference support for T5 and FLAN-T5 model families (#5763) 1 年間 前
  Georgi Gerganov 20fc3804bf convert : fix gemma v1 tokenizer convert (#8248) 1 年間 前
  Georgi Gerganov 92139b90af tests : add test-tokenizer-0.sh + fix some tokenizers (#7036) 1 年間 前
  Georgi Gerganov f4ab2a4147 llama : fix BPE pre-tokenization (#6920) 1 年間 前