 Ren Xuancheng
|
229ffff872
llama : add BPE pre-tokenization for Qwen2 (#7114)
|
пре 1 година |
 DAN™
|
4cd621c26d
convert : add BPE pre-tokenization for DBRX (#7132)
|
пре 1 година |
 nopperl
|
b6aa670203
Fix OLMo HF to GGUF conversion (#6910)
|
пре 1 година |
|
DAN™
|
889bdd7686
command-r : add BPE pre-tokenization (#7063)
|
пре 1 година |
 Georgi Gerganov
|
92139b90af
tests : add test-tokenizer-0.sh + fix some tokenizers (#7036)
|
пре 1 година |
 Brian
|
a2ac89d6ef
convert.py : add python logging instead of print() (#6511)
|
пре 1 година |
 Bartowski
|
60325fa56f
Remove .attention from skipped tensors to match more accurately (#7051)
|
пре 1 година |
|
Georgi Gerganov
|
952d03dbea
convert : use utf8 encoding (#7000)
|
пре 1 година |
|
Georgi Gerganov
|
f4ab2a4147
llama : fix BPE pre-tokenization (#6920)
|
пре 1 година |
 Christian Zhou-Zheng
|
3055a41805
convert : fix conversion of some BERT embedding models (#6937)
|
пре 1 година |
 Junyang Lin
|
3fec68be4e
convert : add support of codeqwen due to tokenizer (#6707)
|
пре 1 година |
 liuwei-git
|
c8297c6af5
llama : add phi3 support (#6852)
|
пре 1 година |
 Pedro Cuenca
|
b97bc3966e
llama : support Llama 3 HF conversion (#6745)
|
пре 1 година |
|
nopperl
|
9958c81b79
Implement the OLMo architecture (#6741)
|
пре 1 година |
 Zheng.Deng
|
facb8b56f8
convert : fix autoawq gemma (#6704)
|
пре 1 година |
 Ashish
|
dbceec87c0
llama : add StableLM2 12B (#6635)
|
пре 1 година |
 Shijie
|
f4dea7da18
llama : add qwen2moe (#6074)
|
пре 1 година |
 Daniel Bevenius
|
4fbd8098e6
gguf : add special tokens metadata for FIM/Infill (#6689)
|
пре 1 година |
 James A Capozzoli
|
a4ec34e1cd
convert : enable the `--use-temp-file` cli flag (#6645)
|
пре 1 година |
 Pierrick Hymbert
|
4bd0f93e4a
model: support arch `DbrxForCausalLM` (#6515)
|
пре 1 година |
 Jared Van Bortel
|
1b67731e18
BERT tokenizer fixes (#6498)
|
пре 1 година |
 Carolinabanana
|
5dc9dd7152
llama : add Command R Plus support (#6491)
|
пре 1 година |
 Clint Herron
|
72d73af651
convert : fix for lint error complaining of bare except (#6470)
|
пре 1 година |
 bryanSwk
|
bb43cf7e9d
llama : add SEA-LION support (#6448)
|
пре 1 година |
 Abhishek Gopinath K
|
db214fa578
Missing tokenizer.model error during gguf conversion (#6443)
|
пре 1 година |
 slaren
|
08a0c02060
ggml : mul_mat_id use the same tensor for all the experts (#6387)
|
пре 1 година |
 hxer7963
|
069574775c
[Model] Add support for xverse (#6301)
|
пре 1 година |
|
Pedro Cuenca
|
b75c38166c
convert : allow conversion of Mistral HF models (#6144)
|
пре 1 година |
|
Jared Van Bortel
|
be55134a53
convert : refactor vocab selection logic (#6355)
|
пре 1 година |
|
Pedro Cuenca
|
e097633f63
convert-hf : fix exception in sentencepiece with added tokens (#6320)
|
пре 1 година |
