 Georgi Gerganov
|
b49a13dd2f
convert : fix set_vocab_sentencepiece (#6866)
|
1 năm trước cách đây |
 Aarni Koskela
|
d273c1402b
py : convert-hf-to-gguf-update improvements (#7340)
|
1 năm trước cách đây |
 amd-lalithnc
|
e18bc6aaf3
convert : fix Qwen/Qwen-7b conversion (#7308)
|
1 năm trước cách đây |
 compilade
|
ee52225067
convert-hf : support direct Q8_0 conversion (#7234)
|
1 năm trước cách đây |
 Joan Fontanals
|
9aa672490c
llama : rename jina tokenizers to v2 (#7249)
|
1 năm trước cách đây |
|
compilade
|
5a419926b0
convert-hf : support bfloat16 conversion (#7158)
|
1 năm trước cách đây |
 Joan Fontanals
|
b83cc3f5b3
llama : add Jina Embeddings architecture (#6826)
|
1 năm trước cách đây |
|
Georgi Gerganov
|
9cb317f77e
ggml : full ALiBi support (#7192)
|
1 năm trước cách đây |
|
compilade
|
f98eb31c51
convert-hf : save memory with lazy evaluation (#7075)
|
1 năm trước cách đây |
 Ren Xuancheng
|
229ffff872
llama : add BPE pre-tokenization for Qwen2 (#7114)
|
1 năm trước cách đây |
 DAN™
|
4cd621c26d
convert : add BPE pre-tokenization for DBRX (#7132)
|
1 năm trước cách đây |
 nopperl
|
b6aa670203
Fix OLMo HF to GGUF conversion (#6910)
|
1 năm trước cách đây |
|
DAN™
|
889bdd7686
command-r : add BPE pre-tokenization (#7063)
|
1 năm trước cách đây |
|
Georgi Gerganov
|
92139b90af
tests : add test-tokenizer-0.sh + fix some tokenizers (#7036)
|
1 năm trước cách đây |
 Brian
|
a2ac89d6ef
convert.py : add python logging instead of print() (#6511)
|
1 năm trước cách đây |
 Bartowski
|
60325fa56f
Remove .attention from skipped tensors to match more accurately (#7051)
|
1 năm trước cách đây |
|
Georgi Gerganov
|
952d03dbea
convert : use utf8 encoding (#7000)
|
1 năm trước cách đây |
|
Georgi Gerganov
|
f4ab2a4147
llama : fix BPE pre-tokenization (#6920)
|
1 năm trước cách đây |
 Christian Zhou-Zheng
|
3055a41805
convert : fix conversion of some BERT embedding models (#6937)
|
1 năm trước cách đây |
 Junyang Lin
|
3fec68be4e
convert : add support of codeqwen due to tokenizer (#6707)
|
1 năm trước cách đây |
 liuwei-git
|
c8297c6af5
llama : add phi3 support (#6852)
|
1 năm trước cách đây |
 Pedro Cuenca
|
b97bc3966e
llama : support Llama 3 HF conversion (#6745)
|
1 năm trước cách đây |
|
nopperl
|
9958c81b79
Implement the OLMo architecture (#6741)
|
1 năm trước cách đây |
 Zheng.Deng
|
facb8b56f8
convert : fix autoawq gemma (#6704)
|
1 năm trước cách đây |
 Ashish
|
dbceec87c0
llama : add StableLM2 12B (#6635)
|
1 năm trước cách đây |
 Shijie
|
f4dea7da18
llama : add qwen2moe (#6074)
|
1 năm trước cách đây |
 Daniel Bevenius
|
4fbd8098e6
gguf : add special tokens metadata for FIM/Infill (#6689)
|
1 năm trước cách đây |
 James A Capozzoli
|
a4ec34e1cd
convert : enable the `--use-temp-file` cli flag (#6645)
|
1 năm trước cách đây |
 Pierrick Hymbert
|
4bd0f93e4a
model: support arch `DbrxForCausalLM` (#6515)
|
1 năm trước cách đây |
 Jared Van Bortel
|
1b67731e18
BERT tokenizer fixes (#6498)
|
1 năm trước cách đây |
