 Jared Van Bortel
|
dda64fc17c
convert : get general.name from model dir, not its parent (#5615)
|
vor 1 Jahr |
 Brian
|
b1f8af1886
convert.py: Outfile default name change and additional metadata support (#4858)
|
vor 1 Jahr |
 compilade
|
f98eb31c51
convert-hf : save memory with lazy evaluation (#7075)
|
vor 1 Jahr |
 20kdc
|
ad211edef5
convert.py : --vocab-only generates false but valid params (#7027)
|
vor 1 Jahr |
|
Brian
|
a2ac89d6ef
convert.py : add python logging instead of print() (#6511)
|
vor 1 Jahr |
 Pedro Cuenca
|
b97bc3966e
llama : support Llama 3 HF conversion (#6745)
|
vor 1 Jahr |
 slaren
|
65c64dc36f
convert.py : add consolidated.safetensors for mixtral 8x22b (#6587)
|
vor 1 Jahr |
|
Jared Van Bortel
|
1b67731e18
BERT tokenizer fixes (#6498)
|
vor 1 Jahr |
 kunnis
|
cecd8d3c98
Comment explaining a decision (#6531)
|
vor 1 Jahr |
|
slaren
|
08a0c02060
ggml : mul_mat_id use the same tensor for all the experts (#6387)
|
vor 1 Jahr |
|
Jared Van Bortel
|
be55134a53
convert : refactor vocab selection logic (#6355)
|
vor 1 Jahr |
 Romain D
|
3a6efdd03c
convert : use f32 outtype for bf16 tensors (#6106)
|
vor 1 Jahr |
 Michael Podvitskiy
|
69ff61397d
llama : support models without vocabulary (#5798)
|
vor 1 Jahr |
 Georgi Gerganov
|
1e35d619a6
convert : remove AWQ remnants (#5768)
|
vor 1 Jahr |
|
Jared Van Bortel
|
4d4d2366fc
convert : automatically fall back to HfVocab if tokenizer.model doesn't exist (#5821)
|
vor 1 Jahr |
 John
|
aa23412989
llava : support v1.6 (#5267)
|
vor 1 Jahr |
 Sang-Kil Park
|
f68664ac24
convert : fix TypeError on GPT-2 vocab.json (#5288)
|
vor 1 Jahr |
|
Georgi Gerganov
|
906cff55c2
py : handle byte tokens in `get_token_type` (#5341)
|
vor 1 Jahr |
|
Georgi Gerganov
|
14fef85e2d
py : fix except (#5194)
|
vor 2 Jahren |
|
Sang-Kil Park
|
e76627bcce
py : improve BPE tokenizer support (#5189)
|
vor 2 Jahren |
|
Jared Van Bortel
|
b43ebde3b0
convert : partially revert PR #4818 (#5041)
|
vor 2 Jahren |
 David Sommers
|
b46757735d
convert.py : fix llama/llama2 conversion due to vocab_size=-1 (#5019)
|
vor 2 Jahren |
|
Georgi Gerganov
|
0f83e727af
py : fix whitespace
|
vor 2 Jahren |
|
Georgi Gerganov
|
4f4bf35f46
py : fix missing added_tokens_dict for SPM and BPE vocabs (#4971)
|
vor 2 Jahren |
 Austin
|
6efb8eb30e
convert.py : fix vanilla LLaMA model conversion (#4818)
|
vor 2 Jahren |
 Nam D. Tran
|
f6793491b5
llama : add AWQ for llama, llama2, mpt, and mistral models (#4593)
|
vor 2 Jahren |
 wonjun Jang
|
f56d6077d0
Add byte token type when tokenizer.model is not exists (#4641)
|
vor 2 Jahren |
|
wonjun Jang
|
873637afc7
convert : support loading vocab from fast tokenizer config (#3633)
|
vor 2 Jahren |
|
slaren
|
799a1cb13b
llama : add Mixtral support (#4406)
|
vor 2 Jahren |
 Richard Kiss
|
9494d7c477
english : use `typos` to fix comments and logs (#4354)
|
vor 2 Jahren |
