 Georgi Gerganov
|
6f0dbf6ab0
infill : assert prefix/suffix tokens + remove old space logic (#8351)
|
hace 1 año |
 Clint Herron
|
07a3fc0608
Removes multiple newlines at the end of files that is breaking the editorconfig step of CI. (#8258)
|
hace 1 año |
 Sigbjørn Skjæret
|
38373cfbab
Add SPM infill support (#8016)
|
hace 1 año |
|
Sigbjørn Skjæret
|
91c188d6c2
Only use FIM middle token if it exists (#7648)
|
hace 1 año |
|
Georgi Gerganov
|
1442677f92
common : refactor cli arg parsing (#7675)
|
hace 1 año |
|
Georgi Gerganov
|
6ff13987ad
common : normalize naming style (#7462)
|
hace 1 año |
 Pedro Cuenca
|
b97bc3966e
llama : support Llama 3 HF conversion (#6745)
|
hace 1 año |
 Jared Van Bortel
|
1b67731e18
BERT tokenizer fixes (#6498)
|
hace 1 año |
|
Jared Van Bortel
|
4d4d2366fc
convert : automatically fall back to HfVocab if tokenizer.model doesn't exist (#5821)
|
hace 1 año |
|
Georgi Gerganov
|
bf08e00643
llama : refactor k-shift implementation + KV defragmentation (#5691)
|
hace 1 año |
 bmwl
|
f486f6e1e5
ggml : add numa options (#5377)
|
hace 1 año |
 Michael Klimenko
|
35a2ee9143
Remove unused data and add fixes (#5154)
|
hace 2 años |
 Seb C
|
881800d1f0
main : Add ChatML functionality to main example (#4046)
|
hace 2 años |
 Kerfuffle
|
91f6499393
Respect tokenizer.ggml.add_bos_token value when tokenizing (#4040)
|
hace 2 años |
 cebtenzzre
|
b12fa0d1c1
build : link against build info instead of compiling against it (#3879)
|
hace 2 años |
 Marcus Dunn
|
5be6c803fa
llama : remove token functions with `context` args in favor of `model` (#3720)
|
hace 2 años |
|
Georgi Gerganov
|
d1031cf49c
sampling : refactor init to use llama_sampling_params (#3696)
|
hace 2 años |
|
Georgi Gerganov
|
0e89203b51
speculative : add tree-based sampling example (#3624)
|
hace 2 años |
|
Kerfuffle
|
70c29da118
common : fix mirostat state when using multiple sequences (#3543)
|
hace 2 años |
 vvhg1
|
11ea5c7d96
infill. : fix tokenization (#3508)
|
hace 2 años |
|
vvhg1
|
c97f01c362
infill : add new example + extend server API (#3296)
|
hace 2 años |
