 Georgi Gerganov
|
afa8a9ec9b
llama : add `llama_vocab`, functions -> methods, naming (#11110)
|
1 рік тому |
|
Georgi Gerganov
|
47182dd03f
llama : update llama_model API names (#11063)
|
1 рік тому |
 Diego Devesa
|
7eee341bee
common : use common_ prefix for common library functions (#9805)
|
1 рік тому |
 Zhenwei Jin
|
6102037bbb
vocab : refactor tokenizer to reduce init overhead (#9449)
|
1 рік тому |
 compilade
|
fa79495bb4
llama : fix pre-tokenization of non-special added tokens (#8228)
|
1 рік тому |
 jaime-m-p
|
213701b51a
Detokenizer fixes (#8039)
|
1 рік тому |
|
Georgi Gerganov
|
92139b90af
tests : add test-tokenizer-0.sh + fix some tokenizers (#7036)
|
1 рік тому |
|
Georgi Gerganov
|
f4ab2a4147
llama : fix BPE pre-tokenization (#6920)
|
1 рік тому |
|
Georgi Gerganov
|
edd4c14817
llama : more tokenizer fixes (#2810)
|
2 роки тому |
 klosax
|
2ba83c8685
Fix spm whitespaces (#2806)
|
2 роки тому |
 goerch
|
46ef5b5fcf
llama : fix whitespace escaping in tokenizer (#2724)
|
2 роки тому |
|
Georgi Gerganov
|
6381d4e110
gguf : new file format with flexible meta data (beta) (#2398)
|
2 роки тому |
 Evan Miller
|
5656d10599
mpi : add support for distributed inference via MPI (#2099)
|
2 роки тому |
 Didzis Gosko
|
527b6fba1d
llama : make model stateless and context stateful (llama_state) (#1797)
|
2 роки тому |
 Borislav Stanimirov
|
9cbf50c041
build : fix and ignore MSVC warnings (#1889)
|
2 роки тому |
 Arik Poznanski
|
efd05648c8
llama : well-defined static initialization of complex objects (#927)
|
2 роки тому |
|
Georgi Gerganov
|
d502bc7c9d
tests : free llama context at the end of the test
|
2 роки тому |
|
Georgi Gerganov
|
a316a425d0
Overhaul the examples structure
|
2 роки тому |
|
Georgi Gerganov
|
f5a77a629b
Introduce C-style API (#370)
|
2 роки тому |
|
Georgi Gerganov
|
eb34620aec
Add tokenizer test + revert to C++11 (#355)
|
2 роки тому |
