 Georgi Gerganov
|
afa8a9ec9b
llama : add `llama_vocab`, functions -> methods, naming (#11110)
|
hai 1 ano |
|
Georgi Gerganov
|
47182dd03f
llama : update llama_model API names (#11063)
|
hai 1 ano |
|
Georgi Gerganov
|
3e6e7a6bc2
tokenize : escape the prompt (#11058)
|
hai 1 ano |
 Diego Devesa
|
cb13ef85a4
remove CMAKE_WINDOWS_EXPORT_ALL_SYMBOLS (#10797)
|
hai 1 ano |
|
Diego Devesa
|
7eee341bee
common : use common_ prefix for common library functions (#9805)
|
hai 1 ano |
|
Georgi Gerganov
|
6262d13e0b
common : reimplement logging (#9418)
|
hai 1 ano |
 Zhenwei Jin
|
4af8420afb
common : remove duplicate function llama_should_add_bos_token (#8778)
|
hai 1 ano |
|
slaren
|
2b1f616b20
ggml : reduce hash table reset cost (#8698)
|
hai 1 ano |
 compilade
|
9a55ffe6fb
tokenize : add --no-parse-special option (#8423)
|
hai 1 ano |
 Daniel Bevenius
|
6f63d646c1
tokenize : add --show-count (token) option (#8299)
|
hai 1 ano |
 Mikko Juola
|
57684331fc
Make tokenize CLI tool have nicer command line arguments. (#6188)
|
hai 1 ano |
 Jared Van Bortel
|
1b67731e18
BERT tokenizer fixes (#6498)
|
hai 1 ano |
 bmwl
|
f486f6e1e5
ggml : add numa options (#5377)
|
hai 1 ano |
 Kerfuffle
|
28a2e6e7d4
tokenize example: Respect normal add BOS token behavior (#4126)
|
%!s(int64=2) %!d(string=hai) anos |
|
Georgi Gerganov
|
5ad387e994
tokenize : fix trailing whitespace
|
%!s(int64=2) %!d(string=hai) anos |
 zakkor
|
2fa02b4b3d
examples : add tokenize (#4039)
|
%!s(int64=2) %!d(string=hai) anos |
