 Mikko Juola
|
57684331fc
Make tokenize CLI tool have nicer command line arguments. (#6188)
|
hai 1 ano |
 Jared Van Bortel
|
1b67731e18
BERT tokenizer fixes (#6498)
|
hai 1 ano |
 bmwl
|
f486f6e1e5
ggml : add numa options (#5377)
|
hai 1 ano |
 Kerfuffle
|
28a2e6e7d4
tokenize example: Respect normal add BOS token behavior (#4126)
|
%!s(int64=2) %!d(string=hai) anos |
 Georgi Gerganov
|
5ad387e994
tokenize : fix trailing whitespace
|
%!s(int64=2) %!d(string=hai) anos |
 zakkor
|
2fa02b4b3d
examples : add tokenize (#4039)
|
%!s(int64=2) %!d(string=hai) anos |
