 Georgi Gerganov
|
fdee152e4e
starcoder : add GPU offloading (#3827)
|
hace 2 años |
 Kerfuffle
|
41aee4df82
speculative : ensure draft and target model vocab matches (#3812)
|
hace 2 años |
 cebtenzzre
|
6d459cbfbe
llama : correctly report GGUFv3 format (#3818)
|
hace 2 años |
 Thibault Terrasson
|
c8d6a1f34a
simple : fix batch handling (#3803)
|
hace 2 años |
|
Georgi Gerganov
|
2f9ec7e271
cuda : improve text-generation and batched decoding performance (#3776)
|
hace 2 años |
|
Georgi Gerganov
|
34b2a5e1ee
server : do not release slot on image input (#3798)
|
hace 2 años |
|
Georgi Gerganov
|
6961c4bd0b
batched-bench : print params at start
|
hace 2 años |
|
Georgi Gerganov
|
cc44877486
log : disable pid in log filenames
|
hace 2 años |
|
cebtenzzre
|
ad93962657
server : add parameter -tb N, --threads-batch N (#3584) (#3768)
|
hace 2 años |
|
Georgi Gerganov
|
1717521cdb
server : do not block system prompt update (#3767)
|
hace 2 años |
|
Georgi Gerganov
|
b2f7e04bd3
sync : ggml (conv ops + cuda MSVC fixes) (#3765)
|
hace 2 años |
 John Smith
|
abd21fc99f
cmake : add missed dependencies (#3763)
|
hace 2 años |
|
Georgi Gerganov
|
2b4ea35e56
cuda : add batched cuBLAS GEMM for faster attention (#3749)
|
hace 2 años |
 Galunid
|
daab3d7f45
Add more tokenizer tests (#3742)
|
hace 2 años |
|
Georgi Gerganov
|
469c9addef
metal : handle ggml_scale for n%4 != 0 (close #3754)
|
hace 2 años |
|
Georgi Gerganov
|
e3932593d4
Revert "make : add optional CUDA_NATIVE_ARCH (#2482)"
|
hace 2 años |
 M. Yusuf Sarıgöz
|
9d02956443
issues : separate bug and enhancement template + no default title (#3748)
|
hace 2 años |
|
Galunid
|
69a6735087
Update special token handling in conversion scripts for gpt2 derived tokenizers (#3746)
|
hace 2 años |
 Marcus Dunn
|
5be6c803fa
llama : remove token functions with `context` args in favor of `model` (#3720)
|
hace 2 años |
|
Galunid
|
6336701c93
Fix baichuan convert script not detecing model (#3739)
|
hace 2 años |
 Alex
|
96981f37b1
make : add optional CUDA_NATIVE_ARCH (#2482)
|
hace 2 años |
|
Georgi Gerganov
|
438c2ca830
server : parallel decoding and multimodal (#3677)
|
hace 2 años |
 goerch
|
9e70cc0322
Add test for MPT tokenization (#3728)
|
hace 2 años |
 Ian Scrivener
|
5a42a5f8e8
readme : remove unsupported node.js library (#3703)
|
hace 2 años |
|
Kerfuffle
|
a5e7dbd614
llama : validate special token ids are in range when loading GGUF model (#3635)
|
hace 2 años |
 vvhg1
|
d3956aea53
main : escape prompt for cfg_negative_prompt and consecutive inputs in main with interactive (#3623)
|
hace 2 años |
|
Georgi Gerganov
|
22c69a2794
batched : add len CLI argument
|
hace 2 años |
 shibe2
|
465219b914
CLBlast: Add outer loops over src0 for broadcasting in mulmat
|
hace 2 años |
|
Georgi Gerganov
|
d1031cf49c
sampling : refactor init to use llama_sampling_params (#3696)
|
hace 2 años |
 Qin Yue Chen
|
8cf19d60dc
gguf : support big endian platform (#3552)
|
hace 2 años |
