 Georgi Gerganov
|
84e1c33cde
server : fix parallel speculative decoding (#10513)
|
1 년 전 |
|
Georgi Gerganov
|
47f931c8f9
server : enable cache_prompt by default (#10501)
|
1 년 전 |
 Diego Devesa
|
10bce0450f
llama : accept a list of devices to use to offload a model (#10497)
|
1 년 전 |
|
Georgi Gerganov
|
9ca2e67762
server : add speculative decoding support (#10455)
|
1 년 전 |
|
Georgi Gerganov
|
d9d54e498d
speculative : refactor and add a simpler example (#10362)
|
1 년 전 |
 MaggotHATE
|
bcdb7a2386
server: (web UI) Add samplers sequence customization (#10255)
|
1 년 전 |
 Xuan Son Nguyen
|
9901068ac7
server : (web UI) add copy button for code block, fix api key (#10242)
|
1 년 전 |
 Jhen-Jie Hong
|
0e712a5acb
server : fix incorrect res in validate_model_chat_template (#10272)
|
1 년 전 |
|
Xuan Son Nguyen
|
a71d81cf8c
server : revamp chat UI with vuejs and daisyui (#10175)
|
1 년 전 |
|
Georgi Gerganov
|
b11f9ba9b8
server : remove hack for extra parallel slot (#10187)
|
1 년 전 |
|
Xuan Son Nguyen
|
9e0ecfb697
server : clarify /slots endpoint, add is_processing (#10162)
|
1 년 전 |
 sasha0552
|
42cadc74bd
server : fix slot selection by lru (#10126)
|
1 년 전 |
|
Georgi Gerganov
|
45950415ed
server : fix endpoint checks (#10135)
|
1 년 전 |
|
sasha0552
|
d865d1478c
server : fix smart selection of available slot (#10120)
|
1 년 전 |
 Kevin Gibbons
|
0a683e8088
server : include scheme when printing URL (#10106)
|
1 년 전 |
|
Georgi Gerganov
|
8d8ff71536
llama : remove Tail-Free sampling (#10071)
|
1 년 전 |
|
Georgi Gerganov
|
8125e6cbfc
server : don't overfill the batch during infill (#10018)
|
1 년 전 |
 wwoodsTM
|
ff252ea48e
llama : add DRY sampler (#9702)
|
1 년 전 |
 Michael Podvitskiy
|
d80fb71f8b
llama: string_split fix (#10022)
|
1 년 전 |
|
Georgi Gerganov
|
bc5ba007b2
server : check that the prompt fits in the slot's context (#10030)
|
1 년 전 |
|
Xuan Son Nguyen
|
958367bf53
server : refactor slot input data, move tokenizer to HTTP thread (#10023)
|
1 년 전 |
|
wwoodsTM
|
0a1c750c80
server : samplers accept the prompt correctly (#10019)
|
1 년 전 |
|
Xuan Son Nguyen
|
cda0e4b648
llama : remove all_pos_0, all_pos_1, all_seq_id from llama_batch (#9745)
|
1 년 전 |
|
Georgi Gerganov
|
8901755ba3
server : add n_indent parameter for line indentation requirement (#9929)
|
1 년 전 |
 Alexey Parfenov
|
1f66b699c4
server : fix the disappearance of the end of the text (#9867)
|
1 년 전 |
|
Georgi Gerganov
|
223c25a72f
server : improve infill context reuse (#9894)
|
1 년 전 |
|
MaggotHATE
|
fbc98b748e
sampling : add XTC sampler (#9742)
|
1 년 전 |
|
Georgi Gerganov
|
d4c19c0f5c
server : accept extra_context for the infill endpoint (#9874)
|
1 년 전 |
|
Georgi Gerganov
|
c7181bd294
server : reuse cached context chunks (#9866)
|
1 년 전 |
|
Georgi Gerganov
|
edc265661c
server : add option to time limit the generation phase (#9865)
|
1 년 전 |
