 Georgi Gerganov
|
644fd71b44
sampling : refactor + optimize penalties sampler (#10803)
|
hace 1 año |
 Vinesh Janarthanan
|
5478bbcd17
server: (UI) add syntax highlighting and latex math rendering (#10808)
|
hace 1 año |
 Michelle Tan
|
89d604f2c8
server: Fix `has_next_line` in JSON response (#10818)
|
hace 1 año |
 cduk
|
56eea0781c
Removes spurious \r in output that causes logging in journalctl to treat lines as binary and therefore hidden by default (#10771)
|
hace 1 año |
 Yüg
|
a86ad841f1
server : add flag to disable the web-ui (#10762) (#10751)
|
hace 1 año |
 Xuan Son Nguyen
|
ce8784bdb1
server : fix format_infill (#10724)
|
hace 1 año |
|
Xuan Son Nguyen
|
e52522b869
server : bring back info of final chunk in stream mode (#10722)
|
hace 1 año |
|
Xuan Son Nguyen
|
3573fa8e7b
server : (refactor) no more json in server_task input (#10691)
|
hace 1 año |
|
Georgi Gerganov
|
ce4a7b8493
server : various fixes (#10704)
|
hace 1 año |
|
Georgi Gerganov
|
c2a16c0bdb
server : fix free of spec context and batch (#10651)
|
hace 1 año |
|
Xuan Son Nguyen
|
6c5bc0625f
server : (refactoring) do not rely on JSON internally (#10643)
|
hace 1 año |
|
Georgi Gerganov
|
1da7b76569
server : fix speculative decoding with context shift (#10641)
|
hace 1 año |
|
Xuan Son Nguyen
|
91c36c269b
server : (web ui) Various improvements, now use vite as bundler (#10599)
|
hace 1 año |
|
Georgi Gerganov
|
70b98fadbc
server : fix default draft model parameters (#10586)
|
hace 1 año |
 haopeng
|
64ed2091b2
server: Add "tokens per second" information in the backend (#10548)
|
hace 1 año |
 alek3y
|
86dc11c5bc
server : bind to any port when specified (#10590)
|
hace 1 año |
|
Georgi Gerganov
|
84e1c33cde
server : fix parallel speculative decoding (#10513)
|
hace 1 año |
|
Georgi Gerganov
|
47f931c8f9
server : enable cache_prompt by default (#10501)
|
hace 1 año |
 Diego Devesa
|
10bce0450f
llama : accept a list of devices to use to offload a model (#10497)
|
hace 1 año |
|
Georgi Gerganov
|
9ca2e67762
server : add speculative decoding support (#10455)
|
hace 1 año |
|
Georgi Gerganov
|
d9d54e498d
speculative : refactor and add a simpler example (#10362)
|
hace 1 año |
 MaggotHATE
|
bcdb7a2386
server: (web UI) Add samplers sequence customization (#10255)
|
hace 1 año |
|
Xuan Son Nguyen
|
9901068ac7
server : (web UI) add copy button for code block, fix api key (#10242)
|
hace 1 año |
 Jhen-Jie Hong
|
0e712a5acb
server : fix incorrect res in validate_model_chat_template (#10272)
|
hace 1 año |
|
Xuan Son Nguyen
|
a71d81cf8c
server : revamp chat UI with vuejs and daisyui (#10175)
|
hace 1 año |
|
Georgi Gerganov
|
b11f9ba9b8
server : remove hack for extra parallel slot (#10187)
|
hace 1 año |
|
Xuan Son Nguyen
|
9e0ecfb697
server : clarify /slots endpoint, add is_processing (#10162)
|
hace 1 año |
 sasha0552
|
42cadc74bd
server : fix slot selection by lru (#10126)
|
hace 1 año |
|
Georgi Gerganov
|
45950415ed
server : fix endpoint checks (#10135)
|
hace 1 año |
|
sasha0552
|
d865d1478c
server : fix smart selection of available slot (#10120)
|
hace 1 año |
