Leng Yue
|
35f73049af
speculative : add heuristic algorithm (#3006)
|
2 年 前 |
FK
|
84e723653c
speculative: add --n-gpu-layers-draft option (#3063)
|
2 年 前 |
Przemysław Pawełczyk
|
cb6c44c5e0
build : do not use _GNU_SOURCE gratuitously (#2035)
|
2 年 前 |
Georgi Gerganov
|
921772104b
speculative : add grammar support (#2991)
|
2 年 前 |
Georgi Gerganov
|
47068e5170
speculative : PoC for speeding-up inference via speculative sampling (#2926)
|
2 年 前 |