 Radoslav Gerganov
|
bde7cd3cd9
llama : offload to RPC in addition to other backends (#7640)
|
hai 1 ano |
|
Radoslav Gerganov
|
2b737caae1
rpc : resource management rework (#7562)
|
hai 1 ano |
|
Radoslav Gerganov
|
db10f01310
rpc : track allocated buffers (#7411)
|
hai 1 ano |
|
Radoslav Gerganov
|
f4bd8b3d26
rpc : set SO_REUSEADDR for the server socket (#7320)
|
hai 1 ano |
|
Radoslav Gerganov
|
3b3963c55c
rpc : add command line arg for specifying backend memory
|
hai 1 ano |
|
Radoslav Gerganov
|
5e31828d3e
ggml : add RPC backend (#6829)
|
hai 1 ano |
