Просмотр исходного кода

rpc : fix regression when --device is used (#15981)

Fix regression introduced with commit 50f4281a6
Radoslav Gerganov 4 месяцев назад
Родитель
Сommit
918b26f197
1 измененных файлов с 3 добавлено и 1 удалено
  1. 3 1
      tools/rpc/rpc-server.cpp

+ 3 - 1
tools/rpc/rpc-server.cpp

@@ -227,7 +227,9 @@ static ggml_backend_t create_backend(const rpc_server_params & params) {
         }
     }
 
-    backend = ggml_backend_init_best();
+    if (!backend) {
+        backend = ggml_backend_init_best();
+    }
 
     if (backend) {
         fprintf(stderr, "%s: using %s backend\n", __func__, ggml_backend_name(backend));