Преглед изворни кода

rpc : fix regression when --device is used (#15981)

Fix regression introduced with commit 50f4281a6
Radoslav Gerganov пре 4 месеци
родитељ
комит
918b26f197
1 измењених фајлова са 3 додато и 1 уклоњено
  1. 3 1
      tools/rpc/rpc-server.cpp

+ 3 - 1
tools/rpc/rpc-server.cpp

@@ -227,7 +227,9 @@ static ggml_backend_t create_backend(const rpc_server_params & params) {
         }
     }
 
-    backend = ggml_backend_init_best();
+    if (!backend) {
+        backend = ggml_backend_init_best();
+    }
 
     if (backend) {
         fprintf(stderr, "%s: using %s backend\n", __func__, ggml_backend_name(backend));