Procházet zdrojové kódy

ggml : allow loading backend with env variable (ggml/1059)

ref: #1058
Radoslav Gerganov před 1 rokem
rodič
revize
c792dcf488
1 změnil soubory, kde provedl 5 přidání a 0 odebrání
  1. 5 0
      ggml/src/ggml-backend-reg.cpp

+ 5 - 0
ggml/src/ggml-backend-reg.cpp

@@ -574,4 +574,9 @@ void ggml_backend_load_all_from_path(const char * dir_path) {
     ggml_backend_load_best("opencl", silent, dir_path);
     ggml_backend_load_best("opencl", silent, dir_path);
     ggml_backend_load_best("musa", silent, dir_path);
     ggml_backend_load_best("musa", silent, dir_path);
     ggml_backend_load_best("cpu", silent, dir_path);
     ggml_backend_load_best("cpu", silent, dir_path);
+    // check the environment variable GGML_BACKEND_PATH to load an out-of-tree backend
+    const char * backend_path = std::getenv("GGML_BACKEND_PATH");
+    if (backend_path) {
+        ggml_backend_load(backend_path);
+    }
 }
 }