Bläddra i källkod

metal : disable graph concurrency optimization due to bug (#2413)

Georgi Gerganov 2 år sedan
förälder
incheckning
1a941869cb
1 ändrade filer med 4 tillägg och 3 borttagningar
  1. 4 3
      llama.cpp

+ 4 - 3
llama.cpp

@@ -1722,9 +1722,10 @@ static bool llama_eval_internal(
 
 
 #ifdef GGML_USE_METAL
 #ifdef GGML_USE_METAL
     if (lctx.ctx_metal && N == 1) {
     if (lctx.ctx_metal && N == 1) {
-        if (!ggml_metal_if_optimized(lctx.ctx_metal)) {
-            ggml_metal_graph_find_concurrency(lctx.ctx_metal, gf);
-        }
+        // TODO: disabled until #2413 is resolved
+        //if (!ggml_metal_if_optimized(lctx.ctx_metal)) {
+        //    ggml_metal_graph_find_concurrency(lctx.ctx_metal, gf);
+        //}
         ggml_metal_set_n_cb     (lctx.ctx_metal, n_threads);
         ggml_metal_set_n_cb     (lctx.ctx_metal, n_threads);
         ggml_metal_graph_compute(lctx.ctx_metal, gf);
         ggml_metal_graph_compute(lctx.ctx_metal, gf);
         ggml_metal_get_tensor   (lctx.ctx_metal, cur);
         ggml_metal_get_tensor   (lctx.ctx_metal, cur);