Procházet zdrojové kódy

ggml : allow CUDA graphs when using pipeline parallelism (#13814)

Diego Devesa před 7 měsíci
rodič
revize
952f3953c1
1 změnil soubory, kde provedl 3 přidání a 0 odebrání
  1. 3 0
      ggml/src/ggml-backend.cpp

+ 3 - 0
ggml/src/ggml-backend.cpp

@@ -1598,6 +1598,9 @@ void ggml_backend_sched_synchronize(ggml_backend_sched_t sched) {
     for (int i = 0; i < sched->n_backends; i++) {
         ggml_backend_synchronize(sched->backends[i]);
     }
+    // reset the current copy to 0 so that the graphs will be similar during generation
+    // necessary for CUDA graphs
+    sched->cur_copy = 0;
 }
 
 void ggml_backend_sched_set_eval_callback(ggml_backend_sched_t sched, ggml_backend_sched_eval_callback callback, void * user_data) {