Просмотр исходного кода

cuda : disable host register by default (#6206)

slaren 1 год назад
Родитель
Сommit
d0a71233fb
1 измененных файлов с 5 добавлено и 1 удалено
  1. 5 1
      ggml-cuda.cu

+ 5 - 1
ggml-cuda.cu

@@ -11646,7 +11646,7 @@ GGML_CALL void ggml_backend_cuda_get_device_memory(int device, size_t * free, si
 }
 
 GGML_CALL bool ggml_backend_cuda_register_host_buffer(void * buffer, size_t size) {
-    if (getenv("GGML_CUDA_NO_PINNED") != nullptr) {
+    if (getenv("GGML_CUDA_REGISTER_HOST") == nullptr) {
         return false;
     }
 
@@ -11663,6 +11663,10 @@ GGML_CALL bool ggml_backend_cuda_register_host_buffer(void * buffer, size_t size
 }
 
 GGML_CALL void ggml_backend_cuda_unregister_host_buffer(void * buffer) {
+    if (getenv("GGML_CUDA_REGISTER_HOST") == nullptr) {
+        return;
+    }
+
     cudaError_t err = cudaHostUnregister(buffer);
     if (err != cudaSuccess) {
         // clear the error