Просмотр исходного кода

cuda : mark BF16 CONT as unsupported

Georgi Gerganov 1 год назад
Родитель
Сommit
51d964a4ef
1 измененных файлов с 2 добавлено и 0 удалено
  1. 2 0
      ggml/src/ggml-cuda.cu

+ 2 - 0
ggml/src/ggml-cuda.cu

@@ -2887,7 +2887,9 @@ GGML_CALL static bool ggml_backend_cuda_supports_op(ggml_backend_t backend, cons
         case GGML_OP_SIN:
         case GGML_OP_SIN:
         case GGML_OP_COS:
         case GGML_OP_COS:
         case GGML_OP_CLAMP:
         case GGML_OP_CLAMP:
+            return true;
         case GGML_OP_CONT:
         case GGML_OP_CONT:
+            return op->src[0]->type != GGML_TYPE_BF16;
         case GGML_OP_DIAG_MASK_INF:
         case GGML_OP_DIAG_MASK_INF:
         case GGML_OP_SOFT_MAX:
         case GGML_OP_SOFT_MAX:
             return true;
             return true;