Просмотр исходного кода

CUDA: remove incorrect precision check (#7454)

Johannes Gäßler 1 год назад
Родитель
Сommit
95fb0aefab
1 измененных файлов с 0 добавлено и 3 удалено
  1. 0 3
      ggml-cuda/fattn-tile-f32.cu

+ 0 - 3
ggml-cuda/fattn-tile-f32.cu

@@ -286,9 +286,6 @@ void ggml_cuda_flash_attn_ext_tile_f32(ggml_backend_cuda_context & ctx, ggml_ten
     const ggml_tensor * KQV = dst;
     const ggml_tensor * KQV = dst;
     const ggml_tensor * Q   = dst->src[0];
     const ggml_tensor * Q   = dst->src[0];
 
 
-    const int32_t precision = KQV->op_params[2];
-    GGML_ASSERT(precision == GGML_PREC_DEFAULT);
-
     if (Q->ne[1] <= 16) {
     if (Q->ne[1] <= 16) {
         constexpr int cols_per_block = 16;
         constexpr int cols_per_block = 16;
         constexpr int parallel_blocks = 4;
         constexpr int parallel_blocks = 4;