Просмотр исходного кода

vulkan: add more num_blocks instantiations in rms_norm (#17701)

Jeff Bolz 1 месяц назад
Родитель
Сommit
933414c0b6
1 измененных файлов с 5 добавлено и 1 удалено
  1. 5 1
      ggml/src/ggml-vulkan/vulkan-shaders/rms_norm.comp

+ 5 - 1
ggml/src/ggml-vulkan/vulkan-shaders/rms_norm.comp

@@ -131,8 +131,12 @@ void main() {
         rms_norm(num_blocks);
     } else if (num_blocks > 16) {
         rms_norm(32);
-    } else if (num_blocks > 8) {
+    } else if (num_blocks > 12) {
         rms_norm(16);
+    } else if (num_blocks > 10) {
+        rms_norm(12);
+    } else if (num_blocks > 8) {
+        rms_norm(10);
     } else if (num_blocks > 4) {
         rms_norm(8);
     } else if (num_blocks == 4) {