Преглед изворни кода

vulkan: add more num_blocks instantiations in rms_norm (#17701)

Jeff Bolz пре 1 месец
родитељ
комит
933414c0b6
1 измењених фајлова са 5 додато и 1 уклоњено
  1. 5 1
      ggml/src/ggml-vulkan/vulkan-shaders/rms_norm.comp

+ 5 - 1
ggml/src/ggml-vulkan/vulkan-shaders/rms_norm.comp

@@ -131,8 +131,12 @@ void main() {
         rms_norm(num_blocks);
         rms_norm(num_blocks);
     } else if (num_blocks > 16) {
     } else if (num_blocks > 16) {
         rms_norm(32);
         rms_norm(32);
-    } else if (num_blocks > 8) {
+    } else if (num_blocks > 12) {
         rms_norm(16);
         rms_norm(16);
+    } else if (num_blocks > 10) {
+        rms_norm(12);
+    } else if (num_blocks > 8) {
+        rms_norm(10);
     } else if (num_blocks > 4) {
     } else if (num_blocks > 4) {
         rms_norm(8);
         rms_norm(8);
     } else if (num_blocks == 4) {
     } else if (num_blocks == 4) {