Преглед на файлове

vulkan: enable mmvq for q2_k on NVIDIA (#17675)

Jeff Bolz преди 2 месеца
родител
ревизия
6ab0d64960
променени са 1 файла, в които са добавени 4 реда и са изтрити 0 реда
  1. 4 0
      ggml/src/ggml-vulkan/ggml-vulkan.cpp

+ 4 - 0
ggml/src/ggml-vulkan/ggml-vulkan.cpp

@@ -6948,6 +6948,10 @@ static bool ggml_vk_should_use_mmvq(const vk_device& device, uint32_t m, uint32_
     // Quantization overhead is not worth it for small k
     switch (device->vendor_id) {
     case VK_VENDOR_ID_NVIDIA:
+        if (src0_type == GGML_TYPE_Q2_K) {
+            return true;
+        }
+
         if (k <= 4096) {
             return false;
         }