Vulkan Bugfixes and Improvements (#7084) · befddd0f15 - Git

Преглед на файлове

Vulkan Bugfixes and Improvements (#7084)

* Modify mat mat mul shader for mul_mat_id, modify mat vec mul shaders for single call batch operation

* Further work towards MoE, disabled for now

* Disable MoE code (not ready yet), fix a number of bugs in shaders and Vulkan code

* Add softmax with f16 mask and pos buffer support

* Disable mul_mat_id shaders for now

* Fix flake8

* Fix validation errors caused by empty buffers on larger batch sizes

0cc4m преди 1 година

родител

d46dbc76f8

ревизия

befddd0f15

променени са 3 файла, в които са добавени 2152 реда и са изтрити 1114 реда

Разделен изглед Покажи статистика за разликите

				
					Файловите разлики са ограничени, защото са твърде много
					
						+ 733
						
						- 708
					
ggml-vulkan-shaders.hpp

				
					Файловите разлики са ограничени, защото са твърде много
					
						+ 901
						
						- 250
					
ggml-vulkan.cpp

				
					Файловите разлики са ограничени, защото са твърде много
					
						+ 518
						
						- 156
					
ggml_vk_generate_shaders.py

			
				Някои файлове не бяха показани, защото твърде много файлове са промени