Vulkan Bugfixes and Improvements (#7084) · befddd0f15 - Git

Parcourir la source

Vulkan Bugfixes and Improvements (#7084)

* Modify mat mat mul shader for mul_mat_id, modify mat vec mul shaders for single call batch operation

* Further work towards MoE, disabled for now

* Disable MoE code (not ready yet), fix a number of bugs in shaders and Vulkan code

* Add softmax with f16 mask and pos buffer support

* Disable mul_mat_id shaders for now

* Fix flake8

* Fix validation errors caused by empty buffers on larger batch sizes

0cc4m il y a 1 an

Parent

d46dbc76f8

commit

befddd0f15

3 fichiers modifiés avec 2152 ajouts et 1114 suppressions

Vue séparée Afficher les stats Diff

				
					Fichier diff supprimé car celui-ci est trop grand
					
						+ 733
						
						- 708
					
ggml-vulkan-shaders.hpp

				
					Fichier diff supprimé car celui-ci est trop grand
					
						+ 901
						
						- 250
					
ggml-vulkan.cpp

				
					Fichier diff supprimé car celui-ci est trop grand
					
						+ 518
						
						- 156
					
ggml_vk_generate_shaders.py

			
				Certains fichiers n'ont pas été affichés car il y a eu trop de fichiers modifiés dans ce diff