cturan/llama.cpp

ggml : remove assert for AArch64 GEMV and GEMM Q4 kernels (#9217)

* ggml : remove assert for AArch64 GEMV and GEMM Q4 kernels

* added fallback mechanism when the offline re-quantized model is not
optimized for the underlying target.

* fix for build errors

* remove prints from the low-level code

* Rebase to the latest upstream

Charles Xu vor 1 Jahr

Ursprung

afbbfaa537

Commit

1e43630218

1 geänderte Dateien mit 648 neuen und 670 gelöschten Zeilen

Geteilte Ansicht Diff-Statistik anzeigen

				
					Datei-Diff unterdrückt, da er zu groß ist
					
						+ 648
						
						- 670
					
ggml/src/ggml-aarch64.c

			
				Einige Dateien werden nicht angezeigt, da zu viele Dateien in diesem Diff geändert wurden.

ggml : remove assert for AArch64 GEMV and GEMM Q4 kernels (#9217)

Datei-Diff unterdrückt, da er zu groß ist + 648 - 670 ggml/src/ggml-aarch64.c

Einige Dateien werden nicht angezeigt, da zu viele Dateien in diesem Diff geändert wurden.

Datei-Diff unterdrückt, da er zu groß ist
+ 648 - 670
ggml/src/ggml-aarch64.c