소스 검색

ggml : refactor llamafile_sgemm PPC code (#14673)

Remove un-necessary templates from class definition and packing functions
Reduce deeply nested conditionals, if-else switching in mnapck function
Replace repetitive code with inline functions in Packing functions

2 ~ 7% improvement in Q8 Model
15 ~ 50% improvement in Q4 Model

Signed-off-by: Shalini Salomi Bodapati <Shalini.Salomi.Bodapati@ibm.com>
shalinib-ibm 6 달 전
부모
커밋
55c509daf5
1개의 변경된 파일172개의 추가작업 그리고 691개의 파일을 삭제
  1. 172 691
      ggml/src/ggml-cpu/llamafile/sgemm.cpp

파일 크기가 너무 크기때문에 변경 상태를 표시하지 않습니다.
+ 172 - 691
ggml/src/ggml-cpu/llamafile/sgemm.cpp


이 변경점에서 너무 많은 파일들이 변경되어 몇몇 파일들은 표시되지 않았습니다.