소스 검색

gguf-py : add IQ1_M to GGML_QUANT_SIZES (#6761)

pmysl 1 년 전
부모
커밋
c1386c936e
1개의 변경된 파일1개의 추가작업 그리고 0개의 파일을 삭제
  1. 1 0
      gguf-py/gguf/constants.py

+ 1 - 0
gguf-py/gguf/constants.py

@@ -872,6 +872,7 @@ GGML_QUANT_SIZES = {
     GGMLQuantizationType.I32:     (1, 4),
     GGMLQuantizationType.I64:     (1, 8),
     GGMLQuantizationType.F64:     (1, 8),
+    GGMLQuantizationType.IQ1_M:   (256, QK_K // 8 + QK_K // 16  + QK_K // 32),
 }