Просмотр исходного кода

quantize : fix using combined imatrix GGUFs (multiple datasets) (#14973)

Ed Addario 5 месяцев назад
Родитель
Сommit
e9192bec56
1 измененных файлов с 1 добавлено и 1 удалено
  1. 1 1
      tools/quantize/quantize.cpp

+ 1 - 1
tools/quantize/quantize.cpp

@@ -311,7 +311,7 @@ static int load_imatrix(const std::string & imatrix_file, std::vector<std::strin
     int64_t n_datasets = gguf_get_arr_n(ctx_gguf, dataset_idx);
     imatrix_datasets.reserve(n_datasets);
     for (int64_t i = 0; i < n_datasets; ++i) {
-        imatrix_datasets.push_back(gguf_get_val_str(ctx_gguf, dataset_idx));
+        imatrix_datasets.push_back(gguf_get_arr_str(ctx_gguf, dataset_idx, i));
     }
     printf("%s: imatrix datasets=['%s'", __func__, imatrix_datasets[0].c_str());
     for (size_t i = 1; i < imatrix_datasets.size(); ++i) {