Просмотр исходного кода

Stabilize tensor dump trigger for now with -n < 50

Piotr Wilkin 3 месяцев назад
Родитель
Сommit
0b301889bf
1 измененных файлов с 6 добавлено и 3 удалено
  1. 6 3
      tools/main/main.cpp

+ 6 - 3
tools/main/main.cpp

@@ -312,9 +312,12 @@ int main(int argc, char ** argv) {
     std::vector<common_chat_msg> chat_msgs;
 
     // load the model and apply lora adapter, if any
-    // callback_data cb_data;
-    // params.cb_eval = ggml_debug;
-    // params.cb_eval_user_data = &cb_data;
+    if (params.n_predict > 0 && params.n_predict < 50) {
+        // enable debug prints if we print small number of tokens
+        callback_data cb_data;
+        params.cb_eval = ggml_debug;
+        params.cb_eval_user_data = &cb_data;
+    }
     LOG_INF("%s: load the model and apply lora adapter, if any\n", __func__);
     common_init_result llama_init = common_init_from_params(params);