Просмотр исходного кода

llama : print timings on ctrl+c exit (#1021)

* print timings on ctrl+c exit

* remove redundant free memory call.

* add global pointer to ctx.
wbpxre150 2 лет назад
Родитель
Сommit
36b4f7e064
1 измененных файлов с 4 добавлено и 1 удалено
  1. 4 1
      examples/main/main.cpp

+ 4 - 1
examples/main/main.cpp

@@ -25,6 +25,7 @@
 #endif
 #endif
 
 
 static console_state con_st;
 static console_state con_st;
+static llama_context ** g_ctx;
 
 
 static bool is_interacting = false;
 static bool is_interacting = false;
 
 
@@ -36,6 +37,7 @@ void sigint_handler(int signo) {
         if (!is_interacting) {
         if (!is_interacting) {
             is_interacting=true;
             is_interacting=true;
         } else {
         } else {
+            llama_print_timings(*g_ctx);
             _exit(130);
             _exit(130);
         }
         }
     }
     }
@@ -92,8 +94,9 @@ int main(int argc, char ** argv) {
 
 
 //    params.prompt = R"(// this function checks if the number n is prime
 //    params.prompt = R"(// this function checks if the number n is prime
 //bool is_prime(int n) {)";
 //bool is_prime(int n) {)";
-
+    
     llama_context * ctx;
     llama_context * ctx;
+    g_ctx = &ctx;
 
 
     // load the model
     // load the model
     {
     {