Răsfoiți Sursa

lookahead : support `-n -1` infinite generation

Georgi Gerganov 2 ani în urmă
părinte
comite
3e73d31d9c
1 a modificat fișierele cu 2 adăugiri și 2 ștergeri
  1. 2 2
      examples/lookahead/lookahead.cpp

+ 2 - 2
examples/lookahead/lookahead.cpp

@@ -311,7 +311,7 @@ int main(int argc, char ** argv) {
             ++n_predict;
             ++n_predict;
             ++n_past;
             ++n_past;
 
 
-            if (n_predict > params.n_predict || has_eos) {
+            if ((params.n_predict >= 0 && n_predict > params.n_predict) || has_eos) {
                 break;
                 break;
             }
             }
 
 
@@ -433,7 +433,7 @@ int main(int argc, char ** argv) {
             }
             }
         }
         }
 
 
-        if (n_predict > params.n_predict || has_eos) {
+        if ((params.n_predict >= 0 && n_predict > params.n_predict) || has_eos) {
             break;
             break;
         }
         }