Explorar o código

Fix token count accounting

Matvey Soloviev %!s(int64=2) %!d(string=hai) anos
pai
achega
460c482540
Modificáronse 1 ficheiros con 2 adicións e 0 borrados
  1. 2 0
      main.cpp

+ 2 - 0
main.cpp

@@ -976,6 +976,8 @@ int main(int argc, char ** argv) {
                     std::vector<gpt_vocab::id> line_inp = ::llama_tokenize(vocab, buf, false);
                     std::vector<gpt_vocab::id> line_inp = ::llama_tokenize(vocab, buf, false);
                     embd_inp.insert(embd_inp.end(), line_inp.begin(), line_inp.end());
                     embd_inp.insert(embd_inp.end(), line_inp.begin(), line_inp.end());
 
 
+                    remaining_tokens -= line_inp.size();
+
                     input_noecho = true; // do not echo this again
                     input_noecho = true; // do not echo this again
                 }
                 }