Просмотр исходного кода

embedding : remove unused code (#1426)

Rinne 2 лет назад
Родитель
Сommit
6456a4eb9f
1 измененных файлов с 0 добавлено и 3 удалено
  1. 0 3
      examples/embedding/embedding.cpp

+ 0 - 3
examples/embedding/embedding.cpp

@@ -56,9 +56,6 @@ int main(int argc, char ** argv) {
     // tokenize the prompt
     auto embd_inp = ::llama_tokenize(ctx, params.prompt, true);
 
-    // determine newline token
-    auto llama_token_newline = ::llama_tokenize(ctx, "\n", false);
-
     if (params.verbose_prompt) {
         fprintf(stderr, "\n");
         fprintf(stderr, "%s: prompt: '%s'\n", __func__, params.prompt.c_str());