Browse Source

tokenize : fix trailing whitespace

Georgi Gerganov 2 năm trước cách đây
mục cha
commit
5ad387e994
1 tập tin đã thay đổi với 3 bổ sung3 xóa
  1. 3 3
      examples/tokenize/tokenize.cpp

+ 3 - 3
examples/tokenize/tokenize.cpp

@@ -12,8 +12,8 @@ int main(int argc, char ** argv) {
         return 1;
         return 1;
     }
     }
 
 
-    auto model_path = argv[1];
-    auto prompt = argv[2];
+    const char * model_path = argv[1];
+    const char * prompt     = argv[2];
 
 
     const bool printing_ids = argc > 3 && std::string(argv[3]) == "--ids";
     const bool printing_ids = argc > 3 && std::string(argv[3]) == "--ids";
 
 
@@ -36,7 +36,7 @@ int main(int argc, char ** argv) {
         if (printing_ids) {
         if (printing_ids) {
             printf("%d\n", tokens[i]);
             printf("%d\n", tokens[i]);
         } else {
         } else {
-            printf("%6d -> '%s'\n", tokens[i], llama_token_to_piece(ctx, tokens[i]).c_str());    
+            printf("%6d -> '%s'\n", tokens[i], llama_token_to_piece(ctx, tokens[i]).c_str());
         }
         }
     }
     }