Просмотр исходного кода

nit: more informative crash when grammar sampler fails (#11593)

Olivier Chafik 11 месяцев назад
Родитель
Сommit
90f9b88afb
1 измененных файлов с 3 добавлено и 1 удалено
  1. 3 1
      src/llama-grammar.cpp

+ 3 - 1
src/llama-grammar.cpp

@@ -1213,5 +1213,7 @@ void llama_grammar_accept_str(struct llama_grammar & grammar, const std::string
     }
 
     grammar.partial_utf8 = decoded.second;
-    GGML_ASSERT(!grammar.stacks.empty());
+    if (grammar.stacks.empty()) {
+        throw std::runtime_error("Unexpected empty grammar stack after accepting piece: " + piece);
+    }
 }