فهرست منبع

kv-cache : fix find_slot to not search for continuous slot (#15638)

ggml-ci
Georgi Gerganov 4 ماه پیش
والد
کامیت
c8d0d14e77
1فایلهای تغییر یافته به همراه1 افزوده شده و 1 حذف شده
  1. 1 1
      src/llama-kv-cache.cpp

+ 1 - 1
src/llama-kv-cache.cpp

@@ -540,7 +540,7 @@ llama_kv_cache::slot_info_vec_t llama_kv_cache::prepare(const std::vector<llama_
 
     for (const auto & ubatch : ubatches) {
         // only find a suitable slot for the ubatch. don't modify the cells yet
-        const auto sinfo_new = find_slot(ubatch, true);
+        const auto sinfo_new = find_slot(ubatch, false);
         if (sinfo_new.empty()) {
             success = false;
             break;