Просмотр исходного кода

llama : remember and restore kv cache data pointers (#1104)

because their value is stored in buf and overwritten by memcpy
xaedes 2 лет назад
Родитель
Сommit
8687c1f258
1 измененных файлов с 4 добавлено и 0 удалено
  1. 4 0
      llama.cpp

+ 4 - 0
llama.cpp

@@ -2092,7 +2092,11 @@ void llama_set_kv_cache(
                          int   n_token_count) {
     // Make sure we have the same kv cache setup
     LLAMA_ASSERT(ctx->model.kv_self.buf.size == n_size);
+    void * k_data = ctx->model.kv_self.k->data; // remember data pointers
+    void * v_data = ctx->model.kv_self.v->data; // because their value is stored in buf and overwritten by memcpy
     memcpy(ctx->model.kv_self.buf.addr, kv_cache, n_size);
+    ctx->model.kv_self.k->data = k_data; // restore correct data pointers
+    ctx->model.kv_self.v->data = v_data;
     ctx->model.kv_self.n = n_token_count;
 }