Просмотр исходного кода

Fix crash of test-tokenizer-0 under Debug build (#2064)

* Fix crash of test-tokenizer-0 under Debug build

* Change per comment
Howard Su 2 лет назад
Родитель
Сommit
cc45a7feb8
2 измененных файлов с 3 добавлено и 3 удалено
  1. 1 1
      ggml-cuda.cu
  2. 2 2
      llama.cpp

+ 1 - 1
ggml-cuda.cu

@@ -2835,7 +2835,7 @@ void ggml_cuda_transform_tensor(void * data, struct ggml_tensor * tensor) {
 }
 
 void ggml_cuda_free_data(struct ggml_tensor * tensor) {
-    if (tensor->backend != GGML_BACKEND_GPU && tensor->backend != GGML_BACKEND_GPU_SPLIT) {
+    if (!tensor || (tensor->backend != GGML_BACKEND_GPU && tensor->backend != GGML_BACKEND_GPU_SPLIT) ) {
         return;
     }
 

+ 2 - 2
llama.cpp

@@ -194,8 +194,8 @@ struct llama_layer {
 };
 
 struct llama_kv_cache {
-    struct ggml_tensor * k;
-    struct ggml_tensor * v;
+    struct ggml_tensor * k = NULL;
+    struct ggml_tensor * v = NULL;
 
     struct ggml_context * ctx = NULL;