Главная Обзор Помощь
Вход
cturan
/
llama.cpp
зеркало из https://github.com/cturan/llama.cpp
1
0
Ответвить 0
Файлы Задачи 0 Вики
Просмотр исходного кода

llama : remove redundant GQA check (#4796)

Georgi Gerganov 2 лет назад
Родитель
72d8407b36
Сommit
3c36213df8
1 измененных файлов с 0 добавлено и 8 удалено
Разделённый вид Показать статистику Diff
  1. 0 8
      llama.cpp

+ 0 - 8
llama.cpp
Просмотреть файл 

@@ -4776,7 +4776,6 @@ struct llm_build_context {
 
         const int64_t n_embd_head = hparams.n_embd_head_v;
 
         const int64_t n_embd_gqa  = hparams.n_embd_v_gqa();
 
         GGML_ASSERT(n_embd_head == hparams.n_embd_head_k);
 
-        GGML_ASSERT(n_embd_gqa  == n_embd);
 
 
         struct ggml_tensor * cur;
 
         struct ggml_tensor * inpL;
 
@@ -4900,7 +4899,6 @@ struct llm_build_context {
 
         const int64_t n_embd_head = hparams.n_embd_head_v;
 
         const int64_t n_embd_gqa  = hparams.n_embd_v_gqa();
 
         GGML_ASSERT(n_embd_head == hparams.n_embd_head_k);
 
-        GGML_ASSERT(n_embd_gqa  == n_embd);
 
 
         struct ggml_tensor * cur;
 
         struct ggml_tensor * pos;
 
@@ -5001,7 +4999,6 @@ struct llm_build_context {
 
         const int64_t n_embd_head = hparams.n_embd_head_v;
 
         const int64_t n_embd_gqa  = hparams.n_embd_v_gqa();
 
         GGML_ASSERT(n_embd_head == hparams.n_embd_head_k);
 
-        GGML_ASSERT(n_embd_gqa  == n_embd);
 
 
         const int64_t n_rot = n_embd_head_k / 2;
 
 
@@ -5215,7 +5212,6 @@ struct llm_build_context {
 
         const int64_t n_embd_head = hparams.n_embd_head_v;
 
         const int64_t n_embd_gqa  = hparams.n_embd_v_gqa();
 
         GGML_ASSERT(n_embd_head == hparams.n_embd_head_k);
 
-        GGML_ASSERT(n_embd_gqa  == n_embd);
 
 
         struct ggml_tensor * cur;
 
         struct ggml_tensor * inpL;
 
@@ -5308,7 +5304,6 @@ struct llm_build_context {
 
         const int64_t n_embd_head = hparams.n_embd_head_v;
 
         const int64_t n_embd_gqa  = hparams.n_embd_v_gqa();
 
         GGML_ASSERT(n_embd_head == hparams.n_embd_head_k);
 
-        GGML_ASSERT(n_embd_gqa  == n_embd);
 
 
         struct ggml_tensor * cur;
 
         struct ggml_tensor * inpL;
 
@@ -5404,7 +5399,6 @@ struct llm_build_context {
 
         const int64_t n_embd_head = hparams.n_embd_head_v;
 
         const int64_t n_embd_gqa  = hparams.n_embd_v_gqa();
 
         GGML_ASSERT(n_embd_head == hparams.n_embd_head_k);
 
-        GGML_ASSERT(n_embd_gqa  == n_embd);
 
 
         struct ggml_tensor * cur;
 
         struct ggml_tensor * inpL;
 
@@ -5731,7 +5725,6 @@ struct llm_build_context {
 
         const int64_t n_embd_head = hparams.n_embd_head_v;
 
         const int64_t n_embd_gqa  = hparams.n_embd_v_gqa();
 
         GGML_ASSERT(n_embd_head == hparams.n_embd_head_k);
 
-        GGML_ASSERT(n_embd_gqa  == n_embd);
 
 
         struct ggml_tensor * cur;
 
         struct ggml_tensor * attn_norm_output;
 
@@ -5955,7 +5948,6 @@ struct llm_build_context {
 
         const int64_t n_embd_head = hparams.n_embd_head_v;
 
         const int64_t n_embd_gqa  = hparams.n_embd_v_gqa();
 
         GGML_ASSERT(n_embd_head == hparams.n_embd_head_k);
 
-        GGML_ASSERT(n_embd_gqa  == n_embd);
 
 
         struct ggml_tensor * cur;
 
         struct ggml_tensor * pos;