Просмотр исходного кода

llama : disable context-shift for DeepSeek v2 (#8501)

Georgi Gerganov 1 год назад
Родитель
Сommit
d65a8361fe
1 измененных файлов с 4 добавлено и 0 удалено
  1. 4 0
      src/llama.cpp

+ 4 - 0
src/llama.cpp

@@ -15133,6 +15133,10 @@ static void llama_kv_cache_update_internal(struct llama_context & lctx) {
 
     // apply K-shift if needed
     if (lctx.model.hparams.rope_type != LLAMA_ROPE_TYPE_NONE && lctx.kv_self.has_shift) {
+        if (lctx.model.arch == LLM_ARCH_DEEPSEEK2) { // not supported due to MLA
+            GGML_ASSERT(false && "Deepseek2 does not support K-shift");
+        }
+
         {
             ggml_backend_sched_reset(lctx.sched);