1
0
Эх сурвалжийг харах

decode : fix logits_valid for legacy API (#4516)

Jared Van Bortel 2 жил өмнө
parent
commit
2994f0c5a2
1 өөрчлөгдсөн 1 нэмэгдсэн , 1 устгасан
  1. 1 1
      llama.cpp

+ 1 - 1
llama.cpp

@@ -6184,7 +6184,7 @@ static int llama_decode_internal(
             logits_out.resize(n_vocab);
             logits_out.resize(n_vocab);
             memcpy(logits_out.data(), (float *) ggml_get_data(res) + (n_vocab*(n_tokens - 1)), sizeof(float)*n_vocab);
             memcpy(logits_out.data(), (float *) ggml_get_data(res) + (n_vocab*(n_tokens - 1)), sizeof(float)*n_vocab);
 #ifndef NDEBUG
 #ifndef NDEBUG
-            logits_valid[n_tokens - 1] = true;
+            logits_valid[0] = true;
 #endif
 #endif
         }
         }
     }
     }