|
@@ -325,10 +325,10 @@ struct llama_server_context {
|
|
|
id = llama_sample_token_mirostat_v2(ctx, &candidates_p, mirostat_tau, mirostat_eta, &mirostat_mu);
|
|
id = llama_sample_token_mirostat_v2(ctx, &candidates_p, mirostat_tau, mirostat_eta, &mirostat_mu);
|
|
|
} else {
|
|
} else {
|
|
|
// Temperature sampling
|
|
// Temperature sampling
|
|
|
|
|
+ llama_sample_top_k(ctx, &candidates_p, top_k, 1);
|
|
|
llama_sample_tail_free(ctx, &candidates_p, tfs_z, 1);
|
|
llama_sample_tail_free(ctx, &candidates_p, tfs_z, 1);
|
|
|
llama_sample_typical(ctx, &candidates_p, typical_p, 1);
|
|
llama_sample_typical(ctx, &candidates_p, typical_p, 1);
|
|
|
llama_sample_top_p(ctx, &candidates_p, top_p, 1);
|
|
llama_sample_top_p(ctx, &candidates_p, top_p, 1);
|
|
|
- llama_sample_top_k(ctx, &candidates_p, top_k, 1);
|
|
|
|
|
llama_sample_temperature(ctx, &candidates_p, temp);
|
|
llama_sample_temperature(ctx, &candidates_p, temp);
|
|
|
id = llama_sample_token(ctx, &candidates_p);
|
|
id = llama_sample_token(ctx, &candidates_p);
|
|
|
}
|
|
}
|