 l3utterfly
|
e75dfdd31b
sampling : null grammar field after reset (#3885)
|
2 ani în urmă |
 Georgi Gerganov
|
9a3b4f6c86
ggml : fix UNUSED macro (#3762)
|
2 ani în urmă |
 Andrew Godfrey
|
73bdcb395e
finetune : add -ngl parameter (#3762)
|
2 ani în urmă |
|
Georgi Gerganov
|
f0e209324a
scripts : add server-llm.sh (#3868)
|
2 ani în urmă |
 Adrian Hesketh
|
ca190bca8e
server : re-enable completion and embedded at the same time (#3876)
|
2 ani în urmă |
|
Georgi Gerganov
|
71e3718abd
llama : refactor graph build code (#3837)
|
2 ani în urmă |
 kalomaze
|
238657db23
samplers : Min-P sampler implementation [alternative to Top P/Top K] (#3841)
|
2 ani în urmă |
 Tungsten842
|
07178c98e1
flake.nix: fix for rocm 5.7 (#3853)
|
2 ani în urmă |
|
Georgi Gerganov
|
207b51900e
ggml : move FP16 <-> FP32 code to ggml-impl.h (#3861)
|
2 ani în urmă |
 Kerfuffle
|
6e08281e58
Extend llama_kv_cache_seq_rm to allow matching any sequence (#3843)
|
2 ani în urmă |
 cebtenzzre
|
2046eb4345
make : remove unnecessary dependency on build-info.h (#3842)
|
2 ani în urmă |
|
Georgi Gerganov
|
71a09da301
llama : fix kv shift bug (#3835)
|
2 ani în urmă |
|
Georgi Gerganov
|
d69d777c02
ggml : quantization refactoring (#3833)
|
2 ani în urmă |
 Erik Scholz
|
ff3bad83e2
flake : update flake.lock for newer transformers version + provide extra dev shell (#3797)
|
2 ani în urmă |
 Aarni Koskela
|
82a6646e02
metal : try cwd for ggml-metal.metal if bundle lookup fails (#3793)
|
2 ani în urmă |
|
Georgi Gerganov
|
ba231e8a6d
issues : change label from bug to bug-unconfirmed (#3748)
|
2 ani în urmă |
|
Georgi Gerganov
|
8a2f2fea29
convert : ignore tokens if their IDs are within [0, vocab_size) (#3831)
|
2 ani în urmă |
|
Kerfuffle
|
bd6d9e2059
llama : allow quantizing k-quants to fall back when tensor size incompatible (#3747)
|
2 ani în urmă |
|
Georgi Gerganov
|
ee1a0ec9cb
llama : add option for greedy sampling with probs (#3813)
|
2 ani în urmă |
 Henk Poley
|
177461104b
common : print that one line of the syntax help *also* to standard output (#3823)
|
2 ani în urmă |
|
Georgi Gerganov
|
fdee152e4e
starcoder : add GPU offloading (#3827)
|
2 ani în urmă |
|
Kerfuffle
|
41aee4df82
speculative : ensure draft and target model vocab matches (#3812)
|
2 ani în urmă |
|
cebtenzzre
|
6d459cbfbe
llama : correctly report GGUFv3 format (#3818)
|
2 ani în urmă |
 Thibault Terrasson
|
c8d6a1f34a
simple : fix batch handling (#3803)
|
2 ani în urmă |
|
Georgi Gerganov
|
2f9ec7e271
cuda : improve text-generation and batched decoding performance (#3776)
|
2 ani în urmă |
|
Georgi Gerganov
|
34b2a5e1ee
server : do not release slot on image input (#3798)
|
2 ani în urmă |
|
Georgi Gerganov
|
6961c4bd0b
batched-bench : print params at start
|
2 ani în urmă |
|
Georgi Gerganov
|
cc44877486
log : disable pid in log filenames
|
2 ani în urmă |
|
cebtenzzre
|
ad93962657
server : add parameter -tb N, --threads-batch N (#3584) (#3768)
|
2 ani în urmă |
|
Georgi Gerganov
|
1717521cdb
server : do not block system prompt update (#3767)
|
2 ani în urmă |
