 Georgi Gerganov
|
ff8f9a88da
common : minor (#3715)
|
2 tahun lalu |
|
Georgi Gerganov
|
50337961a6
llm : add llm_build_context (#3881)
|
2 tahun lalu |
 bandoti
|
0e40806c1c
common : allow caller to handle help/argument exceptions (#3715)
|
2 tahun lalu |
 staviq
|
a2758d08e4
log : make generating separate log files optional (#3787)
|
2 tahun lalu |
 l3utterfly
|
e75dfdd31b
sampling : null grammar field after reset (#3885)
|
2 tahun lalu |
|
Georgi Gerganov
|
9a3b4f6c86
ggml : fix UNUSED macro (#3762)
|
2 tahun lalu |
 Andrew Godfrey
|
73bdcb395e
finetune : add -ngl parameter (#3762)
|
2 tahun lalu |
|
Georgi Gerganov
|
f0e209324a
scripts : add server-llm.sh (#3868)
|
2 tahun lalu |
 Adrian Hesketh
|
ca190bca8e
server : re-enable completion and embedded at the same time (#3876)
|
2 tahun lalu |
|
Georgi Gerganov
|
71e3718abd
llama : refactor graph build code (#3837)
|
2 tahun lalu |
 kalomaze
|
238657db23
samplers : Min-P sampler implementation [alternative to Top P/Top K] (#3841)
|
2 tahun lalu |
 Tungsten842
|
07178c98e1
flake.nix: fix for rocm 5.7 (#3853)
|
2 tahun lalu |
|
Georgi Gerganov
|
207b51900e
ggml : move FP16 <-> FP32 code to ggml-impl.h (#3861)
|
2 tahun lalu |
 Kerfuffle
|
6e08281e58
Extend llama_kv_cache_seq_rm to allow matching any sequence (#3843)
|
2 tahun lalu |
 cebtenzzre
|
2046eb4345
make : remove unnecessary dependency on build-info.h (#3842)
|
2 tahun lalu |
|
Georgi Gerganov
|
71a09da301
llama : fix kv shift bug (#3835)
|
2 tahun lalu |
|
Georgi Gerganov
|
d69d777c02
ggml : quantization refactoring (#3833)
|
2 tahun lalu |
 Erik Scholz
|
ff3bad83e2
flake : update flake.lock for newer transformers version + provide extra dev shell (#3797)
|
2 tahun lalu |
 Aarni Koskela
|
82a6646e02
metal : try cwd for ggml-metal.metal if bundle lookup fails (#3793)
|
2 tahun lalu |
|
Georgi Gerganov
|
ba231e8a6d
issues : change label from bug to bug-unconfirmed (#3748)
|
2 tahun lalu |
|
Georgi Gerganov
|
8a2f2fea29
convert : ignore tokens if their IDs are within [0, vocab_size) (#3831)
|
2 tahun lalu |
|
Kerfuffle
|
bd6d9e2059
llama : allow quantizing k-quants to fall back when tensor size incompatible (#3747)
|
2 tahun lalu |
|
Georgi Gerganov
|
ee1a0ec9cb
llama : add option for greedy sampling with probs (#3813)
|
2 tahun lalu |
 Henk Poley
|
177461104b
common : print that one line of the syntax help *also* to standard output (#3823)
|
2 tahun lalu |
|
Georgi Gerganov
|
fdee152e4e
starcoder : add GPU offloading (#3827)
|
2 tahun lalu |
|
Kerfuffle
|
41aee4df82
speculative : ensure draft and target model vocab matches (#3812)
|
2 tahun lalu |
|
cebtenzzre
|
6d459cbfbe
llama : correctly report GGUFv3 format (#3818)
|
2 tahun lalu |
 Thibault Terrasson
|
c8d6a1f34a
simple : fix batch handling (#3803)
|
2 tahun lalu |
|
Georgi Gerganov
|
2f9ec7e271
cuda : improve text-generation and batched decoding performance (#3776)
|
2 tahun lalu |
|
Georgi Gerganov
|
34b2a5e1ee
server : do not release slot on image input (#3798)
|
2 tahun lalu |
