 Johannes Gäßler
|
0fc1e820a9
CUDA: faster large batch FA without tensor cores (#7314)
|
1 год назад |
 Gavin Zhao
|
82ca83db3c
ROCm: use native CMake HIP support (#5966)
|
1 год назад |
 Radoslav Gerganov
|
f4bd8b3d26
rpc : set SO_REUSEADDR for the server socket (#7320)
|
1 год назад |
 Brian
|
51e9d02599
Added a single test function script and fix debug-test.sh to be more robust (#7279)
|
1 год назад |
 Aarni Koskela
|
d273c1402b
py : convert-hf-to-gguf-update improvements (#7340)
|
1 год назад |
 fairydreaming
|
27b040691c
llama : use n_embd_head_v when reshaping kqv (#7327)
|
1 год назад |
|
Johannes Gäßler
|
29c60d8cdd
tokenization: add warning for double BOS (#7332)
|
1 год назад |
 Herman Semenov
|
359cbe3f46
ggml-quants, llama : removed excess checks (#7274)
|
1 год назад |
 amd-lalithnc
|
e18bc6aaf3
convert : fix Qwen/Qwen-7b conversion (#7308)
|
1 год назад |
|
Radoslav Gerganov
|
ee94172d33
server : add support for the RPC backend (#7305)
|
1 год назад |
 Justine Tunney
|
934266c0e0
ggml : rewrite silu and softmax for cpu (#7154)
|
1 год назад |
 Leon Knauer
|
9c4fdcbec8
[Server] Added --verbose option to README [no ci] (#7335)
|
1 год назад |
 Pierrick Hymbert
|
24ecb58168
Revert "server bench: fix bench not waiting for model load (#7284)" (#7334)
|
1 год назад |
|
Radoslav Gerganov
|
9afdffe70e
rpc : get available mem for the CPU backend
|
1 год назад |
|
Radoslav Gerganov
|
3b3963c55c
rpc : add command line arg for specifying backend memory
|
1 год назад |
 Jared Van Bortel
|
dda64fc17c
convert : get general.name from model dir, not its parent (#5615)
|
1 год назад |
|
Herman Semenov
|
0350f58152
grammar, json, llama: replace push on emplace if it possible (#7273)
|
1 год назад |
 Vaibhav Srivastav
|
ad52d5c259
doc: add references to hugging face GGUF-my-repo quantisation web tool. (#7288)
|
1 год назад |
 Max Krasnyansky
|
172b78210a
ci: fix bin/Release path for windows-arm64 builds (#7317)
|
1 год назад |
 Max Krasnyansky
|
13ad16af12
Add support for properly optimized Windows ARM64 builds with LLVM and MSVC (#7191)
|
1 год назад |
 Daniel Bevenius
|
8f7080bf48
readme : remove stray double quote (#7310)
|
1 год назад |
 kunnis
|
e1b40ac3b9
ggml : use dynamic thread scheduling for matrix multiplication (#6915)
|
1 год назад |
 agray3
|
dc020985b8
Avoid unnecessarily disabling CUDA graphs (#7302)
|
1 год назад |
 slaren
|
344f9126cc
ggml : tag ggml_tensor::backend as deprecated (#7290)
|
1 год назад |
 AidanBeltonS
|
9a17ab914b
Add missing " (#7303)
|
1 год назад |
 dm4
|
ea3b0590ee
embedding : free the batch after execution (#7297)
|
1 год назад |
 Georgi Gerganov
|
29499bb593
sync : ggml
|
1 год назад |
 John Balis
|
48aa8fd1f2
ggml : add `ggml_upscale_ext` (ggml/814)
|
1 год назад |
|
Johannes Gäßler
|
583fd6b000
server bench: fix bench not waiting for model load (#7284)
|
1 год назад |
|
Georgi Gerganov
|
9f773486ab
script : sync ggml-rpc
|
1 год назад |
