 Johannes Gäßler
|
39d8bc71ed
CUDA: fixed tensor cores not being used on RDNA3 (#4697)
|
hace 2 años |
|
Johannes Gäßler
|
a20f3c7465
CUDA: fix tensor core logic for Pascal and HIP (#4682)
|
hace 2 años |
 hydai
|
91bb39cec7
cuda: fix vmm oom issue on NVIDIA AGX Orin (#4687)
|
hace 2 años |
 bssrdf
|
afc8c19291
ggml : fix some mul mat cases + add tests for src1 F16 (ggml/669)
|
hace 2 años |
 slaren
|
dc68f0054c
cuda : fix vmm pool with multi GPU (#4620)
|
hace 2 años |
 FantasyGmm
|
77465dad48
Fix new CUDA10 compilation errors (#4635)
|
hace 2 años |
|
slaren
|
5bf3953d7e
cuda : improve cuda pool efficiency using virtual memory (#4606)
|
hace 2 años |
|
slaren
|
708e179e85
fallback to CPU buffer if host buffer alloc fails (#4610)
|
hace 2 años |
|
Johannes Gäßler
|
e0a4002273
CUDA: fixed row rounding for 0 tensor splits (#4594)
|
hace 2 años |
 Georgi Gerganov
|
ba66175132
sync : ggml (fix im2col) (#4591)
|
hace 2 años |
|
FantasyGmm
|
a55876955b
cuda : fix jetson compile error (#4560)
|
hace 2 años |
 Henrik Forstén
|
6724ef1657
Fix CudaMemcpy direction (#4599)
|
hace 2 años |
|
slaren
|
48b7ff193e
llama : fix platforms without mmap (#4578)
|
hace 2 años |
|
Georgi Gerganov
|
afefa319f1
ggml : change ggml_scale to take a float instead of tensor (#4573)
|
hace 2 años |
|
slaren
|
d232aca5a7
llama : initial ggml-backend integration (#4520)
|
hace 2 años |
 Erik Garrison
|
0f630fbc92
cuda : ROCm AMD Unified Memory Architecture (UMA) handling (#4449)
|
hace 2 años |
 arlo-phoenix
|
562cf222b5
ggml-cuda: Fix HIP build by adding define for __trap (#4569)
|
hace 2 años |
|
Johannes Gäßler
|
9154494808
CUDA: mul_mat_id always on GPU for batches >= 32 (#4553)
|
hace 2 años |
 bobqianic
|
66f35a2f48
cuda : better error message for ggml_get_rows (#4561)
|
hace 2 años |
|
slaren
|
1398823922
cuda : replace asserts in wrong architecture checks with __trap (#4556)
|
hace 2 años |
 LoganDark
|
1d7a1912ce
Fix access violation in ggml_cuda_free_data if tensor->extra is NULL (#4554)
|
hace 2 años |
|
Johannes Gäßler
|
799fc22689
CUDA: Faster Mixtral prompt processing (#4538)
|
hace 2 años |
|
arlo-phoenix
|
a7aee47b98
ggml-cuda: Fix HIP build (#4528)
|
hace 2 años |
 Ebey Abraham
|
b9e74f9bca
llama : add phi-2 + fix NeoX rope + ggml_mul_mat_set_prec (#4490)
|
hace 2 años |
|
slaren
|
6744dbe924
ggml : use ggml_row_size where possible (#4472)
|
hace 2 años |
|
Georgi Gerganov
|
4d98d9a656
sync : ggml (SD ops, tests, kernels) (#4444)
|
hace 2 años |
|
slaren
|
799a1cb13b
llama : add Mixtral support (#4406)
|
hace 2 años |
|
Georgi Gerganov
|
fe680e3d10
sync : ggml (new ops, tests, backend, etc.) (#4359)
|
hace 2 años |
|
Georgi Gerganov
|
bcc0eb4591
llama : per-layer KV cache + quantum K cache (#4309)
|
hace 2 años |
|
Georgi Gerganov
|
ef47ec18da
ggml : add ggml_soft_max_ext (#4256)
|
hace 2 años |
