 slaren
|
459e93cce0
Add AVX2 implementation of dequantize_row_q4_1 (#505)
|
hace 2 años |
 Georgi Gerganov
|
a316a425d0
Overhaul the examples structure
|
hace 2 años |
|
Georgi Gerganov
|
ecbe466a36
Retire the ggml_mul_mat() branch for transposed src0 (#500)
|
hace 2 años |
|
Georgi Gerganov
|
502a400192
Disable prompt verbosity by default and add option to enable (#480)
|
hace 2 años |
|
slaren
|
09aecbf628
Add AVX2 implementation of dequantize_row_q4_0 (#467)
|
hace 2 años |
|
Georgi Gerganov
|
4640eff23d
Don't interefe with BLAS for large prompts by running only 1 thread
|
hace 2 años |
|
Georgi Gerganov
|
ab77d76312
Add longer DAN prompt for testing big batch numbers
|
hace 2 años |
|
slaren
|
29b7baab67
Add timings for the prompt evaluation (#478)
|
hace 2 años |
|
Georgi Gerganov
|
4a7129acd2
Remove obsolete information from README
|
hace 2 años |
|
Georgi Gerganov
|
6b6dbc8910
Remove obsolete assert and fix compiler warning
|
hace 2 años |
|
Georgi Gerganov
|
2a2e63ce05
Fix nasty bug in ggml_compute_forward_mul_mat_f32() and reenable BLAS
|
hace 2 años |
 anzz1
|
e899bf54b2
bounds checking for input prefix (#492)
|
hace 2 años |
|
anzz1
|
fbd4d38c64
feat: '--in-prefix STRING' option (#426)
|
hace 2 años |
 Jed Fox
|
58e6c9f36f
Add support for file load progress reporting callbacks (#434)
|
hace 2 años |
 Doomsdayrs
|
36d07532ef
Add missing struct annotation (#483)
|
hace 2 años |
 Chris Kuehl
|
6f1ee4b640
Fix crash for 65B model with pre-allocated memory (#485)
|
hace 2 años |
|
Georgi Gerganov
|
8520fc310e
Disable BLAS altogether - the bug is not just for qunatized mat mul
|
hace 2 años |
|
Georgi Gerganov
|
b3f460e941
Disable BLAS branch in mul_mat - seems there is a bug
|
hace 2 años |
|
Georgi Gerganov
|
04c6f5ed6f
Immediately start processing the prompt before user input has been provided (#476)
|
hace 2 años |
|
Georgi Gerganov
|
7a9b6c3a8b
Reduce memory usage and allocate enough memory for largest context (#473)
|
hace 2 años |
|
Georgi Gerganov
|
31572d9665
Temporary bump the memory buffer size - hopefully fix issues from 483bab2e
|
hace 2 años |
 Gary Mulder
|
f4f5362edb
Update README.md (#444)
|
hace 2 años |
 rabidcopy
|
863f65e2e3
fix instruct mode (#445)
|
hace 2 años |
|
Georgi Gerganov
|
afd220d9c6
Properly free llama_context on failure
|
hace 2 años |
 Cameron Kaiser
|
481044d50c
additional optimizations for POWER9 (#454)
|
hace 2 años |
 comex
|
563cdc391d
Support calling mlock() on loaded model data on Linux and macOS (#453)
|
hace 2 años |
 Luciano
|
8d4a855c24
Add embedding mode with arg flag. Currently working (#282)
|
hace 2 años |
|
Georgi Gerganov
|
b6b268d441
Add link to Roadmap discussion
|
hace 2 años |
|
Georgi Gerganov
|
3cd8dde0d1
Revert "Fix memory allocation issues and seg faults"
|
hace 2 años |
|
Georgi Gerganov
|
4870e455b3
Fix memory allocation issues and seg faults
|
hace 2 años |
