Domů Procházet Nápověda
Přihlásit se
cturan
/
llama.cpp
zrcadlo https://github.com/cturan/llama.cpp
1
0
Rozštěpit 0
Soubory Úkoly 0 Wiki
Strom: f52d59d771
Větve Značky
llama.cpp
/
examples
/
llava
Sigbjørn Skjæret f52d59d771 llava : fix clip loading GGUFs with missing description (#12660) před 9 měsíci
..
android 1c641e6aac `build`: rename main → llama-cli, server → llama-server, llava-cli → llama-llava-cli, etc... (#7809) před 1 rokem
CMakeLists.txt 7841fc723e llama : Add Gemma 3 support (+ experimental vision capability) (#12343) před 10 měsíci
MobileVLM-README.md e665744317 llava : fix the script error in MobileVLM README (#9054) před 1 rokem
README-gemma3.md 7841fc723e llama : Add Gemma 3 support (+ experimental vision capability) (#12343) před 10 měsíci
README-glmedge.md 0cec062a63 llama : add support for GLM-Edge and GLM-Edge-V series models (#10573) před 11 měsíci
README-granitevision.md 84d5f4bc19 Update granite vision docs for 3.2 model (#12105) před 10 měsíci
README-minicpmo2.6.md 8352cdc87b llava : fix bug in minicpm-v code (#11513) před 10 měsíci
README-minicpmv2.5.md 8352cdc87b llava : fix bug in minicpm-v code (#11513) před 10 měsíci
README-minicpmv2.6.md 8352cdc87b llava : fix bug in minicpm-v code (#11513) před 10 měsíci
README-quantize.md 1ec208083c llava: add quantization for the visual projector LLAVA, Qwen2VL (#11644) před 11 měsíci
README.md 7a2c913e66 llava : Add Granite Vision Support (#11794) před 11 měsíci
clip-quantize-cli.cpp 1ec208083c llava: add quantization for the visual projector LLAVA, Qwen2VL (#11644) před 11 měsíci
clip.cpp f52d59d771 llava : fix clip loading GGUFs with missing description (#12660) před 9 měsíci
clip.h 96e1280839 clip : bring back GPU support (#12322) před 10 měsíci
convert_image_encoder_to_gguf.py e9b2f84f14 llava: add big-endian conversion for image encoder (#12218) před 10 měsíci
gemma3-cli.cpp e0dbec0bc6 llama : refactor llama_context, llama_kv_cache, llm_build_context (#12181) před 10 měsíci
gemma3_convert_encoder_to_gguf.py 7841fc723e llama : Add Gemma 3 support (+ experimental vision capability) (#12343) před 10 měsíci
glmedge-convert-image-encoder-to-gguf.py 0cec062a63 llama : add support for GLM-Edge and GLM-Edge-V series models (#10573) před 11 měsíci
glmedge-surgery.py 0cec062a63 llama : add support for GLM-Edge and GLM-Edge-V series models (#10573) před 11 měsíci
llava-cli.cpp afa8a9ec9b llama : add `llama_vocab`, functions -> methods, naming (#11110) před 1 rokem
llava.cpp 7a2c913e66 llava : Add Granite Vision Support (#11794) před 11 měsíci
llava.h 3071c0a5f2 llava : support MiniCPM-V-2.5 (#7599) před 1 rokem
llava_surgery.py e235b267a2 py : switch to snake_case (#8305) před 1 rokem
llava_surgery_v2.py 7a2c913e66 llava : Add Granite Vision Support (#11794) před 11 měsíci
minicpmv-cli.cpp 96e1280839 clip : bring back GPU support (#12322) před 10 měsíci
minicpmv-convert-image-encoder-to-gguf.py 8352cdc87b llava : fix bug in minicpm-v code (#11513) před 10 měsíci
minicpmv-surgery.py 3e3357fd77 llava : support Minicpm-omni (#11289) před 1 rokem
qwen2_vl_surgery.py 4ddd199f6f llava : Allow locally downloaded models for QwenVL (#10833) před 1 rokem
qwen2vl-cli.cpp afa8a9ec9b llama : add `llama_vocab`, functions -> methods, naming (#11110) před 1 rokem
requirements.txt d3ae0ee8d7 py : fix requirements check '==' -> '~=' (#8982) před 1 rokem

README-gemma3.md

Gemma 3 vision

[!IMPORTANT]

This is very experimental, only used for demo purpose.

How to get mmproj.gguf?

cd gemma-3-4b-it
python ../llama.cpp/examples/llava/gemma3_convert_encoder_to_gguf.py .

# output file is mmproj.gguf

How to run it?

What you need:

  • The text model GGUF, can be converted using convert_hf_to_gguf.py
  • The mmproj file from step above

  • An image file

    # build
cmake -B build
cmake --build build --target llama-gemma3-cli

# run it
./build/bin/llama-gemma3-cli -m {text_model}.gguf --mmproj mmproj.gguf --image your_image.jpg