llama.cpp Homepage:
https://github.com/ggml-org/llama.cpp
Installieren auf MacOS:
brew install llama.cpp
Server starten mit Modell:
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF
Der Server ist erreichbar unter:
http://127.0.0.1:8080
Die Modelle werden mit dem Parameter -hf von https://hugginface.co heruntergeladen und gespeichert unter
~/.cache/huggingface/hub
Modelle für llama.cpp finden sich unter:
https://huggingface.co/ggml-org/models#repos