KI Server setup
https://lemonade-server.ai/
KI Server setup
https://lemonade-server.ai/
llama.cpp Homepage:
https://github.com/ggml-org/llama.cpp
Installieren auf MacOS:
brew install llama.cpp
Server starten mit Modell:
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF
Der Server ist erreichbar unter:
http://127.0.0.1:8080
Die Modelle werden mit dem Parameter -hf von https://hugginface.co heruntergeladen und gespeichert unter
~/.cache/huggingface/hub
Modelle für llama.cpp finden sich unter:
https://huggingface.co/ggml-org/models#repos
Config-Datei bearbeiten:
vim ~/.xbindkeysrc
xbindkeys starten:
xbindkeys
xbindkeys beenden:
killall -HUP xbindkeys
Beispielzeile in xbindkeysrc:
"xed"
Mod2 + F2
(startet Editor xed bei Tastendruck F2)