Ollama

Mit Ollama kannst du offene große Sprachmodelle lokal auf macOS, Windows oder Linux (oder über ein offizielles Docker-Image) herunterladen und ausführen, und es stellt eine REST-API bereit, um programmatisch mit diesen Modellen zu chatten oder sie zu verwalten – nützlich zum Bau von Anwendungen, die ein lokales Modell genauso aufrufen, wie sie eine gehostete LLM-API aufrufen würden.

Über das direkte Ausführen von Modellen hinaus kann Ollama auch externe Coding-Agenten und -Assistenten starten und mit ihnen verbinden – darunter Claude Code, Codex, Copilot CLI und OpenCode – und über seine OpenClaw-Integration als persönlicher KI-Assistent fungieren, der über Chat-Apps wie WhatsApp, Telegram, Slack und Discord erreichbar ist.

Offizielle Client-Bibliotheken sind für Python und JavaScript verfügbar. Ollama eignet sich für Entwickler, die Modelle aus Datenschutz-, Kosten- oder Offline-Gründen auf eigener Hardware ausführen möchten, oder die eine lokale Laufzeitumgebung suchen, die sich auch in bestehende Coding-Agent- und Chat-basierte KI-Workflows einbinden lässt.