Ollama

Ollama를 사용하면 macOS, Windows, Linux(또는 공식 Docker 이미지를 통해)에서 오픈 대규모 언어 모델을 다운로드하여 로컬에서 실행할 수 있으며, 이러한 모델과 프로그래밍 방식으로 대화하거나 관리할 수 있는 REST API를 제공합니다. 이는 호스팅된 LLM API를 호출하는 것과 동일한 방식으로 로컬 모델을 호출하는 애플리케이션을 만들 때 유용합니다.

모델을 직접 실행하는 것 외에도, Ollama는 Claude Code, Codex, Copilot CLI, OpenCode를 포함한 외부 코딩 에이전트 및 어시스턴트를 실행하고 연결할 수 있으며, OpenClaw 통합을 통해 WhatsApp, Telegram, Slack, Discord 같은 채팅 앱에서 접근 가능한 개인용 AI 어시스턴트 역할도 할 수 있습니다.

공식 클라이언트 라이브러리는 Python과 JavaScript용으로 제공됩니다. Ollama는 프라이버시, 비용, 오프라인 사용 등의 이유로 자신의 하드웨어에서 모델을 실행하고 싶은 개발자, 또는 기존 코딩 에이전트나 채팅 기반 AI 워크플로에도 연결할 수 있는 로컬 런타임을 원하는 개발자에게 적합합니다.