llama.cpp

llama.cpp は、GPU だけでなく普通の CPU を含む一般的なハードウェア上で、大規模言語モデルを効率的に動作させます。モデルサイズとメモリ要件を、品質の低下を最小限に抑えながら縮小する量子化技術を使い、すべて依存関係の少ない C/C++ のコードベースで実装されているため、組み込みやクロスコンパイルが容易です。多くのより高レベルなローカル LLM ツールが、その基盤として利用している推論エンジンです。

llama.cpp は、ローカルでの LLM 推論パフォーマンスやハードウェアのターゲティングを直接的かつ低レベルに制御したい開発者に向いています。(カタログにもある) Ollama がより親しみやすいセットアップ体験でラップしている基盤エンジンであり、より高い制御を必要とするパワーユーザーは、しばしば llama.cpp を直接使用します。