vLLM

vLLM は、高速な LLM 推論・サービングのためのライブラリで、もともと UC バークレーの Sky Computing Lab で開発され、現在は大規模なオープンソースコミュニティによってメンテナンスされています。その中核となる貢献は PagedAttention です。これはアテンション機構のキー・バリューキャッシュに対するメモリ管理手法で、素朴なサービング手法と比べて、同じ GPU ハードウェア上ではるかに多くの同時リクエストを処理できるようにします。さらに継続的バッチ処理(continuous batching)と組み合わせることで、バッチが埋まるのを待つのではなく、到着したリクエストを効率的に処理します。

OpenAI 互換の API サーバーを公開しており、Hugging Face の幅広いオープンウェイトモデルに対応しているほか、量子化や投機的デコーディングといったオプションにより、スループットとレイテンシをさらにチューニングできます。

vLLM は、LLM を本番サービスとしてデプロイし、多数の同時ユーザーを効率的に処理する必要があるチームに向いています。カタログ内の Ollama とは異なる層に位置します。Ollama は高スループットなマルチリクエストサービングではなく、単一ユーザー向けにローカルでモデルを実行するために作られています。