KServe

KServe は、(カタログにもある) scikit-learn、PyTorch、TensorFlow などから学習済みモデルをデプロイするための標準的な Kubernetes カスタムリソースを提供し、オートスケーリング(ゼロへのスケーリングを含む)、カナリアロールアウト、そしてどのフレームワークでモデルを学習したかに関わらず一貫した推論 API を標準搭載しています。LLM 専用ではなく、汎用的な ML モデルサービング向けに特化して構築された CNCF プロジェクトです。

KServe は、多数のデータサイエンスチームやフレームワークにまたがってモデルのデプロイ方法を標準化するプラットフォームチームに向いています。LLM 推論に特化した(カタログにもある) vLLM や SGLang よりも、より広いスコープを持つサービングプラットフォームです。