KServe
機械学習モデルを大規模にサービングするための Kubernetes ネイティブなプラットフォームで、フレームワークをまたいでモデルのデプロイを標準化します。
- 活発にメンテナンスされている
- 財団の支援あり
- 寛容なライセンス
概要
KServe は、(カタログにもある) scikit-learn、PyTorch、TensorFlow などから学習済みモデルをデプロイするための標準的な Kubernetes カスタムリソースを提供し、オートスケーリング(ゼロへのスケーリングを含む)、カナリアロールアウト、そしてどのフレームワークでモデルを学習したかに関わらず一貫した推論 API を標準搭載しています。LLM 専用ではなく、汎用的な ML モデルサービング向けに特化して構築された CNCF プロジェクトです。
KServe は、多数のデータサイエンスチームやフレームワークにまたがってモデルのデプロイ方法を標準化するプラットフォームチームに向いています。LLM 推論に特化した(カタログにもある) vLLM や SGLang よりも、より広いスコープを持つサービングプラットフォームです。
このカタログに掲載されている理由
カタログ評価: ★★★☆☆ (3/5)
Standardized Kubernetes model-serving layer, complements Kubeflow/MLflow.
- 成熟
- 財団によるガバナンス
- カテゴリ
- AI・機械学習
- 言語
- Python, Go
- ライセンス
- Apache-2.0
関連プロジェクト
Kubeflow
Apache-2.0パイプライン、モデルトレーニング、ハイパーパラメータチューニング、サービングを1つのツールキットにまとめた、Kubernetes 向けの機械学習プラットフォームです。
活発にメンテナンスされている
- AI・機械学習
MLflow
Apache-2.0実験管理、モデルのパッケージング、バージョン管理、デプロイといった機械学習のライフサイクルを管理するための、オープンソースプラットフォームです。
活発にメンテナンスされている
- AI・機械学習
vLLM
Apache-2.0大規模言語モデル向けの高スループットでメモリ効率に優れた推論・サービングエンジンで、単一のローカルマシンではなく、本番環境で大規模に LLM を運用するために作られています。
活発にメンテナンスされている
- AI・機械学習
llama.cpp
MITCPU を含むコンシューマー向けハードウェア上でローカルに LLM 推論を実行するための、依存関係の少ない高性能な C/C++ 実装です。
活発にメンテナンスされている
- AI・機械学習
誤りを見つけましたか? GitHub で修正を提案する