KServe
Kubernetes-native Plattform zum Servieren von Machine-Learning-Modellen im großen Maßstab, die das Modell-Deployment über Frameworks hinweg standardisiert.
- Aktiv gepflegt
- Von einer Foundation unterstützt
- Gut dokumentiert
- Permissive Lizenz
Überblick
KServe bietet eine standardisierte Kubernetes-Custom-Resource zum Deployen trainierter Modelle – von scikit-learn, PyTorch, TensorFlow und anderen, bereits in diesem Katalog – mit integriertem Autoscaling (einschließlich Skalierung auf null), Canary-Rollouts und einer konsistenten Inferenz-API, unabhängig davon, welches Framework das Modell trainiert hat. Es ist ein CNCF-Projekt, das speziell für allgemeines ML-Modell-Serving statt speziell für LLMs gebaut ist.
KServe eignet sich für Platform-Teams, die standardisieren, wie Modelle über viele Data-Science-Teams und Frameworks hinweg deployt werden – eine breiter angelegte Serving-Plattform als vLLM oder SGLang (ebenfalls in diesem Katalog), die sich speziell auf LLM-Inferenz konzentrieren.
Warum es in diesem Katalog steht
Katalog-Bewertung: ★★★☆☆ (3/5)
Standardized Kubernetes model-serving layer, complements Kubeflow/MLflow.
- Ausgereift
- Stiftungsgeführt
- Kategorien
- KI & Machine Learning
- Schlagwörter
- model-servingkubernetes-nativemlops
- Sprachen
- Python, Go
- Lizenz
- Apache-2.0
Mit einem anderen Projekt vergleichen
Ähnliche Projekte
Kubeflow
Apache-2.0Machine-Learning-Plattform für Kubernetes, die Pipelines, Modelltraining, Hyperparameter-Tuning und Serving in einem Toolkit bündelt.
Aktiv gepflegt
- KI & Machine Learning
MLflow
Apache-2.0Quelloffene Plattform zur Verwaltung des Machine-Learning-Lebenszyklus: Experiment-Tracking, Modellverpackung, Versionierung und Deployment.
Aktiv gepflegt
- KI & Machine Learning
vLLM
Apache-2.0Durchsatzstarke, speichereffiziente Inferenz- und Serving-Engine für große Sprachmodelle, gebaut für den Betrieb von LLMs im großen Maßstab in Produktion statt nur auf einer einzelnen lokalen Maschine.
Aktiv gepflegt
- KI & Machine Learning
llama.cpp
MITHochperformante C/C++-Implementierung zum lokalen Ausführen von LLM-Inferenz auf Consumer-Hardware, einschließlich CPUs, mit minimalen Abhängigkeiten.
Aktiv gepflegt
- KI & Machine Learning
Einen Fehler entdeckt? Änderung auf GitHub vorschlagen.