KServe
Kubernetes-native Plattform zum Servieren von Machine-Learning-Modellen im großen Maßstab, die das Modell-Deployment über Frameworks hinweg standardisiert.
Überblick
KServe bietet eine standardisierte Kubernetes-Custom-Resource zum Deployen trainierter Modelle – von scikit-learn, PyTorch, TensorFlow und anderen, bereits in diesem Katalog – mit integriertem Autoscaling (einschließlich Skalierung auf null), Canary-Rollouts und einer konsistenten Inferenz-API, unabhängig davon, welches Framework das Modell trainiert hat. Es ist ein CNCF-Projekt, das speziell für allgemeines ML-Modell-Serving statt speziell für LLMs gebaut ist.
KServe eignet sich für Platform-Teams, die standardisieren, wie Modelle über viele Data-Science-Teams und Frameworks hinweg deployt werden – eine breiter angelegte Serving-Plattform als vLLM oder SGLang (ebenfalls in diesem Katalog), die sich speziell auf LLM-Inferenz konzentrieren.
- Kategorien
- KI & Machine Learning
- Schlagwörter
- model-servingkubernetes-nativemlops
- Sprachen
- Python, Go
- Lizenz
- Apache-2.0
Ähnliche Projekte
Kubeflow
Apache-2.0Machine-Learning-Plattform für Kubernetes, die Pipelines, Modelltraining, Hyperparameter-Tuning und Serving in einem Toolkit bündelt.
- KI & Machine Learning
llama.cpp
MITHochperformante C/C++-Implementierung zum lokalen Ausführen von LLM-Inferenz auf Consumer-Hardware, einschließlich CPUs, mit minimalen Abhängigkeiten.
- KI & Machine Learning
MLflow
Apache-2.0Quelloffene Plattform zur Verwaltung des Machine-Learning-Lebenszyklus: Experiment-Tracking, Modellverpackung, Versionierung und Deployment.
- KI & Machine Learning
SGLang
Apache-2.0Schnelles Serving-Framework für große Sprachmodelle und Vision-Language-Modelle mit einer strukturierten Generierungssprache für komplexe LLM-Programme.
- KI & Machine Learning
Einen Fehler entdeckt? Änderung auf GitHub vorschlagen.