KServe
Plataforma nativa de Kubernetes para servir modelos de machine learning a gran escala, estandarizando el despliegue de modelos entre frameworks.
Descripción general
KServe ofrece un recurso personalizado estándar de Kubernetes para desplegar modelos entrenados —de scikit-learn, PyTorch, TensorFlow y otros ya presentes en este catálogo— con autoescalado integrado (incluido el escalado a cero), despliegues canary y una API de inferencia consistente sin importar qué framework entrenó el modelo. Es un proyecto de la CNCF construido específicamente para servir modelos de ML de propósito general en lugar de LLMs específicamente.
KServe encaja en equipos de plataforma que estandarizan cómo se despliegan los modelos entre muchos equipos y frameworks de ciencia de datos, una plataforma de servicio de alcance más amplio que vLLM o SGLang (también en este catálogo), centrados específicamente en la inferencia de LLM.
- Categorías
- IA y Machine Learning
- Palabras clave
- model-servingkubernetes-nativemlops
- Lenguajes
- Python, Go
- Licencia
- Apache-2.0
Proyectos relacionados
Kubeflow
Apache-2.0Plataforma de machine learning para Kubernetes que agrupa pipelines, entrenamiento de modelos, ajuste de hiperparámetros y servicio en un solo kit de herramientas.
- IA y Machine Learning
llama.cpp
MITImplementación en C/C++ de alto rendimiento para ejecutar inferencia de LLM localmente en hardware de consumo, incluidas CPUs, con dependencias mínimas.
- IA y Machine Learning
MLflow
Apache-2.0Plataforma de código abierto para gestionar el ciclo de vida del machine learning: seguimiento de experimentos, empaquetado de modelos, versionado y despliegue.
- IA y Machine Learning
SGLang
Apache-2.0Framework de servicio rápido para grandes modelos de lenguaje y modelos de visión-lenguaje, con un lenguaje de generación estructurada para programas LLM complejos.
- IA y Machine Learning
¿Encontraste un error? Sugiere una edición en GitHub.