KServe
Plataforma nativa de Kubernetes para servir modelos de machine learning a gran escala, estandarizando el despliegue de modelos entre frameworks.
- Mantenimiento activo
- Respaldado por una fundación
- Bien documentado
- Licencia permisiva
Descripción general
KServe ofrece un recurso personalizado estándar de Kubernetes para desplegar modelos entrenados —de scikit-learn, PyTorch, TensorFlow y otros ya presentes en este catálogo— con autoescalado integrado (incluido el escalado a cero), despliegues canary y una API de inferencia consistente sin importar qué framework entrenó el modelo. Es un proyecto de la CNCF construido específicamente para servir modelos de ML de propósito general en lugar de LLMs específicamente.
KServe encaja en equipos de plataforma que estandarizan cómo se despliegan los modelos entre muchos equipos y frameworks de ciencia de datos, una plataforma de servicio de alcance más amplio que vLLM o SGLang (también en este catálogo), centrados específicamente en la inferencia de LLM.
Por qué está en este catálogo
Valoración del catálogo: ★★★☆☆ (3/5)
Standardized Kubernetes model-serving layer, complements Kubeflow/MLflow.
- Maduro
- Gobernanza de fundación
- Categorías
- IA y Machine Learning
- Palabras clave
- model-servingkubernetes-nativemlops
- Lenguajes
- Python, Go
- Licencia
- Apache-2.0
Proyectos relacionados
Kubeflow
Apache-2.0Plataforma de machine learning para Kubernetes que agrupa pipelines, entrenamiento de modelos, ajuste de hiperparámetros y servicio en un solo kit de herramientas.
Mantenimiento activo
- IA y Machine Learning
MLflow
Apache-2.0Plataforma de código abierto para gestionar el ciclo de vida del machine learning: seguimiento de experimentos, empaquetado de modelos, versionado y despliegue.
Mantenimiento activo
- IA y Machine Learning
vLLM
Apache-2.0Motor de inferencia y servicio de alto rendimiento y eficiente en memoria para modelos de lenguaje grandes, pensado para ejecutar LLMs en producción a gran escala y no solo en una máquina local.
Mantenimiento activo
- IA y Machine Learning
llama.cpp
MITImplementación en C/C++ de alto rendimiento para ejecutar inferencia de LLM localmente en hardware de consumo, incluidas CPUs, con dependencias mínimas.
Mantenimiento activo
- IA y Machine Learning
¿Encontraste un error? Sugiere una edición en GitHub.