Buscar proyectos open source
4 proyectos encontrados para "model-serving"
Categoría relacionada: IA y Machine Learning (4)
KServe
Apache-2.0Plataforma nativa de Kubernetes para servir modelos de machine learning a gran escala, estandarizando el despliegue de modelos entre frameworks.
- IA y Machine Learning
llama.cpp
MITImplementación en C/C++ de alto rendimiento para ejecutar inferencia de LLM localmente en hardware de consumo, incluidas CPUs, con dependencias mínimas.
- IA y Machine Learning
SGLang
Apache-2.0Framework de servicio rápido para grandes modelos de lenguaje y modelos de visión-lenguaje, con un lenguaje de generación estructurada para programas LLM complejos.
- IA y Machine Learning
vLLM
Apache-2.0Motor de inferencia y servicio de alto rendimiento y eficiente en memoria para modelos de lenguaje grandes, pensado para ejecutar LLMs en producción a gran escala y no solo en una máquina local.
- IA y Machine Learning