SGLang
Framework de servicio rápido para grandes modelos de lenguaje y modelos de visión-lenguaje, con un lenguaje de generación estructurada para programas LLM complejos.
- Mantenimiento activo
- Bien documentado
- Licencia permisiva
Descripción general
SGLang combina un backend de inferencia de alto rendimiento con un lenguaje frontend para expresar interacciones LLM complejas —razonamiento en varios pasos, salida estructurada, llamadas a herramientas— como un único programa que el runtime puede optimizar en su conjunto, en lugar de como una serie de llamadas API independientes. Apunta tanto al throughput de servicio puro como a la expresividad para cargas de trabajo complejas de tipo agente.
SGLang encaja en equipos que necesitan servicio de LLM de alto rendimiento combinado con patrones de generación estructurada y multietapa, una alternativa centrada en el rendimiento a vLLM (también en este catálogo) que los equipos suelen comparar entre sí.
Por qué está en este catálogo
Valoración del catálogo: ★★★★☆ (4/5)
Fast-growing high-performance LLM serving engine, a strong alternative to vLLM.
- Maduro
- Impulsado por la comunidad
- Categorías
- IA y Machine Learning
- Palabras clave
- llm-inferencemodel-servingstructured-generation
- Lenguajes
- Python
- Licencia
- Apache-2.0
Proyectos relacionados
vLLM
Apache-2.0Motor de inferencia y servicio de alto rendimiento y eficiente en memoria para modelos de lenguaje grandes, pensado para ejecutar LLMs en producción a gran escala y no solo en una máquina local.
Mantenimiento activo
- IA y Machine Learning
llama.cpp
MITImplementación en C/C++ de alto rendimiento para ejecutar inferencia de LLM localmente en hardware de consumo, incluidas CPUs, con dependencias mínimas.
Mantenimiento activo
- IA y Machine Learning
KServe
Apache-2.0Plataforma nativa de Kubernetes para servir modelos de machine learning a gran escala, estandarizando el despliegue de modelos entre frameworks.
Mantenimiento activo
- IA y Machine Learning
Milvus
Apache-2.0Base de datos vectorial de código abierto construida para búsqueda de similitud escalable y aplicaciones de IA.
Mantenimiento activo
- IA y Machine Learning
- Base de datos
¿Encontraste un error? Sugiere una edición en GitHub.