SGLang
Framework de servicio rápido para grandes modelos de lenguaje y modelos de visión-lenguaje, con un lenguaje de generación estructurada para programas LLM complejos.
Descripción general
SGLang combina un backend de inferencia de alto rendimiento con un lenguaje frontend para expresar interacciones LLM complejas —razonamiento en varios pasos, salida estructurada, llamadas a herramientas— como un único programa que el runtime puede optimizar en su conjunto, en lugar de como una serie de llamadas API independientes. Apunta tanto al throughput de servicio puro como a la expresividad para cargas de trabajo complejas de tipo agente.
SGLang encaja en equipos que necesitan servicio de LLM de alto rendimiento combinado con patrones de generación estructurada y multietapa, una alternativa centrada en el rendimiento a vLLM (también en este catálogo) que los equipos suelen comparar entre sí.
- Categorías
- IA y Machine Learning
- Palabras clave
- llm-inferencemodel-servingstructured-generation
- Lenguajes
- Python
- Licencia
- Apache-2.0
Proyectos relacionados
llama.cpp
MITImplementación en C/C++ de alto rendimiento para ejecutar inferencia de LLM localmente en hardware de consumo, incluidas CPUs, con dependencias mínimas.
- IA y Machine Learning
vLLM
Apache-2.0Motor de inferencia y servicio de alto rendimiento y eficiente en memoria para modelos de lenguaje grandes, pensado para ejecutar LLMs en producción a gran escala y no solo en una máquina local.
- IA y Machine Learning
KServe
Apache-2.0Plataforma nativa de Kubernetes para servir modelos de machine learning a gran escala, estandarizando el despliegue de modelos entre frameworks.
- IA y Machine Learning
CAMEL
Apache-2.0Framework de código abierto para investigar y construir sistemas de múltiples agentes de IA que se comunican, interpretan roles y colaboran de forma autónoma.
- IA y Machine Learning
¿Encontraste un error? Sugiere una edición en GitHub.