Buscar: "llm-inference" — FindOpenSource

4 proyectos encontrados para "llm-inference"

Categoría relacionada: IA y Machine Learning (4)

Prueba también con:inferencia de llm servicio de modelos model-serving llm-serving

vLLM
Apache-2.0
Motor de inferencia y servicio de alto rendimiento y eficiente en memoria para modelos de lenguaje grandes, pensado para ejecutar LLMs en producción a gran escala y no solo en una máquina local.
- IA y Machine Learning
llama.cpp
MIT
Implementación en C/C++ de alto rendimiento para ejecutar inferencia de LLM localmente en hardware de consumo, incluidas CPUs, con dependencias mínimas.
- IA y Machine Learning
SGLang
Apache-2.0
Framework de servicio rápido para grandes modelos de lenguaje y modelos de visión-lenguaje, con un lenguaje de generación estructurada para programas LLM complejos.
- IA y Machine Learning
KServe
Apache-2.0
Plataforma nativa de Kubernetes para servir modelos de machine learning a gran escala, estandarizando el despliegue de modelos entre frameworks.
- IA y Machine Learning