Buscar: "inferencia de llm" — FindOpenSource

6 proyectos encontrados para "inferencia de llm"

Categoría relacionada: IA y Machine Learning (6)

Prueba también con:servicio de modelos llm-inference model-serving llm-serving

vLLM
Apache-2.0
Motor de inferencia y servicio de alto rendimiento y eficiente en memoria para modelos de lenguaje grandes, pensado para ejecutar LLMs en producción a gran escala y no solo en una máquina local.
- IA y Machine Learning
llama.cpp
MIT
Implementación en C/C++ de alto rendimiento para ejecutar inferencia de LLM localmente en hardware de consumo, incluidas CPUs, con dependencias mínimas.
- IA y Machine Learning
LangChain
MIT
Framework para desarrollar aplicaciones impulsadas por modelos de lenguaje grandes, agentes y generación aumentada por recuperación (RAG).
- IA y Machine Learning
Ollama
MIT
Ejecuta modelos de lenguaje grandes de forma local con una interfaz de línea de comandos y una API sencillas.
- IA y Machine Learning
SGLang
Apache-2.0
Framework de servicio rápido para grandes modelos de lenguaje y modelos de visión-lenguaje, con un lenguaje de generación estructurada para programas LLM complejos.
- IA y Machine Learning
KServe
Apache-2.0
Plataforma nativa de Kubernetes para servir modelos de machine learning a gran escala, estandarizando el despliegue de modelos entre frameworks.
- IA y Machine Learning