1 proyecto encontrado para "gpu-inference"
Motor de inferencia y servicio de alto rendimiento y eficiente en memoria para modelos de lenguaje grandes, pensado para ejecutar LLMs en producción a gran escala y no solo en una máquina local.