找到 4 个与"llm-inference"相关的项目
相关分类: AI 与机器学习 (4)
高吞吐、内存高效的大语言模型推理与服务引擎，专为大规模生产环境中运行 LLM 而设计，而非仅用于单机本地运行。
高性能 C/C++ 实现，用于在消费级硬件（包括 CPU）上本地运行大语言模型推理，依赖极少。
面向大语言模型和视觉语言模型的高速服务框架，配有用于编写复杂大语言模型程序的结构化生成语言。
Kubernetes 原生的大规模机器学习模型服务平台，统一跨框架的模型部署方式。