SGLang

面向大语言模型和视觉语言模型的高速服务框架，配有用于编写复杂大语言模型程序的结构化生成语言。

GitHub 官网文档

概述

SGLang 将高性能推理后端与一种前端语言结合起来，用于将复杂的大语言模型交互——多步推理、结构化输出、工具调用——表达为一个整体程序，供运行时统一优化，而不是一系列独立的 API 调用。它同时面向原始服务吞吐量和复杂智能体类工作负载的表达能力。

SGLang 适合那些需要将高吞吐量大语言模型服务与结构化、多步生成模式相结合的团队，是目录中 vLLM 的一个性能导向的替代方案，团队通常会将两者进行基准对比。

分类: AI 与机器学习
关键词: llm-inference model-serving structured-generation
编程语言: Python
许可证: Apache-2.0

发现信息有误？在 GitHub 上提出修改建议。