SGLang
大規模言語モデルやビジョン言語モデル向けの高速サービングフレームワークで、複雑な LLM プログラムのための構造化された生成言語を備えています。
概要
SGLang は、高性能な推論バックエンドと、複雑な LLM のやり取り——多段階の推論、構造化出力、ツール呼び出し——を、個別の API 呼び出しの連続としてではなく、ランタイムが全体として最適化できる単一のプログラムとして表現するためのフロントエンド言語を組み合わせています。生のサービングスループットと、複雑なエージェント型ワークロードのための表現力の両方を対象としています。
SGLang は、構造化された多段階の生成パターンと組み合わせた高スループットな LLM サービングを必要とするチームに向いています。カタログにある vLLM のパフォーマンス重視の代替手段で、チームは両者をよくベンチマーク比較します。
- カテゴリ
- AI・機械学習
- 言語
- Python
- ライセンス
- Apache-2.0
広告
関連プロジェクト
llama.cpp
MITCPU を含むコンシューマー向けハードウェア上でローカルに LLM 推論を実行するための、依存関係の少ない高性能な C/C++ 実装です。
- AI・機械学習
vLLM
Apache-2.0大規模言語モデル向けの高スループットでメモリ効率に優れた推論・サービングエンジンで、単一のローカルマシンではなく、本番環境で大規模に LLM を運用するために作られています。
- AI・機械学習
KServe
Apache-2.0機械学習モデルを大規模にサービングするための Kubernetes ネイティブなプラットフォームで、フレームワークをまたいでモデルのデプロイを標準化します。
- AI・機械学習
CAMEL
Apache-2.0自律的に協調する、複数のコミュニケーションを行うロールプレイング AI エージェントのシステムを研究・構築するための、オープンソースフレームワークです。
- AI・機械学習
誤りを見つけましたか? GitHub で修正を提案する