SGLang
大規模言語モデルやビジョン言語モデル向けの高速サービングフレームワークで、複雑な LLM プログラムのための構造化された生成言語を備えています。
- 活発にメンテナンスされている
- 寛容なライセンス
概要
SGLang は、高性能な推論バックエンドと、複雑な LLM のやり取り——多段階の推論、構造化出力、ツール呼び出し——を、個別の API 呼び出しの連続としてではなく、ランタイムが全体として最適化できる単一のプログラムとして表現するためのフロントエンド言語を組み合わせています。生のサービングスループットと、複雑なエージェント型ワークロードのための表現力の両方を対象としています。
SGLang は、構造化された多段階の生成パターンと組み合わせた高スループットな LLM サービングを必要とするチームに向いています。カタログにある vLLM のパフォーマンス重視の代替手段で、チームは両者をよくベンチマーク比較します。
このカタログに掲載されている理由
カタログ評価: ★★★★☆ (4/5)
Fast-growing high-performance LLM serving engine, a strong alternative to vLLM.
- 成熟
- コミュニティ主導
- カテゴリ
- AI・機械学習
- 言語
- Python
- ライセンス
- Apache-2.0
関連プロジェクト
vLLM
Apache-2.0大規模言語モデル向けの高スループットでメモリ効率に優れた推論・サービングエンジンで、単一のローカルマシンではなく、本番環境で大規模に LLM を運用するために作られています。
活発にメンテナンスされている
- AI・機械学習
llama.cpp
MITCPU を含むコンシューマー向けハードウェア上でローカルに LLM 推論を実行するための、依存関係の少ない高性能な C/C++ 実装です。
活発にメンテナンスされている
- AI・機械学習
KServe
Apache-2.0機械学習モデルを大規模にサービングするための Kubernetes ネイティブなプラットフォームで、フレームワークをまたいでモデルのデプロイを標準化します。
活発にメンテナンスされている
- AI・機械学習
Milvus
Apache-2.0スケーラブルな類似検索と AI アプリケーション向けに構築された、オープンソースのベクトルデータベースです。
活発にメンテナンスされている
- AI・機械学習
- データベース
誤りを見つけましたか? GitHub で修正を提案する