検索: "LLM推論" — FindOpenSource

「LLM推論」の検索結果 4 件

関連カテゴリ: AI・機械学習 (4)

こちらもおすすめ:モデルサービング llm-inference model-serving llm-serving

vLLM
Apache-2.0
大規模言語モデル向けの高スループットでメモリ効率に優れた推論・サービングエンジンで、単一のローカルマシンではなく、本番環境で大規模に LLM を運用するために作られています。
- AI・機械学習
llama.cpp
MIT
CPU を含むコンシューマー向けハードウェア上でローカルに LLM 推論を実行するための、依存関係の少ない高性能な C/C++ 実装です。
- AI・機械学習
SGLang
Apache-2.0
大規模言語モデルやビジョン言語モデル向けの高速サービングフレームワークで、複雑な LLM プログラムのための構造化された生成言語を備えています。
- AI・機械学習
KServe
Apache-2.0
機械学習モデルを大規模にサービングするための Kubernetes ネイティブなプラットフォームで、フレームワークをまたいでモデルのデプロイを標準化します。
- AI・機械学習