SGLang
Schnelles Serving-Framework für große Sprachmodelle und Vision-Language-Modelle mit einer strukturierten Generierungssprache für komplexe LLM-Programme.
Überblick
SGLang kombiniert ein hochperformantes Inferenz-Backend mit einer Frontend-Sprache zum Ausdrücken komplexer LLM-Interaktionen – mehrstufiges Schlussfolgern, strukturierte Ausgabe, Tool-Aufrufe – als ein einziges Programm, das die Laufzeitumgebung als Ganzes optimieren kann, statt als Reihe separater API-Aufrufe. Es zielt sowohl auf rohen Serving-Durchsatz als auch auf Ausdruckskraft für komplexe agentenartige Workloads.
SGLang eignet sich für Teams, die hochdurchsatzfähiges LLM-Serving kombiniert mit strukturierten, mehrstufigen Generierungsmustern benötigen – eine performance-fokussierte Alternative zu vLLM (ebenfalls in diesem Katalog), die Teams häufig gegeneinander benchmarken.
- Kategorien
- KI & Machine Learning
- Schlagwörter
- llm-inferencemodel-servingstructured-generation
- Sprachen
- Python
- Lizenz
- Apache-2.0
Ähnliche Projekte
llama.cpp
MITHochperformante C/C++-Implementierung zum lokalen Ausführen von LLM-Inferenz auf Consumer-Hardware, einschließlich CPUs, mit minimalen Abhängigkeiten.
- KI & Machine Learning
vLLM
Apache-2.0Durchsatzstarke, speichereffiziente Inferenz- und Serving-Engine für große Sprachmodelle, gebaut für den Betrieb von LLMs im großen Maßstab in Produktion statt nur auf einer einzelnen lokalen Maschine.
- KI & Machine Learning
KServe
Apache-2.0Kubernetes-native Plattform zum Servieren von Machine-Learning-Modellen im großen Maßstab, die das Modell-Deployment über Frameworks hinweg standardisiert.
- KI & Machine Learning
CAMEL
Apache-2.0Open-Source-Framework für Forschung und den Bau von Systemen mehrerer kommunizierender, rollenspielender KI-Agenten, die autonom zusammenarbeiten.
- KI & Machine Learning
Einen Fehler entdeckt? Änderung auf GitHub vorschlagen.