Suche: "llm-inference" — FindOpenSource

4 Projekte gefunden für "llm-inference"

Verwandte Kategorie: KI & Machine Learning (4)

Versuch es auch mit:llm-inferenz modell-serving model-serving llm-serving

vLLM
Apache-2.0
Durchsatzstarke, speichereffiziente Inferenz- und Serving-Engine für große Sprachmodelle, gebaut für den Betrieb von LLMs im großen Maßstab in Produktion statt nur auf einer einzelnen lokalen Maschine.
- KI & Machine Learning
llama.cpp
MIT
Hochperformante C/C++-Implementierung zum lokalen Ausführen von LLM-Inferenz auf Consumer-Hardware, einschließlich CPUs, mit minimalen Abhängigkeiten.
- KI & Machine Learning
SGLang
Apache-2.0
Schnelles Serving-Framework für große Sprachmodelle und Vision-Language-Modelle mit einer strukturierten Generierungssprache für komplexe LLM-Programme.
- KI & Machine Learning
KServe
Apache-2.0
Kubernetes-native Plattform zum Servieren von Machine-Learning-Modellen im großen Maßstab, die das Modell-Deployment über Frameworks hinweg standardisiert.
- KI & Machine Learning