llama.cpp
Hochperformante C/C++-Implementierung zum lokalen Ausführen von LLM-Inferenz auf Consumer-Hardware, einschließlich CPUs, mit minimalen Abhängigkeiten.
- Aktiv gepflegt
- Gut dokumentiert
- Permissive Lizenz
Überblick
llama.cpp führt große Sprachmodelle effizient auf gewöhnlicher Hardware aus – einschließlich reiner CPUs, nicht nur GPUs – mithilfe von Quantisierungstechniken, die Modellgröße und Speicherbedarf bei minimalem Qualitätsverlust verringern, alles in einer abhängigkeitsarmen C/C++-Codebasis, die sich leicht einbetten oder cross-kompilieren lässt. Es ist die Inferenz-Engine, auf der viele höherstufige lokale LLM-Tools aufbauen.
llama.cpp eignet sich für Entwickler, die direkte, niedrigstufige Kontrolle über lokale LLM-Inferenz-Performance und Hardware-Ausrichtung wollen – die zugrunde liegende Engine, die Ollama (ebenfalls in diesem Katalog) mit einer freundlicheren Einrichtungserfahrung umhüllt; Power-User greifen oft direkt zu llama.cpp, wenn sie mehr Kontrolle benötigen.
Warum es in diesem Katalog steht
Katalog-Bewertung: ★★★★☆ (4/5)
The foundational CPU/edge-optimized LLM inference engine underlying much of the local-LLM ecosystem.
- Ausgereift
- Community-getrieben
- Kategorien
- KI & Machine Learning
- Sprachen
- C++, C
- Lizenz
- MIT
Mit einem anderen Projekt vergleichen
Ähnliche Projekte
vLLM
Apache-2.0Durchsatzstarke, speichereffiziente Inferenz- und Serving-Engine für große Sprachmodelle, gebaut für den Betrieb von LLMs im großen Maßstab in Produktion statt nur auf einer einzelnen lokalen Maschine.
Aktiv gepflegt
- KI & Machine Learning
SGLang
Apache-2.0Schnelles Serving-Framework für große Sprachmodelle und Vision-Language-Modelle mit einer strukturierten Generierungssprache für komplexe LLM-Programme.
Aktiv gepflegt
- KI & Machine Learning
LangChain
MITFramework zur Entwicklung von Anwendungen auf Basis großer Sprachmodelle, Agenten und Retrieval-Augmented Generation (RAG).
Aktiv gepflegt
- KI & Machine Learning
Ollama
MITFühre große Sprachmodelle lokal aus – mit einer einfachen Kommandozeile und API.
Aktiv gepflegt
- KI & Machine Learning
Einen Fehler entdeckt? Änderung auf GitHub vorschlagen.