Zum Inhalt springen
FindOpenSource

AgentOps

Python-SDK für KI-Agenten-Monitoring, LLM-Kostenverfolgung und Benchmarking, das sich in die meisten großen Agenten-Frameworks integriert, darunter CrewAI, LangChain und AutoGen.

Überblick

AgentOps gibt Einblick in das, was ein Agent tatsächlich getan hat -- Traces seiner Entscheidungen, Tool-Aufrufe und Denkschritte --, dazu LLM-Kostenverfolgung und Benchmarking, speziell für die mehrstufige, werkzeugnutzende Natur von Agenten statt für einzelne LLM-Aufrufe konzipiert. Es integriert sich in die meisten großen Agenten-Frameworks (mehrere bereits in diesem Katalog) statt ein bestimmtes vorauszusetzen.

AgentOps passt zu Teams, die Agenten in Produktion betreiben und debuggen müssen, warum ein Agent eine bestimmte Aktion ausgeführt hat, die tatsächlichen Betriebskosten verfolgen und Regressionen erkennen wollen -- Observability speziell für Agentenverhalten, anders als generische LLM-Antwortbewertung.

Kategorien
KI-Agenten & Agenten-Tools
Schlagwörter
agent-evaluationagent-observabilityllm-cost-tracking
Sprachen
Python
Lizenz
MIT

Einen Fehler entdeckt? Änderung auf GitHub vorschlagen.