DeepEval

DeepEval bietet Metriken und Test-Primitive speziell für LLM-Ausgaben – Antwortrelevanz, Treue zu Quelldokumenten, Halluzinationserkennung und mehr –, sodass ein Team automatisierte Tests für die Qualität einer LLM-Anwendung genauso schreiben kann wie Unit-Tests für gewöhnlichen Code, und sie in CI ausführen kann. Es integriert sich mit gängigen Testframeworks wie Pytest.

DeepEval eignet sich für Teams, die systematische, automatisierte Qualitätsprüfungen für LLM- oder RAG-Anwendungsausgaben statt manueller Stichproben wollen – als Ergänzung zu Promptfoo (ebenfalls in diesem Katalog): Beide adressieren LLM-Evaluation, wobei DeepEval eher zu einem pytest-nativen Unit-Test-Workflow tendiert.