Promptfoo

Promptfoo führt eine Reihe von Testfällen gegen einen oder mehrere LLM-Prompts oder -Modelle aus, bewertet Ausgaben anhand definierter Kriterien und zeigt Seite-an-Seite-Vergleiche – sodass ein Team eine Prompt-Änderung erkennen kann, die die Qualität verschlechtert, oder vergleichen kann, wie verschiedene Modelle bei derselben Aufgabe abschneiden, bevor ausgeliefert wird. Es funktioniert als CLI, die in bestehende CI-Pipelines passt.

Promptfoo eignet sich für Teams, die an Prompts iterieren oder LLM-Anbieter vergleichen und eine datengetriebene Bewertung statt manueller Sichtprüfung wollen – als Ergänzung zu DeepEval (ebenfalls in diesem Katalog): Beide decken LLM-Evaluation ab, wobei Promptfoo eher zu Prompt- und Modellvergleich speziell tendiert.