Promptfoo

Promptfoo는 하나 이상의 LLM 프롬프트나 모델에 대해 일련의 테스트 케이스를 실행하여, 정의된 기준에 따라 출력을 채점하고 나란히 비교해서 보여줍니다 — 그래서 팀은 출시 전에 품질을 떨어뜨리는 프롬프트 변경을 잡아내거나 같은 작업에서 서로 다른 모델의 성능을 비교할 수 있습니다. 기존 CI 파이프라인에 들어맞는 CLI로 동작합니다.

Promptfoo는 프롬프트를 반복 개선하거나 LLM 제공자를 비교하면서 수동 육안 확인 대신 데이터 기반 평가를 원하는 팀에 적합하며, (카탈로그에 있는) DeepEval을 보완합니다 — 둘 다 LLM 평가를 다루지만, Promptfoo는 특히 프롬프트와 모델 비교 쪽에 더 가깝습니다.