Promptfoo

Promptfoo 会针对一个或多个大语言模型提示词或模型运行一系列测试用例，依据预定义标准对输出进行评分，并并排展示对比结果——因此团队可以在发布前发现导致质量下降的提示词更改，或比较不同模型在同一任务上的表现。它以命令行工具的形式融入现有的 CI 流水线。

Promptfoo 适合那些正在迭代提示词或比较大语言模型服务商、希望以数据驱动方式评估、而非人工凭肉眼判断的团队，与目录中的 DeepEval 形成互补——两者都涉及大语言模型评估，Promptfoo 更偏重提示词和模型的专项对比。