Promptfoo

Promptfoo ejecuta un conjunto de casos de prueba contra uno o varios prompts o modelos de LLM, puntuando las salidas según criterios definidos y mostrando comparaciones lado a lado, para que un equipo pueda detectar un cambio de prompt que degrade la calidad, o comparar cómo rinden distintos modelos en la misma tarea, antes de lanzar. Funciona como una CLI que encaja en pipelines de CI existentes.

Promptfoo encaja en equipos que iteran sobre prompts o comparan proveedores de LLM y quieren una evaluación basada en datos en lugar de una revisión visual manual, complementando a DeepEval (también en este catálogo): ambos cubren la evaluación de LLM, con Promptfoo inclinándose específicamente hacia la comparación de prompts y modelos.