Promptfoo
Herramienta de código abierto para probar y evaluar prompts de LLM, comparando salidas entre modelos y detectando regresiones de calidad antes del despliegue.
- Mantenimiento activo
- Bien documentado
- Licencia permisiva
Descripción general
Promptfoo ejecuta un conjunto de casos de prueba contra uno o varios prompts o modelos de LLM, puntuando las salidas según criterios definidos y mostrando comparaciones lado a lado, para que un equipo pueda detectar un cambio de prompt que degrade la calidad, o comparar cómo rinden distintos modelos en la misma tarea, antes de lanzar. Funciona como una CLI que encaja en pipelines de CI existentes.
Promptfoo encaja en equipos que iteran sobre prompts o comparan proveedores de LLM y quieren una evaluación basada en datos en lugar de una revisión visual manual, complementando a DeepEval (también en este catálogo): ambos cubren la evaluación de LLM, con Promptfoo inclinándose específicamente hacia la comparación de prompts y modelos.
Por qué está en este catálogo
Valoración del catálogo: ★★★☆☆ (3/5)
Widely used LLM prompt-testing and evaluation CLI, a practical developer-first tool.
- Maduro
- Impulsado por la comunidad
- Categorías
- IA y Machine Learning
- Palabras clave
- llm-evaluationprompt-testingmodel-comparison
- Lenguajes
- TypeScript
- Licencia
- MIT
Proyectos relacionados
DeepEval
Apache-2.0Framework de pruebas de código abierto para evaluar salidas de LLM, tratando las comprobaciones de calidad de aplicaciones LLM como tests unitarios convencionales.
Mantenimiento activo
- IA y Machine Learning
Milvus
Apache-2.0Base de datos vectorial de código abierto construida para búsqueda de similitud escalable y aplicaciones de IA.
Mantenimiento activo
- IA y Machine Learning
- Base de datos
MLflow
Apache-2.0Plataforma de código abierto para gestionar el ciclo de vida del machine learning: seguimiento de experimentos, empaquetado de modelos, versionado y despliegue.
Mantenimiento activo
- IA y Machine Learning
PyTorch
BSD-3-ClauseFramework de machine learning de código abierto que acelera el camino desde el prototipado en investigación hasta el despliegue en producción.
Mantenimiento activo
- IA y Machine Learning
¿Encontraste un error? Sugiere una edición en GitHub.