Promptfoo

Framework de pruebas y evaluacion de LLM de codigo abierto. Compara calidad de prompts entre modelos, detecta regresiones y ejecuta evaluaciones de seguridad.

Que puedes hacer despues del despliegue

1. Visita tu dominio — la interfaz web carga inmediatamente
2. Crea evaluaciones — define casos de prueba y compara salidas entre modelos
3. Ejecuta evaluaciones red team — detecta automaticamente inyeccion de prompts y vulnerabilidades
4. Ve resultados — tablas comparativas con puntuacion de aprobado/fallido
5. Exporta informes — comparte resultados con tu equipo

Casos de uso

• Ingenieria de prompts y pruebas A/B
• Seleccion de modelos y benchmarking
• Seguridad de LLM y red teaming
• Integracion CI/CD para pruebas de regresion
• Comparacion de costos y latencia entre proveedores

Licencia

MIT — GitHub