Promptfoo

开源 LLM 测试与评估框架。比较不同模型的提示质量、检测回归，并执行红队安全评估。

部署后可以做什么

1. 打开域名 — Web UI 立即可用
2. 创建评估 — 定义测试用例，跨模型比较输出
3. 执行红队评估 — 自动探测提示注入和越狱漏洞
4. 查看结果 — 并排比较表格与通过/失败评分
5. 导出报告 — 与团队分享评估结果

使用场景

• 提示工程和 A/B 测试
• 模型选择和基准测试
• LLM 安全与红队演练
• CI/CD 提示回归测试集成
• 跨供应商成本与延迟比较

授权

MIT — GitHub