Promptfoo

オープンソースのLLMテスト・評価フレームワーク。モデル間のプロンプト品質を比較し、回帰を検出。

デプロイ後にできること

1. ドメインにアクセス — Web UIがすぐにロード
2. 評価を作成 — テストケースを定義し、モデル間で出力を比較
3. レッドチーム評価 — プロンプトインジェクションや脱獄の脆弱性を自動検出
4. 結果を表示 — 合格/不合格スコア付きの並列比較表
5. レポートをエクスポート — チームと評価結果を共有

ユースケース

• プロンプトエンジニアリングとA/Bテスト
• モデル選定とベンチマーク
• LLMセキュリティとレッドチーミング
• CI/CDプロンプト回帰テスト統合
• プロバイダー間のコストとレイテンシ比較

ライセンス

MIT — GitHub