Promptfoo

Framework pengujian dan evaluasi LLM open-source. Bandingkan kualitas prompt antar model, deteksi regresi, dan jalankan penilaian keamanan.

Yang Dapat Dilakukan Setelah Deploy

1. Buka domain — Web UI langsung dimuat
2. Buat evaluasi — definisikan kasus uji, bandingkan output antar model
3. Jalankan red team — deteksi otomatis injeksi prompt dan kerentanan jailbreak
4. Lihat hasil — tabel perbandingan dengan skor lulus/gagal
5. Ekspor laporan — bagikan hasil evaluasi dengan tim

Kasus Penggunaan

• Rekayasa prompt dan pengujian A/B
• Pemilihan model dan benchmarking
• Keamanan LLM dan red teaming
• Integrasi CI/CD untuk pengujian regresi
• Perbandingan biaya dan latensi antar penyedia

Lisensi

MIT — GitHub