# yaml-language-server: $schema=https://schema.zeabur.app/template.json apiVersion: zeabur.com/v1 kind: Template metadata: name: Promptfoo spec: description: | Promptfoo is an open-source tool for testing and evaluating LLM outputs. Compare models, run red-team assessments, and catch regressions with a built-in web UI. coverImage: https://www.promptfoo.dev/img/redteam-dashboard@2x.jpg icon: https://avatars.githubusercontent.com/u/137907881 variables: - key: PUBLIC_DOMAIN type: DOMAIN name: Domain description: The domain to access Promptfoo tags: - Tool - AI readme: | # Promptfoo Open-source LLM testing and evaluation framework. Compare prompt quality across models, detect regressions, and run red-team security assessments — all from a web dashboard. ## What You Can Do After Deployment 1. **Open your domain** — the Promptfoo web UI loads immediately 2. **Create evaluations** — define test cases and compare outputs across GPT-4, Claude, Llama, and others 3. **Run red-team assessments** — automatically probe models for prompt injection and jailbreak vulnerabilities 4. **View results** — side-by-side comparison tables with pass/fail scoring 5. **Export reports** — share evaluation results with your team ## Use Cases - Prompt engineering and A/B testing - Model selection and benchmarking - LLM security and red-teaming - CI/CD integration for prompt regression testing - Cost and latency comparison across providers ## License MIT — [GitHub](https://github.com/promptfoo/promptfoo) services: - name: promptfoo icon: https://avatars.githubusercontent.com/u/137907881 template: PREBUILT_V2 spec: source: image: ghcr.io/promptfoo/promptfoo:0.121.3 ports: - id: web port: 3000 type: HTTP healthCheck: type: HTTP port: web http: path: / domainKey: PUBLIC_DOMAIN localization: es-ES: description: | Promptfoo es una herramienta de codigo abierto para probar y evaluar salidas de LLM. Compara modelos, ejecuta evaluaciones de red team y detecta regresiones con una interfaz web integrada. variables: - key: PUBLIC_DOMAIN type: STRING name: Dominio description: El dominio para acceder a Promptfoo readme: | # Promptfoo Framework de pruebas y evaluacion de LLM de codigo abierto. Compara calidad de prompts entre modelos, detecta regresiones y ejecuta evaluaciones de seguridad. ## Que puedes hacer despues del despliegue 1. **Visita tu dominio** — la interfaz web carga inmediatamente 2. **Crea evaluaciones** — define casos de prueba y compara salidas entre modelos 3. **Ejecuta evaluaciones red team** — detecta automaticamente inyeccion de prompts y vulnerabilidades 4. **Ve resultados** — tablas comparativas con puntuacion de aprobado/fallido 5. **Exporta informes** — comparte resultados con tu equipo ## Casos de uso - Ingenieria de prompts y pruebas A/B - Seleccion de modelos y benchmarking - Seguridad de LLM y red teaming - Integracion CI/CD para pruebas de regresion - Comparacion de costos y latencia entre proveedores ## Licencia MIT — [GitHub](https://github.com/promptfoo/promptfoo) id-ID: description: | Promptfoo adalah alat open-source untuk menguji dan mengevaluasi output LLM. Bandingkan model, jalankan penilaian red team, dan deteksi regresi dengan Web UI bawaan. variables: - key: PUBLIC_DOMAIN type: STRING name: Domain description: Domain untuk mengakses Promptfoo readme: | # Promptfoo Framework pengujian dan evaluasi LLM open-source. Bandingkan kualitas prompt antar model, deteksi regresi, dan jalankan penilaian keamanan. ## Yang Dapat Dilakukan Setelah Deploy 1. **Buka domain** — Web UI langsung dimuat 2. **Buat evaluasi** — definisikan kasus uji, bandingkan output antar model 3. **Jalankan red team** — deteksi otomatis injeksi prompt dan kerentanan jailbreak 4. **Lihat hasil** — tabel perbandingan dengan skor lulus/gagal 5. **Ekspor laporan** — bagikan hasil evaluasi dengan tim ## Kasus Penggunaan - Rekayasa prompt dan pengujian A/B - Pemilihan model dan benchmarking - Keamanan LLM dan red teaming - Integrasi CI/CD untuk pengujian regresi - Perbandingan biaya dan latensi antar penyedia ## Lisensi MIT — [GitHub](https://github.com/promptfoo/promptfoo) ja-JP: description: | Promptfooは、LLMの出力をテスト・評価するためのオープンソースツールです。モデルの比較、レッドチーム評価、回帰検出をWebUIで実行できます。 variables: - key: PUBLIC_DOMAIN type: STRING name: ドメイン description: Promptfooにアクセスするためのドメイン readme: | # Promptfoo オープンソースのLLMテスト・評価フレームワーク。モデル間のプロンプト品質を比較し、回帰を検出。 ## デプロイ後にできること 1. **ドメインにアクセス** — Web UIがすぐにロード 2. **評価を作成** — テストケースを定義し、モデル間で出力を比較 3. **レッドチーム評価** — プロンプトインジェクションや脱獄の脆弱性を自動検出 4. **結果を表示** — 合格/不合格スコア付きの並列比較表 5. **レポートをエクスポート** — チームと評価結果を共有 ## ユースケース - プロンプトエンジニアリングとA/Bテスト - モデル選定とベンチマーク - LLMセキュリティとレッドチーミング - CI/CDプロンプト回帰テスト統合 - プロバイダー間のコストとレイテンシ比較 ## ライセンス MIT — [GitHub](https://github.com/promptfoo/promptfoo) ko-KR: description: | Promptfoo는 LLM 출력을 테스트하고 평가하는 오픈소스 도구입니다. 모델 비교, 레드팀 평가, 회귀 감지를 웹 UI에서 수행합니다. variables: - key: PUBLIC_DOMAIN type: STRING name: 도메인 description: Promptfoo에 접속할 도메인 readme: | # Promptfoo 오픈소스 LLM 테스트 및 평가 프레임워크. 모델 간 프롬프트 품질 비교, 회귀 감지, 레드팀 보안 평가를 수행합니다. ## 배포 후 할 수 있는 것 1. **도메인 접속** — Web UI가 즉시 로드 2. **평가 생성** — 테스트 케이스 정의, 모델 간 출력 비교 3. **레드팀 평가** — 프롬프트 인젝션 및 탈옥 취약점 자동 탐지 4. **결과 보기** — 합격/불합격 점수가 포함된 비교 테이블 5. **보고서 내보내기** — 팀과 평가 결과 공유 ## 사용 사례 - 프롬프트 엔지니어링 및 A/B 테스트 - 모델 선택 및 벤치마킹 - LLM 보안 및 레드팀 - CI/CD 프롬프트 회귀 테스트 - 공급자 간 비용 및 지연 비교 ## 라이선스 MIT — [GitHub](https://github.com/promptfoo/promptfoo) th-TH: description: | Promptfoo เป็นเครื่องมือโอเพนซอร์สสำหรับทดสอบและประเมินผลลัพธ์ของ LLM เปรียบเทียบโมเดล ทดสอบ red team และตรวจจับ regression ผ่าน Web UI ในตัว variables: - key: PUBLIC_DOMAIN type: STRING name: โดเมน description: โดเมนสำหรับเข้าถึง Promptfoo readme: | # Promptfoo เฟรมเวิร์กทดสอบและประเมิน LLM แบบโอเพนซอร์ส เปรียบเทียบคุณภาพ prompt ระหว่างโมเดล ตรวจจับ regression ## สิ่งที่ทำได้หลังจาก Deploy 1. **เปิดโดเมน** — Web UI โหลดทันที 2. **สร้างการประเมิน** — กำหนด test case เปรียบเทียบผลลัพธ์ข้ามโมเดล 3. **ทดสอบ red team** — ตรวจจับ prompt injection และช่องโหว่ jailbreak อัตโนมัติ 4. **ดูผลลัพธ์** — ตารางเปรียบเทียบพร้อมคะแนนผ่าน/ไม่ผ่าน 5. **ส่งออกรายงาน** — แชร์ผลการประเมินกับทีม ## กรณีการใช้งาน - วิศวกรรม prompt และการทดสอบ A/B - เลือกโมเดลและ benchmarking - ความปลอดภัย LLM และ red teaming - CI/CD สำหรับทดสอบ regression - เปรียบเทียบต้นทุนและ latency ระหว่างผู้ให้บริการ ## สัญญาอนุญาต MIT — [GitHub](https://github.com/promptfoo/promptfoo) zh-CN: description: | Promptfoo 是一个开源的 LLM 测试与评估工具。比较模型输出、执行红队评估，并通过内置 Web UI 捕捉回归问题。 variables: - key: PUBLIC_DOMAIN type: STRING name: 域名 description: 访问 Promptfoo 的域名 readme: | # Promptfoo 开源 LLM 测试与评估框架。比较不同模型的提示质量、检测回归，并执行红队安全评估。 ## 部署后可以做什么 1. **打开域名** — Web UI 立即可用 2. **创建评估** — 定义测试用例，跨模型比较输出 3. **执行红队评估** — 自动探测提示注入和越狱漏洞 4. **查看结果** — 并排比较表格与通过/失败评分 5. **导出报告** — 与团队分享评估结果 ## 使用场景 - 提示工程和 A/B 测试 - 模型选择和基准测试 - LLM 安全与红队演练 - CI/CD 提示回归测试集成 - 跨供应商成本与延迟比较 ## 授权 MIT — [GitHub](https://github.com/promptfoo/promptfoo) zh-TW: description: | Promptfoo 是一個開源的 LLM 測試與評估工具。比較模型輸出、執行紅隊評估，並透過內建 Web UI 捕捉回歸問題。 variables: - key: PUBLIC_DOMAIN type: STRING name: 網域 description: 存取 Promptfoo 的網域 readme: | # Promptfoo 開源 LLM 測試與評估框架。比較不同模型的提示品質、偵測回歸，並執行紅隊安全評估。 ## 部署後可以做什麼 1. **開啟網域** — Promptfoo Web UI 立即載入 2. **建立評估** — 定義測試案例，跨模型比較輸出 3. **執行紅隊評估** — 自動探測提示注入和越獄漏洞 4. **查看結果** — 並排比較表格與通過/失敗評分 5. **匯出報告** — 與團隊分享評估結果 ## 使用場景 - 提示工程和 A/B 測試 - 模型選擇和基準測試 - LLM 安全與紅隊演練 - CI/CD 提示回歸測試整合 - 跨供應商成本與延遲比較 ## 授權 MIT — [GitHub](https://github.com/promptfoo/promptfoo)