Firecrawl

🚀 Firecrawl は AI アプリケーション、ナレッジベース、データパイプライン向けのオープンソース Web クローラー / スクレイピング API です。

このテンプレートはセルフホスト版 Firecrawl のフルスタックをデプロイします:

• api — Firecrawl のメインプロセス。harness.js --start-docker を実行し、同一コンテナ内で API サーバー、worker、extract-worker、複数の NUQ キュー worker サブプロセスを管理します。
• playwright — JavaScript レンダリングページ向けのブラウザ自動化マイクロサービス。
• redis — キャッシュとレート制限用のストア。
• rabbitmq — NUQ タスクキューのブローカー。
• postgres — Postgres 17 + pg_cron、NUQ キュースキーマをプリロード済み。

リソース推奨値

Firecrawl はリソース集約型のサービスです。upstream の docker-compose.yaml は api に最低 4 vCPU / 8 GB RAM、playwright に最低 2 vCPU / 4 GB RAM を推奨しています。Pro プランまたは専用サーバーへのデプロイを推奨します。

設定

必須項目はドメイン名のみです。コアのクロール / スクレイピング機能は LLM 設定なしで動作します。

LLM extract（オプション、OpenAI 互換プロバイダを持ち込み）： デプロイフォームには OpenAI API Key と OpenAI Base URL の 2 つのオプション欄があります。プロバイダのキーを入力すると Firecrawl の LLM 機能（llm-extract、summary、/v2/extract、/v2/agent）が有効になります。両方を空のままにすると LLM なしでデプロイされます。

• OpenAI 直接： OPENAI_API_KEY を設定し、OPENAI_BASE_URL は空のままにします。Firecrawl は OpenAI のデフォルトエンドポイントを使用します。
• その他の OpenAI 互換プロバイダ（OpenRouter、xAI、Ollama、セルフホストのゲートウェイ …）： OPENAI_API_KEY と OPENAI_BASE_URL（例: https://openrouter.ai/api/v1）の両方を設定します。api サービスの env タブで MODEL_NAME も設定できます。サポートされる変数の完全なリストは apps/api/src/config.ts を参照してください。

これらの値は api サービスの env タブでいつでも変更でき、変更後にサービスを再起動するだけです。

注意点：

• 一部の OpenAI 互換プロバイダは embedding model を提供していません。embedding が利用できない場合、Crawl のリンク関連度ランキングは「ランキングなし」にフォールバックしますが、その他の LLM 機能（extract、agent、summary）には影響しません。
• 一部の Firecrawl 機能（インタラクティブ browser-agent、direct-quote 処理）は OPENAI_BASE_URL を経由せず、@ai-sdk/google 経由で直接 Google Gemini を呼び出します。これらを有効化するには、api サービスに GOOGLE_GENERATIVE_AI_API_KEY も設定してください。

BULL_AUTH_KEY（内蔵 Bull queue dashboard を保護する認証キー）は自動生成されます。api サービスの env タブから確認できます。

API 認証はデフォルトで 無効 です（USE_DB_AUTHENTICATION=false）。API エンドポイントは公開状態のため、インターネットに公開する場合は Cloudflare、認証プロキシ、ネットワーク ACL などでドメインを保護してください。

クイックテスト

デプロイ完了後、scrape エンドポイントを呼び出します:

curl -X POST https://<your-domain>/v1/scrape \
  -H 'Content-Type: application/json' \
  -d '{"url": "https://docs.firecrawl.dev"}'

キュー管理ダッシュボード

Firecrawl にはエンドユーザー向け UI はなく、API のみのサービスです。運用者向けに Bull Dashboard が組み込まれており、以下の URL でアクセスできます:

https://<your-domain>/admin/<BULL_AUTH_KEY>/queues

キューのスループット監視、active / completed / failed ジョブの確認、失敗ジョブのリトライが可能です。BULL_AUTH_KEY は api サービスの env タブから確認できます。

バージョン情報

Firecrawl upstream は semver タグを公開していません — :latest のみで、main ブランチが進むたびに再ビルドされます。再現性のあるデプロイのために、このテンプレートでは各 image を digest（@sha256:...）で固定しており、現在は 2026-05-04 のビルドに対応します。アップデートは新しいテンプレートリビジョンとして公開されます。

参考資料

• GitHub: https://github.com/firecrawl/firecrawl
• 公式ドキュメント: https://docs.firecrawl.dev/
• ライセンス: AGPL-3.0