Firecrawl

🚀 Firecrawl 是一個開源的網頁爬蟲與擷取 API，專為 AI 應用、知識庫和資料管線設計。

此模板部署完整的自架 Firecrawl 堆疊：

• api — Firecrawl 主程式。執行 harness.js --start-docker，在同一個容器內管理 API 伺服器、worker、extract-worker，以及多個 NUQ queue worker 子行程。
• playwright — 處理 JavaScript 渲染頁面的瀏覽器自動化微服務。
• redis — 快取與速率限制儲存。
• rabbitmq — NUQ 任務佇列的 broker。
• postgres — Postgres 17 + pg_cron，預載 NUQ queue schema。

資源建議

Firecrawl 是資源密集型服務。upstream 的 docker-compose.yaml 建議 api 服務至少配置 4 vCPU / 8 GB RAM，playwright 至少 2 vCPU / 4 GB RAM。建議部署在 Pro 方案或 dedicated server 上。

設定

必填的只有網域。核心的爬取與擷取功能不需要任何 LLM 設定即可運作。

LLM extract（可選，自備 OpenAI 相容 provider）： 部署表單提供兩個可選欄位——OpenAI API Key 與 OpenAI Base URL。填入你的 provider key 即可啟用 Firecrawl 的 LLM 功能（llm-extract、summary、/v2/extract、/v2/agent）。兩者都留空則以無 LLM 模式部署。

• OpenAI 直連： 設 OPENAI_API_KEY，OPENAI_BASE_URL 留空——Firecrawl 會使用 OpenAI 預設端點。
• 其他 OpenAI 相容 provider（OpenRouter、xAI、Ollama、自架 gateway…）： 同時設定 OPENAI_API_KEY 與 OPENAI_BASE_URL（例如 https://openrouter.ai/api/v1）。也可在 api 服務 env tab 設 MODEL_NAME。完整支援的變數清單見 apps/api/src/config.ts。

這些值隨時可在 api 服務 env tab 修改，改完 restart 服務即可。

注意事項：

• 部分 OpenAI 相容 provider 不提供 embedding model。無法取得 embedding 時，Crawl 連結相關度排序會退化為原順序，其他 LLM 功能（extract、agent、summary）不受影響。
• 少數 Firecrawl 功能（互動式 browser-agent、direct-quote 處理）寫死透過 @ai-sdk/google 呼叫 Google Gemini，不走 OPENAI_BASE_URL。若要啟用，請另外在 api 服務設 GOOGLE_GENERATIVE_AI_API_KEY。

BULL_AUTH_KEY（保護內建 Bull queue dashboard）會自動生成，可在 api 服務 env tab 查看。

預設 不啟用 API 認證（USE_DB_AUTHENTICATION=false）。API 端點是公開的——若部署於公開網路，請使用 Cloudflare、auth proxy 或網路 ACL 保護你的網域。

快速測試

部署完成後，呼叫 scrape 端點：

curl -X POST https://<your-domain>/v1/scrape \
  -H 'Content-Type: application/json' \
  -d '{"url": "https://docs.firecrawl.dev"}'

Queue 管理面板

Firecrawl 沒有給終端用戶的 UI，它是 API-only 服務。維運用的內建 Bull Dashboard 掛在：

https://<your-domain>/admin/<BULL_AUTH_KEY>/queues

可監控 queue 吞吐量、檢視 active / completed / failed jobs、重跑失敗任務。BULL_AUTH_KEY 可在 api 服務的 env tab 查到。

版本資訊

Firecrawl upstream 沒有發行 semver 標籤——只有 :latest，每次 main 分支推進就會重建。為了讓你的部署可重現，這個模板把每個 image 用 digest（@sha256:...）釘住，目前釘的是 2026-05-04 那個 build。後續更新會以新版模板的形式釋出。

參考資料

• GitHub: https://github.com/firecrawl/firecrawl
• 官方文件: https://docs.firecrawl.dev/
• License: AGPL-3.0