Firecrawl

Firecrawl 是开源网页爬取 API。本模板按官方 自托管指南（v2.11.162）部署：PostgreSQL 队列、关闭数据库认证、不启用 FoundationDB。

包含服务：

• ui — firecrawl-ui 控制台（scrape / crawl / extract / map / search）
• api — harness.js --start-docker（同一容器内跑 API、worker、extract-worker 和 NUQ 队列 worker）
• playwright — 处理 JS 渲染页的 Chromium 微服务
• redis — 缓存与限流（无密码，与上游 Compose 一致）
• rabbitmq — NUQ 任务队列
• postgres — nuq-postgres（Postgres 17 + pg_cron + NUQ schema）。数据库名必须是 postgres，因为 pg_cron 写死了该库名。

资源建议

上游 Compose 建议 API 至少 4 vCPU / 8 GB RAM，Playwright 至少 2 vCPU / 4 GB RAM。请用 Pro 套餐或独立服务器。

配置

需要填写 API 域名和 UI 域名。认证默认关闭（USE_DB_AUTHENTICATION=false），请求不需要 API key。不要把这套未鉴权基线直接暴露到不可信网络。

可选 LLM 能力：部署时填写 OPENAI_API_KEY，以及可选的 OPENAI_BASE_URL。任意 OpenAI 兼容供应商均可（OpenAI、OpenRouter、xAI、Ollama、Zeabur AI Hub）。两者都留空则跳过 LLM。部署后仍可在 api 的 env 里改 MODEL_NAME。

BULL_AUTH_KEY 会自动生成，可在 api 服务 env 中查看。

快速测试

curl --fail-with-body --max-time 75 \
  -X POST https://<your-domain>/v2/scrape \
  -H 'Content-Type: application/json' \
  -d '{"url":"https://example.com","formats":["markdown"],"timeout":60000}'

成功响应形如 {"success":true,"data":{"markdown":"...","metadata":{"statusCode":200}}}。

自托管能力范围

需求	本模板
scrape / crawl / map / search	已包含（Fetch + Playwright）
LLM extract / summary	按上面配置 OpenAI 兼容 key
Fire-engine 反爬、截图、page actions	不包含，需要 Fire-engine / Cloud
Agent、Browser、interact、product/audio/video	使用 Firecrawl Cloud 或额外外部服务

控制台

部署完成后打开 UI 域名。UI 服务的 Nginx 会把 /v2、/v1、/v0 反代到 API，控制台走同源请求，不依赖 CORS。若 API URL 为空，打开设置（齿轮）粘贴 UI 域名（或 API 域名）。配置保存在浏览器 localStorage。

运维队列面板：

https://<api-domain>/admin/<BULL_AUTH_KEY>/queues

版本

上游 GHCR 只有 :latest。本模板按 digest 锁定 Firecrawl 镜像（拉取日期 2026-09-02）。

参考

• 自托管文档: https://docs.firecrawl.dev/contributing/self-host
• GitHub: https://github.com/firecrawl/firecrawl
• 开源 vs Cloud: https://docs.firecrawl.dev/contributing/open-source-or-cloud
• 控制台 UI: https://github.com/obeone/firecrawl-ui
• License: AGPL-3.0（Firecrawl）；MIT（firecrawl-ui）