Firecrawl

🚀 Firecrawl 是一个开源的网页爬虫与抓取 API，专为 AI 应用、知识库和数据管道设计。

此模板部署完整的自托管 Firecrawl 堆栈：

• api — Firecrawl 主程序。执行 harness.js --start-docker，在同一容器内管理 API 服务器、worker、extract-worker，以及多个 NUQ queue worker 子进程。
• playwright — 处理 JavaScript 渲染页面的浏览器自动化微服务。
• redis — 缓存与速率限制存储。
• rabbitmq — NUQ 任务队列的 broker。
• postgres — Postgres 17 + pg_cron，预载 NUQ queue schema。

资源建议

Firecrawl 是资源密集型服务。upstream 的 docker-compose.yaml 建议 api 服务至少配置 4 vCPU / 8 GB RAM，playwright 至少 2 vCPU / 4 GB RAM。建议部署在 Pro 套餐或 dedicated server 上。

配置

必填的只有域名。核心的爬取与抓取功能无需任何 LLM 配置即可运行。

LLM extract（可选，自备 OpenAI 兼容 provider）： 部署表单提供两个可选字段——OpenAI API Key 与 OpenAI Base URL。填入您的 provider key 即可启用 Firecrawl 的 LLM 功能（llm-extract、summary、/v2/extract、/v2/agent）。两者都留空则以无 LLM 模式部署。

• OpenAI 直连： 设置 OPENAI_API_KEY，OPENAI_BASE_URL 留空——Firecrawl 会使用 OpenAI 默认端点。
• 其他 OpenAI 兼容 provider（OpenRouter、xAI、Ollama、自建 gateway…）： 同时设置 OPENAI_API_KEY 与 OPENAI_BASE_URL（例如 https://openrouter.ai/api/v1）。也可在 api 服务 env tab 设置 MODEL_NAME。完整支持的变量清单见 apps/api/src/config.ts。

这些值随时可在 api 服务 env tab 修改，改完 restart 服务即可。

注意事项：

• 部分 OpenAI 兼容 provider 不提供 embedding model。无法获取 embedding 时，Crawl 链接相关度排序会退化为原顺序，其他 LLM 功能（extract、agent、summary）不受影响。
• 少数 Firecrawl 功能（交互式 browser-agent、direct-quote 处理）写死通过 @ai-sdk/google 调用 Google Gemini，不走 OPENAI_BASE_URL。若要启用，请在 api 服务额外设置 GOOGLE_GENERATIVE_AI_API_KEY。

BULL_AUTH_KEY（保护内置 Bull queue dashboard）会自动生成，可在 api 服务 env tab 查看。

默认 不启用 API 认证（USE_DB_AUTHENTICATION=false）。API 端点是公开的——若部署于公网，请使用 Cloudflare、auth proxy 或网络 ACL 保护您的域名。

快速测试

部署完成后，调用 scrape 端点：

curl -X POST https://<your-domain>/v1/scrape \
  -H 'Content-Type: application/json' \
  -d '{"url": "https://docs.firecrawl.dev"}'

Queue 管理面板

Firecrawl 没有给终端用户的 UI，它是 API-only 服务。运维用的内置 Bull Dashboard 挂载于：

https://<your-domain>/admin/<BULL_AUTH_KEY>/queues

可监控 queue 吞吐量、查看 active / completed / failed jobs、重跑失败任务。BULL_AUTH_KEY 可在 api 服务的 env tab 查到。

版本信息

Firecrawl upstream 没有发布 semver 标签——只有 :latest，每次 main 分支推进就会重建。为了让您的部署可复现，本模板将每个 image 通过 digest（@sha256:...）固定，当前对应 2026-05-04 的 build。后续更新会以新版模板的形式发布。

参考资料

• GitHub: https://github.com/firecrawl/firecrawl
• 官方文档: https://docs.firecrawl.dev/
• License: AGPL-3.0