Firecrawl

🚀 Firecrawl adalah API web crawler dan scraper open-source untuk aplikasi AI, basis pengetahuan, dan pipeline data.

Template ini men-deploy seluruh stack Firecrawl self-hosted:

• api — proses utama Firecrawl. Menjalankan harness.js --start-docker, yang mengelola server API, worker, extract-worker, dan beberapa subproses worker antrian NUQ di dalam container yang sama.
• playwright — microservice otomasi browser untuk halaman ber-JavaScript.
• redis — penyimpanan cache dan rate-limit.
• rabbitmq — broker untuk antrian tugas NUQ.
• postgres — Postgres 17 + pg_cron, sudah di-load dengan skema antrian NUQ.

Rekomendasi sumber daya

Firecrawl membutuhkan banyak sumber daya. docker-compose.yaml upstream merekomendasikan minimal 4 vCPU / 8 GB RAM untuk service api dan 2 vCPU / 4 GB RAM untuk playwright. Disarankan deploy di paket Pro atau dedicated server.

Konfigurasi

Hanya domain yang wajib diisi. Fitur inti crawling dan scraping bekerja tanpa LLM apa pun yang dikonfigurasi.

LLM extract (opsional, bawa provider kompatibel-OpenAI Anda sendiri): form deploy menyediakan dua field opsional — OpenAI API Key dan OpenAI Base URL. Isi key provider Anda untuk mengaktifkan fitur LLM Firecrawl (llm-extract, summary, /v2/extract, /v2/agent). Kosongkan keduanya untuk deploy tanpa LLM.

• OpenAI langsung: set OPENAI_API_KEY dan kosongkan OPENAI_BASE_URL — Firecrawl memakai endpoint default OpenAI.
• Provider kompatibel-OpenAI lain (OpenRouter, xAI, Ollama, gateway self-hosted, …): set OPENAI_API_KEY dan OPENAI_BASE_URL (mis. https://openrouter.ai/api/v1). Anda juga bisa set MODEL_NAME di tab env service api. Daftar lengkap variabel yang didukung ada di apps/api/src/config.ts.

Nilai-nilai ini bisa diubah kapan saja di tab env service api lalu restart service.

Catatan:

• Sebagian provider kompatibel-OpenAI tidak menyediakan embedding model. Saat embedding tidak tersedia, ranking relevansi link saat crawl akan fallback ke "tanpa ranking"; fitur LLM lain (extract, agent, summary) tidak terpengaruh.
• Beberapa fitur Firecrawl (browser-agent interaktif, penanganan direct-quote) memanggil Google Gemini langsung via @ai-sdk/google tanpa melalui OPENAI_BASE_URL. Untuk mengaktifkannya, set juga GOOGLE_GENERATIVE_AI_API_KEY di service api.

BULL_AUTH_KEY (untuk melindungi Bull queue dashboard internal) dibuat otomatis; bisa dilihat di tab env service api.

Autentikasi API dinonaktifkan secara default (USE_DB_AUTHENTICATION=false). Endpoint API bersifat publik — lindungi domain Anda dengan Cloudflare, auth proxy, atau ACL jaringan jika dipublikasikan ke internet.

Tes cepat

Setelah deploy selesai, panggil endpoint scrape:

curl -X POST https://<your-domain>/v1/scrape \
  -H 'Content-Type: application/json' \
  -d '{"url": "https://docs.firecrawl.dev"}'

Dashboard antrian

Firecrawl tidak punya UI untuk pengguna akhir — ini adalah service API saja. Untuk operator, tersedia Bull Dashboard bawaan di:

https://<your-domain>/admin/<BULL_AUTH_KEY>/queues

Gunakan untuk memantau throughput antrian, melihat job active / completed / failed, dan menjalankan ulang error. BULL_AUTH_KEY bisa ditemukan di tab env service api.

Versi

Firecrawl upstream tidak menerbitkan tag semver — hanya :latest, yang di-build ulang setiap kali branch main maju. Agar deploy Anda reprodusibel, template ini mengunci setiap image dengan digest (@sha256:...). Pin saat ini sesuai dengan build pada 2026-05-04. Update dirilis sebagai revisi template baru.

Referensi

• GitHub: https://github.com/firecrawl/firecrawl
• Dokumentasi resmi: https://docs.firecrawl.dev/
• Lisensi: AGPL-3.0