Firecrawl

簡介

🚀 Firecrawl 是一個強大的網頁爬蟲和資料擷取服務，專為 AI 應用、知識庫和資料管線設計。

主要特點

• 進階網頁爬蟲: 複雜的網頁爬蟲功能
• AI 驅動處理: 智慧內容處理
• 高效能: 可擴展且高效的架構
• 簡易部署: 簡單的設定和配置
• 多重服務: API、Worker 和 Playwright 微服務

快速開始

1. 填寫必要的 API 金鑰和配置
2. 部署後，造訪 API 端點以使用互動式爬蟲 UI

配置

部署後，您可以透過修改 Zeabur 服務設定中的環境變數來自訂 Firecrawl。

必要的環境變數

• OPENAI_API_KEY: LLM 功能的 API 金鑰 (OpenAI)
• PUBLIC_DOMAIN: 您的 Firecrawl 服務網域

可選配置

• MODEL_NAME: LLM 模型名稱 (預設: gpt-4)
• MODEL_EMBEDDING_NAME: 嵌入模型名稱 (預設: text-embedding-ada-002)
• OLLAMA_BASE_URL: Ollama API 基礎 URL
• REDIS_PASSWORD: Redis 認證密碼

架構

此模板部署多個服務：

• API 服務: 主要的 Firecrawl API 伺服器
• Worker 服務: 背景工作處理
• Playwright 服務: 複雜爬蟲的瀏覽器自動化
• Redis: 用於快取和工作佇列的記憶體內資料儲存

參考

• GitHub 專案
• 官方文件
• Zeabur 環境變數指南

License

MIT