# yaml-language-server: $schema=https://schema.zeabur.app/template.json
apiVersion: zeabur.com/v1
kind: Template
metadata:
    name: Crawl4AI
spec:
    description: Crawl4AI 是一款开源的 LLM 友好型网络爬虫和数据采集工具，支持多种 LLM API 密钥，专为 AI 流水线、RAG 和知识库构建而设计。
    coverImage: https://pic.fmcat.top/AI/cover/cover_crawl4ai.webp
    icon: https://pic.fmcat.top/AI/icon/icon_crawl4ai.webp
    variables:
        - key: PUBLIC_DOMAIN
          type: DOMAIN
          name: Domain
          description: The domain for your Crawl4AI service
        - key: OPENAI_API_KEY
          type: STRING
          name: OpenAI API Key
          description: API key for LLM features (OpenAI)
        - key: ANTHROPIC_API_KEY
          type: STRING
          name: Anthropic API Key
          description: API key for LLM features (Anthropic)
        - key: DEEPSEEK_API_KEY
          type: STRING
          name: Deepseek API Key
          description: API key for LLM features (Deepseek)
        - key: GROQ_API_KEY
          type: STRING
          name: Groq API Key
          description: API key for LLM features (Groq)
        - key: TOGETHER_API_KEY
          type: STRING
          name: Together API Key
          description: API key for LLM features (Together)
        - key: MISTRAL_API_KEY
          type: STRING
          name: Mistral API Key
          description: API key for LLM features (Mistral)
        - key: GEMINI_API_TOKEN
          type: STRING
          name: Gemini API Token
          description: API key for LLM features (Gemini)
    tags:
        - Crawler
        - AI
        - Web
    readme: "# Crawl4AI\n\n\U0001F680\U0001F916 Crawl4AI 是一款开源的 LLM 友好型网络爬虫和数据采集工具，支持多种 LLM API 密钥，专为 AI 流水线、RAG 和知识库构建而设计。\n\n- GitHub: https://github.com/unclecode/crawl4ai\n- 官方文档: https://docs.crawl4ai.com/\n- Zeabur 环境变量指南: https://zeabur.com/docs/configuration/env\n\n## 核心特性\n- **Markdown 生成**：生成干净的、结构化的 Markdown，支持 AI 友好的过滤和引用管理\n- **结构化数据提取**：支持所有 LLM（开源和商业）驱动的数据提取，提供多种分块策略\n- **浏览器集成**：完整的浏览器控制、会话管理、代理支持，兼容 Chromium、Firefox 和 WebKit\n- **爬取与采集**：支持媒体提取、动态内容、截图、缓存、元数据提取等\n- **部署就绪**：Docker 优化镜像、JWT 认证、API 网关、可扩展架构\n\n## 支持的 LLM API\n- OpenAI、Anthropic、Deepseek、Groq、Together、Mistral、Gemini\n\n## 快速开始\n1. 填写所需的 LLM API 密钥（可选）\n2. 部署完成后，访问 `/playground` 体验交互式爬虫界面\n\n## 参考资源\n- [GitHub 仓库](https://github.com/unclecode/crawl4ai)\n- [官方文档](https://docs.crawl4ai.com/)\n\n## 开源协议\nApache-2.0"
    services:
        - name: Crawl4AI
          icon: https://pic.fmcat.top/AI/icon/icon_crawl4ai.webp
          template: PREBUILT
          spec:
            id: crawl4ai
            source:
                image: unclecode/crawl4ai:latest
                command:
                    - /bin/sh
                args:
                    - -c
                    - |
                      playwright install && python /app/server.py
            ports:
                - id: web
                  port: 11235
                  type: HTTP
            volumes:
                - id: tmp
                  dir: /tmp
            env:
                ANTHROPIC_API_KEY:
                    default: ${ANTHROPIC_API_KEY}
                CRAWL4_AI_BASE_DIRECTORY:
                    default: /tmp/.crawl4ai
                DEEPSEEK_API_KEY:
                    default: ${DEEPSEEK_API_KEY}
                GEMINI_API_TOKEN:
                    default: ${GEMINI_API_TOKEN}
                GROQ_API_KEY:
                    default: ${GROQ_API_KEY}
                HOME:
                    default: /tmp/
                MISTRAL_API_KEY:
                    default: ${MISTRAL_API_KEY}
                OPENAI_API_KEY:
                    default: ${OPENAI_API_KEY}
                PORT:
                    default: "11235"
                TOGETHER_API_KEY:
                    default: ${TOGETHER_API_KEY}
          domainKey: PUBLIC_DOMAIN
localization:
    en-US:
        description: Crawl4AI is an open-source, LLM-friendly web crawler and data scraper supporting multiple LLM API keys, designed for AI pipelines, RAG, and knowledge base construction.
        readme: "# Crawl4AI\n\n\U0001F680\U0001F916 Crawl4AI is an open-source, LLM-friendly web crawler and data scraper optimized for AI application scenarios. It supports multiple mainstream LLM APIs and provides powerful data extraction and processing capabilities, making it an ideal choice for building AI pipelines, RAG systems, and knowledge bases.\n\n- GitHub: https://github.com/unclecode/crawl4ai\n- Official Documentation: https://docs.crawl4ai.com/\n- Zeabur Environment Variable Guide: https://zeabur.com/docs/configuration/env\n\n## Core Features\n\n### \U0001F4DD Markdown Generation\n- Generate clean, structured Markdown documents\n- AI-friendly content filtering with automatic noise removal\n- Smart citation management, converting links to numbered reference lists\n- Support for custom Markdown generation strategies\n- BM25 algorithm for core information extraction\n\n### \U0001F4CA Structured Data Extraction\n- Support for all LLMs (open-source and proprietary) driven data extraction\n- Multiple chunking strategies: topic-based, regex-based, sentence-level\n- Semantic content retrieval based on cosine similarity\n- Fast CSS/XPath selector extraction\n- Custom schema definition for extracting structured JSON data\n\n### \U0001F310 Browser Integration\n- Use user-owned browsers to completely avoid bot detection\n- Chrome DevTools Protocol support for remote control\n- Browser profile management with saved authentication states and cookies\n- Session management for multi-step crawling\n- Proxy support with authentication\n- Full browser control: modify headers, cookies, user agents, etc.\n- Compatible with Chromium, Firefox, and WebKit\n- Dynamic viewport adjustment for complete rendering\n\n### \U0001F50E Crawling & Scraping\n- Media support: extract images, audio, videos, and responsive image formats\n- Dynamic content crawling: execute JS scripts and wait for async content\n- Page screenshot functionality for debugging and analysis\n- Support for raw HTML and local file processing\n- Comprehensive link extraction: internal, external links, and iframe content\n- Custom hooks for customizing crawling behavior at each step\n- Smart caching mechanism to improve speed and avoid redundant requests\n- Metadata extraction and seamless iframe content extraction\n- Lazy load handling and full-page scanning for infinite scroll pages\n\n### \U0001F680 Deployment Features\n- Docker-optimized image with built-in FastAPI server\n- JWT token authentication for API security\n- One-click API gateway deployment\n- Scalable architecture for large-scale production environments\n- Cloud deployment ready configurations\n\n## Supported LLM APIs\nOpenAI, Anthropic, Deepseek, Groq, Together, Mistral, Gemini\n\n## Quick Start\n1. Fill in the required LLM API keys (optional, for AI-driven extraction features)\n2. After deployment, visit `/playground` for the interactive crawler interface\n3. Check the official documentation for more advanced usage\n\n## References\n- [GitHub Repository](https://github.com/unclecode/crawl4ai)\n- [Official Documentation](https://docs.crawl4ai.com/)\n\n## License\nApache-2.0"
    zh-CN:
        description: Crawl4AI 是一款开源的 LLM 友好型网络爬虫和数据采集工具，支持多种 LLM API 密钥，专为 AI 流水线、RAG 和知识库构建而设计。
        readme: "# Crawl4AI\n\n\U0001F680\U0001F916 Crawl4AI 是一款开源的 LLM 友好型网络爬虫和数据采集工具，专为 AI 应用场景优化。它支持多种主流 LLM API，提供强大的数据提取和处理能力，是构建 AI 流水线、RAG 系统和知识库的理想选择。\n\n- GitHub: https://github.com/unclecode/crawl4ai\n- 官方文档: https://docs.crawl4ai.com/\n- Zeabur 环境变量指南: https://zeabur.com/docs/configuration/env\n\n## 核心特性\n\n### \U0001F4DD Markdown 生成\n- 生成干净的、结构化的 Markdown 文档\n- AI 友好的内容过滤，自动移除噪音\n- 智能引用管理，将链接转换为编号引用列表\n- 支持自定义 Markdown 生成策略\n- 采用 BM25 算法进行核心信息提取\n\n### \U0001F4CA 结构化数据提取\n- 支持所有 LLM（开源和商业）驱动的数据提取\n- 多种分块策略：主题分块、正则分块、句子级分块\n- 基于余弦相似度的语义内容检索\n- 快速的 CSS/XPath 选择器提取\n- 自定义 Schema 定义，提取结构化 JSON 数据\n\n### \U0001F310 浏览器集成\n- 使用用户自有浏览器，完全避免机器人检测\n- 支持 Chrome 开发者工具协议进行远程控制\n- 浏览器配置文件管理，保存认证状态和 Cookie\n- 会话管理，支持多步骤爬取\n- 代理支持，含认证功能\n- 完整浏览器控制：修改请求头、Cookie、User Agent 等\n- 兼容 Chromium、Firefox 和 WebKit\n- 动态视口调整，确保完整渲染\n\n### \U0001F50E 爬取与采集\n- 媒体支持：提取图片、音频、视频及响应式图片格式\n- 动态内容爬取：执行 JS 脚本，等待异步内容加载\n- 页面截图功能，便于调试和分析\n- 支持原始 HTML 和本地文件处理\n- 全面的链接提取：内部链接、外部链接、iframe 内容\n- 自定义钩子，可在每个步骤自定义爬取行为\n- 智能缓存机制，提升速度并避免重复请求\n- 元数据提取和 iframe 内容无缝提取\n- 懒加载处理和全页扫描，支持无限滚动页面\n\n### \U0001F680 部署特性\n- Docker 优化镜像，内置 FastAPI 服务器\n- JWT 令牌认证，确保 API 安全\n- 一键部署 API 网关\n- 可扩展架构，支持大规模生产环境\n- 云部署就绪配置\n\n## 支持的 LLM API\nOpenAI、Anthropic、Deepseek、Groq、Together、Mistral、Gemini\n\n## 快速开始\n1. 填写所需的 LLM API 密钥（可选，用于 AI 驱动的提取功能）\n2. 部署完成后，访问 `/playground` 体验交互式爬虫界面\n3. 查看官方文档了解更多高级用法\n\n## 参考资源\n- [GitHub 仓库](https://github.com/unclecode/crawl4ai)\n- [官方文档](https://docs.crawl4ai.com/)\n\n## 开源协议\nApache-2.0\n"
    zh-TW:
        description: Crawl4AI 是一款開源的 LLM 友善型網路爬蟲和資料採集工具，支援多種 LLM API 金鑰，專為 AI 流水線、RAG 和知識庫建構而設計。
        readme: "# Crawl4AI\n\n\U0001F680\U0001F916 Crawl4AI 是一款開源的 LLM 友善型網路爬蟲和資料採集工具，專為 AI 應用場景優化。它支援多種主流 LLM API，提供強大的資料提取和處理能力，是建構 AI 流水線、RAG 系統和知識庫的理想選擇。\n\n- GitHub: https://github.com/unclecode/crawl4ai\n- 官方文件: https://docs.crawl4ai.com/\n- Zeabur 環境變數指南: https://zeabur.com/docs/configuration/env\n\n## 核心特性\n\n### \U0001F4DD Markdown 生成\n- 生成乾淨的、結構化的 Markdown 文件\n- AI 友善的內容過濾，自動移除雜訊\n- 智慧引用管理，將連結轉換為編號引用清單\n- 支援自訂 Markdown 生成策略\n- 採用 BM25 演算法進行核心資訊提取\n\n### \U0001F4CA 結構化資料提取\n- 支援所有 LLM（開源和商業）驅動的資料提取\n- 多種分塊策略：主題分塊、正則分塊、句子級分塊\n- 基於餘弦相似度的語意內容檢索\n- 快速的 CSS/XPath 選擇器提取\n- 自訂 Schema 定義，提取結構化 JSON 資料\n\n### \U0001F310 瀏覽器整合\n- 使用使用者自有瀏覽器，完全避免機器人偵測\n- 支援 Chrome 開發者工具協定進行遠端控制\n- 瀏覽器設定檔管理，儲存認證狀態和 Cookie\n- 工作階段管理，支援多步驟爬取\n- 代理支援，含認證功能\n- 完整瀏覽器控制：修改請求標頭、Cookie、User Agent 等\n- 相容 Chromium、Firefox 和 WebKit\n- 動態視窗調整，確保完整渲染\n\n### \U0001F50E 爬取與採集\n- 媒體支援：提取圖片、音訊、影片及響應式圖片格式\n- 動態內容爬取：執行 JS 腳本，等待非同步內容載入\n- 頁面截圖功能，便於除錯和分析\n- 支援原始 HTML 和本機檔案處理\n- 全面的連結提取：內部連結、外部連結、iframe 內容\n- 自訂鉤子，可在每個步驟自訂爬取行為\n- 智慧快取機制，提升速度並避免重複請求\n- 中繼資料提取和 iframe 內容無縫提取\n- 延遲載入處理和全頁掃描，支援無限捲動頁面\n\n### \U0001F680 部署特性\n- Docker 優化映像檔，內建 FastAPI 伺服器\n- JWT 權杖認證，確保 API 安全\n- 一鍵部署 API 閘道\n- 可擴展架構，支援大規模生產環境\n- 雲端部署就緒設定\n\n## 支援的 LLM API\nOpenAI、Anthropic、Deepseek、Groq、Together、Mistral、Gemini\n\n## 快速開始\n1. 填寫所需的 LLM API 金鑰（選填，用於 AI 驅動的提取功能）\n2. 部署完成後，造訪 `/playground` 體驗互動式爬蟲介面\n3. 查看官方文件了解更多進階用法\n\n## 參考資源\n- [GitHub 儲存庫](https://github.com/unclecode/crawl4ai)\n- [官方文件](https://docs.crawl4ai.com/)\n\n## 開源授權\nApache-2.0\n"