本地部署 Firecrawl

本地部署 Firecrawl

本文档概述了如何本地部署 Firecrawl。

为什么要本地部署？

• 增强安全性和合规性： 数据处理和存储完全在您的控制之下，符合内部和外部法规。Firecrawl 作为 Mendable 产品，依赖于 SOC2 Type2 认证，保证了高数据安全标准。
• 可定制的服务： 可以根据特定需求定制服务，例如 Playwright 服务。
• 深入学习和社区贡献： 深入了解 Firecrawl 的工作原理，更有助于贡献代码。

注意事项：

• Fire-engine 访问受限： 自行部署的实例无法访问 Fire-engine，这意味着无法使用 IP 封锁、机器人检测等高级功能。
• 手动配置： 需要手动配置 .env 文件以支持基本 fetch 和 Playwright 之外的抓取方法。

部署步骤：

1. 克隆代码

   git clone https://github.com/mendableai/firecrawl.git

2. 设置环境变量:

   • 创建根目录下的 .env 文件，使用以下模板：

   ===== Required ENVS ======

   PORT=3002
   HOST=0.0.0.0

   To turn on DB authentication, you need to set up Supabase.

   USE_DB_AUTHENTICATION=false

   ===== Optional ENVS ======

   OpenAI API Key (用于 AI 功能)

   OPENAI_API_KEY=

   Ollama (实验性)

   OLLAMA_BASE_URL=http://localhost:11434/api

   MODEL_NAME=deepseek-r1:7b

   MODEL_EMBEDDING_NAME=nomic-embed-text

   OpenAI 兼容 API (实验性)

   OPENAI_BASE_URL=https://example.com/v1

   OPENAI_API_KEY=

   代理设置

   PROXY_SERVER=

   PROXY_USERNAME=

   PROXY_PASSWORD=

   SearXNG API (用于 /search API)

   SEARXNG_ENDPOINT=http://your.searxng.server

   SEARXNG_ENGINES=

   SEARXNG_CATEGORIES=

   Supabase 设置 (用于数据库认证等)

   SUPABASE_ANON_TOKEN=

   SUPABASE_URL=

   SUPABASE_SERVICE_TOKEN=

   测试 API 密钥

   TEST_API_KEY=

   ScrapingBee API 密钥 (作为备用抓取引擎)

   SCRAPING_BEE_API_KEY=

   Bull Queue 管理员密钥 (请修改默认值)

   BULL_AUTH_KEY=CHANGEME

   (Docker Compose 自动配置，无需手动设置)

   PLAYWRIGHT_MICROSERVICE_URL=http://playwright-service:3000/scrape

   REDIS_URL=redis://redis:6379

   REDIS_RATE_LIMIT_URL=redis://redis:6379

   Llamaparse API 密钥 (用于 PDF 解析)

   LLAMAPARSE_API_KEY=

   Slack Webhook URL (用于健康状态通知)

   SLACK_WEBHOOK_URL=

   Posthog API Key (用于事件跟踪)

   POSTHOG_API_KEY=

   POSTHOG_HOST=

3. 构建并运行 Docker 容器:

docker compose build
docker compose up -d

4. 访问 Firecrawl: 在浏览器中访问 http://localhost:3002。
5. Bull Queue 管理员界面: 在浏览器中访问 http://localhost:3002/admin/CHANGEME/queues (请务必修改 BULL_AUTH_KEY)。

API 测试 (可选):

curl -X POST http://localhost:3002/v1/crawl \
    -H 'Content-Type: application/json' \
    -d '{
      "url": "https://firecrawl.dev"
    }'

常见问题及解决方案：

• API 密钥： 使用 SDK 时，API 密钥是可选的，仅在连接云服务时需要。
• Supabase 未配置： 目前自行部署的实例不支持 Supabase 配置，但可以正常抓取和爬取。
• Docker 容器启动失败： 检查 Docker 日志 (docker logs [container_name])，确保环境变量设置正确，以及 Docker Compose 文件配置正确。
• Redis 连接问题： 确保 Redis 服务运行，.env 文件中的 REDIS_URL 和 REDIS_RATE_LIMIT_URL 设置正确，并且网络配置允许连接。
• API 接口无响应： 检查 Firecrawl 服务是否运行，PORT 和 HOST 设置是否正确，以及网络配置。