本地部署Firecrawl+Dify调用踩坑记录

最近自己研究Dify,使用到Firecrawl这个比较好用的工具。用Firecrawl官网的不知道为什么总是卡住得不到结果,于是我打算自己去本地部署一个。好家伙真给我人搞麻了,太多问题了。

我是在京东云上面租的一台服务器。

首先就是docker的安装,这里个人建议选个比较新的版本,因为我有个服务器装了个旧一点的版本的docker 装到后面给我报rust版本错误了。不知道啥原因,由于这个服务器要跑dify就没在这个服务器上面弄了。

error: failed to parse lock file at: /app/sharedLibs/html-transformer/Cargo.lock Caused by: lock file version `4` was found, but this version of Cargo does not understand this lock file, perhaps Cargo needs to be updated?

如果有rust版本错误的,可以去修改firecrawl/apps/api/Dockerfile这个文件的内容

把FROM rust:1-slim AS rust-base 该为 FROM rust:1.70 AS rust-base

然后就是 GO访问不了外网的问题

Get "https://proxy.golang.org/github.com/tomkosm/html-to-markdown/@v/v0.0.0-20250128162844-2f19490e042d.zip": dial tcp 142.250.217.81:443: i/o timeout

firecrawl/apps/api/Dockerfile中

RUN cd /app/sharedLibs/go-html-to-md && \

go mod tidy && \

go build -o html-to-markdown.so -buildmode=c-shared html-to-markdown.go && \

chmod +x html-to-markdown.so

前面加上一行 设置国内代理

ENV GOPROXY=https://goproxy.cn,direct

最后当我部署完成之后用dify调用,总是说未授权,找了很久发现是开始设置环境配置文件.env 的时候里面的参数有问题。我是从apps/api 里面复制 .env.example过来的的.env

把你在firecrawl目录下配置的 .env文件中的 USE_DB_AUTHENTICATION 设置为false

还有就是部署过程中有些包下载的很慢,需要耐心等待

最后感谢下面这些文章,帮助我解决了很多问题。也感谢通义和Gemini 的帮助

https://blog.csdn.net/zjw529507929/article/details/146218875

https://blog.csdn.net/Lb_jay/article/details/147632780

https://docs.firecrawl.dev/contributing/self-host

https://blog.csdn.net/weixin_51455837/article/details/145712180

相关推荐
骥龙4 分钟前
模块五:n8n自动化工作流 + Ollama + Health-MCP
人工智能·ai编程
jonyleek8 分钟前
工业物联网边缘计算架构设计:从数据采集到本地决策
人工智能·物联网·边缘计算·工业物联网·边缘网关·jvs物联网平台·iot架构
桐盛科技9 分钟前
拒绝“漂绿”风险:基于边缘计算的碳排放数据清洗算法与实时校验逻辑
人工智能·算法·边缘计算
Mr数据杨10 分钟前
汽车故障时间与类别预测实战 从 Kaggle 结构化赛题理解预测性维护建模
人工智能·数据分析·kaggle竞赛
147API21 分钟前
蒸馏项目什么时候该停,怎样切换到RAG、微调或模型路由
人工智能·深度学习·机器学习·数据挖掘
ltqvibe31 分钟前
AI问数、找IT取数、自己导Excel,三条路怎么选
人工智能·excel·数据报表·智能问数·ai问数·本体语义·取数
小饕31 分钟前
llama‑cpp边缘部署内存溢出(OOM)问题排查报告
人工智能·大模型端侧部署
paopaokaka_luck32 分钟前
基于springboot3+vue3的精准扶贫管理系统(AI 问答、ECharts 图形化分析)
前端·人工智能·echarts
Wang's Blog32 分钟前
Vibe Coding一人即团队系列51: AI赋能项目交付与产品文档自动化生成实践
人工智能·自动化·devops
Carol063035 分钟前
AI 进化全景:符号 AI‑大模型‑通用 Agent 发展之路
人工智能