Dify工作流:爬虫文章到AI知识库

部署Dify

代码拉取

bash 复制代码
git clone https://github.com/langgenius/dify.git
cd dify/docker

启动容器

bash 复制代码
docker-compose up -d

启动成功

准备知识库

创建知识库

创建一个空的知识库


要先从网址中,找到这个知识库的id,记下后面需要用到。

新建API密钥

创建密钥,后面通过API将数据写入知识库用到

记下创建文档的API

后面通过这个API将数据写入知识库用到

安装工具

安装模型

打开插件,选择模型

安装模型

配置模型

这里使用通义千问,因为开通的180天内免费100万个token。没有API Key可以从左下角获取。

安装Firecrawl

Firecrawl是一个爬虫工具。

配置Firecrawl

获取Firecrawl的API Key

创建爬虫知识库

创建Chatflow

创建参数提取器

创建爬虫

要抓取的URL:填写上一步返回的website

结果的格式:markdown

仅抓取主要内容:选择true

请求头: {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}

创建模板转换

模板转换的作用是获取上一步的爬虫内容的text,给下一步用。

创建提取标题与正文

创建代码执行

过滤爬虫内容的特殊字符

javascript 复制代码
function main({arg1}) {
    return {
        content: arg1.replace(/\\/g, '\\\\').replace(/"/g, '\\"').replace(/\n/g, '\\n').replace(/\r/g, '\\r').replace(/\t/g, '\\t')
    }
}

创建HTTP 请求

将爬虫的数据通过知识库API保存到上面创建的知识库

将上面复制的接口粘贴到这里

bash 复制代码
curl --location --request POST 'http://192.168.51.101/v1/datasets/{dataset_id}/document/create-by-text' \
--header 'Authorization: Bearer {api_key}' \
--header 'Content-Type: application/json' \
--data-raw '{"name": "text","text": "text","indexing_technique": "high_quality","process_rule": {"mode": "automatic"}}'

将dataset_id替换成上面保存的知识库id

添加接口的鉴权

填写上面保存的API-Key

填写BODY

最后的回复

测试

测试成功

相关推荐
bestcxx4 天前
0.2、AI Agent 开发中 ReAct 和 MAS 的概念
人工智能·python·dify·ai agent
wxl7812275 天前
Milvus部署在T4 GPU上,Dify检索性能可以提升多少?
知识库·dify·rag·milvus gpu
不语n13 天前
Windows+Docker+AI开发板打造智能终端助手
python·docker·树莓派·香橙派·dify·ollama·ai开发板
阿福Chris13 天前
Dify本地初始化后安装模型供应商瞬间失败控制台报错401
大模型·llm·dify·大模型工具
wwwzhouhui14 天前
86-dify案例分享-Qwen3-VL+Dify:从作业 OCR 到视频字幕,多模态识别工作流一步教,附体验链接
ocr·dify·qwen3-vl
是店小二呀24 天前
整合亮数据Bright Data与Dify构建自动化分析系统
大数据·自动化·dify·mcp·bright data
肖祥1 个月前
VoxCPM:新一代高拟真语音生成模型
dify
霍格沃兹软件测试开发1 个月前
快速掌握Dify+Chrome MCP:打造网页操控AI助手
人工智能·chrome·dify·mcp
剑客的茶馆1 个月前
新服务器从0开始搭配Ubuntu+Conda+Docker+Dify
服务器·ubuntu·docker·conda·dify