Ollama+LangFlow实现智能问答系统

Ollama+LangFlow实现智能问答系统

LangFlow 是一个开源的、基于 Web 的用户界面,旨在简化与大模型(LLMs)和其他自然语言处理(NLP)工具的交互。它提供了直观的图形化界面,让用户能够轻松构建和管理复杂的 NLP 流程,而无需编写大量代码。LangFlow 特别适用于需要快速原型设计、实验不同配置或与大模型进行互动的场景。

安装LangFlow

bash 复制代码
# Conda创建3.11版本的Python环境
conda create -n py_311 python=3.11 -y

# 进入py_311环境
conda activate py_311

# 安装uv(官方推荐),比pip性能更好
# 如果直接用pip安装会出现提示 pip is looking at multiple versions of <<library>> to determine which version is compatible with other requirements. This could take a while.
pip install uv

# 安装 LangFlow
uv pip install langflow

启动

bash 复制代码
# 启动
uv run langflow run

访问地址

http://127.0.0.1:7860

文档问答

用从本地内存加载的文档构建问答聊天机器人。将文档内容作为大模型提示词的上下文,基于此上下文寻找用户问题的答案并作出回答。

  1. 上传文档。 File 结点支持本地文档的上传;
  2. Parse Data 结点将文档内容转成 Data ,传给 Prompt 结点;
  3. Prompt 结点用作创建提示词模板,变量通过 {} 包裹,例如 {Document}
  4. Chat Input 结点用作用户输入问题,将问题内容传递给 Prompt 结点的 Question 变量;
  5. Prompt 结点的 Prompt Message 传递给 OpenAI 结点,Prompt Message 会将文档内容和用户问题结合成一个文本。如果没有 OpenAIAPI KEY ,可以将OpenAI 结点换成 Ollama 结点,并给 Ollama 配置本地部署的大模型基础 URL
  6. OpenAI 结点的处理结果 Text 变量传递给 Chat Output 结点,前端展示给用户。

总结

大模型的缺点是支持的上下文长度有限,如果想要某个问题毕其功于一役的给大模型一次新回答出来,超出了大模型的 Token 长度限制,大模型会回答不出来。 LangFlow 可以将问题拆解成多个小问题,分多次调用 OpenAI / Ollama 结点,最终得到问题的答案。

例如,想要对一段超长文章生成摘要,可以将文章拆解成10份,每一份文本片段都单独使用一个大模型结点生成摘要,然后将10份摘要汇聚在一起。

LangFlow 也支持多种类型的流程结点。除了前文中提到的 Chat Input 属于 InputsChat Output 属于 OutputsPrompt 属于 PromptsOpenAIOllama 属于 ModelsLangFlow 还有 SQL Query 结点、 if-Else 等常用功能结点。提供这些结点的目的就是为了让非开发人员也能够利用大模型实现自己的 AI Agents

参考

LangFlow官方文档

Python 依赖管理工具 uv

uv包管理器官方文档

相关推荐
Penge6665 分钟前
Elasticsearch 跳表(Skip List):有序结果合并的 “性能电梯”
后端
ziwu11 分钟前
【卫星图像识别系统】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积网络+resnet50算法
人工智能·tensorflow·图像识别
Penge66616 分钟前
Elasticsearch BKD 树与 PointRangeQuery:为何数值查询会有性能瓶颈
后端
ISACA中国17 分钟前
ISACA与中国内审协会共同推动的人工智能审计专家认证(AAIA)核心内容介绍
人工智能·审计·aaia·人工智能专家认证·人工智能审计专家认证·中国内审协会
木木一直在哭泣28 分钟前
【收藏级】Java Stream.reduce 全面解析:从零到通透(原理图 + 实战 + 最佳实践)
后端
Penge66629 分钟前
Elasticsearch Filter 缓存:Bitset 如何让查询速度飙升
后端
用户849137175471629 分钟前
ThreadLocal 源码深度解析:JDK 设计者的“妥协”与“智慧”
java·后端
ISACA中国31 分钟前
《第四届数字信任大会》精彩观点:针对AI的攻击技术(MITRE ATLAS)与我国对AI的政策导向解读
人工智能·ai·政策解读·国家ai·风险评估工具·ai攻击·人工智能管理
木木一直在哭泣31 分钟前
Java Stream.filter 全面解析:定义、原理与最常见使用场景
后端
用户03048059126332 分钟前
# 【Maven避坑】源码去哪了?一文看懂 Maven 工程与打包后的目录映射关系
java·后端