langchain ChatGPT AI私有知识库

企业知识库

原理就是把文档变为向量数据库,然后搜索向量数据库,把相似的数据和问题作为prompt,

输入到大模型,再利用GPT强大的自然语言处理、推理和分析等方面的能力将答案返回给用户

什么是langchain?

langchain是一个强大的框架,旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口,可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互,将多个组件链接在一起,并集成额外的资源,例如 API 和数据库。

AI私有知识库

一种利用langchain思想实现的基于本地知识库的问答应用

详细流程实现:

文档的处理:
  1. 本地文档 进行加载获取到text文字内容
  2. 将获取的text进行切割分段(一般是采用文字500字切割,且上下文档有关联100字)
  3. 分段segment进行向量化存储到向量存储中
query查询的处理
  1. 对提问的问题query进行向量化embedding
  2. 查询向量存储匹配的文档(一般有相似度的查询与设置,比较好用)
  3. 查询的文档与问题、历史记录等组成prompt
  4. prompt(一般会设置中文化且设置回答等限制)请求LLM大模型
  5. 最终返回结果给用户

最后最终方案

本人和公司都是Java系的开发,但langchain是python的框架,最后采用了如下的方案:...

麻蛋,还得给它改python代码 (头皮发麻)

Azure AI 是微软的一个python开源解决方案,但我们是Java体系,便只使用azure AI LLM大模型的功能,和向量embedding的存储,提问查询功能,其他的功能都采用Java来实现,如对象存储、文档加载、文档切割、格式转化等等

相关推荐
大写-凌祁3 小时前
零基础入门深度学习:从理论到实战,GitHub+开源资源全指南(2025最新版)
人工智能·深度学习·开源·github
焦耳加热3 小时前
阿德莱德大学Nat. Commun.:盐模板策略实现废弃塑料到单原子催化剂的高值转化,推动环境与能源催化应用
人工智能·算法·机器学习·能源·材料工程
深空数字孪生3 小时前
储能调峰新实践:智慧能源平台如何保障风电消纳与电网稳定?
大数据·人工智能·物联网
wan5555cn4 小时前
多张图片生成视频模型技术深度解析
人工智能·笔记·深度学习·算法·音视频
格林威4 小时前
机器视觉检测的光源基础知识及光源选型
人工智能·深度学习·数码相机·yolo·计算机视觉·视觉检测
今天也要学习吖5 小时前
谷歌nano banana官方Prompt模板发布,解锁六大图像生成风格
人工智能·学习·ai·prompt·nano banana·谷歌ai
Hello123网站5 小时前
glean-企业级AI搜索和知识发现平台
人工智能·产品运营·ai工具
AKAMAI5 小时前
Queue-it 为数十亿用户增强在线体验
人工智能·云原生·云计算
索迪迈科技5 小时前
INDEMIND亮相2025科技创变者大会,以机器人空间智能技术解锁具身智能新边界
人工智能·机器人·扫地机器人·空间智能·陪伴机器人
栒U5 小时前
一文从零部署vLLM+qwen0.5b(mac本地版,不可以实操GPU单元)
人工智能·macos·vllm