【AI赋能测试笔记】3中间件

一、什么是中间件



比如

和智能体(大模型)交互的消息类型:

  • human message:人发送的信息
  • AI message:大模型返回的信息
  • Tool message:工具执行的结果
  • system message:系统消息(身份约定、上下文信息...)

langgraph API 自带记忆存储功能

前端界面参考样本

https://github.com/langchain-ai/agent-chat-ui

二、PDF解析器

前端加一个上传文件和图片的功能

下载https://github.com/langchain-ai/agent-chat-ui放到@src-example中

python 复制代码
# 我要在当前项目@src中的对话界面添加一个上传文件和图片的功能,请你参考代码@src-example中的文件上传功能,实现的效果及发送给后端的数据格式完全一致
# 如果没有参考样本项目
# 截取后端输出信息复制给AI,"后端获取到的数据是这样,我期望你把上传的附件转成base64编码放到additional_kwargs中发送到后端去"
python 复制代码
在这里插入代码片

前端会把PDF转成base64编码再上传到服务器,这样服务器会收到庞大而没有价值的信息->现在后端还是deepseek-chat模型(文本大模型),它不支持多模态输入

所以后端提取用户上传的base64位数据转成PDF,对PDF进行解析(内容包含:文本、图片、思维导图、流程图),提取到完整信息

后端

(1)https://docs.langchain.com/oss/python/integrations/document_loaders/pymupdf4llm

python 复制代码
# 帮我基于这段代码,开发一个pdf文档处理器,要求如下:
    # 1、核心代码:
    # from langchain_community.document_loaders.parsers import LLMImageBlobParser
    # from langchain_openai import ChatOpenAI
    # loader = PyMuPDF4LLMLoader( "./example_data/layout-parser-paper.pdf",
        # mode="page",
        # extract_images=True,
        # images_parser=LLMImageBlobParser(
        # model=ChatOpenAl( model="gpt-4. 1-mini", max_tokens=1024),)
    # docs=loader.load()
    # 2、我会传入一份base64位的pdf数据,借助该解析器最终返回pdf的完整内容
    # 脚本文件存放到这个目录:pdf_processor

(2)用豆包接入图片多模态https://console.volcengine.com/ark/region:ark+cn-beijing/model/detail?Id=doubao-seed-1-6-vision

创建一个API key,开通管理(全开通),视觉模型deepseed1.6复制完整的ID号,API接入

(3)会话中包含在线链接

三、如何将pdf解析器与智能体发生联系?智能体中间件:技能中间件

基于装饰器的中间件

基于类的中间件(装饰器的封装成一个类)

https://docs.langchain.com/oss/python/langchain/middleware/custom#class-based-middleware

前端加一个"是否开启PDF多模态"滑动开关

前端发的消息通过中间件截取到PDF base64位数据,调用pdf解析器,将解析后的pdf内容传给agent(,拿到信息之后大模型才能根据信息判断调用什么工具)

后端

python 复制代码
# 帮我开发一个中间件,实现的代码请参考https://docs.langchain.com/oss/python/langchain/middleware/custom
    # 具体实现功能如下:
    # 1、截取前端发的消息中的PDF base64位数据(去看下前端发的base64位什么样子),message格式如下:(粘贴)
    # 2、数据中的base64位的PDF数据发送给pdf解析器@pdf_processor/processor.py:PDFProcessor,解析器返回解析后的完整pdf信息,追加到system message
相关推荐
7177773 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn3 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健4 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道4 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9964 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队5 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术5 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream6 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴7 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区7 小时前
豆包工作,3 个月,800 万,20 亿
人工智能