Langgraph 实现类似Langchain记忆上下文过长裁剪

python 复制代码
from typing import TypedDict, Any
from langchain_openai import ChatOpenAI
from langchain_core.messages import AnyMessage
from langgraph.graph import StateGraph, START, END, MessagesState
from langgraph.prebuilt import ToolNode
from langgraph.checkpoint.memory import InMemorySaver
from langmem.short_term import SummarizationNode, RunningSummary

# 1. 定义状态:MessagesState 基础上增加 context 存放运行中的摘要
class State(MessagesState):
    context: dict[str, RunningSummary]  # 存放摘要状态,避免重复总结旧消息

class LLMInputState(TypedDict):
    summarized_messages: list[AnyMessage]

# 2. 初始化模型
model = ChatOpenAI(model="gpt-4o")
summarization_model = model.bind(max_tokens=128)  # 专门用来生成摘要的模型,限制输出长度

# 3. 创建摘要节点
summarization_node = SummarizationNode(
    token_counter=model.get_num_tokens_from_messages,  # 精确计算 token
    model=summarization_model,
    max_tokens=256,                    # 压缩后允许的 token 总量
    max_tokens_before_summary=1024,    # 超过这个阈值才触发摘要
    max_summary_tokens=128,            # 摘要本身的最大 token
)

# 4. 调用 LLM 的节点(注意:输入用 summarized_messages,不是 messages)
def call_model(state: LLMInputState):
    response = model.bind_tools(tools).invoke(state["summarized_messages"])
    return {"messages": [response]}

# 5. 构建图
builder = StateGraph(State)
builder.add_node("summarize", summarization_node)
builder.add_node("call_model", call_model)
builder.add_node("tools", ToolNode(tools))

builder.set_entry_point("summarize")
builder.add_edge("summarize", "call_model")
# ... 后续 router 和 tools 的边按需添加

graph = builder.compile(checkpointer=InMemorySaver())
相关推荐
码事漫谈2 小时前
# 2027年,AI终于要开始“干活”了
后端
小满zs3 小时前
Go语言第二十一章(Gin上传文件)
后端·go
forest_093 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区4 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
JavaGuide5 小时前
Cloudflare 开源的这套神级安全审计 Skill 太好用了!
前端·后端
严肃小白兔5 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区5 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
学长毕设5 小时前
基于SpringBoot社区快递驿站物流配送系统-附源码
java·spring boot·后端
努力的MM1235 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能