【Agent智能体22 | 构建AI工作流的技巧-延迟、成本优化】

声明:本篇博客是以吴恩达的【Agent智能体】教程为基础,并对其中的内容做了笔记整理以及个人收获的总结。

延迟、成本优化的优先级一般较低。下面展示一下相关的思路:

降低延迟

如果你想优化智能体工作流的延迟,常用的方法是对工作流进行基准测试或计时,通过查看整体时间线 我可以判断哪些环节有最大优化空间,可以加快速度,常用的方法如下:

  • 考虑并行处理 (Consider parallelism?)
    • 如果有些步骤还没并行处理,比如网页抓取,可以考虑将部分操作并行执行,而不是排队挨个抓取,从而大幅缩短总运行时间。
  • LLM 步骤耗时过长? (LLM steps too long?)
    • 或者发现某些大语言模型步骤耗时过长,尝试使用规模较小/稍弱但速度更快的模型 (smaller/less intelligent model) ,或者更换响应速度更快的 LLM 服务提供商 (faster LLM provider)。

通过这种计时分析 你能判断哪些环节最值得优化

减少成本

在构建和运行 AI 工作流时,通常需要为以下三类操作付费:

  1. LLM 步骤 (LLM steps - pay per token): 调用大语言模型(如 GPT-4、Gemini 等)的费用。这是基于输入(Prompt)和输出(生成的文本)的词块数量 (Token) 来计费的。处理的文本越长,费用越高。
  2. API 调用工具 (Any API-calling tools - pay per API call): 当代理使用外部工具(如谷歌搜索 API、天气 API、数据库查询等)时,通常是按调用次数 (per API call) 固定计费的。
  3. 计算步骤 (Compute steps - based on server capacity/cost): 在本地或云服务器上执行普通代码、数据处理或运行脚本的成本。这取决于所消耗的服务器计算资源和时长 。

在优化成本方面,同样可以对每一步的成本进行计算 从而基准测试并决定哪些步骤需要优化,重点关注优化哪些环节。

有时候优化提示词减少无效长文本,或者寻找更便宜的替代 API 工具,能大幅降低整体工作流的运行费用。

总结:

所以发现当成本或延迟成为问题时,只需测量每一步的成本或延迟这通常能为你提供依据 判断该优先优化哪些组件

到此,构建AI工作流的技巧相关的知识就介绍完了,下面该介绍"规划"这个涉及模式了!

如果这篇文章对你有帮助,欢迎点赞、评论、关注、收藏。你们的支持是我前进的动力!

相关推荐
AI小怪兽5 分钟前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
峯5806 分钟前
机器学习05,用 scikit-learn 做加州房价预测的完整入门工程
人工智能·机器学习·scikit-learn
伞伞悦读26 分钟前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
深兰科技35 分钟前
走出进博展馆寻AI方案,巴西政商联合体参访深兰科技洽商中巴产业数字化合作
人工智能·typescript·深兰科技·中巴产业数字化·巴西政商联合体·ai方案·进博会
美团技术团队36 分钟前
EMNLP 2026 | 美团技术团队学术论文精选
人工智能
Summer-Bright44 分钟前
企业落地智能体,供应链签名还是空白:1862 个 MCP 服务器无认证裸奔
服务器·人工智能·github·mcp
ZhengEnCi1 小时前
Agent 只输出计划不调用工具怎么办:从终止信号错位到结果验收的四层防线
人工智能·agent
xsd202411181 小时前
把模型从 FP32 压到 INT8:PTQ、QAT 与 PyTorch 量化全链路
人工智能
AI源码1 小时前
基于机器学习的优衣库销售预测与决策系统
人工智能·机器学习
可夫小子2 小时前
13 条数据跑出 65.87 分:这场 48 小时真机挑战赛,拆穿了具身智能的落地真相
人工智能