Agent对今天的技术有什么具体要求?

以前的纯推理场景,算力瓶颈主要在GPU侧,在Agent场景下,必须做CPU和GPU的协同调度,CPU能力跟不上,直接影响Agent的整体体验。从行业趋势也能看出:CPU与GPU的比例逐渐由 1:8变成 1:4、1:2,甚至 1:1。产生的Token不能被CPU及时消耗,就无法产生真正的价值。

------ 雷超vllm-ascend社区Maintainer

在Agent时代,需确保第一点:可审计性。人与Agent对话需可见、可打断,人最终兜底;第二点:记忆管理。人可干预、筛选和删除记忆,以保障人机协作可控对齐。这些属于广义沙箱范畴。这些都应属于广义上沙箱的范畴。

------ 胡昊openFuyao技术委员会主席

"Token之上、应用之下,全是 Agent",向上要与人对齐,向下要与算力对齐,这两个问题目前远未解决。中国是AI变现需求强烈,最终衡量价值的标准是Agent能否真正产生的生产力。写Agent很容易,落地生产问题重重,希望尽早融入openFuyao社区并结合生态伙伴探索变现。

------ 朱浩鹏openFuyao社区顾问/华为Fellow

原来K8s对CPU等资源的抽象,如今面临GPU、Agent等新主导负载,是否应将它们纳入抽象视野尚不明确,因此实验室选择先从CPU-GPU混部、亚秒级时隙对齐、异构算力网络等具象研究入手,再回头思考抽象问题。

------ 沃天宇openeFuyao社区技术委员会委员/北京航空航天大学软件学院教授

当前Agent服务中CPU与GPU存在两大问题:一是信息差导致GPU要么提前丢弃中间结果、要么盲目等待,造成资源浪费;二是推理侧根据请求长短分离Prefill,但Agent对话轮数逐步增长,初始分错后重调度代价大。未来方向是打通CPU到GPU的信息通路,由CPU预测任务特征(如轮数、长度)并透传,指导GPU做针对性调度。

------ 杨珂 趋境科技技术专家/Mooncake核心开发者

相关推荐
Csvn9 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考10 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考10 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库11 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静11 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康11 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea12 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen12 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷12 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘13 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习