技术栈

agent规划

I Am a robert girl
2 小时前
python·数字人·多模态大模型·扩散transformer·流式生成·agent规划
从 FlowAct-R2 拆解“会说话的数字人“:流式多模态参考与主动式 Agent 规划从今天觉醒,技术赋予每一个人数字生命一个数字人要"像人",难点从来不是把嘴型对上音频。真正的门槛是:当观众随时打断、递上新图片、切换话题时,系统能不能在不漂移、不卡顿、不失控的前提下持续生成 720p 视频。FlowAct-R2 给出的答案是两条耦合的主线——一条是流式多模态参考扩散 Transformer,一条是把"上线前规划"和"上线中调度"拆开的主动交互 Agent。本文顺着这两条调用链往下拆,回答三个问题:它为什么这么设计、关键抽象在哪、以及你在自己的项目里能借鉴什么。
我是有底线的