流式生成

I Am a robert girl16 天前
python·数字人·多模态大模型·扩散transformer·流式生成·agent规划
从 FlowAct-R2 拆解“会说话的数字人“:流式多模态参考与主动式 Agent 规划从今天觉醒,技术赋予每一个人数字生命一个数字人要"像人",难点从来不是把嘴型对上音频。真正的门槛是:当观众随时打断、递上新图片、切换话题时,系统能不能在不漂移、不卡顿、不失控的前提下持续生成 720p 视频。FlowAct-R2 给出的答案是两条耦合的主线——一条是流式多模态参考扩散 Transformer,一条是把"上线前规划"和"上线中调度"拆开的主动交互 Agent。本文顺着这两条调用链往下拆,回答三个问题:它为什么这么设计、关键抽象在哪、以及你在自己的项目里能借鉴什么。
I Am a robert girl1 个月前
python·音视频·源码解析·视频生成·可控生成·流式生成·物理控制
PhysStream 源码级拆解:流式视频生成如何做到“边生成边控制“从今天觉醒,技术赋予每一个人数字生命如果你最近在追视频生成,会发现一个尴尬的现实:模型能生成惊艳的画面,但你几乎无法在生成过程中"伸手进去"改变物体的运动。要么在开始前把整段控制信号一次性喂进去,要么用像素级的轨迹点去"拽"物体——前者不够灵活,后者控制的是位置而不是物理。PhysStream 试图回答的核心问题是:能不能让模型在生成过程中接受稀疏的物理控制信号,并保持场景的物理一致性?
我是有底线的