技术栈

视频预测

I Am a robert girl
2 小时前
深度学习·计算机视觉·音视频·视频预测·辛几何·哈密顿力学·拉格朗日力学
当视频预测遇上辛几何:拆解 LHFM 的拉格朗日-哈密顿流框架从今天觉醒,技术赋予每一个人数字生命视频预测这件事,表面上是“给定前几帧,猜后面几帧”,但真正难的地方在于:模型学到的到底是像素的统计相关性,还是某种可以外推的运动结构?大多数循环模型用卷积或注意力直接回归下一帧,FLOP 花在“重建外观”上,而不是“描述运动”上。LHFM 这篇工作换了个问法:如果把每一帧图像看作某个高维空间里的精确拉格朗日图(exact Lagrangian graph),帧与帧之间的演化就变成了一个由图像自身决定的哈密顿流,速度场被拆成“输运(transport)”和“源(sourc
我是有底线的