跨模态

大江东去浪淘尽千古风流人物

【FLORA】机器人视频标注引擎解析：三模型如何产出动作指令与四类奖励信号机器人学习离不开大量带监督信号的操作视频，但人工标注"这段在干什么""做得好不好"又贵又慢。FLORA 是 NVIDIA GEAR 实验室开源的机器人数据标注引擎，用三个基于 Qwen3.5 微调的 VLM（Vision-Language Model，视觉语言模型）——Flora-TempSeg、Flora-Captioner、Flora-Rewarder——把人类与机器人操作视频自动转成带时间戳的动作指令，以及结果、过程、规则三类奖励信号，用于训练 GR00T 等机器人基础模型。核心亮点是经 SFT（S

大江东去浪淘尽千古风流人物

【HIMO】跨模态图像匹配算法：IMO方向场提取与PolarP描述符源码精讲HIMO（Cross-Arbitrary-Modality Image Invariant Feature Transform with Hierarchical Intrinsic Major Orientation）是北京理工大学团队发表于 IEEE TPAMI 2026 的手工设计（handcrafted）跨模态图像匹配方法，官方开源了纯 MATLAB 实现。本文不解读论文公式推导，而是直接走读 HIMO_image_matching 子目录的全部 .m 源码，梳理其主流程调用链、核心数据结构，并重

【视频生成】GVS：生成式视图拼接标题：GENERATIVE VIEW STITCHING 来源：MIT CSAIL ；RunwayML 项目：https://andrewsonga.github.io/gvs

Prompt-To-Prompt——仅通过文本进行图像编辑文生图到图像编辑充满挑战，图像编辑需要保留原始图片大部分信息，而对于文生图，只要prompt稍微更改将导致生成完全不同图像。当前SOTA方法用户需要提供编辑位置的mask，忽略mask区域内容。作者探究一种仅通过文本进行编辑的框架，对此对条件文本模型进行深入探究，发现cross-attention层控制图像空间布局与prompt中每个word之间的相关性。作者通过仅编辑纹理prompt进行图像生成，包括：替换单词进行局部编辑、增加明细进行全局编辑、甚至精细化控制哪个单词映射到图像中哪部分。

AnimateDiff论文解读-基于Stable Diffusion文生图模型生成动画随着文生图模型Stable Diffusion及个性化finetune方法：DreamBooth、LoRA发展，人们可以用较低成本生成自己所需的高质量图像，这导致对于图像动画的需求越来越多。本文作者提出一种框架，可将现有个性化文生图模型所生成图片运动起来。该方法内核为在模型中插入一个运动建模模块，训练后用于蒸馏合理的运动先验。一旦训练完成，所有基于同一个文生图模型的个性化版本都可变为文本驱动模型。作者在动画、真实图上验证，AnimateDiff生成视频比较平滑，同时保留域特性及输出多样性。

我是有底线的