多模态

人工智能培训咨询叶梓

Lumière：开创性的视频生成模型及其应用视频内容创造领域迎来了突破性进展，但视频生成模型由于运动引入的复杂性而面临更多挑战。这些挑战主要源自运动的引入所带来的复杂性。时间连贯性是视频生成中的关键要素，模型必须确保视频中的运动在时间上是连贯和平滑的，避免出现不自然的跳跃或断裂。空间关系的准确性也至关重要，因为视频的每一帧都需要与前后帧在空间布局上保持一致性。计算资源的限制也是一个重大挑战，视频数据的高维度要求大量的计算力和内存，这限制了模型的规模和复杂度。训练数据的需求量巨大，因为只有通过大量的训练样本，模型才能学习到生成逼真视频所需的丰富特征和

人工智能培训咨询叶梓

多模态能力评估新篇章：MMStar引领大型视觉语言模型评估新标准随着大模型（LLMs）的快速发展，将视觉模态整合进LLMs以提升模型的交互能力已成为研究的热点。这些大型视觉语言模型（LVLMs）不仅展现出强大的视觉感知和理解能力，还能够通过对话与用户互动，提供更丰富的交互体验。然而，现有的评估工作存在一些问题，可能会误导对LVLMs实际多模态能力的理解。

大模型与计算机视觉

扩散模型 GLIDE：35 亿参数的情况下优于 120 亿参数的 DALL-E 模型节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

视频与音频的交响：探索达摩院VideoLLaMA 2的技术创新文章：https://arxiv.org/abs/2406.07476代码：https://github.com/DAMO-NLP-SG/VideoLLaMA2

【多模态】39、HRVDA | 基于高分辨率输入的高效文档助手（CVPR2024）论文：HRVDA: High-Resolution Visual Document Assistant

大模型与计算机视觉

英伟达算法岗面试，问的贼专业。。。节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

大模型与计算机视觉

UniAnimate：华科提出人类跳舞视频生成新框架，支持合成一分钟高清视频节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

【文档智能】符合人类阅读顺序的文档模型-LayoutReader原理及权重开源阅读顺序检测旨在捕获人类读者能够自然理解的单词序列。现有的OCR引擎通常按照从上到下、从左到右的方式排列识别到的文本行，但这并不适用于某些文档类型，如多栏模板、表格等。LayoutReader模型使用seq2seq模型捕获文本和布局信息，用于阅读顺序预测，在实验中表现出色，并显著提高了开源和商业OCR引擎在文本行排序方面的表现。

AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.05.10-2024.05.20标题:Diff-BGM：视频背景音乐生成的扩散模型author:Sizhe Li, Yiming Qin, Minghang Zheng, Xin Jin, Yang Liu

AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.04.15-2024.04.25标题:AutoGluon-Multimodal (AutoMM)：用基础模型增强多模态 AutoMLauthor:Zhiqiang Tang, Haoyang Fang, Su Zhou, Taojiannan Yang, Zihan Zhong, Tony Hu, Katrin Kirchhoff, George Karypis

AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.04.25-2024.05.01标题:用于领域泛化的软提示生成author:Shuanghao Bai, Yuedi Zhang, Wanqi Zhou, Zhirong Luan, Badong Chen

大模型与计算机视觉

OpenAI 文生图模型演进：DDPM、IDDPM、ADM、GLIDE、DALL-E 2、DALL-E 3节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

GPT4o速测：约0.5秒延迟的多模态能力没有剪辑，约0.5秒延迟的多模态能力。GPT-4o，o 代表 Omnimodel（全能模型）。第一次，OpenAI 在一个模型中集成了所有模态，大幅提升了大模型的实用性。

swift微调多模态大语言模型微调训练数据集指定方式的问题请教 · Issue #813 · modelscope/swift · GitHubQwen1.5微调训练脚本中，我用到了--dataset new_data.jsonl 这个选项，可以训练成功，但我看文档有提到--custom_train_dataset_path这个选项，这两个有什么区别呢，是不是对自己生成的数据集用--dataset new_data.jsonl 这种方式是不对的，但是为什么又确实训练成功了呢（至少模型确实学习到了训练资料中的知识） # Experim

【多模态】29、OCRBench | 为大型多模态模型提供一个 OCR 任务测评基准论文：ON THE HIDDEN MYSTERY OF OCR IN LARGE MULTIMODAL MODELS

codebat_raymond

用于视频大型多模态模型(Video-LMMs)的复杂视频推理和鲁棒性评估套件最近,大型语言模型(LLMs)在同时处理广泛的NLP任务的同时展示了令人印象深刻的推理和规划能力。因此,将它们与视觉模态集成,特别是用于视频理解任务,催生了视频大型多模态模型(Video-LMMs)。这些模型充当视觉聊天机器人,接受文本和视频作为输入,并处理各种任务,包括视频理解、详细的视频理解和行为定位。“视频理解” 通常指的是对视频内容的基本识别和理解，比如识别视频中的人物、场景和活动。这涵盖了对视频的一般性内容的理解。而"对视频内容的深入理解" 则是更深层次的，不仅仅是识别元素，还包括理解视频中的情

AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.04.10-2024.04.15标题:利用受控视觉语言模型在野外进行逼真图像修复author:Ziwei Luo, Fredrik K. Gustafsson, Zheng Zhao, Jens Sjölund, Thomas B. Schön

多模态视觉语言模型：BLIP和BLIP2BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation

多模态大模型训练数据以及微调数据格式多模态数据，尤其是中文多模态数据，找一些中文多模态的数据中文多模态数据集汇总_数据集-阿里云天池本文整理汇总了业界常用的多模态中文数据集，提供了每个数据集的简介、官网、下载地址、Github代码等信息，方便算法研究人员学习研究。https://tianchi.aliyun.com/dataset/145784

深度学习算法与自然语言处理

多模态大语言模型综述节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。