multimodel ocr dataset

InternLM-XComposer2-4KHD

InternLM-XComposer2-4KHD=

a light-weight Vision Encoder OpenAI ViT-Large/14+Large Language Model InternLM2-7B,

这篇论文采用的是一种动态分辨率的输入；

全图有一个global view,resize到336*336；

然后把图片resize再padding到336的整数倍划分成patch;

然后为了保留图片的2D信息，每一行结束的时候有个\n的分隔符，不同view之间有个sp分割符

We keep the ViT resolution as 336 × 336 and increase the input resolution with more patches. For the Dynamic Image Partition strategy, we use 'HD-25' for the pertaining

以下是一些预训练的策略：

实际pretrain的时候是HD-25,每4个token会concat和MLP成为一个token；

再finetune阶段是混合的策略，对于需要高分辨率的任务，比如说图表，就采用的分辨率HD55,，有一些是origin_size_{HD30,还有一些是HD25};

In terms of other OCR-related tasks, the

performance gain attributable to increased resolution is relatively minor.

在其他任务上，提升分辨率带来的收益比较小，但是对于ocr任务而言，提升分辨率带来的收益比较大；

全局试图的影响非常大：

当固定token数目的时候，是否使用换行符\n影响不大，但是tokens数目非常动态的时候，不使用换行符会导致性能降低；

InternVL-2.0的ocr数据集构建

https://internvl.github.io/blog/2024-07-02-InternVL-2.0/

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/5bd5fd44bc5d447e82ecb5ba8f3438ec.png

How Far Are We to GPT-4V?

Closing the Gap to Commercial Multimodal Models with Open-Source Suites

训练ocr任务的时候会把visiual encoder和mlp都打开；

Blip3

blip3训练的时候没有带上框，论文里面说可以训练下带上框的潜力；

200M的标注中有些包含框，有些没有包含框：

预训练数据越多，评测效果越好；

不同backbone的选择对于ocr任务的影响比较大；

使用不同的visual tokens数目带来的影响差别不大；

不同分辨率输入的结果：