多模态模型

十有久诚1 个月前
人工智能·深度学习·提示学习·多模态模型
Progressive Multi-modal Conditional Prompt Tuning图像的重复消化有助于提高分类精度。ProMPT不是直接进行预测,而是多次重新访问原始图像以检查答案,逐步将预测从粗糙细化到精确。 希望达到的效果如下: 图7:通过迭代进化,ProMPT逐步将CLIP产生的错误结果纠正为正确的结果。 ✓ \checkmark ✓表示正确和×表示不正确的预测。
页页读6 个月前
多模态模型
【LLAVA】Llava中在数据集制作过程中是怎么从CC3M中过滤出595K数据的?为什么这样做?原文:CC3M. We extract noun-phrases using Spacy for each caption over the whole cc3m dataset, and count the frequency of each unique noun-phrase. We skip noun-phrases whose frequency is smaller than 3, as they are usually rare combinations concept and attrib
页页读6 个月前
人工智能·虚幻·多模态模型
【Paper Reading】6.RLHF-V 提出用RLHF的1.4k的数据微调显著降低MLLM的虚幻问题分类内容论文题目RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback
FesianXu9 个月前
计算机视觉·自然语言处理·多模态模型·视频检索
【论文极速读】视频检索中的模态均衡方法传统的视频搜索系统相关性部分主要以文本匹配为基础手段,在其中引入多模态向量容易收到『模态不均衡』的问题,论文[1]尝试对其进行解决,本文进行笔记。如有谬误请见谅并联系指出,本文遵守CC 4.0 BY-SA版权协议,转载请联系作者并注明出处,谢谢。
hitrjj10 个月前
人工智能·计算机视觉·nerf·聚类算法·显著性·多模态模型·天气算法
【AI视野·今日CV 计算机视觉论文速览 第278期】Mon, 30 Oct 2023AI视野·今日CS.CV 计算机视觉论文速览 Mon, 30 Oct 2023 Totally 50 papers 👉上期速览✈更多精彩请移步主页