【NeRF和NLP】一些观察感悟,碎碎念

NeRF的paper,有几个感想:

  1. NeRF读的时候感觉和diffusion思路特别像,训练目标是一个很小很小的子步骤,大大简化了训练难度
  2. NeRF建模的是"真实"世界,其用模型隐含的存储了真实世界的体素(场)模型,而模型输出二维图片的方法本质上和模型所建模的内容无关(采用的是体素渲染的方式)。 【对比大语言模型】大语言模型也是隐藏的建模了人类知识,但是大语言的模型输出并没有和模型的内容独立开来。
  3. NeRF存储真实世界的体素信息,但真实体素信息是没办法被直接监督训练的,所以采用了真实世界的在特定输入下(某个相机视角)的输出(平面投影的多组2D图片输出)进行监督训练 【对比大语言模型】大语言模型建模的真实是什么呢?是人类的知识库。大语言模型的知识在训练过程中也没被直接监督优化,取而代之的是,通过这些知识在特定输入下(上下文语境)的输出(语言输出),进行监督训练。 【对比现代控制系统】估算系统内部状态的采用的方法就是观察其在特定输入下产生输出的关系。
  4. 【考虑到NLP的幻觉问题】NeRF是在一组图片中训练,得到这个世界的真实,这就需要保证这个训练集合是一致的。Tim他测试的在同一时间拍下了一组子弹时间照片在NeRF训练的结果特别差,输出会出现模糊、碎片和错误,这些问题产生的原因是他们并没有严格的做到拍摄时间是确切相同的,而且被拍摄对象还在高速运动。这就导致了NeRF的训练数据不是同一个"真实"【联系】这样输出的碎片感觉就是NLP领域的幻觉,大模型用于监督的输出来源过于广泛,很难保证是同一个"真实",这个"真实"随着时间变化,随着阐述者变化。【解决】NeRF最简单的解决办法是,换更好的数据集带来统一的"真实"。但是这个代价对于训练大语言模型来说就是清洗数据集,这个过于昂贵。很多解决幻觉的方法是变着法子prompt,既然是"真实"下幻觉的碎片,相同语义不同的prompt其实是在这个"真实"附近采样,如果是幻觉的碎片,那么输出将会不稳定,这也是Major Vote可以某种程度上改善幻觉的一种解释。【开始胡说八道】如果直接check训练好的NeRF模型的体素密度,我们可以轻松发现哪里的"真实"有碎片,甚至可以通过删除/调整这些碎片改善模型。这个对应到NLP又很像知识编辑。我们知道现实物体应该有怎么样的形状,这个先验可以指导我们,但是我们不知道知识的形状。阿巴阿巴阿巴
相关推荐
冷眼看人间恩怨3 分钟前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_883041084 分钟前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
AI极客菌1 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭1 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^1 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246662 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k2 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫2 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班2 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型
数据猎手小k2 小时前
AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型