Openvla的原理学习

一.由预训练的VLM到VLA

Openvla是基于Prismatic-7B的预训练VLM模型进行训练的。其将动作进行离散化。将训练数据中每个维度动作范围的1%~99%区间的长度(如我dx范围为-10cm~20cm),那么将这个区间以256等分为小区间(1-256)对应了分割后的离散值。那么就可以把连续动作离散后进行训练。

二.VLM的理解

VLM是VLA的框架主干。这里用的是Prismatic-7B,如图1所示。VLM由视觉编码器(DinoV2和SigLIP组成),投影器和LLM(大预言模型)组成

各部分的作用如下:

其中视觉编码器利用了SinLIP-DinoV2的网络,空间理解能力更强,导致Prismatic-7B的VLM相较于其他VLM有更好的效果

三.Token令牌的理解

相关推荐
盐水冰10 小时前
【烘焙坊项目】后端搭建(12) - 订单状态定时处理,来单提醒和顾客催单
java·后端·学习
Hello小赵10 小时前
视频压缩编码学习(一)—— 基础知识大集合
学习
似水明俊德11 小时前
02-C#.Net-反射-学习笔记
开发语言·笔记·学习·c#·.net
adore.96812 小时前
3.18 复试学习
学习
留白_12 小时前
MySQL学习(9)——索引
学习
请你喝好果汁64113 小时前
生信学习笔记:ArchR 处理小麦单细胞 ATAC-seq 中的细胞数差异与 Embedding 报错调试
学习
jinanwuhuaguo13 小时前
OpenClaw、飞书、Claude Code、Codex:四维AI生态体系的深度解构与颗粒化对比分析
大数据·人工智能·学习·飞书·openclaw
萨文 摩尔杰13 小时前
GPS原理学习
学习·fpga开发
fengci.14 小时前
ctfshow(web入门)295-300
java·开发语言·学习
renhongxia116 小时前
多模态融合驱动下的具身学习机制研究
运维·学习·机器人·自动化·知识图谱