视觉语言动作模型的精度不够，第一反应是把相机分辨率提上去。开源模型 OpenVLA 做过这组对照：224 像素和 384 像素在多项任务上的成功率没有差别，而后者训练时间要三倍。边长只乘 1.7，视觉 token 数乘 2.85，自注意力的计算量乘 8.1，多出来的算力全花在背景像素上。

边长乘一点七，像素乘二点九

224 和 384 这两个数字经常被当成“清晰度”来比较，实际差的是面积。224 的平方是 50176 个像素，384 的平方是 147456 个，比值 2.94。

视觉编码器不按像素算，按 patch 算。ViT 把图像切成 14 像素见方的块，每块压成一个 token。切块数是

N = (H / p)²

H 是输入边长，p 是 patch 边长。224 除以 14 得 16，16 的平方是 256 个 token。384 除以 14 得 27.4，向下取整 27，27 的平方是 729 个 token。

单路编码器从 256 涨到 729，比值 2.85。OpenVLA 用了两路编码器，DINOv2 取空间细节，SigLIP 取语义特征，两路拼起来送进语言模型。两路的 token 数一起涨，总数从 512 涨到 1458。

注意力按平方，编码器按线性

token 数只是线性涨，麻烦出在后面的注意力上。Transformer 的自注意力要算 Q 乘 K 的转置，再乘 V，两次矩阵乘法的计算量都正比于 token 数的平方：

注意力计算量 ≈ 4 × N² × d

d 是隐藏维度。token 从 512 涨到 1458，N² 这一项涨 8.1 倍。也就是说，输入边长只提了 71%，注意力这一层的计算量涨了八倍。

在 7B 参数的主干里，注意力的绝对占比不算最高，前馈层和词表投影也很重。但延时的增量主要从这一层来，因为它对序列长度最敏感，而前馈层对序列长度是线性的。

图 1 视觉 token 数与注意力计算量随输入边长的走向（依据原文第 3.1 节与第 3.5 节绘制）

同样的 token 增量，落在编码器和落在语言模型上，代价不一样。

ViT 编码器每层的计算量正比于 token 数乘隐藏维度的平方，对 token 数是一次的。token 从 256 涨到 729，编码器这一层的计算量就按 2.85 倍走。

语言模型那一段不是。自注意力里的 N² 项随序列长度平方涨，而这段序列本来就长，视觉 token 只是其中一部分，指令文本和动作 token 也在里面。序列从 512 涨到 1458，平方项涨 8.1 倍。

所以分辨率提上去之后，账不是均匀分摊的。编码器多花 2.85 倍，语言模型的主干要多花八倍。想把代价压下来，动的应该是后者，比如把视觉 token 在进语言模型之前先做一轮压缩，而不是把输入边长往回退。

论文的对照实验没跑出差别

这套推算如果只停在纸面上，还可以争一句“算力换精度值不值”。OpenVLA 的作者直接把两组模型都训了一遍。

结论写在论文的训练细节里：224 乘 224 和 384 乘 384 两种输入，在评测中没有表现出性能差异，而 384 那一组的训练时间是三倍。作者据此选定 224 作为默认输入。

这个结果比任何理论推导都硬。三倍训练时间意味着三倍的 A100 机时，这套模型在 64 张 A100 上训了 14 天，合计 21500 A100 小时，数据集是 97 万条真实机器人演示。把输入改到 384，这些数字全部乘三，换回来的是零。

顺带说一句，模型参数量 7B，用 bfloat16 加载要 15 GB 显存，在单张 RTX 4090 上的推理速度约 6 Hz。这个速度是后面所有讨论的前提。

分辨率买到的是什么

要理解为什么没差别，得看机器人任务里信息分布在哪。

抓取任务的关键信息在夹爪与物体的接触点上。这个区域在一帧 224 像素的画面里通常只占几十个像素见方，提到 384 之后变成一百多个像素见方。多出来的分辨率确实让接触点更清楚，但模型判断失败的原因往往不是看不清边缘，而是接触力、摩擦、物体材质这些视觉里根本没有的量。

背景像素反而被一起放大了。桌面纹理、光照变化、无关物体，这些内容在 384 下占用的 token 更多，对注意力的干扰也更重。有用信息增加的比例，低于无用信息增加的比例。

论文还有一个细节能侧面印证：模型的输出是 7 维动作，每一维离散成 256 个区间。动作精度的上限由这 256 个区间决定，与输入分辨率无关。视觉再清楚，动作也只能落到 256 分之一的位置上。

数据侧的成本同样按面积走。97 万条演示的原始视频要按目标分辨率解码再送进网络，分辨率翻一倍多，解码和传输的字节数也接近翻三倍。训练时的数据加载常常先成为瓶颈，GPU 在等数据，算力利用率上不去。这也解释了为什么 384 那一组实测下来慢三倍，而不是慢八倍，瓶颈被数据侧摊平了一部分。

6 Hz 的余量经不起这么花

6 Hz 意味着一次完整推理 167 毫秒。这个频率在抓取任务里勉强够用，在需要跟随外部扰动的任务里已经偏慢。

把分辨率提到 384，注意力涨 8.1 倍，整条链路的延时不会等比例涨，因为编码器部分、词表投影、采样都有固定开销。但哪怕只有一半的增量落到注意力上，167 毫秒也会变成三百毫秒以上，控制频率掉到 3 Hz 附近。

这里有一个容易被忽略的耦合。动作块的长度是按推理频率定的，推理慢一半，两次推理之间的盲区就长一倍。分辨率提上去换来的那点视觉细节，被更长的盲区吃掉了。

显存也不是没有代价。15 GB 里绝大部分是 7B 权重的 bf16 副本，视觉 token 的 KV 缓存只占很小一块。序列涨到 1458 之后，这一块跟着涨，加上中间激活，整机显存会往上抬一截。在 24 GB 的消费级卡上还装得下，装到边缘盒子里的那种 16 GB 方案就直接爆了。

图 2 一条 VLA 推理链上 token 在哪一段被放大（依据原文第 3.1 节与第 3.5 节绘制）

该省的从来不是分辨率

正确的做法是把 token 花在有用的地方，而不是把整幅图放大。

第一条路是裁感兴趣区域。既然接触点只占画面一小块，就把相机对准它，或者用上一帧的动作预测一个裁剪框，只把这一块送进编码器。同样的 token 预算，接触点的有效分辨率能提三四倍，而不是全图的 1.7 倍。

第二条路是做 token 合并。相邻的、特征接近的 patch 合成一个，背景区域大幅压缩，物体区域保留。这类方法不改模型结构，只在编码器和投影之间加一层。

第三条路是把视觉频率和动作频率分开。视觉编码器跑 6 Hz，动作头用插值或轻量策略跑到 50 Hz，中间靠动作块衔接。这也是目前主流 VLA 的架构选择。

三条路的共同点是，都不去动输入边长。分辨率是一个看起来很直观、实际上性价比最差的旋钮。

还有一条对照值得记住。这个 7B 模型的成功率比 55B 的 RT-2-X 高 16.5 个百分点，参数量只有对方的八分之一。拉开差距的是数据多样性和视觉特征的融合方式，不是输入像素数。把这条和前面的分辨率对照放在一起，结论很清楚：这条链路上真正值钱的是数据和对齐，不是像素。

一句话，视觉分辨率买到的是 token 的平方，买不到机器人的精度。

内容来源：arXiv 预印本（开放获取）

原文标题：OpenVLA: An Open-Source Vision-Language-Action Model

作者：Moo Jin Kim，Karl Pertsch，Siddharth Karamcheti 等

arXiv 编号：2406.09246

配图说明：两张图均为自行绘制，为原理示意，非原文原图复制。

改动声明：本文为对开放获取文献的技术编译与解读，标题、行文与配图为原创。

来源：21ic电子网

欲知详情，请下载word文档 下载文档

来源：21ic电子网

版权声明：此文章属于原创，版权属于21ic原作者所有，禁止转载。

本站声明： 本文章由作者或相关机构授权发布，目的在于传递更多信息，并不代表本站赞同其观点，本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者，如若文章内容侵犯您的权益，请及时联系本站删除（ 邮箱：macysun@21ic.com ）。

[美通社全球TMT]

2026-09-15 14:41:08

CTI华测检测杭州可靠性实验室扩容启用，打造区域验证新高地

深圳2026年9月14日 /美通社/ -- 2026年9月10日，华测检测认证集团股份有限公司（简称CTI华测检测，股票代码：300012）在杭州市滨江区新址隆重举行了华测检测杭州可靠性测试及分析实验室乔迁暨扩容升级启用...

[SST 固态变压器]

2026-09-15 14:38:55

AI 工厂的供电底座：为什么行业要把配电电压推到 800 VDC

AI 基础设施正在进入一个新的功率阶段。模型能力提升、推理需求增长，加速器被部署得越来越密、耦合越来越紧，结果是单机架的功率需求持续抬高。

2026-09-15 14:37:56

AI 喊"慢一点"，芯片一夜蒸发 5000 亿美元：这场杀跌杀错了对象

9 月 14 日，周一。一句话，全球半导体和 AI 算力硬件产业链的市值蒸发了 5000 多亿美元。

2026-09-15 09:31:07

特朗普电话连线黄仁勋：AI危险论是“骗局”，美国不能放缓脚步

据报道，英伟达CEO黄仁勋在洛杉矶举行的All-In峰会上参加一场小组讨论时，现场接听了美国总统特朗普打来的电话。通话中，特朗普将AI危险论斥为“骗局”，批评放缓AI发展速度的呼吁出于政治动机。

2026-09-15 09:31:05

OpenAI今年不上市，软银孙正义伤不起

当地时间9月13日，OpenAI首席执行官山姆·奥特曼在接受《财富》专访时明确表态：尽管公司已于6月秘密提交上市申请，但今年不会上市，转而优先处理AI安全相关担忧。这一表态对软银而言无异于“晴天霹雳”。

2026-09-14 17:22:18

Vishay推出不受磁场干扰的高性能位置传感器

单圈器件采用紧凑轻量化设计，分辨率高达16位，重复定位精度 ≥ 14位，最高转速可达 10 000 rpm

2026-09-14 17:22:16

Arm Create 精华回顾：开发者构建与部署 AI 的五大关键启示

在上海和深圳举行的两场 Arm Create 活动中，开发者深入探讨了从基础设施、模型选择、部署、优化和验证等各个环节的关键决策，共同寻找将 AI 模型转化为现实软件应用的最佳路径。

[TrendForce集邦咨询]

2026-09-14 17:22:15

TrendForce集邦咨询：2H26 NOR Flash价格走势分化，高容量产品涨幅预估达90-110%

Sept. 14, 2026 ---- 根据TrendForce集邦咨询最新存储器产业研究，NOR Flash市场正经历近十年来最重要的供需结构转变；在AI占据多数产能的情况下，叠加高端应用需求升级，供应商NOR Fla...

[电路设计项目集锦]

2026-09-14 08:53:28

基于WizFi360构建AI运行状态指示器

最近我接触到了不少类似的产品，有些是交通信号灯造型，有些则采用极简圆盘设计。这些产品本质上都是为了帮助开发者解放视线，避免需要盯着终端等待AI完成任务。而我自己早在很久以前就开始着手开发这类产品——一款专为Claude...

[电路设计项目集锦]

2026-09-14 08:53:18

基于Arduino Uno的盲文教学设备

视障儿童在学习盲文时，无论在学校还是家中都会面临严重的身体、技术以及教学方面的困难。本项目原型是一种无需教师即可让孩子随时随地自主学习盲文的设备。它可教授盲文字母，并对儿童进行自我测试。该设备通过双向语音通信实现上述两项...

Arduino Uno

[美通社全球TMT]

2026-09-14 08:52:47

广和通战略投资烨知心，深化端侧AI生态布局

深圳2026年9月11日 /美通社/ -- 近日，广和通完成对烨知心科技（Yeats AI）的战略投资。目前，烨知心已获得蚂蚁集团、中科创星、深创投、TCL创投、和利资本、九...

[美通社全球TMT]

2026-09-14 08:52:43

BRAHMA AI 荣获 2026 年技术与工程艾美奖（Technology & Engineering Emmy®）

BRAHMA AI 高保真 AI 内容平台的基础技术获艾美奖（Emmy Award）认可 伦敦2026年9月11日 /美通社/ -- BRAHMA AI 凭借基于 AI 的...

ENGINEERING

TECHNOLOGY

[美通社全球TMT]

2026-09-14 08:52:37

Iyuno 的战略思路：以上下文为核心，构建多智能体 AI

整个行业正逐步转向专业化 AI 智能体。Iyuno 将这一思路用于解决媒体行业最棘手的难题之一：让 AI 在跨场景、跨集、跨季处理内容时，依然保持连贯可靠的记忆。 加州伯班...

[美通社全球TMT]

2026-09-14 08:52:32

Analog Devices拟收购Alif Semiconductor，引入AI原生处理平台，推动面向下一代现实世界系统的物理智能发展

加速ADI "物理智能"落地，使系统能够在物理环境的约束下，实时完成本地感知、推理与执行 引入Alif的AI原生融合处理器，为客户提供一个可扩展平台，通过将新一代数字技术与ADI先进的模拟产...

SEMICONDUCTOR

[美通社全球TMT]

2026-09-14 08:52:27

上海外服斩获"2026人力资源供应商价值大奖"六项大奖

上海2026年9月11日 /美通社/ -- 在2026年9月8日至9日举办的"ALL IN 2026人力资源服务展-上海站"上，上海外服再创佳绩，一举斩获"2026人力资源供应商价值大奖&q...

2026-09-13 09:58:08

艾睿电子上线恩智浦Ara240边缘AI加速器，加速边缘AI应用开发

借助该平台，工程师无需购置硬件即可提前体验和评估先进人工智能模型与技术，包括计算机视觉、生成式AI及多模态系统，从而验证性能表现，并加速产品设计与开发进程。

2026-09-11 18:33:34

2026 英飞凌消费、计算与通讯创新大会在深圳举行以半导体创新赋能 AI 新时代

【2026年9月11日, 中国深圳讯】9月8日，“2026英飞凌消费、计算与通讯创新大会”（ICIC 2026）在深圳举行。大会汇聚近1,000位产业链上下游客户、生态合作伙伴与英飞凌人，围绕Powering AI、Ph...

2026-09-11 17:12:22

Amazon Quick桌面应用现已正式可用，iOS与Android端推出全新动态信息流

亚马逊企业级AI助手正式上线桌面与移动端——打通应用数据，Agent跨设备接管任务，时刻保持工作状态

[TrendForce集邦咨询]

2026-09-11 17:12:16

TrendForce集邦咨询：2Q26全球前十大IC设计厂营收年增73%，AI需求持续强劲

Sept. 11, 2026 ---- 根据TrendForce集邦咨询最新IC设计产业研究，随着AI相关应用扩张，GPU、CPU、ASIC、互连产品等需求攀升，带动2026年第二季全球前十大无晶圆厂IC设计厂商合计营收...

2026-09-11 16:53:44

安富利携创新解决方案亮相CIOE中国光博会，推动AI与光电融合

2026年9月9日，中国深圳讯 —— AI浪潮驱动光电变革，全产业链加速技术迭代!作为洞察全球光电技术全产业链演进趋势的重要窗口，第二十七届中国国际光电博览会(简称CIOE中国光博会)于9月9日至11日在深圳隆重举办。全...

来源：21ic电子网　原文链接