这项由小米具身智能团队主导开展的辩论，以arXiv预印本时局于2026年4月20日公引诱布，编号为arXiv:2604.18486v1，辩论标的涵盖狡计机视觉与自动驾驶推理计算。有益思意思深入了解的读者不错通过该编号在arXiv平台上查阅完好意思论文。

**开车时，大脑在作念什么？**

每次你开车拐弯，你的大脑都在连忙运转：前边那辆车在减慢吗？路口的红灯快变了吗？左边那辆车会不会一刹并谈？你要综合扫数这些信息，才能决定踩油门、踩刹车，照旧打标的盘。这个想考过程看起来很当然，但关于一台自动驾驶的汽车AI来说，想作念到一样的事情，却要付出弘远的代价——时辰代价。

传统的自动驾驶AI在作念决策时，会先把脑子里的"想法"一字一板地写出来，就像一个学生考验时先在草稿纸上列出解题才略，然后再在答题纸上写谜底。这种"先想明晰从新动"的方式，学术上叫作念"链式推理"（Chain-of-Thought，简称CoT），它的平允是准确，但问题也很较着：太慢了。一辆车在高速公路上跑，如果AI每次决策都要先写几十个字的"想考过程"，那等它想好了，可能还是追向前边的车了。

恰是为了管制这个矛盾，小米具身智能团队提倡了一个名为OneVL的新框架。它的中枢想想不错用一句话空洞：**把"写草稿"的过程压缩成"脑子里一闪而过的念头"，但同期确保这个念头弥散聪敏、弥散准确。** 更神奇的是，OneVL还能在过后"翻译"出我方的推理过程，让东谈主类工程师看懂它在想什么。

---

**一、为什么"想得慢"是个要命的问题**

先来搞明晰现存方法的窘境。现时主流的自动驾驶AI，在预计下一步轨迹之前，会生成一大段笔墨推理，比如"前列左侧车谈有一辆大货车正在以较快速率蚁合，右侧有行东谈主行将进入斑马线，现时绿灯还有8秒……总而言之，应当减慢并保抓车谈"。这段推理很有深嗜，对提高驾驶准确性也如实有匡助，但生成它需要破耗格外长的时辰。

辩论团队在测试中发现，汲取完好意思笔墨推理的AI（也即是"AR CoT+Answer"这种模式），在NAVSIM这个主流自动驾驶测评平台上，每次决策平均需要6.58秒。而如果径直跳过推理、只输出谜底（"AR Answer"模式），则只需要4.49秒。两者差了快要两秒钟。在真实驾驶场景里，两秒钟不错让一辆车行驶快要60米，足以发生严重事故。

于是有东谈主预料了一个折中决策：既然显式写出推理太慢，那能不可把推理过程"藏起来"，让AI在里面偷偷想一想，不把想考过程写出来，径直输出谜底？这类方法被称为"隐式推理"或"潜在链式推理"（Latent CoT）。已有几个代表性方法，包括COCONUT、CODI和SIM-CoT，都在尝试这条路。

然则问题来了：这些隐式推理方法在自动驾驶场景下，发扬反而比什么都不想的"径直输出谜底"还要差。在NAVSIM测试中，COCONUT得了84.84分，CODI得了83.92分，SIM-CoT得了84.21分，而什么推理都不作念的径直预计得了87.47分。换句话说，这些"偷懒的想考者"不但没帮上忙，还帮了倒忙。

为什么会这么？小米团队给出了一个深化的会诊：这些方法把推理压缩成了语言的压缩，而语言自身就还是是对真实宇宙的一层抽象。用语言来描述"前列有车"，跟确凿看到一辆车比拟，丢失了太多空间和动态信息。用压缩后的语言来进行自动驾驶决策，就像是让一个从未开过车的东谈主，仅凭听别东谈主描述路况来限制标的盘——听上去没问题，但细节全丢了。

---

**二、OneVL的中枢想路：给AI配两个"会谈话的翻译官"**

OneVL的联想想路，不错用一个厨师的譬如来相识。一位顶级厨师在烹调时，并不会每次切菜都停驻来高声背诵菜谱——他的时期还是融入了肌肉系念和直观之中。但如果你问他"你刚才为什么要加这一勺盐"，他能坐窝给你一个澄莹的讲授。而况，他在烹调过程中，脑子里其实还是"看见"了这谈菜作念好之后的样式。

OneVL即是要让AI作念到一样的事情。它给AI配备了两种特殊的"代号牌"：一种叫视觉潜变量（Visual Latent Token），另一种叫语言潜变量（Language Latent Token）。这些代号牌自身不是完好意思的笔墨，更像是大脑里一闪而过的"念头编码"——相配紧凑，却包含了丰富的信息。

为了确保这些"念头编码"里简直装了有效的东西，OneVL配备了两个"翻译官"。第一个翻译官是**语言接济解码器**，它的使命是把语言潜变量里的信息解码成东谈主类能读懂的笔墨推理。第二个翻译官更故风趣，叫作念**视觉接济解码器**，它的使命是把视觉潜变量里的信息解码成改日0.5秒和1秒之后的路面画面——也即是说，AI需要"脑补"出速即要发生的场景长什么样。

这第二个翻译官，恰是扫数这个词联想的精髓地点。因为要预计出改日的画面，AI就必须确凿相识当今的路况：前边那辆车开得有多快？它会不会变谈？路面是不是在弯谈上？扫数这些动态的、空间的信息，都必须被压缩进那些"视觉念头编码"里，不然画面就根底画不出来。这就像是，惟有你确凿相识了一齐数学题的解法，你才能预计出下一步算式的落幕——没倡导靠蒙。

要害在于，这两个翻译官只在进修阶段存在，在执行起程时会被径直丢弃。AI起程后，只需要把那些经过充分进修的"念头编码"径直填入推理过程，然后一步输出驾驶轨迹。这种方式叫作念"预填推理"（Prefill Inference），扫数这个词过程的速率和什么都不想就径直给谜底的方式简直一样快，在NAVSIM测试中仅需4.46秒，与径直预计的4.49秒简直莫得区别。

---

**三、AI何如学会"想"而不说出来：三阶段进修过程**

相识了OneVL的联想想路之后，还有一个要害问题：何如把它进修出来？这就像培养那位顶级厨师——你不可第一天就让他在比赛级别的压力下完成一齐顶级菜肴，而是需要循序渐进地打磨身手。

OneVL的进修分为三个主要阶段，在正经进入这三个阶段之前，还有一个权略才略。

权略才略是让视觉接济解码器"自学看宇宙"。在这一步，这个解码器都备孤苦于扫数这个词AI系统，只靠现时帧的画面特征来预计下一帧画面。它要学会：给我看当今的路况，我来猜接下来路面会酿成什么样式。这一步用了约13040个优化才略，批量大小为256。这就像是让一个学生先反复看交通视频，培养他对谈路动态的基本直观，才能在后续进修中更好地协作扫数这个词系统。

第零阶段（Stage 0）是主模子热身。在这个阶段，中枢的视觉语言模子（基于Qwen3-VL-4B-Instruct构建）入手学习把那些"念头编码"镶嵌到推理过程中，同期完成轨迹预计任务。这一步的目的是让模子设置起基础才气：当你看到那些代号牌时，你要学着用它们来想考，而不是无视它们。这个阶段进修了2个完好意思的数据轮次，学习率为4×10??。

第一阶段（Stage 1）是两个翻译官的专门培训。在这个阶段，主模子被冻结——也即是说，中枢AI暂时罢手更新，保抓踏实状况。惟有两个接济解码器在进修：语言接济解码器学着把编码解读成笔墨，视觉接济解码器学着把编码解读成改日画面。这就像是先把厨师的时期固定下来，然后专门进修两个记载员如何把他的操作准确记载下来，而不会因为记载过程自身影响厨师的判断。这个阶段进修了1个数据轮次，学习率为1×10??。

第二阶段（Stage 2）是全面长入微调。三个部分——主模子、语言解码器、视觉解码器——同期更新，互相影响。来自两个解码器的"翻译质地"反映，会倒流回主模子，让主模子进一步优化那些"念头编码"的质地。这个阶段进修了5个数据轮次，学习率为1×10??。恰是在这一阶段，视觉接济解码器施加的"必须能看见改日"的压力，迫使主模子的视觉潜变量确凿编码进了时空动态信息。

辩论团队至极测试了"如果跳过这三个阶段，径直端到端长入进修会若何"。落幕相配惨烈：PDM评分从88.84分跌到了67.13分，下落了跳动21分。进一步查抄进修过程发现，径直长入进修会导致梯度爆炸，运转梯度范数高达378.22（而正确的三阶段进修保抓在0.28），视觉解码器生成的"改日画面"也都备是胡乱的噪声，与输入画面毫无联系。

---

**四、在四个测试景观上，OneVL的得益单是什么样的**

辩论团队在四个不同的自动驾驶测评平台上对OneVL进行了全面测试，这四个平台覆盖了从普通城市谈路到极点特殊场景的平日情况。

第一个测试平台是NAVSIM，这是一个从真实驾驶数据中索求的大鸿沟测评平台，使用PDM评分来综认为算轨迹安全性、舒截止和行驶遵守，分数越高越好。OneVL在这里拿到了88.84分，不仅跳动了之前扫数使用隐式推理的方法（COCONUT最高84.84分），还跳动了最佳的显式推理方法（88.29分），更跳动了此前文件中最强的两个参考模子：AdaThinkDrive（8B参数鸿沟，86.20分）和LaST-VLA（8B参数鸿沟，87.30分）。而OneVL只用了4B参数，却作念到了更好的得益。

第二个测试平台是ROADWork，沙巴体育app这个平台专门测试在谈路施工区域行驶的才气——到处是锥桶、临时标识、不端正车谈诀别，还有衣裳荧光背心的工东谈主。这类场景在普通测评中简直看不到，但在真实驾驶中却极为常见。使用ADE（平均位移纰缪，越低越好）和FDE（格外位移纰缪，越低越好）来计算。OneVL取得了12.49像素的ADE和28.80像素的FDE，而之前的最强专用方法YNet为22.68和80.78，差距相配权臣。

第三个测试平台是Impromptu，它收罗了八个真实驾驶数据聚合的"相配规情景"，比如谈路领域不澄莹、临时交通端正变更、奇怪的梗阻物出现等。OneVL的ADE为1.34米、FDE为3.70米，跳动了该平台原始论文中的自带模子（1.60米和4.28米），以及扫数同等鸿沟的对比方法。在更精良的时序纰缪分析中，OneVL在1秒、2秒、3秒、4秒的预计上均为最优，平均L2纰缪仅为1.01米。

第四个测试平台是APR1，它引入了一种叫作念"因果链负责"（Chain of Causation）的推理标注，条目AI不仅仅预计轨迹，还要相识决策背后的因果逻辑。OneVL在这里取得了2.62米的ADE，优于对比基准Cosmos-Reason（2.86米，参数目10B，还使用了特别的强化学习进修）。在FDE方针上，OneVL为7.53米，略逊于Cosmos-Reason的7.42米，这个细小差距辩论团队讲授是因为Cosmos-Reason特别使用了强化学习来优化，属于不同量级的参加。

---

**五、AI的"脑补画面"长什么样，推理笔墨又质地如何**

OneVL的一个至极之处在于，它能在推理落幕后让两个接济解码器输出不错被东谈主类相识的内容，从而完好意思可讲授性。

在视觉层面，辩论团队展示了多个测试场景下，视觉接济解码器生成的"改日画面"。以NAVSIM的一个弯谈场景为例，现时画面败露车谈右侧相近不可行驶区域，需要向左微调标的。视觉解码器在0.5秒和1秒青年景的画面，诚恳地呈现了车辆向左偏移后路面应有的视角变化，谈路两侧的建筑物和树木位置联系也恰当物理国法，评释AI如实"看见了"行将发生的事情，而不是在胡乱生成。

比拟之下，在莫得进行三阶段进修的对照组中，疏导输入的改日帧预计都备是与场景绝不筹办的图像噪声，评释模子莫得确凿学会动态场景建模，而是走了捷径，记着了某些常见画面的名义特征。

在语言层面，辩论团队对NAVSIM测试集的500个样本进行了笔墨推理质地的量化评估，联想了三个方针。第一个是"元步履准确率"：每段推理终末会得出一个高层决策，如"保抓速率并守护车谈"，这个决策的预计准确率越高越好。第二个是"语义相似度评分"（STS Score），用一个专门用来判断两段话是否风趣相近的AI模子来打分。第三个是"AI裁判评分"（LLM-as-Judge Score），让谷歌的Gemini模子上演裁判，凭证场景图像、门径谜底推理笔墨和模子输出推理笔墨，从感知准确性、动态预计、决策合感性、语言畅通性四个维度打分。

在这三项评估中，OneVL的语言接济解码器在元步履准确率上达到了71.00，跳动SIM-CoT的67.20；在语义相似度上达到78.26，在AI裁判评分上达到79.13，均高于SIM-CoT的76.25和78.73。比拟之下，完好意思显式推理的方法（AR CoT+Answer）仍然保抓最高，三项分别为73.20、79.75和81.86，但这是以慢得多的速率为代价的。

---

**六、视觉监督为什么比语言监督更进击：一个故风趣的发现**

消融实验（也即是"次第去掉某个零件，看性能如何变化"的测试）揭示了一个很故风趣的国法。

去掉视觉接济解码器后，PDM评分从88.84跌到87.97，下落了0.87分。去掉语言接济解码器后，PDM评分从88.84跌到88.53，下落了0.31分。两者都有孝顺，但视觉监督的孝顺快如果语言监督的三倍。

原因在于，自动驾驶实质上是一个空间预计任务，而不是一个语言理免除务。"前列有车"这句话和确凿"看到"前列的车，关于计算轨迹来说，提供的信息密度都备不在一个量级上。视觉解码器条目AI预计出改日场景的像素级发扬，这意味着潜变量必须编码车辆的位置、速率、标的，谈路的几何时局，以及它们随时辰的变化联系——任何信息的缺失都会导致"画面不合"的径直反映。语言推理则更多是提供语义层面的锚点，让模子知谈我方在干什么，但无法替代空间动态信息。

这个发现对扫数这个词隐式推理领域的真义在于，当你试图把一个需要多模态相识的任务压缩到一个紧凑的暗意空间里，阿谁压缩方针自身的质地决定了最终性能的上限。语言仅仅宇宙的影子，视觉宇宙模子才是更接近因果实质的压缩方针。

---

**七、面向真实部署：用极小的代价换极快的速率**

辩论团队还探索了一个更激进的部署决策：在扫数这个词系统上特别挂载一个轻量级的MLP（多层感知机）预计头，径直从终末一个潜变量的隐敝状况记忆出轨迹坐标，都备绕过自记忆笔墨生成。

这个决策的延长惟有0.24秒，折合成频率约为4.16Hz，达到了车载及时系统的基本条目。代价是PDM评分从88.84降到了86.83，下落了约2分。但这个86.83分的得益，仍然跳动了LaST-VLA的87.30分？不，等一下——86.83如实低于LaST-VLA的87.30，但LaST-VLA是一个8B参数的模子，使用的是完好意思自记忆推理，延永久高于0.24秒。在执行部署中，一个以4Hz抓续踏实决策的轻量模子，接续比一个偶尔给出高质地谜底但延长不可接管的重型模子更有实用价值。

这也意味着OneVL执行上提供了两种部署选项：一种是保留自记忆轨迹生成、得到最高精度的完好意思模式（4.46秒，88.84分）；另一种是接上MLP预计头、扬弃约2分精度换取18倍速率提高的超轻量模式（0.24秒，86.83分）。工程师不错凭证执行车辆的狡计资源和任务条目纯真选择。

---

**八、四个测试平台用到的数据和标注是何如来的**

OneVL在进修时需要三类监督信号：轨迹标注（来自各数据集自身）、笔墨推理标注（需要特别构建）和改日帧视觉标注（通过IBQ视觉分词器离线生成）。

笔墨推理标注的构建方式因数据集而异。在NAVSIM上，辩论团队径直复用了AdaThinkDrive发布的CoT标注，这些标注覆盖了车谈识别、要害对象分析（如车辆、行东谈主）和高层驾驶意图的描述。在ROADWork上，团队使用里面引诱的活水线，专门针对施工区域场景进行了标注，要点包括危机物识别（锥桶、护栏、临时标识）、非门径车谈解读和速率/侧向撤消决策的情理。在Impromptu上，基于原数据集已有的问答对，添加了明确的决策标签和根因分析。在APR1上，由于官方未发布CoT标注，辩论团队使用公开的APR1-10B模子查抄点，对全部进修数据生成了因果链标注，同期对密集的64点轨迹进行了启发式降采样，保留8个要害点以适配自记忆生成样式。

视觉标注则更为自动化：使用Emu3.5的IBQ分词器，将每个进修样本的改日两帧图像（+0.5s和+1.0s）离线编码为禁绝视觉词汇序列，码本大小为131072。这个过程都备不需要特别的推理时辰，事前狡计结束后径直当作进修标签使用。

---

归根结底，OneVL管制的问题不错用一句大口语来评释晰：它让自动驾驶AI第一次完好意思了"想考的速率和不想考一样快，但恶果比想考更好"。以往的决策要么快但不准，要么准但太慢，要么试图把想考压缩得很小但反而更差。OneVL用"必须能画出改日"这个硬抑制，将就压缩出来的"念头"里装满了确凿有效的时空动态信息，然后在推理时径直用这些念头，两个翻译官静偷偷地散失，扫数这个词决策过程快得像闪念。

这项辩论对普通东谈主的生计意味着，咱们离那辆确凿能安全、畅通、及时交代复杂路况的自动驾驶汽车，又近了一步。而况这一步并不是靠堆砌更多的狡计资源完好意思的，而是靠一个更聪敏的联想想路。

有益思意思深入了解技术细节的读者，不错通过arXiv编号2604.18486在arXiv.org上查阅完好意思论文，扫数实验代码和演示页面也可通过论文中提供的姿色主页获取。

---

Q&A

Q1：OneVL的推理速率为什么能和"不推理"一样快？

A：OneVL在推理时，会把经过进修的"潜变量代号牌"径直填入输入请示词中（也即是预填方式），这些代号牌在预处理阶段被一次性并行处理，不需要像生成笔墨那样逐字逐句恭候。是以扫数这个词过程对延长简直莫得特别影响，测试败露与都备不推理的径直预计方法进出不跳动0.03秒。

Q2：OneVL的视觉接济解码器生成的改日画面，是确凿的视频预计吗？

A：不都备是传统真义上的视频预计。视觉接济解码器预计的是改日0.5秒和1秒时的场景画面，这些画面以禁绝视觉词汇序列的时局暗意，通过IBQ分词器编码。它的主要目的不是生成视频供东谈主不雅看，而是当作进修阶段的监督信号，将就视觉潜变量编码弥散丰富的时空动态信息。推理时解码器会被丢弃，生成视觉讲授是一个可选的"过后讲授"功能。

Q3：OneVL和普通自动驾驶AI比拟，最实质的区别是什么？

A：最实质的区别在于OneVL引入了"宇宙模子监督"。普通隐式推理AI试图压缩语言描述，而语言是对宇宙的二次抽象，丢失了大批空间动态信息。OneVL通过条目AI约略预计出改日的视觉画面，逼迫其压缩出的"念头"确凿相识物理宇宙的因果动态沙巴体育app官网下载，而不仅仅记着语言描述的名义国法。这是性能提高的根原源流。

金沙JinSha(中国)娱乐网入口