本文第一作家为西湖大学科研助理蔺聪明，通信作家为阿里巴巴达摩院算法众人黄想腾和西湖大学东谈主工智能系副主任王东林。通盘作家均来自西湖大学机器智能实验室（MiLAB）和西湖机器东谈主科技有限公司，团队责任 ReconVLA 近期得到 AAAI 2026 最好论文奖。

具身智能要想真着实复杂场景中落地，离不开对长程任务（Long-horizon tasks）的领路实践。可是，现存的 VLA（视觉-说话-动作）模子大多停留在「动作师法」阶段，枯竭对物理寰宇动态变换的深入不竭，在长线操作中极易堕入因果污染；同期，传统通过径直堆叠多帧图像来引入时间维度的顺次，不仅容易引入无数静态布景冗余，更会带来厄运性的推理延长与显存溢出。

为处理上述挑战，来自西湖大学、浙江大学、西湖机器东谈主等机构的盘问团队建议了一种以理解（Motion）为中心的全新双向时空推理框架 HiF-VLA。废弃冗余的像素级输入，HiF-VLA 玄机索要低维紧凑的 Motion 向量行动动态先验，在一个调动的「承接众人」模块中，同步完成将来视觉理解的瞻望与高精度动作序列的生成。

比拟传统的时空建圭臬式，HiF-VLA 澈底摒弃了不消的视觉布景搅扰，不仅在极长的历史不雅测窗口下依然保抓了恒定、极低的推理延长，更赋予了机器东谈主竟然「边想边作念」的物理直观。在 CALVIN 与 LIBERO-LONG 等长程任务评测中，其生遵守显赫卓越现存 SOTA 顺次，为构建竟然不竭寰宇启动轨则的 WAM（寰宇动作模子）迷惑了全新旅途。

面前，该责任已被 CVPR 2026 罗致，代码已开源。

论文地址：HiF-VLA: Hindsight， Insight and Foresight through Motion Representation for Vision-Language-Action Models

01 盘问动机：

从「动作师法」到「不竭物理寰宇」

面前主流的 VLA（视觉-说话-动作）模子，实质上大多是高等的「动作师法」。它们罗致面前的图像不雅测，径直映射出对应的动作。

这种范式在短视距任务中尚可交接，但在实践长程任务时却屡屡翻车。为什么？因为模子枯竭对物理寰宇「动态变化」的不竭。它们不知谈我方刚才作念了什么，也无法预判面前动作会对环境产生怎样的影响，从而极易堕入因果污染。

要冲破这种「短视」魔咒，模子必须从单纯的「动作师法」走向「物理不竭」。这就条款咱们引入 World Action Model (WAM) 的宗旨——智能体不仅要会「作念」，还要能在脑海中「想」（推演环境的变化）。

如何赋予机器东谈主「边想边作念」的时空推明智力？最直不雅的目的是把已往帧和将来帧的图像统共塞进大模子里。但推行是骨感的：图像级别的时空建模不仅会导致算力爆炸，还会引入无数的静态布景冗余，使得过错的物理变化被湮灭。HiF-VLA 团队找到了一个高效的切入点：理解（Motion）。

02 核心有盘算：

HiF-VLA 的「三位一体」时空推理

比拟于冗余的像素，Motion 是捕捉物理寰宇动态演变最地谈、最高效、最实质的表征。以 Motion 为中心，HiF-VLA 构建了一个名为 Hindsight-Insight-Foresight (HiF) 的双向时空推理框架。

1. Hindsight（后见之明）：冲破马尔可夫假定的「记念锚点」

智能体必须领有连贯的自我缔结。HiF-VLA 将机器东谈主已往的历史帧通过视频编解码器（H.264、MPEG-4 等）索要为低维且紧凑的 Motion 动态先验。这就像给机器东谈主植入了一个记念核心，它不需要回看已往的摄像，就能精确感知到「环境刚刚阅历了怎样的理解变化」。这个历史落魄文，是后续一切推理的基石。

2. Insight（瞻念察面前）和 Foresight（预知之明）：走向 WAM 的「全知视角」

竟然的智能，既需要扎根当下，更需要预判将来。在 HiF-VLA 框架中，这两个智力被完满解耦又缜密交汇，共同组成了迈向 WAM（寰宇动作模子）的核心：

Insight（瞻念察面前）：认真深度解析面前的说话提示和及时视觉不雅测，让机器东谈主感知「我此时此刻濒临的是什么环境，需要完成什么具体标的」。

Foresight（料想将来）：基于当下的 Insight，HiF-VLA 在输挪动作的同期，会初模式瞻望将来的理解趋势。这至极于在模子里面镶嵌了一个凭空物理模拟器，世界杯官方认证平台让机器东谈主大要提前推演自己的活动后果。

3. 深度对王人：视觉与动作的协同瞻望

这是 HiF-VLA 最为核心、也最出彩的调动——历史调制的承接众人（Hindsight-modulated joint expert）。淌若说 Hindsight 和 Foresight 拉长了时间轴，那么承接众人模块则改变了模子的生成标的。HiF-VLA 合计，视觉与动作的割裂是不容模子不竭物理轨则的绊脚石，因此想象的承接众人模块毫不是简便地将视觉特征和说话提示拼接，而是实践了一个双标的协同的战略：

视觉 Motion 瞻望 + 动作序列生成：承接众人在历史信息（Hindsight）的动态调制下，被强制条款同期输出对将来视觉 Motion 的瞻望以及高精度的实践动作序列。

为什么这很遑急？这种双标的的承接对王人，阻挡模子不可只死记硬背动作，而是必须去不竭「我输出这个动作后，物理寰宇的视觉表征会发生怎样的动态变换」。

通过将「瞻望将来视觉变化（想）」与「筹谋动作序列（作念）」深度绑定，HiF-VLA 好意思满了竟然的 Think-while-acting（边想边作念）。它不再是盲目地师法众人轨迹，而是产生了竟然的「物理直观」。

03 实验死字

❓ Q1：HiF-VLA 与 SOTA 的 VLA 模子比拟较如何？

HiF-VLA 在种种化的短程和长程任务中展现出了浩瀚的智力。

团队尤其关怀 HiF-VLA 在长程任务上的进展。在 LIBERO-LONG 任务套件以及 CALVIN ABC-D 长程任务评测中，HiF-VLA 的进展显赫优于诸多 SOTA 顺次。同期，在竟然寰宇的长程任务测试中，HiF-VLA 也展现出愈加领路且优胜的任务完成性能（更多细心盘算请参阅原论文）。

❓ Q2：HiF-VLA 是否有用地缓解了传统顺次中的视觉冗余和低效问题？

❌ 传统作念法的窘境：当简便恶毒地将历史多帧图像塞给模子时，显存一忽儿爆炸。峰值 GPU 显存径直翻倍飙升至 63.6 GB（涨幅 2.06 倍），推理延长更是暴增到 229.5 ms（高达 3.15 倍）。更令东谈主窒息的是，由于引入了海量冗余的静态布景噪声，模子反而被搅扰了视野，平均生遵守（Avg. SR）不升反降。

HiF-VLA 的处理有盘算：HiF-VLA 玄机地将历史帧编码为低维、结构化的理解向量。引入 Hindsight 模块后，模子面对不异长度的历史窗口，峰值显存只是督察在 31.4 GB，相较于 Baseline 险些作念到了「零背负」（仅增多极细微的 1.02 倍支拨）。同期，推理延长（117.7 ms）也远低于传统堆叠顺次。最遑急的是，在剔除了视觉冗余后，它让模子能专注不竭物理理解，生效将平均生遵守大幅擢升。

❓ Q3：跟着时间跨度的增多，HiF-VLA 在推理时的可推广性如何？

终结指数级老本增长，冲破长序列筹划瓶颈。

从推理效果对比图不错直不雅看出，跟着历史时间跨度的增多，传统堆叠图像帧的顺次会碰到指数级的筹划延长暴涨以至显存溢出（OOM）。而 HiF-VLA 凭借索要低维紧凑的 Motion 特征，澈底冲破了长序列推理的筹划瓶颈，跟着历史不雅测窗口变长，都历久保抓领路且极低的推理延长，展现出了在处理长程动态变换时浩瀚的时间可推广性。

❓ Q4：HiF-VLA 所谓的「边想边作念」究竟是怎样的经由？

千闻不如一见：motion 瞻望与 action 实践的时空高度吻合。

从可视化死字中不错看到，HiF-VLA 在实践动作的并吞时刻，其里面承接众人模块也曾精确瞻望出了由红色箭头标记的将来视觉体育场。这有劲地讲解了模子并非在盲目背诵提示，而是竟然好意思满了「边想边作念」。它能明晰地预判自己动作将激励环境中怎样的物理动态变换，从而在复杂任务中展现出精确的「物理直观」。

04 讲求

从机械的「动作师法」进化为不竭物理轨则的「寰宇动作模子（WAM）」2026世界杯官方指定中国区认证平台，HiF-VLA 迈出了至关遑急的一步。它讲解了机器东谈主的动作不应只是对提示的盲目反应，而应当是在对已往的瞻念察与对将来的预判交汇下，当可是然的物理反馈。关于具身智能走向更复杂、更竟然的物理寰宇，HiF-VLA 无疑提供了一个极具后劲和启发性的全新范式。