把盤子垂直插入碗架的窄槽、將花莖穩(wěn)穩(wěn)放入花瓶——這些對(duì)人類來說近乎本能的高精度操作，卻是機(jī)器人至今難以跨越的門檻。北京大學(xué)董豪團(tuán)隊(duì)在ICRA 2026上提出的Imagine2Act框架，讓機(jī)器人先“想象”出任務(wù)完成時(shí)的理想狀態(tài)，再據(jù)此規(guī)劃動(dòng)作，在多項(xiàng)精細(xì)操作任務(wù)上取得了顯著突破。

一、背景：高精度操作的兩大瓶頸

家庭服務(wù)機(jī)器人要真正幫人類干活，光會(huì)“抓取-放置”遠(yuǎn)遠(yuǎn)不夠。面對(duì)“把筆插進(jìn)筆筒”“將碗放入碗架”這類關(guān)系性重排任務(wù)，機(jī)器人既要理解物體間的語義關(guān)系，更要滿足嚴(yán)格的幾何約束——偏差幾毫米就可能導(dǎo)致任務(wù)失敗。

當(dāng)前主流方法存在兩大瓶頸：一是傳統(tǒng)3D模仿學(xué)習(xí)缺乏對(duì)物體間幾何關(guān)系的顯式推理，在高精度對(duì)齊任務(wù)上表現(xiàn)不穩(wěn)；二是利用生成模型的方法往往直接將生成的物體變換當(dāng)作動(dòng)作執(zhí)行，生成噪聲會(huì)在執(zhí)行過程中不斷累積，導(dǎo)致誤差放大。

二、核心方法：想象引導(dǎo)執(zhí)行，雙重對(duì)齊保精度

Imagine2Act的核心思路是讓機(jī)器人在動(dòng)手前先“想象”任務(wù)完成時(shí)的場(chǎng)景，再將這個(gè)想象目標(biāo)作為幾何先驗(yàn)來引導(dǎo)動(dòng)作學(xué)習(xí)。整個(gè)框架包含兩大模塊：

1. 語義幾何約束生成模塊：給定當(dāng)前觀測(cè)和語言指令，系統(tǒng)先用圖像編輯模型生成一幅“任務(wù)已完成”的場(chǎng)景圖像，再通過分割和3D重建提取前景物體的點(diǎn)云，最后將前景點(diǎn)云與背景點(diǎn)云對(duì)齊拼接，得到一幅與真實(shí)場(chǎng)景幾何一致的“想象目標(biāo)點(diǎn)云”。這一步相當(dāng)于給機(jī)器人一張“正確答案”的草圖。

2. 物體-動(dòng)作一致性學(xué)習(xí)模塊：從想象目標(biāo)中計(jì)算出可移動(dòng)物體從初始姿態(tài)到目標(biāo)姿態(tài)所需的剛體變換，將其編碼為“變換Token”輸入動(dòng)作生成網(wǎng)絡(luò)。同時(shí)設(shè)計(jì)了一個(gè)軟姿態(tài)一致性損失函數(shù)：僅在機(jī)器人手部運(yùn)動(dòng)與物體理想變換之間的偏差超過容忍閾值時(shí)才施加懲罰。這種雙重對(duì)齊機(jī)制既利用了物體運(yùn)動(dòng)的強(qiáng)信號(hào)，又容忍了生成模型帶來的小誤差。

上圖為 Imagine2Act 兩大核心模塊的詳細(xì)執(zhí)行流程圖。

三、亮點(diǎn)總結(jié)：三個(gè)創(chuàng)新點(diǎn)值得關(guān)注

創(chuàng)新點(diǎn)一：“先想象、再動(dòng)手”的新范式。不同于傳統(tǒng)方法直接從觀測(cè)映射到動(dòng)作，Imagine2Act通過生成模型顯式構(gòu)造出符合語義和幾何約束的“心理圖像”，讓機(jī)器人像人類一樣在腦中預(yù)演任務(wù)完成狀態(tài)，從而大幅提升動(dòng)作規(guī)劃的準(zhǔn)確性。

創(chuàng)新點(diǎn)二：物體-動(dòng)作一致性建模。首次將物體的剛體變換與末端執(zhí)行器軌跡進(jìn)行顯式關(guān)聯(lián)，通過變換Token和軟損失函數(shù)建立起內(nèi)在的幾何約束，使得策略在未見過的物體姿態(tài)或場(chǎng)景布局下仍能保持高精度操作能力。

創(chuàng)新點(diǎn)三：對(duì)生成噪聲的魯棒設(shè)計(jì)。軟姿態(tài)一致性損失避免了硬約束帶來的訓(xùn)練不穩(wěn)定，使得系統(tǒng)即便在使用不完美的生成模型時(shí)也能有效工作，更貼近真實(shí)應(yīng)用場(chǎng)景。

實(shí)驗(yàn)證明，在RLBench仿真環(huán)境的7個(gè)高難度任務(wù)上，Imagine2Act平均成功率達(dá)0.79，顯著優(yōu)于基線模型；在真實(shí)Franka機(jī)器人上的6個(gè)日常操作任務(wù)中，平均成功率也達(dá)到0.68，遠(yuǎn)超對(duì)比方法的0.43。這一工作為提升機(jī)器人的精細(xì)操作能力提供了全新思路。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

上述內(nèi)容包含AI輔助生成，更詳細(xì)信息參見兩個(gè)鏈接

論文鏈接：https://arxiv.org/abs/2509.17125

論文解讀：https://mp.weixin.qq.com/s/IudCZqnBIPFIXtqGwk6Q2Q

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。