一、背景 

視覺-語言-動(dòng)作（VLA）模型正成為機(jī)器人智能化的核心架構(gòu)，但現(xiàn)有主流方法（如OpenVLA、π0、CogACT）存在一個(gè)根本性缺陷：用同一個(gè)動(dòng)作模型統(tǒng)一處理所有類型的動(dòng)作。這種「一刀切」的設(shè)計(jì)在面對機(jī)器人操控任務(wù)時(shí)暴露出兩大內(nèi)在矛盾。

從任務(wù)特性來看，機(jī)器人操控存在兩種本質(zhì)不同的動(dòng)作類型：手臂大幅度運(yùn)動(dòng)（粗動(dòng)作）需要全局場景理解、路徑約束寬松；夾爪精細(xì)操作（精細(xì)動(dòng)作）需要局部精細(xì)聚焦、精確抓取姿態(tài)、容錯(cuò)率極低。這兩種動(dòng)作在路徑約束、視覺注意力和數(shù)據(jù)分布上有本質(zhì)差異，用同一個(gè)模型兼顧「粗定位」與「精細(xì)操作」必然產(chǎn)生沖突。

此外，傳統(tǒng)方法缺乏對動(dòng)作類型的主動(dòng)感知與路由機(jī)制，無法根據(jù)當(dāng)前操控階段動(dòng)態(tài)分配合適的推理資源，導(dǎo)致在長時(shí)程復(fù)雜任務(wù)中錯(cuò)誤率隨步驟增加而快速累積。DAM-VLA（Dynamic Action Model-Based Vision-Language-Action）首次將手臂運(yùn)動(dòng)與夾爪操作解耦建模，配合雙尺度加權(quán)機(jī)制實(shí)現(xiàn)了精準(zhǔn)高效的機(jī)器人操控。

 二、核心方法 

DAM-VLA 的核心架構(gòu)包含三大組件，各司其職，協(xié)同實(shí)現(xiàn)手臂-夾爪的精準(zhǔn)解耦。

模塊一：雙通道視覺編碼與VLM骨架

同時(shí)采用DINOv2和SigLIP兩種視覺編碼器，輸出三類特征：普通視覺token用于多模態(tài)融合；DINOv2的class token（全局視覺表征）專門服務(wù)手臂運(yùn)動(dòng)模型；DINOv2的register token（局部視覺表征）專門服務(wù)夾爪操作模型。LLaMA-2的淺層輸出用于動(dòng)作路由決策，深層輸出用于動(dòng)作預(yù)測。這一設(shè)計(jì)使「全局感知」與「局部精細(xì)」的視覺信息分別流向?qū)?yīng)的動(dòng)作模型。

模塊二：VLM驅(qū)動(dòng)的動(dòng)作路由機(jī)制

利用VLM的推理能力判斷當(dāng)前處于哪種操控階段，通過可學(xué)習(xí)路由權(quán)重w動(dòng)態(tài)選擇激活手臂運(yùn)動(dòng)模型（w<0.5）或夾爪操作模型（w≥0.5）。兩個(gè)專用DiT擴(kuò)散模型并行訓(xùn)練：手臂運(yùn)動(dòng)模型接收全局視覺特征，預(yù)測大范圍粗動(dòng)作；夾爪操作模型接收局部視覺特征，精細(xì)預(yù)測夾爪動(dòng)作。動(dòng)作路由實(shí)現(xiàn)了「該全局時(shí)全局，該精細(xì)時(shí)精細(xì)」的智能切換。

模塊三：雙尺度動(dòng)作加權(quán)機(jī)制

軌跡級(jí)權(quán)重采用非對稱高斯分布（前沿σ=6寬、后沿σ=2窄），在夾爪狀態(tài)轉(zhuǎn)換點(diǎn)前后施加差異化權(quán)重，反映「操控前需要更充分準(zhǔn)備」的人類直覺；Action-chunk級(jí)權(quán)重采用指數(shù)衰減（γ=0.8），確保近期動(dòng)作預(yù)測權(quán)重更大。兩層加權(quán)機(jī)制聯(lián)合作用，顯著提升了操控的時(shí)序一致性。

 三、亮點(diǎn)總結(jié) 

創(chuàng)新點(diǎn)一：真實(shí)機(jī)器人操控平均成功率86.8%

在Franka機(jī)器人的pick-and-place任務(wù)（80次試驗(yàn)）中，DAM-VLA平均成功率達(dá)86.8%，遠(yuǎn)超CogACT的62.9%（提升23.9個(gè)百分點(diǎn)）。分布內(nèi)任務(wù)成功率91.4%（vs CogACT 65.7%），分布外泛化成功率82.2%（vs CogACT 60.0%），在仿真和真實(shí)環(huán)境中全面刷新SOTA。

創(chuàng)新點(diǎn)二：長時(shí)程任務(wù)最終成功率56%，超越所有基線

在FurnitureBench One-Leg組裝任務(wù)（連續(xù)5步操控）中，DAM-VLA最終成功率56%，遠(yuǎn)超CogACT的42%和OpenVLA的29%。消融實(shí)驗(yàn)顯示，雙尺度加權(quán)機(jī)制是核心貢獻(xiàn)，去掉后性能大幅下降，證明其對長時(shí)程動(dòng)作連貫性的不可替代性。

創(chuàng)新點(diǎn)三：DINOv2 class/register token分工的關(guān)鍵發(fā)現(xiàn)

研究首次系統(tǒng)驗(yàn)證了DINOv2的class token與register token具有天然的全局-局部信息分工——前者包含場景級(jí)全局語義，后者包含精細(xì)局部幾何信息。將兩類token分別路由給粗動(dòng)作和精細(xì)動(dòng)作模型，無需額外的特征對齊訓(xùn)練，即可讓模型的「視覺感知」與「操控階段」高度匹配，為未來VLA模型的視覺編碼設(shè)計(jì)提供了重要的實(shí)證依據(jù)。

──────────────────────────────────────────

上述內(nèi)容包含AI輔助生成，更詳細(xì)信息參見兩個(gè)鏈接

論文鏈接：https://arxiv.org/abs/2603.00926

解讀來源：https://research.samsung.com/blog/DAM-VLA-A-Dynamic-Action-Model-Based-Vision-Language-Action-Framework-for-Robot-Manipulation

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。