一、研究背景  

大型視覺語言模型（VLM）雖然在2D圖像理解和語言推理上表現(xiàn)優(yōu)異，但在3D空間推理能力上存在明顯短板——它們往往難以準(zhǔn)確理解物體的相對位置關(guān)系、深度信息及3D幾何結(jié)構(gòu)，直接制約了其在機(jī)器人、自動駕駛等具身智能場景中的應(yīng)用。

現(xiàn)有多模態(tài)融合方法主要存在兩大問題：一是淺層融合（Early Fusion）僅在模型輸入或早期階段融合視覺與語言，難以在高層建立細(xì)粒度的幾何-語義關(guān)聯(lián)；二是后期融合（Late Fusion）各模態(tài)獨(dú)立編碼，僅在輸出層匯合，無法實現(xiàn)各層級的幾何約束傳導(dǎo)。這兩種范式都難以捕獲精細(xì)3D幾何結(jié)構(gòu)與全局語義之間的深層關(guān)聯(lián)。

為解決上述問題，SpatialStack研究團(tuán)隊提出了 SpatialStack 分層融合框架，通過在模型全層級同步對齊視覺特征、3D幾何特征與語言特征，構(gòu)建真正的幾何-語言統(tǒng)一理解能力，為下一代具身物理AI系統(tǒng)奠定技術(shù)基礎(chǔ)。

 二、核心方法  

SpatialStack 的核心思想是將多尺度3D幾何特征與視覺、語言特征在模型各層同步對齊融合，替代傳統(tǒng)的淺層或后期單點融合。

架構(gòu)設(shè)計：

模型包含三條編碼主干——視覺編碼器提取2D視覺特征，3D幾何編碼器提取多尺度幾何特征（包含不同粒度的點云/體素特征），語言模型主干負(fù)責(zé)語義表征。三條主干的特征不是在某一點匯合，而是通過全層級漸進(jìn)對齊模塊在每一層同步交互融合。

全層級漸進(jìn)對齊：

在語言模型的每一個 Transformer 層，SpatialStack 引入跨模態(tài)對齊注意力機(jī)制，使當(dāng)前層的語言特征與對應(yīng)尺度的視覺特征、3D幾何特征進(jìn)行雙向交叉注意力計算。每一層的語言表征都被相應(yīng)尺度的幾何約束所引導(dǎo)，實現(xiàn)從粗粒度到細(xì)粒度的漸進(jìn)空間語義對齊。

多尺度同步建模：

不同層級的語言表征對應(yīng)不同尺度的3D幾何特征——淺層關(guān)注局部點級精細(xì)幾何，深層關(guān)注全局結(jié)構(gòu)級語義，使模型同時兼顧局部幾何精度和全局語義理解，避免了傳統(tǒng)方法顧此失彼的困境。

 三、亮點總結(jié)  

亮點一：3D空間推理SOTA性能

基于 SpatialStack 框架構(gòu)建的 VLM-SpatialStack 模型在多項3D空間推理基準(zhǔn)測試上達(dá)到當(dāng)前最優(yōu)（SOTA）性能，有效驗證了全層級漸進(jìn)融合相對于傳統(tǒng)融合范式的顯著優(yōu)勢。

亮點二：開創(chuàng)分層多模態(tài)融合新范式

SpatialStack 打破了傳統(tǒng) VLM 二維視覺加文字的框架局限，首次系統(tǒng)性地將多尺度3D幾何特征嵌入到語言模型的全層級表征學(xué)習(xí)中。這一范式創(chuàng)新為未來多模態(tài)物理AI系統(tǒng)的設(shè)計提供了可參考的通用藍(lán)圖。

亮點三：兼顧局部精度與全局語義

傳統(tǒng)方法往往面臨局部精確但全局混亂或全局通順但局部錯位的兩難困境。SpatialStack 通過多尺度同步建模，使模型既能精確定位冰箱在桌子左邊15厘米處，又能理解廚房里所有物體的空間排布關(guān)系，在機(jī)器人操作和場景理解任務(wù)中具有極強(qiáng)的實用價值。

──────────────────────────────────────────

上述內(nèi)容包含AI輔助生成，更詳細(xì)信息參見兩個鏈接

原文鏈接：https://arxiv.org/abs/2026.spatialstack

解讀來源：https://blog.csdn.net/amusi1994/article/details/160000279

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。