一、研究背景 

視覺重定位（Visual Relocalization）是機器人和自動駕駛的基礎(chǔ)能力：當系統(tǒng)回到一個曾經(jīng)建圖的場景時，如何通過單張圖像精準估計6自由度相機位姿。這一任務在弱紋理場景、圖像數(shù)據(jù)庫稀疏或視角變化劇烈時面臨嚴峻挑戰(zhàn)。

現(xiàn)有方法存在三個核心痛點：一是圖像稀疏瓶頸，數(shù)據(jù)庫圖像有限時，初始位姿檢索和粗匹配精度下降明顯；二是特征匹配局限，單一特征類型難以兼顧粗匹配的全局視角覆蓋與精細匹配的局部精度要求；三是幾何建模挑戰(zhàn)，傳統(tǒng)方法在像素級細粒度匹配中難以捕捉復雜場景幾何細節(jié)，尤其是在弱紋理或高遮擋區(qū)域。

SplatHLoc 提出了一個創(chuàng)新性解決方案：利用特征3D高斯?jié)姙R（Feature Gaussian Splatting，F(xiàn)GS）在場景中憑空生成離查詢圖像最近的虛擬視點，既彌補了數(shù)據(jù)庫稀疏的不足，又通過混合粗細特征匹配實現(xiàn)了高精度位姿估計。

 二、核心方法

SplatHLoc 的核心是虛擬對齊管線，將 FGS 渲染能力與多階段特征匹配緊密結(jié)合。

步驟一：自適應視角檢索

利用全局圖像描述符進行初始粗檢索，通過幾何驗證篩選可靠的參考圖像。關(guān)鍵創(chuàng)新在于引入 FGS 渲染，在候選位置生成多種虛擬視角圖像，并對這些虛擬視角重復檢索和幾何驗證，最終選出與查詢視角最接近的參考圖像。這一步有效彌補了數(shù)據(jù)庫圖像稀疏的缺陷。

步驟二：混合特征匹配策略

采用粗細兩階段匹配策略：粗匹配階段利用 FGS 渲染特征建立大尺度對應關(guān)系，緩解稀疏觀測帶來的不確定性；精細匹配階段引入半稠密匹配器提取高分辨率細粒度特征，實現(xiàn)像素級幾何對齊。兩種特征互補，既保證了寬泛的對應點覆蓋，又確保了局部匹配精度。

步驟三：迭代位姿估計與優(yōu)化

基于粗到細匹配建立2D-3D對應關(guān)系，通過 PnP + RANSAC 估計初始6-DoF位姿；隨后渲染新顏色圖和深度圖，再次進行特征匹配更新對應關(guān)系，多輪迭代優(yōu)化直至收斂。迭代機制使位姿估計精度隨優(yōu)化輪次穩(wěn)定提升。

三、亮點總結(jié) 

亮點一：虛擬視點生成突破稀疏數(shù)據(jù)瓶頸

SplatHLoc 最核心的創(chuàng)新在于使用 FGS 在三維場景中憑空生成任意虛擬視角，并將其納入檢索和匹配流程。這一設計將數(shù)據(jù)庫圖像數(shù)量這一傳統(tǒng)制約因素徹底突破，即使在數(shù)據(jù)庫極度稀疏的場景下也能保持高精度定位。

亮點二：顯著超越所有對比方法

在 7-Scenes、12-Scenes、Cambridge Landmarks 三個主流重定位基準數(shù)據(jù)集上，SplatHLoc 在中值平移誤差與旋轉(zhuǎn)誤差指標上全面優(yōu)于結(jié)構(gòu)化方法、回歸方法及 NeRF/GS 類渲染方法，展現(xiàn)了混合特征匹配策略的綜合優(yōu)勢。

亮點三：開辟神經(jīng)渲染特征在重定位中的新應用

SplatHLoc 是較早將 FGS 渲染特征與經(jīng)典視覺重定位框架深度結(jié)合的工作，證明了神經(jīng)渲染不僅可用于新視角合成，還能作為動態(tài)數(shù)據(jù)增強工具改進傳統(tǒng)幾何任務。這一思路有望延伸至SLAM、AR持久化定位等更多應用場景。

──────────────────────────────────────────

上述內(nèi)容包含AI輔助生成，更詳細信息參見兩個鏈接

原文鏈接：https://arxiv.org/abs/2026.splathiloc

解讀來源：https://www.cnblogs.com/gooutlook/p/19821462

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。