0
| 本文作者： 汪思穎 | 2017-11-06 09:48 |
雷鋒網(wǎng) AI科技評論按，本文作者究竟灰，本文首發(fā)于知乎，雷鋒網(wǎng) AI科技評論獲其授權(quán)轉(zhuǎn)載。
雷鋒網(wǎng)注：本文為下篇，內(nèi)容為第三章：稠密重建和第四章：稠密重建。第一章和第二章參見CCCV2017講習(xí)班筆記-基于圖像的大規(guī)模場景三維重建（上）
3.稠密匹配
稠密匹配是MVS.基本思路是
兩視圖的一致性。
一致性度量主要包括三個：
SSD(Sum of Squared Differences):平常差的和
SAD(Sum of Absolute Differences):絕對值差的和
NCC(Normalized Cross Correlation):歸一化的交叉關(guān)系
多視圖圖像一致性需要考慮相機的可視性問題。
但是：相機可視性需要場景結(jié)構(gòu)、場景結(jié)構(gòu)需要相機可視性
MVS算法主要分為三種：
基于體素的方法：Voxel based MVS
基于點云擴散的方法：Feature point growing based MVS
基于深度圖融合的方法：Depth-map merging based MVS
基于體素的方法
體素的表達，并且說明其MVS等價于一個3D空間Voxel的標(biāo)記問題。
優(yōu)化方法：用馬爾科夫隨機場優(yōu)化。
離散空間的Labeling是典型的MRF優(yōu)化問題。其中的兩項分別是一致性項和氣球膨脹。
一致性項表達兩點一致。氣球膨脹表達的是強制傾向于把點分成內(nèi)點。因為如果不加氣球膨脹，一致性項會把點都分成外點，所以要加一個反向的力量。
兩視圖一致性計算：
其中如何魯棒投票尋找局部極值集中的點很重要。
MRF優(yōu)化問題求解：Graph-cuts
重建結(jié)果：
體素問題是占內(nèi)存，即使很小的體素也要很大內(nèi)存。于是提出以下方法，主要思路是自適應(yīng)多分辨率網(wǎng)格，在物體表面高分辨率、其他區(qū)域低分辨率。
基于體素方法MVS的并行分布Graph-cuts
基于體素方法的優(yōu)缺點：
基于特征點擴散的MVS
方法顧名思義。
講了3D點的Patch形式表達。patch在圖像上有投影。
步驟：
生成初始點云：檢測Harris與DoG，其中Harris偏向檢測外側(cè)的角點，而DoG偏向于檢測內(nèi)部紋理豐富的點
點云擴散：3D點投影到圖像，并向投影點周圍區(qū)域擴散
點云過濾：去除深度值不一致且一致性較低的點，意思是如果擴散的點云在其他圖特征點的點云前面了，通過比較各自的一致性來剔除；如果擴散點云跑到后邊去了，也比較一致性。這樣就能去除深度值不一致且一致性較低的點了。
結(jié)果：
優(yōu)缺點：
基于深度圖融合的MVS
人的左右眼的立體視覺和深度圖。
轉(zhuǎn)到CV
基于深度圖融合的MVS方法步驟：
為每一幅圖選擇領(lǐng)域圖像構(gòu)成立體圖像組：關(guān)鍵如何選擇鄰域圖像組
計算每一幅圖像的深度圖：關(guān)鍵如何計算深度圖
深度圖融合
抽取物體表面
每一幅圖中的深度圖計算：
聚合：對比了SAD聚合和Adaptive weight
對比：
這里講了Oriented plane方法，估計空間平面方向
空間平面方向估計PathMatch，相機坐標(biāo)系下空間面片表達為d深度的一個自由度，n法向量的兩個自由度。
接著講了兩視圖PathMatch Stereo，先隨機申城像素深度和法向量，然后傳播。
主要用了隨機的思想，檢測領(lǐng)域點的深度和法向量，檢測加了擾動之后的點，檢測立體圖像對對應(yīng)點是否更好，檢測前后幀同一位置是否更好。反復(fù)幾次。
這種方法是基于大數(shù)定律的。
多視圖PathMatch MVS:
多視圖PathMatch中領(lǐng)域圖像組的選擇：視線夾角、物距、覆蓋度、分散度等。主要通過稀疏點云計算。領(lǐng)域圖像組選擇是一個NP-hard問題。
逐像素點領(lǐng)域選擇：
通過EM算法來做逐像素點選擇領(lǐng)域圖像組（最大化后驗概率）
基于深度圖融合的MVS優(yōu)缺點：
稠密重建總結(jié)
4.資源
主要是算法、數(shù)據(jù)集和應(yīng)用
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
