論文推薦 | 郝婧蕾：偏振多光譜機器視覺的高反光無紋理目標三維重構方法

偏振多光譜機器視覺的高反光無紋理目標三維重構方法

郝婧蕾1 , 趙永強2 , 趙海盟3 , Peter BREZANY4 , 孫嘉玉3

1. 西北工業大學自動化學院, 陜西 西安 710071;

2. 西北工業大學深圳研究院, 廣東 深圳 518057;

3. 北京大學空間地球與空間科學學院, 北京 100871;

4. 維也納大學, 奧地利 維也納 1090

收稿日期：2017-12-03；修回日期：2018-04-13

基金項目：國家自然科學基金（61771391），深圳市科技創新委員會基礎研究（學科布局）項目（JCYJ20170815162956949）

第一作者簡介：郝婧蕾(1991-), 女, 博士生, 研究方向為偏振和光譜圖像三維重構、超分辨、去噪等

通信作者：趙永強, E-mail：[email protected]

摘要：隨著攝影測量及機器視覺技術的迅速發展，對三維重構的普適性有了更高的要求。對於表面光滑、紋理單一甚至缺失的高反光非金屬目標，傳統的三維重構方法由於對紋理及反光特性的依賴使得此類目標的重構表面出現大面積的數據空洞。針對這一問題，本文提出了基於多光譜偏振的三維重構方法，將攝影測量與機器視覺進行融合，通過獲取目標精確的偏振光譜特徵做到準確的三維重構。該方法不依賴於物體表面的紋理信息，並且可以解決僅依靠菲涅爾理論無法做到天頂角和折射率同時可能的問題，最終做到天頂角和折射率的聯合可能。由於雜散光和漫反射光在不同波段具有不同的偏振特性以及光譜特性，可完成對目標進行耀光去除的預處理，使得後期的三維重構的精度有較大的提高。基於偏振多光譜的目標三維重構方法是攝影測量與機器視覺融合後三維重構的引導性進展，具有更廣泛的應用範圍。

關鍵詞：三維重構多光譜偏振無紋理目標

3D Reconstruction of High-reflective and Textureless Targets Based on Multispectral Polarization and Machine Vision

HAO Jinglei1 , ZHAO Yongqiang2 , ZHAO Haimeng3 , Peter BREZANY4 , SUN Jiayu3

Abstract: With the rapid development of photogrammetry and machine vision technology, a higher universality of three-dimensional reconstruction is required.For high-reflective and non-metal targets with smooth surface or extreme simple texture, a large area of data void may appear on the reconstruction surface since the traditional 3D reconstruction methods depend on texture and reflective characteristics.To solve this problem, a 3D reconstruction method based on multispectral polarization imaging is proposed in this paper, which integrates photogrammetry and machine vision and achieves accurate reconstruction by obtaining accurate multispectral polarization characteristics of targets.The proposed method does not rely on the texture information on the surface, and it can solve the problem of joint estimating refractive index and zenith angle simultaneously, which cannot be achieved only by Fresnel theory.Due to straylights and diffuse reflection light have different polarization and spectral characteristics at different wavelengths, we can remove the highlight to improve the reconstruction accuracy.The 3D reconstruction method based on multiband polarization imaging is the guiding progress of 3D reconstruction after the fusion of photogrammetry and machine vision, which has a wider application range.

Key words: 3D reconstructionmultispectral polarizationtextureless targets

三維重建技術能夠獲得目標表面的三維形貌[1–3]，在太空工程的空間任務中有著重要應用[4–5]。而空間碎片等空間目標具有表面光滑、紋理單一、易產生耀光的特點，給傳統基於光學原理的目標三維重建技術帶來了極大的挑戰[6]。對於傳統的基於視覺成像的目標三維重建方法，紋理稀疏甚至缺失會造成難以提取到足夠的特徵點，使得恢復結果只能得到邊緣輪廓等部分信息；大面積的耀光會造成圖像傳感器飽和，丟失耀光處的數據信息，造成恢復結果會出現大面積的數據空洞。與傳統方法相比，基於偏振視覺的三維重建技術無須利用目標表面紋理特徵，同時偏振成像能夠有效地抑制耀光。而在許多實際應用中，如非合作目標的相對導航﹑陌生環境中物體探測等，目標表面材料特性通常是沒有先驗信息的，因此本文提出了基於多光譜偏振的高反光無紋理目標三維重構方法，同時獲得目標的折射率和三維形貌。

自然光(無偏光)經物體表面反射之後的反射光為無偏光與偏振光的疊加，通過對反射光偏振度的分析可以獲取反射面法向量的天頂角，通過求取反射光的偏振相角可以求得法向量的方位角[7]。由此可見，反射光的偏振態與法向量有著密切關係，其偏振態包含了目標表面的形狀信息[8]。文獻[9]最先將偏振信息引入到目標三維重建中，通過分析絕緣體表面反射的圓偏振光偏振態的變化來求取目標表面的方向。該方法的缺陷在於入射光必須為圓偏振光。文獻[10]利用圓偏振光作為光源分離了鏡面反射與漫反射，同時完成了對目標材料折射系數的可能。文獻[11]通過旋轉待測目標獲取不同角度的偏振圖像解決了偏振度與法向量天頂角的二義性問題，做到了透明物體的三維重建。文獻[12]提出了從不同視角獲取偏振圖像來解決單視角存在的凹凸二義性的問題，進而完成目標的三維重建，該方法無須進行不同視角下的圖像匹配，提高了應用的靈活性。文獻[13]通過結合近紅外波段與可見光波段的偏振信息解決了偏振度與法向量天頂角的對應問題，做到了目標三維信息的恢復。金屬的折射系數不同於絕緣體材料，文獻[14]推導出了金屬目標的三維重建模型，進行了金屬目標三維信息的恢復。文獻[15]加入了一個多光譜采集系統，利用目標在不同波段下有不同偏振度的特性，解決天頂角模糊問題。文獻[16]通過聯合光譜和偏振信息，做到了基於卷積神經網路的多波段偏振相機的大視場重構。文獻[17]從多視角偏振信息入手，重構黑色鏡面目標的三維信息。文獻[18]利用透明物體反射耀光的偏振信息來重構其內外表面的三維結構。

單純依靠偏振成像進行目標的三維重建存在法線方向的二義性，得到的深度信息是像素坐標系下的相對深度。利用偏振成像獲得的目標表面的幾何信息再結合其他手段來解決方向二義性或者轉化為絕對深度成為近幾年計算機視覺的熱點方向。文獻[19]最先將偏振三維重建方法同光度立體法進行結合來恢復目標三維形狀，該方法中光源方向與目標材料的折射系數為已知量。文獻[20]改進了Atkinson的算法，將物體表面看作朗伯表面，通過光度立體法可能目標表面的法線方向，進一步可能出目標材料的折射系數。文獻[21]將偏振三維重構擴展到高光譜圖像，成功恢復了目標表面的三維形狀同時獲得了目標材料的折射系數。文獻[22]利用偏振得到的法向量信息為輔助，通過結合Kinect的粗略深度圖得到了高精度的目標三維重建結果。文獻[23]通過調整光源的方向獲取偏振信息，將偏振信息與陰影信息作為目標表面法向量方向的約束條件恢復了目標表面的三維形狀。文獻[24]提出了基於偏振雙目視覺的三維重構方法，解決了傳統方法不能處理高反光、紋理單一的目標的問題。

本文提出一種新的方法來解決這個問題，通過分析從單一視角拍攝圖像的光譜和偏振信息來做到目標的精確三維重構。相比已有的基於偏振信息進行三維重構的文獻，本文的工作重點是使用反射光與偏振片旋轉角度的正弦關係和菲涅爾理論，做到目標天頂角和折射率的同時可能。

1 基於偏振成像的目標三維重建1.1 偏振成像原理

自然光屬於非偏振光，但當自然光經物體表面反射後，反射光會變為部分偏振光。反射偏振成像過程如圖 1所示。基於偏振視覺進行三維重建的關鍵在於通過偏振成像獲取反射光的偏振狀態，並將其與物體表面的幾何信息聯繫起來。

由菲涅爾原理可知，反射率會隨著光矢量的振動方向變化而變化，因此將反射光通過偏振片，旋轉偏振片，反射光的亮度會發生變化。將線偏振片置於相機鏡頭前，ν為偏振片透光軸與起始位置(參考位置)之間的夾角。光照強度I可表示為與偏振片旋轉角度ν有關的正弦函數，如下式

(1)

μ表示多波段偏振圖像中的每一個像素點；λ表示對應的波段；Imax、Imin分別表示連續旋轉偏振片時，CCD相機所觀測到的最大光強與最小光強；ϕ表示反射光的偏振相角(angle of polarization，AoP)。

在波段λ下，采集N個偏振角度下的多波段偏振圖像，分別記為I(ν1), I(ν2), …, I(νN), I(νi)表示第i次轉動偏振片。因此第i次轉動偏振片采集到的多波段偏振圖像的每一個像素點處的強度值可以記為I(μ, λ, νi)=Ii(μ, λ)。則式(1)可以改寫為

(2)

當偏振片旋轉的次數N≥3時，式(2)變成一個正定系統，記為I= Ax，其中

(3)

由式(2)可知，矩陣A僅僅與偏振片的旋轉角度有關，而偏振片的旋轉角度是已知的，因此矩陣A是已知的，矩陣I表示的是采集的多波段偏振圖像中每一個像素點的光強值，也是已知的，並且系統是正定的，因此可以求得系數矩陣x。將求得的系數矩陣x的解記為x= [x1 x2 x3]T，則多波段偏振圖像中每一個像素點處的光強最大值、最小值和偏振相角可以表示為

(4)

1.2 基於偏振成像的三維重構原理

自然光屬於非偏振光，但當自然光經物體表面反射後，反射光會變為部分偏振光。基於偏振視覺進行三維重建的關鍵在於通過偏振成像獲取反射光的偏振狀態，並將其與物體表面的幾何信息聯繫起來，進而對法向量積分獲得目標的表面三維形狀。

通過分析反射光的偏振態可以獲得目標表面法向量的方向參數，法向量主要受兩個參數約束，即天頂角θd(zenith angle)和方位角αd(azimuth angle)。天頂角是指法線向量方向與z軸的夾角, 方位角是指法向量在XoY平面的投影與x軸方向的夾角，如圖 2所示。