張林龍,張偉,胡昌華,周志杰
(1.火箭軍工程大學(xué)302室,陜西西安710025; 2.火箭軍工程大學(xué)403室,陜西西安710025)
三維結(jié)構(gòu)形變的單目像機(jī)測(cè)量方法
張林龍1,張偉2,胡昌華1,周志杰1
(1.火箭軍工程大學(xué)302室,陜西西安710025; 2.火箭軍工程大學(xué)403室,陜西西安710025)
針對(duì)大型結(jié)構(gòu)形變的攝像測(cè)量中,雙目系統(tǒng)結(jié)構(gòu)復(fù)雜、成本高、特征點(diǎn)匹配度低,而傳統(tǒng)單目測(cè)量系統(tǒng)不能有效獲取目標(biāo)深度信息等問題,借助平面反射鏡提出一種新的單目像機(jī)三維形變測(cè)量方法。首先,基于平面反射鏡的光學(xué)反射原理構(gòu)建單目三維測(cè)量模型;其次,利用像機(jī)與平面鏡的內(nèi)在參數(shù)推導(dǎo)出單目像機(jī)視圖下的極線約束關(guān)系;然后,在測(cè)量系統(tǒng)完成參數(shù)標(biāo)定的情況下,將極線約束關(guān)系作為約束條件引入利用基于LM算法的改進(jìn)光束法平差進(jìn)行結(jié)果優(yōu)化,完成三維目標(biāo)點(diǎn)的位置精確測(cè)量,進(jìn)而實(shí)現(xiàn)大型結(jié)構(gòu)的形變測(cè)量。仿真實(shí)驗(yàn)與實(shí)際測(cè)量實(shí)驗(yàn)結(jié)果表明單目像機(jī)測(cè)量方法的有效性與優(yōu)越性,具有實(shí)際工程應(yīng)用價(jià)值。
單目測(cè)量;極線約束;光束法平差;形變測(cè)量
大型結(jié)構(gòu)件如運(yùn)載火箭、飛機(jī)、艦船、風(fēng)電葉片、儲(chǔ)油罐、橋梁等由于幾何形狀、載荷條件和工作環(huán)境的復(fù)雜性,必須進(jìn)行結(jié)構(gòu)靜力實(shí)驗(yàn)來研究其在靜載荷作用下的強(qiáng)度剛度和穩(wěn)定性等問題,因此測(cè)量大型結(jié)構(gòu)的形變成為監(jiān)測(cè)設(shè)備性能的重要因素[1]。攝像測(cè)量方法由于其高精度、非接觸等特點(diǎn)廣泛應(yīng)用于形變監(jiān)測(cè)[2]。
目前攝像測(cè)量方法可分為雙(多)目像機(jī)測(cè)量與單目像機(jī)測(cè)量。對(duì)于目標(biāo)點(diǎn)的三維位置測(cè)量主要運(yùn)用三維交會(huì)測(cè)量原理,至少需要兩臺(tái)攝像機(jī)[1]。利用雙目像機(jī)進(jìn)行交會(huì)測(cè)量需要對(duì)相同特征點(diǎn)進(jìn)行匹配,在匹配過程中易出現(xiàn)誤匹配、漏匹配等嚴(yán)重影響測(cè)量精度的問題。而單目像機(jī)只能確定目標(biāo)點(diǎn)所在直線,不能得到目標(biāo)點(diǎn)的深度信息,常用于平面測(cè)量,但是也存在利用單目像機(jī)借助其他設(shè)備進(jìn)行三維測(cè)量的方法,黃小云等[3]利用一種放置于攝像機(jī)前方的立式靶標(biāo)建立圖像縱坐標(biāo)與實(shí)際成像角度之間的映射關(guān)系,結(jié)合幾何投影關(guān)系實(shí)現(xiàn)深度信息的實(shí)時(shí)提取;晁志超等[4]在攝像機(jī)光軸方向上安裝高精度激光測(cè)距傳感器實(shí)現(xiàn)單目像機(jī)測(cè)量目標(biāo)姿態(tài)的目的;K.Kawasue等[5-6]根據(jù)像機(jī)距離被測(cè)目標(biāo)遠(yuǎn)近測(cè)得光線數(shù)量不同或者利用拍攝高速旋轉(zhuǎn)電子束分裂器所得圖像內(nèi)的光圈半徑大小來獲取深度信息;馮曉鋒等[7]在測(cè)量點(diǎn)附近合適位置放置平面反射鏡,通過單目像機(jī)拍攝實(shí)際物體及鏡面成像來提取目標(biāo)點(diǎn)三維位置信息。對(duì)于大型結(jié)構(gòu)件而言其結(jié)構(gòu)復(fù)雜,在對(duì)目標(biāo)區(qū)域進(jìn)行監(jiān)測(cè)時(shí)雙目像機(jī)布置復(fù)雜,測(cè)量系統(tǒng)價(jià)格較高;單目像機(jī)可以解決測(cè)量系統(tǒng)的復(fù)雜性問題但是大型結(jié)構(gòu)的變形量微小,要求測(cè)量精度較高,因此在上述研究的基礎(chǔ)上進(jìn)一步研究結(jié)構(gòu)形變的高精度單目測(cè)量具有重要意義。
目標(biāo)點(diǎn)的攝像測(cè)量原理如圖1所示,O為攝像機(jī)的光心,空間目標(biāo)點(diǎn)P為在世界坐標(biāo)系Qw-XwYwZw下的坐標(biāo)為(xw,yw,zw),其在攝像機(jī)中的成像點(diǎn)為P1(x1,y1)。根據(jù)理想針孔成像模型,像點(diǎn)P1、光心O、物點(diǎn)P三點(diǎn)共線,即滿足式(1)共線方程:
圖1 攝像測(cè)量原理
式中:(Cx,Cy)—圖像主點(diǎn);
(Fx,F(xiàn)y)—等效焦距;
r0,r1,…,r8和t1,t2,t3—世界坐標(biāo)系變換到像機(jī)坐標(biāo)系下的旋轉(zhuǎn)矩陣R和平移向量T的元素。
在像點(diǎn)坐標(biāo)(x1,y1)和像機(jī)內(nèi)外參數(shù)已知的情況下,式(1)是關(guān)于xw、yw、zw的非線性方程組。由于單個(gè)像機(jī)只能獲取兩個(gè)方程而方程組中存在3個(gè)未知數(shù),所以得不到目標(biāo)點(diǎn)的位置,只能確定其在通過像機(jī)光心和像點(diǎn)的空間直線上。
基于以上問題的考慮,利用單目像機(jī)測(cè)量三維目標(biāo)位置需要解決以下問題:1)建立單目像機(jī)測(cè)量模型,增加方程數(shù)目,提供有效的深度信息;2)構(gòu)建合理的約束關(guān)系進(jìn)行結(jié)果優(yōu)化,滿足高精度測(cè)量要求。
平面反射鏡價(jià)格低廉,同時(shí)可以近似完全呈現(xiàn)被測(cè)點(diǎn)的全貌,因此考慮利用平面反射鏡代替部分像機(jī),建立近似于雙目測(cè)量系統(tǒng)的單目測(cè)量系統(tǒng)。
如圖2所示,假設(shè)存在平面反射鏡S,在平面鏡內(nèi)建立虛擬世界坐標(biāo)系O'w-x'wy'wz'w,l為兩世界坐標(biāo)系原點(diǎn)之間的距離,則虛擬世界坐標(biāo)系與世界坐標(biāo)系滿足關(guān)系式:
假設(shè)世界坐標(biāo)系中齊次坐標(biāo)為P的空間點(diǎn)在光心為Ocr的像機(jī)投影像點(diǎn)齊次坐標(biāo)分別為P1、P2;在虛擬坐標(biāo)系中的對(duì)應(yīng)鏡面成像點(diǎn)的齊次坐標(biāo)為P';在虛擬光心Ocv的像機(jī)投影像點(diǎn)齊次坐標(biāo)為P'2。令K為像機(jī)內(nèi)參數(shù)矩陣;RT1、RT2分別為由相應(yīng)的旋轉(zhuǎn)矩陣R1、R2以及平移向量T1、T2構(gòu)成的4×4參數(shù)矩陣;Zc、Z'c為相應(yīng)物點(diǎn)到光心的距離在光軸方向的投影。
圖2 單目像機(jī)三維測(cè)量模型
由攝像測(cè)量原理可知,世界坐標(biāo)系中被測(cè)點(diǎn)P(xw,yw,zw)與像點(diǎn)P1(x1,y1,z1)滿足關(guān)系:
點(diǎn)P對(duì)應(yīng)的鏡面成像點(diǎn)P'(x'w,y'w,z'w)與實(shí)際像機(jī)成像點(diǎn)P2(x1,y2)滿足關(guān)系:
由式(2)、(4)可得到被測(cè)點(diǎn)與圖像點(diǎn)滿足關(guān)系式:
至此得到單目像機(jī)的測(cè)量模型,由式(3)、(5)可組成含有4個(gè)方程的新共線方程組,在已知像機(jī)內(nèi)外參數(shù)的情況下,通過最小二乘法求解方程組中3個(gè)未知數(shù)即可求出被測(cè)量目標(biāo)點(diǎn)的三維位置。
在實(shí)際測(cè)量過程中由于光線、溫度以及測(cè)量設(shè)備等因素的影響,理想條件下的測(cè)量結(jié)果不能滿足大型結(jié)構(gòu)形變的高精度要求。光束法平差作為攝像測(cè)量領(lǐng)域保證高精確測(cè)量結(jié)果的最重要理論和方法,被公認(rèn)為是各種算法中精度最高的方法[2]。本節(jié)根據(jù)實(shí)際像機(jī)與虛擬像機(jī)的位置關(guān)系建立同一視圖下的單目極線約束關(guān)系,然后結(jié)合LM算法對(duì)光束法平差進(jìn)行改進(jìn)達(dá)到優(yōu)化測(cè)量結(jié)果的目的。
3.1 單視圖下的極線約束關(guān)系
假設(shè)像機(jī)圖像分辨率為mpixel×npixel,由圖2可知,虛擬像點(diǎn)P'2(x'2,y'2)與實(shí)際像點(diǎn)P2(x2,y2)屬于對(duì)稱關(guān)系,即滿足關(guān)系式:
式(6)在齊次坐標(biāo)下的關(guān)系式可以表示為:
因此根據(jù)式(5)、(7)可得點(diǎn)P(xw,yw,zw)到虛擬像機(jī)的成像點(diǎn)P'2(x'2,y'2)在齊次坐標(biāo)下投影成像關(guān)系為:
即相應(yīng)的投影矩陣M'2為:
設(shè)光心Ocr齊次坐標(biāo)為[xCyCzC1]T,則兩光心之間距離OcrOcv為|l-2xC|,至此可得光心Ocr在虛擬圖像中的對(duì)應(yīng)像點(diǎn)即虛擬極點(diǎn)e'=(1/ |l-2xC|)M'2[xCyCzC1]T;根據(jù)文獻(xiàn)[2]可得到基礎(chǔ)矩陣:
式中:M+——點(diǎn)P到點(diǎn)P1的投影矩陣M的偽逆;
[e']×——由極點(diǎn)e'=[e0e1e2]T構(gòu)成的秩為2的反對(duì)稱矩陣:
于是可以得到利用基礎(chǔ)矩陣F描述的同一幅視圖下的極線約束關(guān)系:
3.2 基于LM法的光束法平差測(cè)量
光束法平差實(shí)質(zhì)上是通過高斯牛頓法進(jìn)行最優(yōu)估計(jì)的方法,在大量有效初始值的情況下高斯牛頓算法可以保證快速收斂,是一種有效的主流算法。本文單目像機(jī)測(cè)量系統(tǒng)求解的初始值是在理想條件下所得,控制點(diǎn)精度過低,利用高斯算法實(shí)現(xiàn)光束法平差容易出現(xiàn)不穩(wěn)定、精度較低的解,甚至無法收斂。本文將LM算法[8]、阻尼策略和驗(yàn)后權(quán)估計(jì)[9]運(yùn)用于三維形變測(cè)量的光束法平差中,并將單目視圖下的極線約束關(guān)系作為約束條件,克服高斯牛頓算法的收斂性缺陷,提高目標(biāo)點(diǎn)的定位精度[10]。
在考慮像差情況下的共線方程可表述為
式中像差按照式(13)計(jì)算模型,k0、k1、k2、k3、k4為鏡頭畸變系數(shù)。
因測(cè)量結(jié)構(gòu)形變時(shí)測(cè)量設(shè)備固定,而像機(jī)內(nèi)參數(shù)將成為影響測(cè)量結(jié)果的重要因素,所以本文選取像機(jī)內(nèi)參數(shù)(Fx,F(xiàn)y,Cx,Cy)及目標(biāo)點(diǎn)三維坐標(biāo)(xw,yw,zw)作為平差參數(shù)。根據(jù)光束法平差將式(12)對(duì)平差參數(shù)進(jìn)行一階線性化后,可用矩陣符號(hào)表示誤差方程式為
同理將單視圖下的極線約束關(guān)系式(11)化為:
式中:t——像機(jī)內(nèi)參數(shù)向量;
X——待定點(diǎn)的空間三維坐標(biāo);
A、B、C、D——分別為其相應(yīng)的系數(shù)矩陣;
L1、L2——像點(diǎn)坐標(biāo)觀測(cè)值向量;
P1、P2——像點(diǎn)觀測(cè)值矩陣;
V1、V2——像點(diǎn)坐標(biāo)觀測(cè)值改正數(shù)。
根據(jù)LM算法標(biāo)準(zhǔn)方程式建立式(14)、(15)對(duì)應(yīng)的法方程:
式中:E——為單位矩陣;
P1——權(quán)矩陣,代表像點(diǎn)坐標(biāo)觀測(cè)值的權(quán);
μ——阻尼策略中的阻尼系數(shù)。
迭代求解式(16)的過程中可以通過驗(yàn)后估計(jì)權(quán)值的方法進(jìn)一步確定,在平差過程中,采用平差權(quán)函數(shù):
式中:i——迭代次數(shù);
vi——像點(diǎn)坐標(biāo)的改正數(shù);
在對(duì)u設(shè)定合適初值的情況下,在迭代過程中根據(jù)LM法更新u值,對(duì)式(16)進(jìn)行迭代求解,求得平差優(yōu)化的最終結(jié)果X。
為了驗(yàn)證本文提出測(cè)量方法的正確性和有效性,進(jìn)行了仿真實(shí)驗(yàn)與室內(nèi)測(cè)量實(shí)驗(yàn),并將測(cè)量結(jié)果與傳統(tǒng)雙目攝像測(cè)量方法進(jìn)行了精度比較。
4.1 仿真實(shí)驗(yàn)
首先建立大型三維曲面模型,對(duì)其進(jìn)行網(wǎng)格化,其中網(wǎng)格大小為1.88 cm×0.25 cm,以網(wǎng)格角點(diǎn)作為標(biāo)志點(diǎn),在模型標(biāo)志點(diǎn)以及像點(diǎn)分別引入均值為0、均方差為0.2 mm與0.02pixel的噪聲,獲得仿真圖3,其中右半部分為平面反射鏡內(nèi)圖像。在視覺庫opencv基礎(chǔ)上利用Visual C++6.0進(jìn)行測(cè)量程序編譯。
圖3 三維曲面模擬圖
實(shí)驗(yàn)過程中利用本文提出的單目像機(jī)測(cè)量方法與傳統(tǒng)雙目像機(jī)測(cè)量進(jìn)行三維測(cè)量,在模擬測(cè)量系統(tǒng)內(nèi)外參數(shù)不變的情況下獲取60組畫面,圖4分別為沿x、y、z軸實(shí)際測(cè)量位置與模擬位置之間的平均誤差。
圖4 測(cè)量誤差
由測(cè)量結(jié)果可知,本文單目像機(jī)測(cè)量方法基本可以滿足大型結(jié)構(gòu)目標(biāo)點(diǎn)的測(cè)量要求。圖4(a)顯示兩種測(cè)量結(jié)果沿x軸精度均在0~1 mm之間。從圖4(b)、4(c)來看,本文單目像機(jī)測(cè)量方法相比較傳統(tǒng)雙目測(cè)量方法而言在沿y軸方向深度信息獲取方面誤差較大,但也基本低于2.5 mm;z軸方向測(cè)量精度相對(duì)較高,不僅如此在3個(gè)坐標(biāo)軸方向測(cè)量結(jié)果上z軸誤差也相對(duì)較低。
4.2 室內(nèi)測(cè)量實(shí)驗(yàn)
在室內(nèi)墻角粘貼間隔1.12 cm×1.12 cm的棋盤格作為標(biāo)識(shí)物,通過監(jiān)測(cè)棋盤格角點(diǎn)位置即可實(shí)時(shí)測(cè)量出結(jié)構(gòu)形變。由于實(shí)驗(yàn)受限,本實(shí)驗(yàn)通過比較測(cè)量目標(biāo)點(diǎn)位置與實(shí)際位置確定測(cè)量效果。
首先對(duì)mvc1500NIR像機(jī)內(nèi)參數(shù)進(jìn)行標(biāo)定,將平面棋盤格靶標(biāo)作為標(biāo)定板,通過變化像機(jī)位置與角度進(jìn)行圖像拍攝,采用文獻(xiàn)[11]標(biāo)定法進(jìn)行標(biāo)定,標(biāo)定結(jié)果如表1所示。
表1 像機(jī)內(nèi)參數(shù)標(biāo)定結(jié)果
重新固定像機(jī)位置,調(diào)整平面反射鏡位置,使像機(jī)可以通視被測(cè)量目標(biāo)及反射鏡。采集圖像,對(duì)測(cè)量系統(tǒng)外參數(shù)進(jìn)行標(biāo)定,虛擬像機(jī)相對(duì)真實(shí)像機(jī)外參數(shù)即旋轉(zhuǎn)矩陣R、平移向量T標(biāo)定結(jié)果如下:
圖5 實(shí)驗(yàn)采集圖像
利用像機(jī)與平面反射鏡對(duì)表面粘貼有棋盤格標(biāo)志的結(jié)構(gòu)件表面進(jìn)行圖像獲取,通過合理設(shè)置反射鏡與像機(jī)的位置使像機(jī)能夠通視實(shí)際表面與反射鏡內(nèi)的虛擬表面,采集的圖像如圖5所示。
基于上述標(biāo)定結(jié)果在Matlab中進(jìn)行三維目標(biāo)點(diǎn)測(cè)量,利用亞像素定位方法進(jìn)行角點(diǎn)精度定位,對(duì)檢測(cè)到的16對(duì)特征點(diǎn)進(jìn)行精確匹配后,采用改進(jìn)的光束法平差后的部分目標(biāo)點(diǎn)位置與實(shí)際位置如表2所示。其中RMS為目標(biāo)點(diǎn)實(shí)際位置與測(cè)量位置之間的距離誤差。
4.3 結(jié)果討論與分析
仿真和室內(nèi)測(cè)量實(shí)驗(yàn)驗(yàn)證了單目像機(jī)三維測(cè)量理論的正確性與可行性。實(shí)際測(cè)量結(jié)果趨勢(shì)與仿真實(shí)驗(yàn)趨勢(shì)基本相同,都反映了單目像機(jī)測(cè)量系統(tǒng)在獲取三維深度信息方面誤差相對(duì)較大,但測(cè)量誤差基本低于0.8 mm。由于本文室內(nèi)場(chǎng)景實(shí)驗(yàn)過程中采用的是普通平面反射鏡,將其視為理想狀態(tài)必然會(huì)影響最終測(cè)量精度,這也是深度信息提取方面精度低于傳統(tǒng)雙目測(cè)量系統(tǒng)的主要原因。
本文針對(duì)大型結(jié)構(gòu)形變的單目攝像測(cè)量方法展開深入研究,借助平面反面鏡的作用實(shí)現(xiàn)了單目像機(jī)的有效測(cè)量?;谄矫骁R成像的單目像機(jī)測(cè)量理論解決了測(cè)量過程中深度信息丟失的問題,在雙目像機(jī)測(cè)量理論的基礎(chǔ)上提出的同一視圖下的單目像機(jī)極線約束關(guān)系為利用LM算法的改進(jìn)光束法平差的求解提供約束。仿真實(shí)驗(yàn)表明本文提出的單目像機(jī)三維測(cè)量精度與傳統(tǒng)雙目像機(jī)精度相當(dāng)。室內(nèi)場(chǎng)景實(shí)驗(yàn)表明本方法具有可行性,可以應(yīng)用于大型結(jié)構(gòu)的三維形變測(cè)量等實(shí)際工程方面,能夠提高測(cè)量系統(tǒng)的經(jīng)濟(jì)性與實(shí)用性。但是在測(cè)量前要合理布置像機(jī)與平面鏡相對(duì)被測(cè)目標(biāo)點(diǎn)的位置,確保像機(jī)能夠同時(shí)獲取實(shí)際目標(biāo)和反射鏡內(nèi)的目標(biāo)點(diǎn),這也是本文單目像機(jī)測(cè)量系統(tǒng)在儀器設(shè)置靈活性方面有待改進(jìn)之處。
[1]周翔,胡建,孫林濤,等.大型結(jié)構(gòu)變形實(shí)時(shí)攝像測(cè)量方法[J].實(shí)驗(yàn)力學(xué),2012,27(4):503-510.
[2]于起峰,尚洋,伏思華,等.大型結(jié)構(gòu)變形及形貌攝像測(cè)量技術(shù)研究進(jìn)展[J].實(shí)驗(yàn)力學(xué),2011,26(5):479-490.
[3]黃小云,高峰,徐國艷,等.基于單幅立式標(biāo)靶圖像的單目深度信息提?。跩].北京航空航天大學(xué)學(xué)報(bào),2015,41 (4):649-655.
[4]晁志超,伏思華,姜廣文,等.單目攝像機(jī)-激光測(cè)距傳感器位姿測(cè)量系統(tǒng)[J].光學(xué)學(xué)報(bào),2011,31(3):85-91.
[5]OYA Y,KAWASUE K.Three-dimensional quantitative visualizationfromasingleimage[J].Sensors&Transducers,2009(7):142-154.
[6]KAWASUE K,NAGATOMO S,OYA Y.Three dimensional measurement of aquatic organisms using a single video camera[J].Sensors&Transducers,2010(6):118-126.
[7]FENG X,PAN D.Research on the application of single camera stereo vision sensor in three-dimensional point measurement[J].Journal of Modern Optics,2015(62):1-7.
[8]祝強(qiáng),李少康,徐臻.LM算法求解大殘差非線性最小二乘問題研究[J].中國測(cè)試,2016,42(3):13-15.
[9]李德仁,袁修孝.誤差處理與可靠性分析[M].武漢:武漢大學(xué)出版社,2002:240-255.
[10]馬友青,賈永紅,劉少創(chuàng),等.基于LM法的光束法平差巡視器導(dǎo)航定位[J].東北大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,35(4):489-493.
[11]朱焱丹,廖俊必,何子牛.基于LabVIEW的機(jī)器視覺系統(tǒng)的標(biāo)定[J].中國測(cè)試,2009,35(6):54-56.
(編輯:李剛)
The 3D structure deformation measurement method based on monocular camera
ZHANG Linlong1,ZHANG Wei2,HU Changhua1,ZHOU Zhijie1
(1.302 Unit,Rocket Force University of Engineering,Xi’an 710025,China; 2.403 Unit,Rocket Force University of Engineering,Xi’an 710025,China)
Binocular measurement system has the problem of complexity,high price,low matching precision in the deformation measurement of large-scale structure.Meanwhile,traditional monocular system cannot obtain depth information of 3D(three dimensional)object.A new method for measuring the 3D deformation that uses a single video camera utilizing a planar reflector was proposed in this paper.Firstly a monocular measuring model of 3D object was founded utilizing the reflective principle of planar reflector.Then an epipolar geometry inhibition equation in the same video camera view was settled by inherent parameters of camera and reflector.The measured point was located accurately by the improved bundle adjustment based on LM algorithm after the intrinsic and extrinsic camera parameters of the measurement system were calibrated.So the deformation measurement of large-scale structure was achieved.Both simulation and indoor experiments results validate that the proposed measuring technique is effective and has the realism value in engineering applications.
monocular;epipolar geometry inhibition;bundle adjustment;deformation measurement
A
1674-5124(2016)11-0017-06
10.11857/j.issn.1674-5124.2016.11.004
2016-03-02;
2016-04-07
國家杰出青年基金(61025014);國家自然科學(xué)基金(61174030,61104223,61374120)
張林龍(1991-),男,河南駐馬店市人,碩士研究生,專業(yè)方向?yàn)樵\斷技術(shù)及自動(dòng)化裝置。