無(wú)人機(jī)高光譜內(nèi)置推掃影像快速拼接方法
高光譜遙感具有光譜分辨率高、波段范圍窄、圖譜合一、連續(xù)成像等特點(diǎn),能夠區(qū)分出地物光譜的細(xì)微差別,探測(cè)到其他寬波段遙感無(wú)法探測(cè)的信息。因此,高光譜遙感在生態(tài)、大氣、海洋、農(nóng)業(yè)、林業(yè)、礦業(yè)等諸多應(yīng)用領(lǐng)域具有非常大的優(yōu)勢(shì)。近年來(lái)隨著成像光譜儀硬件技術(shù)不斷發(fā)展,成像光譜儀的體積越來(lái)越小、重量越來(lái)越輕、成本越來(lái)越低,因而利用成像光譜儀獲取高光譜影像更為方便、快捷。隨著無(wú)人機(jī)技術(shù)的日益成熟,基于無(wú)人機(jī)平臺(tái)的新型遙感技術(shù)異軍突起,得到科研工作者的青睞,從而將成像光譜儀與無(wú)人機(jī)高度集成獲取地物無(wú)人機(jī)成像高光譜影像成為新的研究熱點(diǎn)。
然而由于無(wú)人機(jī)航拍受飛行高度,相機(jī)本身參數(shù)的影響,單張無(wú)人機(jī)影像所覆蓋的區(qū)域面積不大,需要對(duì)多張影像進(jìn)行拼接,才能有效地覆蓋研究區(qū)域。無(wú)人機(jī)載高光譜影像圖幅較小,為每幅影像單獨(dú)添加控制點(diǎn)信息工作量大、耗時(shí)長(zhǎng),而對(duì)影像統(tǒng)一添加控制點(diǎn)信息將大大縮短工作時(shí)間,提高工作效率。近年來(lái),學(xué)者們對(duì)無(wú)人機(jī)影像數(shù)據(jù)的拼接做了很多研究,主要方法有基于姿態(tài)參數(shù)(POS數(shù)據(jù))的拼接、基于非特征的拼接和基于特征的拼接等,其中無(wú)人機(jī)影像的拼接大部分是針對(duì)RGB圖像或者多波段圖像,而針對(duì)無(wú)人機(jī)高光譜影像的拼接方法較少,特別是對(duì)于無(wú)人機(jī)高光譜內(nèi)置推掃獲取的高光譜影像數(shù)據(jù),目前還沒(méi)有研究者對(duì)其拼接方法進(jìn)行研究。
鑒于目前對(duì)無(wú)人機(jī)高光譜影像數(shù)據(jù)拼接技術(shù)存在的不足之處,本文旨在研究一種低空無(wú)人機(jī)載高光譜影像自動(dòng)拼接方法,其具有易于實(shí)現(xiàn)、拼接精度高、光譜畸變小等優(yōu)點(diǎn),可實(shí)現(xiàn)無(wú)地面控制點(diǎn)的無(wú)人機(jī)載高光譜影像的自動(dòng)拼接,以解決當(dāng)前單幅無(wú)人機(jī)載高光譜遙感影像圖幅過(guò)小的問(wèn)題。
1 儀器設(shè)備與數(shù)據(jù)處理流程
1.1 數(shù)據(jù)采集設(shè)備
本次試驗(yàn)地點(diǎn)在北京市大興區(qū)南六環(huán)外黃村鎮(zhèn)李村,無(wú)人機(jī)采用大疆無(wú)人機(jī)M600 Pro,在無(wú)人機(jī)平臺(tái)上搭載的是由四川雙利合譜科技有限公司自主研發(fā)的高光譜成像儀GaiaSky-mini。無(wú)人機(jī)高光譜影像獲取時(shí)間為2017年11月8日下午的12:00-14:00,天氣為晴,無(wú)人機(jī)飛行高度為400米,采用的是2*4 binning方式獲取高光譜影像(2是空間維的,4是光譜維),高光譜影像的空間分辨率約為20cm,此次飛行共獲取24景高光譜影像數(shù)據(jù),每景高光譜影像數(shù)據(jù)代表的地面幅寬約為190米*190米,面積約為36100平方米,其中每景高光譜影像數(shù)據(jù)之間的橫向重疊率為50%,縱向重疊率為40%。
1.2 數(shù)據(jù)的預(yù)處理與分析
無(wú)人機(jī)高光譜影像的預(yù)處理在SpecView軟件中進(jìn)行,包括鏡像變換、黑白幀校準(zhǔn)、大氣校正。
1.3 無(wú)人機(jī)高光譜影像拼接流程
對(duì)消除大氣、水汽等因素影響的高光譜影像計(jì)算其波段信噪比,根據(jù)其信噪比的峰值篩選出特征波段,然后基于SIFT算法對(duì)選出的特征波段提取特征點(diǎn)并對(duì)特征點(diǎn)進(jìn)行匹配,圖像拼接過(guò)程中利用經(jīng)緯度信息及墨卡托投影(Mercator)糾正圖像的變形,同時(shí)利用重投影空三(Reproj)算法細(xì)化高光譜相機(jī)參數(shù)。在高光譜影像拼接之前選擇是否對(duì)拼接圖像進(jìn)行勻色,*后得到拼接好的高光譜影像數(shù)據(jù)。
1.4 高光譜影像拼接效果檢驗(yàn)
為了準(zhǔn)確地驗(yàn)證高光譜影像拼接結(jié)果的有效性,提取了拼接結(jié)果重疊區(qū)域和非拼接圖像相同經(jīng)緯度的8個(gè)采樣點(diǎn)的光譜反射率,利用光譜角填圖(SAM)、波譜特征擬合分類(lèi)法(SFF)及二進(jìn)制編碼(BE)對(duì)拼接前后、是否勻色的光譜曲線(xiàn)進(jìn)行匹配與相似性計(jì)算,得到一個(gè)0-1的匹配度分值,結(jié)果總分值越高,則相似性越好。
2 高光譜影像拼接結(jié)果分析
2.1 高光譜拼接圖分析
以高光譜拼接圖像的任意三波段作為RGB(R:red,G:green, B:blue)偽彩色合成圖為例,從圖1可知,從總體上看,對(duì)圖像特征點(diǎn)明顯的區(qū)域,是否選擇勻色對(duì)高光譜影像的拼接無(wú)顯著差異。但在特征點(diǎn)不顯著區(qū)域則圖像顯示差異較大,如圖2可知,對(duì)拼接圖像是否采用勻色對(duì)高光譜影像的“圖”有較為顯著的差異,顯然在采用勻色對(duì)拼接結(jié)果的“圖”效果更好,而勻色是否對(duì)高光譜影像的“光譜”有較大的影響,則需要進(jìn)一步的分析驗(yàn)證。
圖1 高光譜影像拼接前后效果圖(以RGB偽彩色為例)
圖2 高光譜影像重疊區(qū)域拼接勻色與否對(duì)比
2.2 高光譜影像拼接光譜分析
為了進(jìn)一步驗(yàn)證高光譜影像拼接結(jié)果的有效性,本文提取了拼接結(jié)果重疊區(qū)域中典型地物(如植被、土壤、房屋等)的8個(gè)采樣點(diǎn)的光譜反射率及拼接前2景圖像對(duì)應(yīng)位置的光譜反射率進(jìn)行對(duì)比分析,這8個(gè)采樣點(diǎn)的光譜反射率曲線(xiàn)如圖3所示。圖3中**條光譜和**條光譜代表的是拼接前2景圖像重疊區(qū)相同位置的光譜反射率,未勻色和勻色分別代表的是未勻色和勻色拼接圖像相應(yīng)位置的光譜反射率。從圖3可知,反射率較高的地物,其拼接前后的光譜重疊率較高,如第三類(lèi)和第六類(lèi)地物;而反射率較低的地物,其拼接前后的光譜差異較大,如第七類(lèi)地物所示??傮w而言拼接前后高光譜圖像的光譜反射率曲線(xiàn)相似度非常高,拼接后其光譜反射率曲線(xiàn)保留了未拼接前高光譜圖像的反射率曲線(xiàn)的大部分信息。
圖3 8個(gè)采樣點(diǎn)拼接前光譜曲線(xiàn)與拼接后光譜曲線(xiàn)對(duì)比分析
2.3 高光譜影像拼接前后光譜匹配度分析
在高光譜影像的實(shí)際應(yīng)用中不僅注重空間信息更加注重其光譜信息,因此為了更為準(zhǔn)確地驗(yàn)證拼接方法的有效性,分別選用光譜角填圖(SAM)、波譜特征擬合分類(lèi)法(SFF)及二進(jìn)制編碼(BE)對(duì)拼接前后、是否勻色的光譜曲線(xiàn)進(jìn)行匹配與相似性計(jì)算,得到一個(gè)0-1的匹配度分值, SAM、SFF和BE三者總分值越高,則相似性越好,具體計(jì)算結(jié)果如表1所示。
從表1可以看出,在SAM方面,在8個(gè)采樣點(diǎn)中,未勻色拼接結(jié)果圖像的匹配度*小值為0.959,*大值為1,勻色拼接結(jié)果圖像的匹配度*小值為0.958,*大值為0.995;在SFF方面,在8個(gè)采樣點(diǎn)中,未勻色拼接結(jié)果圖像的匹配度*小值為0.881,*大值為0.999,勻色拼接結(jié)果圖像的匹配度*小值為0.807,*大值為0.995;在BE方面,在8個(gè)采樣點(diǎn)中,未勻色拼接結(jié)果圖像的匹配度*小值為0.942,*大值為1,勻色拼接結(jié)果圖像的匹配度*小值為0.883,*大值為1;在SAM、SFF和BE三者總分值方面,在8個(gè)采樣點(diǎn)中,未勻色拼接結(jié)果圖像的匹配度*小值為2.826,*大值為2.999,勻色拼接結(jié)果圖像的匹配度*小值為2.801,*大值為2.985,因此是否對(duì)高光譜圖像的拼接結(jié)果采用勻色處理,對(duì)其光譜并無(wú)太大影響。
不同采樣點(diǎn)之間,當(dāng)利用**條光譜作為基準(zhǔn)對(duì)其他光譜曲線(xiàn)進(jìn)行匹配分析時(shí),得出的匹配結(jié)果與利用**條光譜作為基準(zhǔn)對(duì)其他光譜曲線(xiàn)進(jìn)行匹配分析時(shí)不一樣,這是因?yàn)閮删皥D像雖然有著重疊區(qū)域,但是受空間分辨率的影響,并不能保證存在重疊區(qū)的高光譜圖像,其相應(yīng)像素代表的地面物體完全相同,因此光譜曲線(xiàn)存在差異是正常的。為減少兩景圖像重疊區(qū)相同像素光譜的差異性,在選擇采樣點(diǎn)時(shí)盡量選擇周邊較為均一的地物。
表1 影像拼接前后其光譜相似度評(píng)價(jià)
采樣點(diǎn)1 |
|
光譜匹配度鑒定結(jié)果 |
|||
SAM |
SFF |
BE |
總分 |
||
**條光譜 |
|||||
**條光譜 |
0.965 |
0.883 |
1 |
2.848 |
|
未平滑 |
0.959 |
0.901 |
1 |
2.859 |
|
平滑 |
0.958 |
0.897 |
1 |
2.856 |
|
**條光譜 |
|||||
**條光譜 |
0.965 |
0.889 |
1 |
2.854 |
|
未平滑 |
0.971 |
0.881 |
1 |
2.853 |
|
平滑 |
0.973 |
0.872 |
1 |
2.845 |
|
采樣點(diǎn)2 |
**條光譜 |
||||
**條光譜 |
0.987 |
0.951 |
0.994 |
2.933 |
|
未平滑 |
0.983 |
0.955 |
1 |
2.938 |
|
平滑 |
0.983 |
0.949 |
0.994 |
2.927 |
|
**條光譜 |
|||||
**條光譜 |
0.996 |
0.993 |
1 |
2.989 |
|
未平滑 |
0.987 |
0.930 |
0.994 |
2.911 |
|
平滑 |
0.970 |
0.880 |
0.994 |
2.845 |
|
采樣點(diǎn)3 |
**條光譜 |
||||
**條光譜 |
1 |
0.999 |
1 |
2.999 |
|
未平滑 |
1 |
0.999 |
1 |
2.999 |
|
平滑 |
0.995 |
0.995 |
1 |
2.985 |
|
**條光譜 |
|||||
**條光譜 |
0.995 |
0.990 |
1 |
2.985 |
|
未平滑 |
0.995 |
0.990 |
1 |
2.985 |
|
平滑 |
0.995 |
0.990 |
1 |
2.985 |
|
采樣點(diǎn)4 |
**條光譜 |
||||
**條光譜 |
1 |
0.999 |
1 |
2.999 |
|
未平滑 |
0.978 |
0.881 |
0.989 |
2.848 |
|
平滑 |
0.968 |
0.882 |
0.972 |
2.821 |
|
**條光譜 |
|||||
**條光譜 |
0.968 |
0.886 |
0.972 |
2.826 |
|
未平滑 |
0.968 |
0.886 |
0.972 |
2.826 |
|
平滑 |
0.981 |
0.837 |
0.983 |
2.801 |
|
采樣點(diǎn)5 |
**條光譜 |
||||
**條光譜 |
1 |
0.996 |
0.972 |
2.968 |
|
未平滑 |
0.994 |
0.991 |
0.942 |
2.927 |
|
平滑 |
0.994 |
0.981 |
0.883 |
2.859 |
|
**條光譜 |
|||||
**條光譜 |
0.991 |
0.931 |
1 |
2.922 |
|
未平滑 |
0.985 |
0.903 |
0.994 |
2.882 |
|
平滑 |
0.981 |
0.890 |
0.994 |
2.866 |
|
采樣點(diǎn)6 |
**條光譜 |
||||
**條光譜 |
0.991 |
0.970 |
1 |
2.961 |
|
未平滑 |
0.991 |
0.970 |
1 |
2.960 |
|
平滑 |
0.978 |
0.927 |
1 |
2.905 |
|
**條光譜 |
|||||
**條光譜 |
0.991 |
0.971 |
1 |
2.961 |
|
未平滑 |
0.987 |
0.956 |
1 |
2.944 |
|
平滑 |
0.982 |
0.942 |
1 |
2.923 |
|
采樣點(diǎn)7 |
**條光譜 |
||||
**條光譜 |
0.979 |
0.940 |
0.977 |
2.896 |
|
未平滑 |
0.994 |
0.981 |
0.994 |
2.970 |
|
平滑 |
0.990 |
0.969 |
0.994 |
2.954 |
|
**條光譜 |
|||||
**條光譜 |
0.979 |
0.936 |
0.977 |
2.892 |
|
未平滑 |
0.989 |
0.968 |
0.983 |
2.940 |
|
平滑 |
0.985 |
0.955 |
0.983 |
2.923 |
|
采樣點(diǎn)8 |
**條光譜 |
||||
**條光譜 |
0.990 |
0.930 |
1 |
2.920 |
|
未平滑 |
0.985 |
0.910 |
0.983 |
2.877 |
|
平滑 |
0.981 |
0.899 |
0.983 |
2.863 |
|
**條光譜 |
|||||
**條光譜 |
0.996 |
0.974 |
1 |
2.970 |
|
未平滑 |
0.990 |
0.949 |
0.983 |
2.923 |
|
平滑 |
0.981 |
0.889 |
0.983 |
2.853 |
2.4 圖像拼接效率對(duì)比
為了驗(yàn)證無(wú)人機(jī)高光譜影像的拼接效率,本文選取了兩臺(tái)筆記本的電腦,分別是Dell7520和ThinkPad T440P對(duì)24景、50景、120景、500景無(wú)人機(jī)高光譜影像進(jìn)行拼接,如表2所示。研究結(jié)果表明,硬件配置較好的DeLL7520拼接效率遠(yuǎn)遠(yuǎn)高于硬件配置較差的ThinkPad T440P,在處理24景無(wú)人機(jī)高光譜影像拼接時(shí),DeLL7520比ThinkPad T440P處理速度快4個(gè)小時(shí);在處理50景無(wú)人機(jī)高光譜影像拼接時(shí),DeLL7520比ThinkPad T440P處理速度快7.7個(gè)小時(shí);在處理120景和500景無(wú)人機(jī)高光譜影像時(shí),ThinkPad T440P處理速度顯然更慢,甚至出現(xiàn)筆記本卡死/藍(lán)屏重啟,而DELL7520則正常拼接。
表2 硬件配置及圖像拼接效率對(duì)比
筆記本 |
DELL7520 |
ThinkPad T440P |
|
硬盤(pán)配置 |
CPU |
i7-7700HQ |
I7-4710MQ |
內(nèi)存 |
64GB |
16GB |
|
硬盤(pán) |
SSD |
SSD |
|
顯卡 |
NVIDIA Quadro M2200,4GB |
NVIDIA GeForce GT 730M+Intel GMA HD 4600, 1GB |
|
效率對(duì)比 |
24景 |
1小時(shí) |
5小時(shí) |
50景 |
1.8小時(shí) |
9.5小時(shí) |
|
120景 |
3.5小時(shí) |
20小時(shí),進(jìn)程1/3 |
|
500景 |
8.5小時(shí) |
筆記本卡死 |
3 結(jié)論
本文對(duì)消除大氣、水汽等因素影響的高光譜影像計(jì)算其波段信噪比,并根據(jù)其信噪比的峰值篩選出特征波段,利用SIFT算法對(duì)選出的特征波段提取特征點(diǎn)并對(duì)特征點(diǎn)進(jìn)行匹配,墨卡托投影(Mercator)糾正圖像的變形以及重投影空三(Reproj)算法細(xì)化高光譜相機(jī)參數(shù)的方法對(duì)無(wú)人機(jī)高光譜影像進(jìn)行自動(dòng)拼接并對(duì)拼接結(jié)果進(jìn)行勻色,同時(shí)運(yùn)用SAM、SFF和BE光譜匹配算法驗(yàn)證了高光譜影像拼接算法的可行性。研究表明本文提出的無(wú)人機(jī)高光譜影像拼接算法解決了當(dāng)前單幅無(wú)人機(jī)載高光譜影像圖幅過(guò)小的問(wèn)題,且對(duì)無(wú)控制點(diǎn)的無(wú)人機(jī)載內(nèi)置推掃式的高光譜遙感影像可實(shí)現(xiàn)自動(dòng)拼接,且拼接效果好、精度高、光譜畸變小,研究結(jié)果為其他無(wú)人機(jī)載高光譜遙感影像的自動(dòng)拼接提供借鑒,同時(shí)無(wú)人機(jī)高光譜影像的拼接結(jié)果可應(yīng)用于大范圍的高光譜遙感影像分類(lèi)與識(shí)別、土地利用/覆蓋分類(lèi)、精細(xì)農(nóng)業(yè)、環(huán)保、礦產(chǎn)礦物勘測(cè)等多種領(lǐng)域中。
本文參考文獻(xiàn):黃宇,陳興海,劉業(yè)林,等.無(wú)人機(jī)高光譜內(nèi)置推掃影像快速拼接方法[J].測(cè)繪地理信息,2019,44(05):24-28.