河海大學(xué)青年學(xué)者與英國研究團隊合作提出基于增強特征金字塔網(wǎng)絡(luò)和深度語義嵌入的遙感圖像場景分類方法

遙感圖像具有地物覆蓋范圍廣、地物信息復(fù)雜、人工標(biāo)注費時等特點，將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于遙感圖像處理后，能夠節(jié)省人力資源并提高并行處理效率，是推動遙感圖像自動化處理平臺發(fā)展的重要基石。目前，基于深度學(xué)習(xí)的遙感圖像場景分類中存在如下問題：一是網(wǎng)絡(luò)過度關(guān)注全局特征而忽略局部特征；二是單向?qū)哟位�特征提取方式�?dǎo)致淺層特征圖缺乏語義信息而深層特征圖存在空間信息缺失。為此， 我校計算機與信息學(xué)院王鑫博士與英國萊斯特大學(xué)（University of Leicester）Huiyu Zhou教授團隊共同開展基于增強特征金字塔網(wǎng)絡(luò)和深度語義嵌入的遙感圖像場景分類研究，在遙感圖像場景分類精度和可靠性等方面取得突破性進展，研究結(jié)果為后續(xù)遙感圖像的準(zhǔn)確解譯提供重要參考依據(jù)。

該方法的主要工作包括，通過增強特征金字塔模塊對深層特征圖豐富的語義信息進行傳播，以彌補淺層特征圖該信息的缺失；通過跨尺度信息融合模塊保持不同特征圖共性的同時也利用各自優(yōu)勢特征以增強特征；通過雙支路深層特征融合模塊的不同感受野提取多尺度上下文信息，引導(dǎo)網(wǎng)絡(luò)兼顧全局特征和局部特征。結(jié)果證明，所提出的算法在多個大規(guī)模公開數(shù)據(jù)集上的分類表現(xiàn)均遠(yuǎn)好于基準(zhǔn)方法，與業(yè)內(nèi)前沿方法相比具有明顯優(yōu)勢。

圖1.基于增強特征金字塔網(wǎng)絡(luò)和深度語義嵌入的遙感圖像場景分類框架

高分遙感圖像場景分類網(wǎng)絡(luò)整體框架（圖1）主要由：增強特征金字塔模塊（Enhanced Feature Pyramid Network，EFPN）（圖2）、深度語義嵌入模塊（Deep Semantic Embedding， DSE）（圖3）、雙支路深層特征融合模塊（Two-branch Deep Feature Fusion，TDFF）（圖4）以及場景分類器模塊（Scene Classifier）構(gòu)成。跟現(xiàn)有先進深度神經(jīng)網(wǎng)絡(luò)場景分類模型相比，提出的網(wǎng)絡(luò)分類精度明顯提升，且在保持分類高精度的同時即使在不同訓(xùn)練比例下仍能保持良好的泛化性。

圖2. 增強特征金字塔模塊（EFPN）

圖3. 深度語義嵌入模塊（DSE）

圖4. 雙支路深層特征融合模塊（TDFF）

作者將提出方法在著名的UCM、AID等數(shù)據(jù)集上進行了實驗，圖5為在AID上不同訓(xùn)練測試比例下的混淆矩陣。可以看出，提出模型對具有高類間相似性的類別能做到準(zhǔn)確分類，并對具有相似地物和紋理特征的類別的預(yù)測精度也較高。

圖5. 提出方法在AID數(shù)據(jù)集上的分類混淆矩陣

為探明不同模塊在分類性能上起到的作用，進行了全面的消融實驗，圖6顯示的是不同方案在UCM數(shù)據(jù)集每一個類別上的分類精度，可以看出，無論在哪個訓(xùn)練條件下，缺少EFPN的網(wǎng)絡(luò)性能降低最顯著，缺失CIF和TDFF的網(wǎng)絡(luò)在部分類別上性能略微下降，而三者集合的方法取得優(yōu)秀性能，這表明提出的方法每個模塊都是有必要且有作用的。

圖6. 消融實驗所用模型結(jié)構(gòu)在各類別上的準(zhǔn)確率

研究工作由中國中央高�；�本科研業(yè)務(wù)費項目、江蘇省六大人才高峰項目、江蘇政府留學(xué)獎學(xué)金、英國皇家學(xué)會牛頓高級學(xué)者基金、歐盟地平線2020計劃項目等提供經(jīng)費支持。相關(guān)成果以“Enhanced Feature Pyramid Network with Deep Semantic Embedding for Remote Sensing Scene Classification”為題于2021年9月發(fā)表于《IEEE Transactions on Geoscience and Remote Sensing》。

論文DOI：10.1109/TGRS.2020.3044655

鏈接：https://ieeexplore.網(wǎng)址未加載/document/9314283

END

來源：河海大學(xué)官網(wǎng)、信息學(xué)部計信院

編輯：小海螺記者 尤周緣；張然、柏蓉

推薦閱讀

• 河海大學(xué)2022年新年致辭
• 河海2022專屬日歷，來了！
• 100張河海人的比心照，2022，一起向未來！
• 12個關(guān)鍵詞，帶你看河海人2021的朋友圈！
• 全國首批！江蘇省首批！河海大學(xué)課程思政建設(shè)成效顯著

為河�？蒲悬c贊！