跨界 · 融合 · 服務 · 創新
基于視覺的無人機大范圍室外道路檢測及拓撲地圖構建
王玉茜 張雪濤 閆 飛 莊 嚴
（1.大連理工大學控制科學與工程學院，大連 116024；2.大連理工大學人工智能學院，大連 116024）
摘 要: 空地協作中空中機器人對室外可行道路的檢測與建圖，有利于提升地面機器人的導航能力。為了實現上述功能，提出了一種新的基于道路分割、圖像拼接、骨架提取的無人機大范圍室外道路檢測及拓撲地圖構建方法。首先，為了解決無人機基于航拍圖像的道路識別問題，通過D-LinkNet 網絡完成對無人機航拍圖像中道路的分割，并在保證分割準確率的情況下提升了分割的實時性。其次，考慮到無人機飛行高度和相機視角有限的問題，設計了基于GPU 加速的ORB 圖像拼接算法，從而實現了室外大范圍場景的獲取。然后，為了完成道路拓撲關系的建立，借鑒并行二值圖像細化算法，設計了用于道路拓撲化的骨架提取算法，進而得到了道路拓撲地圖。最后，所提方法在馬薩諸塞州道路數據集上進行測試，實驗結果驗證了該方法在道路分割、拓撲地圖構建方面具有較高的準確性，且可滿足實時性要求。所建拓撲地圖有利于地面機器人導航能力的提升。
關鍵詞: 空地協作；拓撲地圖；D-LinkNet；道路分割；圖像拼接；骨架提取
1 引 言
近年來，隨著人類在人工智能、地圖構建、圖像處理等領域取得突破性的科技進展，無人機和地面機器人也得到了迅速發展，二者各有利弊。一方面，無人機具有較廣的觀察視角，但其有效載荷低、續航時間有限；另一方面，地面機器人的視角受限制，但其有效載荷高、續航時間長[1]。如果利用無人機進行環境探索，從而引導地面機器人更快地完成作業任務，即空地協作，吸引了諸多學者研究[2-6]。文獻[7]提出了一種基于鳥瞰圖導航地面機器人的概念證明。文獻[8]利用無人機空中建圖，進而驅動地面機器人進行避障和路徑規劃。空地協作可以拓寬地面機器人的有限視場[9-10]，可以用于虛擬現實[11]、多機器人監控[12-13]、協同作戰[14]。而如何利用無人機對地面環境建圖是空地協作領域發展的一個關鍵問題。
本文目標是使用無人機生成可供地面機器人使用的室外大范圍拓撲地圖。為此，本文提出了一種基于道路分割、圖像拼接和骨架提取的大范圍拓撲地圖構建方法，其中，圖像拼接技術可實現室外大范圍場景的獲取，道路分割和骨架提取可實現拓撲地圖的構建。
為實現拓撲化地圖的構建，首先需要無人機對地面道路的準確觀測，即對場景中的道路進行準確分割。在道路分割領域，基于航拍圖像的道路檢測技術的應用范圍越來越廣，道路識別也得到廣泛研究。文獻[15]基于視覺對車道線和道路邊界進行檢測，同時運用基于蒙特卡羅方法的置信度評價方法對待測圖像進行處理。該算法能夠有效地克服道路環境不佳的影響，并且計算耗時較小。然而，該算法僅適用于與環境背景特征相差較大的道路目標檢測，很難適用于背景環境復雜的無人機航拍圖像。文獻[16]提出了基于啟發式搜索連接的航拍圖像直線檢測方法，首先對圖像進行高斯濾波和邊緣檢測，然后利用啟發式搜索連接，提取出符合道路直線模型的直線，最終獲得檢測結果。該算法實現簡單并具有良好的抗噪性能。文獻[17]提出了基于霍夫變換的航拍圖像道路檢測，霍夫直線檢測作為直線提取的經典算法，廣泛應用于直線檢測領域。文獻[18]針對道路顏色與周圍環境顏色存在明顯區別的情況，提出了基于顏色識別的道路檢測，但航拍圖像受屋頂、樹木陰影、車輛等影響較大，不適合應用此方法。隨著深度學習的發展，出現了多種基于神經網絡[19-20]的航拍圖像道路提取方法，主要分為兩類：一類追求圖像分割的準確性，犧牲了時間；另一類則以快速為主，降低了準確性。為了兼顧時間與準確性，本文采用時間與準確性均衡的D-LinkNet 語義分割神經網絡[21]。
其次，通過圖像拼接實現大范圍場景的獲取，在圖像拼接領域，Szeliski 提出了包含相機三維旋轉運動的圖像拼接技術，該方法首先求解透視矩陣，然后求解單應性矩陣的參數，調整焦距和旋轉矩陣以消除累積誤差，最后采用加權融合的方法將拼接圖像合成到一起。Brown 等[22-23]使用基于不變局部特征的物體識別技術來選擇匹配圖像，實現了無序圖像的全自動拼接，取得了較好的拼接效果。然而，當圖像數目較多時，邊緣圖像會發生畸變。為了解決這個缺陷，Gao 等[24]將場景劃分為背景平面和前景平面，用兩個單應性矩陣分別對齊背景和前景，進而無縫拼接大部分現實場景。隨后，文獻[25]采用網格優化的方法來解決圖像拼接問題，從形狀矯正的角度出發，借鑒圖像縮放的Shape-Preserving 類方法，非重疊區域逐漸過渡到全局相似變換，并對整個圖像 增加相似變換約束，矯正拼接圖像的畸變，減小了投影失真。Lowe[26-27]提出了尺度不變特征變換（Scale-Invariant Feature Transform, SIFT）算法，其具有尺度不變性，可在圖像中檢測出關鍵點，對于光線、噪聲、微視角改變的容忍度也相當高，但SIFT 算法計算量大，匹配速度較慢。因此，Bay 等[28]提出了快速魯棒特征（Speeded Up Robust Features, SURF）算法，它是SIFT 算法的加速版，其性能可與SIFT 相媲美，且比SIFT 快三倍。SURF 善于處理模糊和旋轉的圖像，但不擅長處理視點變化和照明變化。為解決SIFT 特征的高昂計算代價以及對噪聲敏感的弱點，Rublee 等[29]提出了特征提取算法（Oriented FAST and Rotated BRIEF，ORB），該算法基于FAST 和BRIEF 特征提出了二值特征，大大減少了計算量，提高了匹配速度，實驗表明，ORB 算法在時間上比SIFT 快100 倍，比SURF 快10 倍，并且匹配效果也較好。在道路分割后進行圖像拼接，可減少拼接時提取特征點的數量，大大減少了匹配拼接的計算量。除此之外，為了進一步提高匹配速度，本文設計了基于GPU 加速的ORB 圖像拼接算法，可以兼顧實時性與準確性。
最后，關于地圖構建，目前的地圖表示方法分為三類：柵格地圖、幾何地圖和拓撲地圖[30]。其中，拓撲地圖將環境表示為一張拓撲意義的圖，圖中的節點對應環境中的拐點或交叉點，弧表示不同節點之間的通道，適合于表示大規模環境。為完成拓撲地圖的構建，需要對道路分割后的大范圍場景進行骨架提取。一類方法是通過對所有道路線段求交來建立道路拓撲，但是在確定道路是否相交時難以選擇閾值。與此不同，用骨架表示目標圖像的連接拓撲和邊界信息，在機器人領域有著廣泛的應用。圖像骨架提取，即提取目標在圖像上的中心像素輪廓，以目標中心為準，對目標進行細化，細化后的目標為單像素寬度。中軸線是一個典型的骨架模型，其具有簡單、完整等優點。在此基礎上，研究人員提出了一系列基于細化的骨架提取算法，其大致可分為迭代和非迭代兩大類。在迭代算法中，又分為并行迭代和順序迭代兩種。Saeed 等[31]提出的K3M 算法則是順序迭代中應用廣泛的方法之一，該類算法的思想是，假定從二值圖像中物體的邊界處同時開始燃燒，物體就會被逐步細化，但在燃燒過程中要保證滿足一定條件的點被保留或者被“燒掉”，以確定燃燒結束后，剩下最后一個像素寬度的圖像為圖像的骨架。該方法存在像素冗余問題，得到的骨架出現分叉、不平滑現象。并行迭代以Zhang并行快速細化算法最為經典，該算法多應用于文字骨架的提取，在連接性和輪廓噪聲抗擾度方面效果較好。本文使用骨架提取的方法進行拓撲化，將Zhang 并行快速細化算法應用于拓撲地圖的構建。
為了實現室外大范圍拓撲地圖構建，本文提出了基于道路識別、圖像拼接、骨架提取集成的拓撲地圖構建框架。具體而言，先由圖像拼接實現大范圍場景獲取，然后通過道路識別和骨架提取實現拓撲地圖構建。由于所提策略先分割后拼接，實現了方法的實時性。此外，設計了基于GPU加速的ORB 圖像拼接算法，提高了拼接效率。
2 大范圍拓撲地圖構建方案
2.1 整體方案設計
本文的整體設計方案可分為三部分：道路分割、圖像拼接、拓撲構建，采用邊分割邊拼接、先分割后拼接的方案，前者可減少同時參與拼接的圖像數目，增加拼接準確性，后者可減少拼接時特征點檢測與匹配的計算量，增加拼接速度，流程圖如圖1 所示。
圖1 整體方案流程圖
Fig.1 Flow chart of the general scheme
2.2 基于深度學習的航拍圖像道路分割
2.3 基于ORB 算法的圖像拼接
2.4 基于骨架提取的拓撲地圖構建
3 實驗結果及分析
4 結 論
本文針對空地協作領域無人機室外道路觀測問題，提出了由道路分割、圖像拼接、骨架提取組成的基于視覺的無人機大范圍室外道路拓撲地圖的構建方法。首先，成功地將基于D-LinkNet的航拍圖像道路分割和Zhang 并行快速細化算法 用于室外大范圍拓撲地圖構建問題；其次，提出先分割后拼接的方案，大大減少了圖像拼接計算量，設計了基于GPU 加速的ORB 拼接算法，提高了拼接效率；最后，在INRIA aerial image 數據集上成功驗證了該方法的準確性和實時性。
參考文獻（略）
來源丨《無人系統技術》2021年第4期
