跨界 · 融合 · 服務 · 創新
大場景中的實時密集重建仍面臨一些挑戰。有兩個主要的未解決問題導致應用受限。首先，由于視差不足，大場景或遠距離目標的3D重建難以獲得穩定的精度。其次，隨著大場景數據量的增加，由于計算復雜度與優化參數數量之間的二次關系，無法容忍定位和密集深度估計過程所涉及的時間成本。為了解決這些問題，提出了一種在嵌入式GPU上運行的單目重建系統，該系統在大地形場景的表面重建中兼顧了效率和密度率。我們在低成本、小型無人機平臺上實現了該系統，該方案可以促進地形3D重建的更廣泛應用。
系統總覽
為了提高所提出的 3D 重建系統的效率和可維護性，該框架通過使用基于分布式機器人操作系統 (ROS) 的多處理架構分為幾個模塊。我們系統的管道如圖1所示。它由四個處理模塊組成：圖像采集和預處理模塊、位姿和尺度估計模塊、密集深度估計模塊和全局融合模塊。每個處理模塊都分配給一個獨立的線程。
圖1 多處理系統的框架
在這個管道中，模塊可以并行執行其功能并通過數據隊列相互交互，數據隊列填充了基于ROS的回調函數。圖像采集與預處理模塊實時采集圖像，并通過無畸變和直方圖均衡對圖像進行預處理，以實現穩定的光度測量。基于ROS的消息傳遞和同步的工作流程如圖2所示，這是一個使用ROS通信基礎設施松散耦合的進程的對等網絡。該框架可以在執行通信和消息傳遞時平衡計算負載。
圖2 基于ROS的消息傳遞和同步工作流程
多視角立體匹配
由于深度估計的分辨率取決于相鄰搜索平面之間的距離，因此精心選擇深度平面對深度估計精度至關重要。所選深度搜索平面的比較如圖3所示。與選擇與成像平面平行的平面（即圖3中的 (a,c)）的其他方法不同，我們的方法允許通過動態擬合深度的空間分布來以顯著的靈活性選擇平面。
圖3 ( a ) 中 的灰色平面為選擇的搜索平面，與成像平面平行，( b ) 為我們方法選擇的平面。平面灰度值表示深度值，點越暗，深度z越大。
選擇搜索平面的兩種不同方式可以導致沿搜索方向的不同深度分布，如 ( c , d ) 所示
BA計算出的關鍵點的三維坐標作為先驗預測場景中深度的空間分布。圖4顯示 ORB-SLAM3 提取的關鍵點分布分為四個區域。
圖4 均勻分布的 Oriented FAST 和 Rotated Brief (ORB) 特征點分為四個區域
并行計算
由于像素間匹配代價的計算是相互獨立的，為了方便在線計算，我們將GPU中的每一次代價計算都實現為一個獨立的線程來加速處理。如圖5所示，當前匹配圖像網格由多個CUDA塊組成，每個CUDA塊由多個線程組成
圖5 GPU中計算結構的組成。左邊的黃色框代表塊數組，右邊的綠色框代表線程數組。所有塊和線程都可以訪問設備內存，而同一塊中的線程可以訪問共享內存
評估數據采集
雙目相機獲得的深度誤差在大場景中是不可忽略的。因此，很難獲得真實大場景的深度ground-truth。我們提出了一種基于Gazebo 3D機器人模擬器生成的合成數據評估深度精度的實驗方法。為了使合成數據更加逼真，虛擬場景由陽光條件和通常在現實世界中觀察到的某些紋理（例如草、沙子和巖石）構建，如圖6所示。此外，該環境下的模擬RGB-D傳感器可以提供與每個RGB 圖像對應的完美深度地面實況。
圖6 草 ( a )、沙子 ( b ) 和巖石 ( c ) 的紋理是在現實世界中捕獲的。通過應用合適的高度圖，我們可以將所有紋理融合到一個完整的混合地形場景中。采用淡入淡出融合消除圖像拼接縫。
陽光條件也適用于使合成數據更加逼真。最終合成場景的頂視圖顯示在 ( d ) 中
如圖7 a、b所示，通過高度圖生成器獲得空間分辨率為1m的 16位灰度深度圖。這個深度圖使我們能夠在Gazebo模擬器中構建一個大小為8000m× 8000m的真實比例的不平坦地形3D模型。我們使用配備RGB-D相機的模擬無人機飛越現場并獲取航拍數據。RGB 圖像用于系統輸入，深度圖用于精度評估。此外，給出了ground truth 姿勢。通過對RGB相機中的傳感器噪聲進行建模，可以模擬合成數據中的真實世界偽影。此外，仿真環境可以提供風的物理特性，使無人機能夠在可控范圍內微弱擺動。
圖7選定區域（a）位于喜馬拉雅山中部，（b）是其對應的由terrain.party生成的深度圖。( c ) 顯示了sUAV，它配備了RGB-D攝像頭，用于RGB視頻捕獲和深度地面實況數據收集。
攝像頭的深度采樣距離不受限制。( d ) 是用于系統輸入的注冊彩色圖像的示例，( e ) 是用于精度評估的地面實況深度圖
在攝影測量地形測繪任務中，通常會針對各種類型的地形在不同的地面高度拍攝航拍圖像。考慮到這一點，我們以無人機飛行高度和地形平均高差為變量通過數據集進行精度評估。數據集包含同一場景在不同地面高度（800m、1000m和1200m）捕獲的航拍圖像。我們基于圖8所示的高度圖為該數據集構建了一個地形。
