国偷自产一区二区免费视频,美女免费视频一区,九九热线视频只有这里最精品,欧美日韩一区成人

大場(chǎng)景中的實(shí)時(shí)密集重建仍面臨一些挑戰(zhàn)。有兩個(gè)主要的未解決問題導(dǎo)致應(yīng)用受限。首先，由于視差不足，大場(chǎng)景或遠(yuǎn)距離目標(biāo)的3D重建難以獲得穩(wěn)定的精度。其次，隨著大場(chǎng)景數(shù)據(jù)量的增加，由于計(jì)算復(fù)雜度與優(yōu)化參數(shù)數(shù)量之間的二次關(guān)系，無法容忍定位和密集深度估計(jì)過程所涉及的時(shí)間成本。為了解決這些問題，提出了一種在嵌入式GPU上運(yùn)行的單目重建系統(tǒng)，該系統(tǒng)在大地形場(chǎng)景的表面重建中兼顧了效率和密度率。我們?cè)诘统杀尽⑿⌒蜔o人機(jī)平臺(tái)上實(shí)現(xiàn)了該系統(tǒng)，該方案可以促進(jìn)地形3D重建的更廣泛應(yīng)用。

 系統(tǒng)總覽 

為了提高所提出的 3D 重建系統(tǒng)的效率和可維護(hù)性，該框架通過使用基于分布式機(jī)器人操作系統(tǒng) (ROS) 的多處理架構(gòu)分為幾個(gè)模塊。我們系統(tǒng)的管道如圖1所示。它由四個(gè)處理模塊組成：圖像采集和預(yù)處理模塊、位姿和尺度估計(jì)模塊、密集深度估計(jì)模塊和全局融合模塊。每個(gè)處理模塊都分配給一個(gè)獨(dú)立的線程。

圖1 多處理系統(tǒng)的框架

在這個(gè)管道中，模塊可以并行執(zhí)行其功能并通過數(shù)據(jù)隊(duì)列相互交互，數(shù)據(jù)隊(duì)列填充了基于ROS的回調(diào)函數(shù)。圖像采集與預(yù)處理模塊實(shí)時(shí)采集圖像，并通過無畸變和直方圖均衡對(duì)圖像進(jìn)行預(yù)處理，以實(shí)現(xiàn)穩(wěn)定的光度測(cè)量。基于ROS的消息傳遞和同步的工作流程如圖2所示，這是一個(gè)使用ROS通信基礎(chǔ)設(shè)施松散耦合的進(jìn)程的對(duì)等網(wǎng)絡(luò)。該框架可以在執(zhí)行通信和消息傳遞時(shí)平衡計(jì)算負(fù)載。

圖2 基于ROS的消息傳遞和同步工作流程

 多視角立體匹配 

由于深度估計(jì)的分辨率取決于相鄰搜索平面之間的距離，因此精心選擇深度平面對(duì)深度估計(jì)精度至關(guān)重要。所選深度搜索平面的比較如圖3所示。與選擇與成像平面平行的平面（即圖3中的 (a,c)）的其他方法不同，我們的方法允許通過動(dòng)態(tài)擬合深度的空間分布來以顯著的靈活性選擇平面。

圖3 ( a ) 中 的灰色平面為選擇的搜索平面，與成像平面平行，( b ) 為我們方法選擇的平面。平面灰度值表示深度值，點(diǎn)越暗，深度z越大。

選擇搜索平面的兩種不同方式可以導(dǎo)致沿搜索方向的不同深度分布，如 ( c , d ) 所示

BA計(jì)算出的關(guān)鍵點(diǎn)的三維坐標(biāo)作為先驗(yàn)預(yù)測(cè)場(chǎng)景中深度的空間分布。圖4顯示 ORB-SLAM3 提取的關(guān)鍵點(diǎn)分布分為四個(gè)區(qū)域。

圖4 均勻分布的 Oriented FAST 和 Rotated Brief (ORB) 特征點(diǎn)分為四個(gè)區(qū)域

 并行計(jì)算 

由于像素間匹配代價(jià)的計(jì)算是相互獨(dú)立的，為了方便在線計(jì)算，我們將GPU中的每一次代價(jià)計(jì)算都實(shí)現(xiàn)為一個(gè)獨(dú)立的線程來加速處理。如圖5所示，當(dāng)前匹配圖像網(wǎng)格由多個(gè)CUDA塊組成，每個(gè)CUDA塊由多個(gè)線程組成

圖5 GPU中計(jì)算結(jié)構(gòu)的組成。左邊的黃色框代表塊數(shù)組，右邊的綠色框代表線程數(shù)組。所有塊和線程都可以訪問設(shè)備內(nèi)存，而同一塊中的線程可以訪問共享內(nèi)存

 評(píng)估數(shù)據(jù)采集 

雙目相機(jī)獲得的深度誤差在大場(chǎng)景中是不可忽略的。因此，很難獲得真實(shí)大場(chǎng)景的深度ground-truth。我們提出了一種基于Gazebo 3D機(jī)器人模擬器生成的合成數(shù)據(jù)評(píng)估深度精度的實(shí)驗(yàn)方法。為了使合成數(shù)據(jù)更加逼真，虛擬場(chǎng)景由陽(yáng)光條件和通常在現(xiàn)實(shí)世界中觀察到的某些紋理（例如草、沙子和巖石）構(gòu)建，如圖6所示。此外，該環(huán)境下的模擬RGB-D傳感器可以提供與每個(gè)RGB 圖像對(duì)應(yīng)的完美深度地面實(shí)況。

 圖6 草 ( a )、沙子 ( b ) 和巖石 ( c ) 的紋理是在現(xiàn)實(shí)世界中捕獲的。通過應(yīng)用合適的高度圖，我們可以將所有紋理融合到一個(gè)完整的混合地形場(chǎng)景中。采用淡入淡出融合消除圖像拼接縫。

陽(yáng)光條件也適用于使合成數(shù)據(jù)更加逼真。最終合成場(chǎng)景的頂視圖顯示在 ( d ) 中

如圖7 a、b所示，通過高度圖生成器獲得空間分辨率為1m的 16位灰度深度圖。這個(gè)深度圖使我們能夠在Gazebo模擬器中構(gòu)建一個(gè)大小為8000m× 8000m的真實(shí)比例的不平坦地形3D模型。我們使用配備RGB-D相機(jī)的模擬無人機(jī)飛越現(xiàn)場(chǎng)并獲取航拍數(shù)據(jù)。RGB 圖像用于系統(tǒng)輸入，深度圖用于精度評(píng)估。此外，給出了ground truth 姿勢(shì)。通過對(duì)RGB相機(jī)中的傳感器噪聲進(jìn)行建模，可以模擬合成數(shù)據(jù)中的真實(shí)世界偽影。此外，仿真環(huán)境可以提供風(fēng)的物理特性，使無人機(jī)能夠在可控范圍內(nèi)微弱擺動(dòng)。

圖7選定區(qū)域（a）位于喜馬拉雅山中部，（b）是其對(duì)應(yīng)的由terrain.party生成的深度圖。( c ) 顯示了sUAV，它配備了RGB-D攝像頭，用于RGB視頻捕獲和深度地面實(shí)況數(shù)據(jù)收集。

攝像頭的深度采樣距離不受限制。( d ) 是用于系統(tǒng)輸入的注冊(cè)彩色圖像的示例，( e ) 是用于精度評(píng)估的地面實(shí)況深度圖

在攝影測(cè)量地形測(cè)繪任務(wù)中，通常會(huì)針對(duì)各種類型的地形在不同的地面高度拍攝航拍圖像。考慮到這一點(diǎn)，我們以無人機(jī)飛行高度和地形平均高差為變量通過數(shù)據(jù)集進(jìn)行精度評(píng)估。數(shù)據(jù)集包含同一場(chǎng)景在不同地面高度（800m、1000m和1200m）捕獲的航拍圖像。我們基于圖8所示的高度圖為該數(shù)據(jù)集構(gòu)建了一個(gè)地形。

圖8 高度差分別為100m、200m和300 m的三個(gè)合成地形

本研究生成的3D點(diǎn)云最初來自2D深度圖。通過相機(jī)位姿應(yīng)用映射變換，并使用TSDF邊緣化冗余估計(jì)，我們可以構(gòu)建整個(gè)場(chǎng)景的全局地圖。深度圖穩(wěn)定性（即在不同關(guān)鍵幀中對(duì)同一空間對(duì)象點(diǎn)的估計(jì)的一致性）在這一步中起著重要作用。我們將所有深度圖投影到空間，如圖9所示，以評(píng)估點(diǎn)云穩(wěn)定性。

圖9 四種方法的全局映射：( a ) 提出的方法 ( b ) 四叉樹映射 ( c ) REMODE，和 ( d ) 概率映射。所選區(qū)域顯示點(diǎn)云的細(xì)節(jié)

在本實(shí)驗(yàn)中使用的無人機(jī)平臺(tái)配備了超高清攝像機(jī)，以3840 × 2160分辨率和每秒30幀的速度獲取航拍圖像。此外，還記錄了 GPS和IMU值，使我們能夠通過近似地高和俯仰角（相機(jī)光軸與水平面之間的角度）對(duì)數(shù)據(jù)進(jìn)行分類。無人機(jī)多次飛行以獲取感興趣區(qū)域的航拍圖像，包括城鎮(zhèn)、山區(qū)和混合區(qū)域場(chǎng)景。這些場(chǎng)景位于天津九上頂山，面積約9平方公里。圖10顯示了谷歌地球獲取的衛(wèi)星圖像和無人機(jī)獲取的航空?qǐng)D像的示例。

圖10 城鎮(zhèn)、山區(qū)和混合區(qū)場(chǎng)景的衛(wèi)星圖像和低空航空?qǐng)D像示例

在模擬場(chǎng)景中，74.1%的深度估計(jì)錯(cuò)誤率低于1%。在全局映射中，93.462%的估計(jì)點(diǎn)云的絕對(duì)誤差距離小于0.9%。在真實(shí)場(chǎng)景中，我們估計(jì)的點(diǎn)云中超過81.27%與Photoscan的結(jié)果相差不到5 m。所提出的方法可用于各種地形場(chǎng)景，并且在準(zhǔn)確性和效率方面優(yōu)于最先進(jìn)的基于嵌入式 GPU 的實(shí)時(shí)3D重建方法。

源自：Lai, Z.; Liu, F.; Guo, S.; Meng, X.; Han, S.; Li, W. Onboard Real-Time Dense Reconstruction in Large Terrain Scene Using Embedded UAV Platform. Remote Sens. 2021, 13,2778. https://doi.org/10.3390/rs13142778