跨界 · 融合 · 服務 · 創新
隨著計算機視覺和人工智能技術的飛速發展，出現了一種新的導航方法：視覺導航。視覺導航具有自主性好、可靠性高、成本低等優點。近年來，隨著視覺導航概念、理論和方法的不斷更新和完善，視覺導航已成為無人機自主導航的重要研究領域之一。
視覺導航的研究最初受到巡航導彈中地形輪廓匹配制導系統的啟發。但是，無人機的飛行環境不一定是光照充足的理想環境。無人機在陰天或夜間飛行時，由于光線減少，相機會捕捉到低光圖像，嚴重影響圖像質量，如對比度低、能見度低等。同時，由于法律法規的限制，有人駕駛飛機白天飛行的頻率遠高于夜間，這將大大縮小無人機的飛行空間。因此，無人機最適合的飛行時間是有人駕駛飛機較少的夜晚，見圖1。因此，將低光航拍圖像轉換為高質量的正常光圖像，不僅可以提高圖像的視覺質量，還可以提高無人機在目標檢測等一些高級視覺任務中的性能、語義分割等，它還可以使無人機應用于更廣泛的領域，例如應急救援、環境監測等。
圖1 比較了微光圖像和增強圖像的匹配結果和檢測結果
我們基于 Retinex 理論提出了一個新的全卷積網絡，它由兩個子網絡組成，Decomposition-Net (Decom-Net) 和 Enhancement-Net (Enhance-Net)。建議的低光圖像增強管道如圖 2所示。Decom-Net 將輸入圖像分解為光照和反射圖，同時抑制反射中的噪聲。
Enhance-Net以Decom-Net的輸出為輸入，增強光照圖的對比度和亮度。因此，所提出的方法可以提高低光圖像中的對比度并抑制噪聲，并獲得具有更好視覺質量的增強結果。
圖 2.低光圖像增強管道。Decom-Net 將輸入圖像分解為光照圖和反射圖，Enhance-Net 使光照圖變亮。低光圖像的反射圖和光照圖作為Enhance-Net的輸入。正常光圖像的分解不參與 Enhance-Net 訓練階段
Decom網絡包含八個3×3卷積層，每個卷積層的輸入和輸出特征映射大小相等，且具有步長2和一個校正線性單元（ReLU）。通過使用跳轉連接結構，i-1卷積層和i卷積層的輸出結果被組合為i+1卷積層（i=1，…，5）的輸入。Decom Net的網絡架構如圖3所示。
圖3 Decom-Net 的網絡架構
Enhanced Net包含七個卷積塊，每個卷積塊包含兩個3×3卷積層，步長為1，以保持前后特征圖的大小相同；前三個卷積塊之后是步幅卷積，以執行下采樣；最后三個卷積塊之后是一個反卷積層，以執行上采樣。然后，利用多尺度融合，將第七個卷積塊的輸出和最后三個反卷積層的輸出串聯起來作為下一個卷積層的輸入，這樣可以最大限度地組合上下文信息，減少特征信息的丟失。最后，通過3×3卷積層得到增強的光照圖，增強網絡中的每個卷積塊后面跟著一個ReLU。EnhanceNet的網絡架構如圖4所示。
圖4 Enhance-Net的網絡結構
在得到Decom網的分解結果和增強網的增強結果后，將兩個子網的輸出通過逐元素乘法進行組合，作為最終結果。圖5顯示了弱光圖像的整個網絡的分解結果。
圖5 弱光圖像分解結果的示例。（a） 是輸入圖像，（b）是由Decom Net生成的反射貼圖，（c）是由Enhanced Net生成的照明貼圖
微光圖像的退化主要體現在對比度低。為了更好地模擬真實的弱照明圖像，我們對正常光圖像的每個通道應用Gamma校正來改變對比度。合成微光圖像的示例如圖6所示。
圖6 合成微光圖像示例
在執行視覺導航任務時，無人機可能會受到照明條件不足或傳感器性能不足等因素的影響，因此有必要對捕獲的微光圖像進行增強。然而，并不是所有的圖像都需要增強，因此在預處理階段必須判斷圖像是否具有弱光照條件。如圖7所示，可以通過計算每個圖像的拉普拉斯梯度函數值來設置閾值。如果小于我們設置的閾值，則圖像需要增強，如果大于閾值，則圖像不需要圖像增強處理。
圖7 不同光照條件下圖像的拉普拉斯梯度函數值
我們選擇的參考圖像是衛星圖像，參考圖像的視距和尺寸（7200×3600）都比航空圖像大，因此我們將參考圖像分割成多個小尺寸參考圖像，并依次將航空圖像與小尺寸圖像進行匹配，這有助于減少匹配過程中的搜索時間?？梢暬瘜Ш焦艿廊鐖D8所示。
圖8 視覺導航管道
傳統的方法是在CPU上運行，這將增加推理時間。我們的方法在GPU上增強每個圖像的平均時間成本比我們的競爭對手快0.11秒，這得益于我們更小的模式大?。?.85MB）和更好的網絡設計，如圖9所示。
圖9 合成測試圖像的視覺比較
在視覺導航實驗中，我們收集了一個包含5幅大視距衛星圖像的數據集，每幅衛星圖像對應10幅小視距航空圖像。我們以衛星圖像為參考圖像，基于我們提出的視覺導航管道進行了實驗。當航空圖像為弱光圖像時，我們使用我們提出的增強方法將其轉換為高質量的正常光圖像，并與參考圖像進行匹配。圖10顯示了一些實驗結果示例。紅色框是航空影像映射到衛星影像的區域，黃色框中的紅色點是航空影像中心點映射到衛星影像的位置，該紅色位置的經緯度信息是我們方法估計的無人機的當前位置。
