国偷自产一区二区免费视频,美女免费视频一区,九九热线视频只有这里最精品,欧美日韩一区成人

 
?微信公眾號(hào)
手機(jī)版
??新浪微博
會(huì)員登錄
關(guān)于我們  |   商務(wù)合作  |  友情鏈接   |  意見反饋  |  人才招聘
北京云翼同創(chuàng)科技有限公司 深圳高博特文化發(fā)展有限公司   版權(quán)所有,并保留所有權(quán)利 ? 2018 京ICP備16044150號(hào)-1                       

跨界 · 融合 · 服務(wù) · 創(chuàng)新



雙擊此處添加文字
政策法規(guī)
首頁  >  政策法規(guī)  >  詳情 
基于YOLO的無人機(jī)技術(shù):研究綜述及其應(yīng)用
來源:尖兵之翼 | 作者:高博特 | 發(fā)布時(shí)間: 2023-03-29 | 7951 次瀏覽 | 分享到:
無人機(jī)(UAV)或空中機(jī)器人正處于快速發(fā)展時(shí)期,基于YOLO算法的目標(biāo)檢測性能在工業(yè)上已達(dá)到較高水平,該算法仍需要不斷改進(jìn)……


目前,無人機(jī)(UAV)或空中機(jī)器人正處于快速發(fā)展時(shí)期,基于YOLO算法的目標(biāo)檢測性能在工業(yè)上已達(dá)到較高水平,該算法仍需要不斷改進(jìn)。無人機(jī)可以攜帶各種設(shè)備來完成不同的任務(wù)。這些任務(wù)的例子包括噴灑液體藥物,測繪,物流運(yùn)輸,災(zāi)害管理,航空攝影以及播種肥料或種子。基于YOLO算法的物體檢測技術(shù)已經(jīng)能夠?qū)崿F(xiàn)人類行為分析,面罩識(shí)別,醫(yī)療診斷分析,自動(dòng)駕駛,交通評(píng)估,多目標(biāo)跟蹤和機(jī)器人視覺。然而,無人機(jī)面臨復(fù)雜的場景或工作需要與地面控制終端保持良好的數(shù)據(jù)通信,因此無人機(jī)技術(shù)的創(chuàng)新和發(fā)展可能會(huì)受到某些應(yīng)用環(huán)境的限制。然而,無人機(jī)面臨復(fù)雜的場景或工作需要與地面控制終端保持良好的數(shù)據(jù)通信,因此無人機(jī)技術(shù)的創(chuàng)新和發(fā)展可能會(huì)受到某些應(yīng)用環(huán)境的限制。此外,基于YOLO算法的目標(biāo)檢測技術(shù)需要部署到高性能處理器中,并與圖像或視頻數(shù)據(jù)結(jié)合使用,這對(duì)使用場景提出了一定的要求。這兩種技術(shù)可以結(jié)合起來,創(chuàng)造出一種新技術(shù)——基于YOLO的無人機(jī)技術(shù)(YBUT)。無人機(jī)為YOLO算法提供了更多的應(yīng)用場景,YOLO算法可以幫助無人機(jī)完成更多新穎的任務(wù)。通過這種方式,無人機(jī)技術(shù)和YOLO算法可以進(jìn)一步促進(jìn)人們的日常生活,同時(shí)為各自行業(yè)的生產(chǎn)力做出貢獻(xiàn)。

隨著無人機(jī)技術(shù)的不斷成熟,世界各國的無人機(jī)數(shù)量每年都在增加,根據(jù)全球商用無人機(jī)的年銷量和銷量統(tǒng)計(jì),如圖1所示,到2025年,全球?qū)⒂屑s679,000架無人機(jī),市場規(guī)模約為5億美元。全球無人機(jī)數(shù)量如此之多,如果無人機(jī)可以作為空中平臺(tái)部署YOLO算法,就有可能使無人機(jī)更有價(jià)值。

圖1 全球商用無人機(jī)年銷量和銷量統(tǒng)計(jì)

YOLO是一種廣泛使用的深度學(xué)習(xí)算法,因?yàn)樗且环N基于分類/回歸的對(duì)象檢測方法,賦予算法核心優(yōu)勢:結(jié)構(gòu)非常簡單,模型體積小,計(jì)算速度快。自引入YOLO以來(截至2023年2月)經(jīng)過七年的發(fā)展,研究人員發(fā)布了YOLO算法的七個(gè)版本?;赮OLO的目標(biāo)檢測算法的機(jī)制是將輸入圖像調(diào)整為相同的大小,然后將圖像分成大小相等的S×S網(wǎng)絡(luò)單元,每個(gè)單獨(dú)的網(wǎng)絡(luò)單元都可以檢測其中的對(duì)象。如果檢測到的目標(biāo)的中心落入網(wǎng)絡(luò)像元中,則該網(wǎng)絡(luò)像元將對(duì)目標(biāo)進(jìn)行預(yù)測。每個(gè)網(wǎng)絡(luò)小區(qū)可能有N個(gè)檢測框,每個(gè)檢測框不僅計(jì)算自己的位置,還做出預(yù)測分?jǐn)?shù)。分?jǐn)?shù)表示檢測目標(biāo)存在于預(yù)測網(wǎng)絡(luò)單元中的可能性。由于網(wǎng)絡(luò)單元中可能有多個(gè)框,YOLO將自動(dòng)選擇得分最高的目標(biāo)類別進(jìn)行預(yù)測,如圖2所示。

圖2 基于YOLOv7的無人機(jī)技術(shù)架構(gòu)圖(BN:批量歸一化層;AF:激活函數(shù)層)

利用中英文搜索引擎(如Web of Science、中國國家知識(shí)基礎(chǔ)設(shè)施)對(duì)檢索結(jié)果進(jìn)行分析,得到中英文期刊在相關(guān)領(lǐng)域的主要研究主題。迄今為止,計(jì)算機(jī)視覺技術(shù)已經(jīng)開發(fā)了各種各樣的算法,其中YOLO算法是在2016年提出的,然后在2017年由Jiang等人首次應(yīng)用,他們將YOLO算法與無人機(jī)相結(jié)合。此后,YOLO算法和無人機(jī)融合技術(shù)不斷發(fā)展,相關(guān)研究成果或應(yīng)用激增。該技術(shù)也已從探索性實(shí)驗(yàn)轉(zhuǎn)變?yōu)閷W(xué)術(shù)研究熱點(diǎn)(見圖3)。

圖3 在頂級(jí)期刊和會(huì)議上發(fā)表的論文數(shù)量(2017-2022)

根據(jù)我們對(duì)YBUT應(yīng)用領(lǐng)域的調(diào)查,英文期刊中該領(lǐng)域熱門話題的信息匯總為餅圖,如圖4中的調(diào)查結(jié)果所示。從餅圖可以看出,熱門話題主要集中在技術(shù)研究、工程和運(yùn)輸?shù)刃袠I(yè),發(fā)表的論文或會(huì)議文獻(xiàn)的數(shù)量代表了研究人員的興趣。我們還調(diào)查了該領(lǐng)域熱門話題的中國期刊,發(fā)現(xiàn)它們更關(guān)注技術(shù)研究、工程和自動(dòng)化領(lǐng)域。隨著無人機(jī)技術(shù)和YOLO算法的不斷發(fā)展,這項(xiàng)技術(shù)開始在大多數(shù)領(lǐng)域進(jìn)行探索,在少數(shù)領(lǐng)域,已經(jīng)取得了一些成功。YBUT的發(fā)展和研究一直是頂級(jí)期刊和會(huì)議的熱門話題,現(xiàn)在該技術(shù)的實(shí)際應(yīng)用正逐漸引起他們的興趣。

 

圖4 YBUT的應(yīng)用領(lǐng)域調(diào)查:(a)英文期刊的熱門領(lǐng)域,(b)中文期刊的熱門領(lǐng)域

在YBUT應(yīng)用的早期階段,主要工作機(jī)制是通過無人機(jī)采集圖像或視頻數(shù)據(jù),然后由運(yùn)行基于YOLO的目標(biāo)檢測算法的計(jì)算機(jī)進(jìn)行目標(biāo)檢測,識(shí)別和分類。為了探索從無人機(jī)捕獲的圖像中檢測車輛的方法,以應(yīng)用于交通監(jiān)控和管理,并且由于深度學(xué)習(xí)算法在目標(biāo)檢測中顯示出顯著的優(yōu)勢,研究人員嘗試將基于YOLO的目標(biāo)檢測算法應(yīng)用于無人機(jī)圖像中的車輛檢測。Jiang等在無人機(jī)上集成了熱紅外成像傳感器和可見光成像傳感器,構(gòu)建了多源數(shù)據(jù)采集系統(tǒng),通過特征點(diǎn)提取和單響應(yīng)矩陣方法對(duì)圖像進(jìn)行校正和對(duì)齊,然后對(duì)多源數(shù)據(jù)進(jìn)行圖像融合。最后,他們利用深度學(xué)習(xí)YOLO算法進(jìn)行數(shù)據(jù)訓(xùn)練和車輛檢測(見圖5)。

 

圖5 Jiang等人提出的方法流程圖

此外,Ruan等人試圖使用深度學(xué)習(xí)和基于視覺的drogue檢測和定位方法來解決復(fù)雜環(huán)境中無人機(jī)自主空中加油霧滴的準(zhǔn)確檢測和定位問題。他們使用經(jīng)過訓(xùn)練的YOLO算法進(jìn)行錐形軌跡檢測,在確定基準(zhǔn)位置后使用最小二乘橢圓擬合來確定橢圓的長半軸,最后使用單目視覺相機(jī)進(jìn)行椎體下垂定位(見圖6)。

 

圖6 Drogue檢測方法

隨著YBUT的不斷發(fā)展,新一代無人機(jī)配備了豐富的計(jì)算資源高性能處理器,其中部署了基于YOLO的目標(biāo)檢測算法,允許處理器在無人機(jī)收集數(shù)據(jù)時(shí)實(shí)時(shí)檢測,識(shí)別和分類任務(wù)對(duì)象。Zhang等人為了探索新一代技術(shù)的可行性,將YOLOv3算法嵌入到資源有限的NVIDIA Jason TX1平臺(tái)環(huán)境中(見圖7),并讓無人機(jī)攜帶嵌入式平臺(tái)進(jìn)行實(shí)時(shí)行人檢測實(shí)驗(yàn)。

 

圖7 四旋翼監(jiān)測無人機(jī)

Alam等人為了減輕無人機(jī)機(jī)載嵌入式處理器的計(jì)算壓力,增強(qiáng)YBUT的實(shí)用性,提出了一種高性價(jià)比的空中監(jiān)視系統(tǒng),該系統(tǒng)保留了機(jī)載嵌入式處理器Movidius VPU上有限的Tiny-YOLO計(jì)算需求,將大型Tiny-YOLO計(jì)算任務(wù)轉(zhuǎn)移到云端,并保持無人機(jī)與云之間的最小通信。與其他最先進(jìn)的方法相比,該系統(tǒng)在每秒幀數(shù)的目標(biāo)檢測處理速度方面快六倍,同時(shí)機(jī)載嵌入式處理器技術(shù)的應(yīng)用降低了端到端延遲和網(wǎng)絡(luò)資源消耗(見圖8)。

 

圖8 由Alam等人完成系統(tǒng)設(shè)計(jì)

Doukhi等人使用了配備Nvidia Jetson TX2高性能嵌入式處理器和PID控制器的無人機(jī)。然后,他們將YOLOv3算法部署在嵌入式處理器中,利用基于YOLO的目標(biāo)檢測算法直觀地引導(dǎo)無人機(jī)跟蹤檢測到的目標(biāo),同時(shí)使用PID控制器控制無人機(jī)飛行。實(shí)驗(yàn)結(jié)果表明,所提方法僅通過魚眼相機(jī)成功實(shí)現(xiàn)了定位和無人機(jī)跟蹤飛行的視覺SLAM,無需外部定位傳感器或引入GPS信號(hào)(見圖9)。

 

圖9 基于深度學(xué)習(xí)的運(yùn)動(dòng)控制軟件架構(gòu)。圖中紅色圓圈表示YOLOv3算法中的輸入RGB圖像,橙色圓圈表示YOLOv3算法的計(jì)算過程,藍(lán)色圓圈表示YOLOv3算法檢測到的目標(biāo)和邊界框數(shù)據(jù)

Afifi等人提出了一個(gè)用于多場景行人檢測的強(qiáng)大框架,該框架使用YOLO-v3物體檢測作為骨干檢測器(見圖10),并在無人機(jī)上的Nvidia Jetson TX2嵌入式處理器上運(yùn)行。來自多個(gè)室外行人檢測場景的實(shí)驗(yàn)結(jié)果表明,與YOLOv3算法相比,隨著嵌入式處理器計(jì)算資源的增加,所提出的檢測框架在mAP和FPS方面表現(xiàn)出更好的性能。

 

圖10 行人檢測框架的工作流程

YBUT已應(yīng)用較為成熟的研究領(lǐng)域是輸電線路檢測、建筑表面檢測、動(dòng)目標(biāo)跟蹤、儀表顯示讀數(shù)、光伏組件檢測、建筑識(shí)別與分類。根據(jù)目前的調(diào)查,YBUT在工程領(lǐng)域的應(yīng)用研究中,研究人員更喜歡傳輸線檢測的方向。在復(fù)雜環(huán)境中可以準(zhǔn)確識(shí)別、分類和定位電力線桿、絕緣子、電氣元件、配電線桿、輸電塔、鳥巢和斷路器等物體。例如,Bao等人提出了一種端到端并行混合注意力檢測YOLO網(wǎng)絡(luò)(PMA-YOLO),通過無人機(jī)收集傳輸線減振器數(shù)據(jù),然后創(chuàng)建一個(gè)數(shù)據(jù)集來訓(xùn)練和測試模型;結(jié)果表明,該模型能夠檢測異常減振器,準(zhǔn)確率為93.8%(見圖11)。

 

圖11 PMA-YOLO網(wǎng)絡(luò)檢測異常減振器的實(shí)驗(yàn)結(jié)果?!吧P”、“有缺陷”和“正?!弊枘崞鞯牡孛鎸?shí)況框和預(yù)測框分別以黃色、紅色、藍(lán)色和綠色顯示

最近,Alsanad等人提出了一種改進(jìn)的YOLOv3算法,用于低空空域的小型無人機(jī)檢測;實(shí)驗(yàn)表明,所公開的改進(jìn)算法模型能夠有效檢測復(fù)雜環(huán)境下的低空無人機(jī)(見圖12),并可成功應(yīng)用于反無人機(jī)研究領(lǐng)域管理低空空域無人機(jī)?;谝延醒芯?,該方法進(jìn)一步提高了YBUT的低空小型無人機(jī)探測性能。

 

圖12 改進(jìn)的YOLOv3無人機(jī)檢測算法結(jié)果

為了進(jìn)一步管理和約束生活中的各種運(yùn)輸方式,BUT在運(yùn)輸領(lǐng)域進(jìn)行了多次嘗試。例如,F(xiàn)eng等人提出了一種基于YOLOv3的無人機(jī)檢測方法(見圖13)。

 

圖13 基于城市道路視頻的車輛檢測結(jié)果

Omar等人提出了一種基于YOLOv4算法的航拍圖像車輛檢測方法(見圖14)。

 

圖14 (a)無人機(jī)采集圖像,(b)無人機(jī)圖像檢測結(jié)果

城市交通管理應(yīng)用和城市道路管理都是YBUT技術(shù)應(yīng)用的重要方向。Silva等人設(shè)計(jì)了一個(gè)分布式無人機(jī)平臺(tái),部署YOLOv4來檢測道路損壞(見圖15)。

 

圖15 道路損壞檢測結(jié)果

Zhao等人提出了一種基于YOLOv3的無人機(jī)高速公路中心標(biāo)記檢測算法,YOLO-Highway(見圖16)。

 

圖16 各種環(huán)境條件下道路標(biāo)志的檢測結(jié)果

在農(nóng)業(yè)領(lǐng)域,許多棘手的工作已經(jīng)有了基于YBUT的新解決方案。隨著YBUT的不斷發(fā)展和擴(kuò)展,現(xiàn)在可以檢測大型植物物種中的不同目標(biāo)和特征,例如在枯樹檢測,松枯萎病線蟲病檢測(見圖17),松樹枯萎病檢測,油棕樹果實(shí)檢測和其他任務(wù)。

 

圖17(a,b)是患病樹木檢測區(qū)域的原始圖像,(c,d)是MobileNetv2-YOLOv4算法檢測該區(qū)域病樹的結(jié)果

此外,YBUT還可用于涉及小型植物的分析,例如豌豆和草莓周圍的雜草檢測(見圖18),田間小麥表型監(jiān)測和番茄發(fā)芽器檢測。

 

圖18 豌豆作物面積和草莓作物面積的雜草鑒定結(jié)果

移動(dòng)目標(biāo),如動(dòng)物,也可以高精度地檢測、分類和計(jì)數(shù)(見圖22)。

 

圖19 使用YOLOv5s改進(jìn)模型檢測馴鹿和梅花鹿的計(jì)數(shù)

隨著無人駕駛概念的增加,某些應(yīng)用已迅速實(shí)現(xiàn)自動(dòng)化。Kraft等人提出了一種基于YOLOv4的方法,通過使用無人機(jī)在公園中定位垃圾。實(shí)驗(yàn)結(jié)果表明,無人機(jī)可以檢測垃圾,并且可以在固定區(qū)域內(nèi)收集垃圾位置數(shù)據(jù),同時(shí)在地圖上標(biāo)記垃圾位置,以便清掃人員查看,以便于清潔(見圖20)。

 

圖20 使用 YOLOv4 檢測無人機(jī)數(shù)據(jù)集的結(jié)果

未來,該系統(tǒng)還可以與其他設(shè)備配合定位并自動(dòng)清掃垃圾,徹底減少清掃車的工作量。Liao等人提出了一種基于無人機(jī)的海洋垃圾檢測系統(tǒng),該系統(tǒng)使用具有改進(jìn)的YOLO算法的無人機(jī)進(jìn)行海洋垃圾檢測;他們的系統(tǒng)通過互聯(lián)網(wǎng)將結(jié)果傳輸?shù)降孛姹O(jiān)測平臺(tái),以協(xié)助政府機(jī)構(gòu)實(shí)施管理計(jì)劃(見圖21)。

 

圖21八斗子漁港無人機(jī)垃圾檢測結(jié)果

除了上面討論的YBUT應(yīng)用的主要領(lǐng)域外,一些研究人員還探索了全新的領(lǐng)域,嘗試了新的方法,并利用這些方法來促進(jìn)和增強(qiáng)YBUT的適用性和實(shí)用性。Jing等人提出了一種基于YOLOv5s-ViT-BiFPN的神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)可以使用無人機(jī)圖像評(píng)估自然災(zāi)害后農(nóng)村房屋的損壞情況(見圖22)。

 

圖22 用于檢測受損房屋的YOLOv5s-ViT-BiFPN算法

到目前為止,YBUT的發(fā)展在工程,運(yùn)輸,農(nóng)業(yè)和自動(dòng)化方面的應(yīng)用更多,而在其他領(lǐng)域的實(shí)踐較少;該技術(shù)的傳播仍然是一個(gè)挑戰(zhàn)。未來的技術(shù)發(fā)展需要考慮這四個(gè)問題。

源自:Drones 2023, 7, 190. https://doi.org/10.3390/drones7030190


以上內(nèi)容為高博特編輯選取的熱點(diǎn)新聞,尊重原創(chuàng),如有侵權(quán)請(qǐng)聯(lián)系刪除。


 —————   特別關(guān)注   —————

讓科技更好地賦能產(chǎn)業(yè),“尖兵之翼”永不落幕。高博特自2006年發(fā)起、策劃、投資、組織,在相關(guān)專業(yè)機(jī)構(gòu)支持下成功舉辦了最早的無人機(jī)主題會(huì)展活動(dòng)——“尖兵之翼中國無人機(jī)大會(huì)暨展覽會(huì)”后持續(xù)推動(dòng)無人機(jī)技術(shù)交流。高博特創(chuàng)新引領(lǐng)最早在深圳、上海、鄭州等地發(fā)起舉辦無人系統(tǒng)會(huì)展賽飛活動(dòng),有力促進(jìn)了我國無人系統(tǒng)整體技術(shù)進(jìn)步和產(chǎn)業(yè)發(fā)展。

20年來,高博特始終堅(jiān)持讓科技更好地賦能產(chǎn)業(yè)的愿景;努力為行業(yè)企業(yè)搭建產(chǎn)業(yè)鏈高端交流平臺(tái),為科技轉(zhuǎn)化為生產(chǎn)力服務(wù)。具體業(yè)務(wù)范圍涵蓋:信息情報(bào)、媒介傳播、會(huì)展活動(dòng)、招商加盟、品牌提升、咨詢服務(wù)、產(chǎn)品中心等七大服務(wù)體系,長期服務(wù)于“軍轉(zhuǎn)民、民參軍、軍民融合”等國家戰(zhàn)略。

2023年,高博特集買、賣、租、播、展、會(huì)、賽、培于一體的新型展廳項(xiàng)目即將啟幕,該展廳旨在從深度對(duì)接的層面為各入駐企業(yè)一站式解決經(jīng)營中面臨的各項(xiàng)問題,企業(yè)租、賣的產(chǎn)品我們來、企業(yè)需要的品牌我們筑、行業(yè)頂尖的賽會(huì)我們辦、行業(yè)急需的培訓(xùn)我們辦。新的一年,高博特新模式、新服務(wù)、新平臺(tái),必將給各一直以來支持我們的朋友帶來全新的體驗(yàn)。


       以上內(nèi)容為高博特編輯選取的行業(yè)技術(shù),尊重原創(chuàng),如有侵權(quán)請(qǐng)聯(lián)系刪除。

主站蜘蛛池模板: 林甸县| 曲松县| 静乐县| 汤阴县| 乐山市| 陆河县| 万载县| 吉木萨尔县| 涟源市| 离岛区| 克什克腾旗| 肥西县| 桦南县| 那坡县| 本溪市| 富蕴县| 靖边县| 方城县| 从化市| 晋中市| 同德县| 陆川县| 木里| 德州市| 宜城市| 楚雄市| 开封市| 咸宁市| 左贡县| 项城市| 盐池县| 慈利县| 大冶市| 柳林县| 九龙县| 蓬莱市| 蒙城县| 抚州市| 永胜县| 桂平市| 德钦县|