跨界 · 融合 · 服務 · 創新
行人或其行為事件是其中的重要監測目標，在不同的視頻視角中，行人的時空、尺寸、外觀等信息均可能會產生變化，在信息變化條件下建立其關聯性，是跨視頻行人識別和異常行為事件檢測的核心問題。可以通過融合行人外觀、動作、步態等多屬性分析，建立魯棒行人特征表達模型。基于行人多屬性特征表達，結合深度度量學習方法，建立跨視頻的行人重識別模型，從而完成跨視頻、跨時空的監測目標關聯。在此基礎上，實現多目標物體在跨視頻場景下的跨時空跟蹤與軌跡構建，從而對視頻內行人異常行為進行檢測定位與跟蹤。
4.大范圍視頻拼接
視頻監控畫面的呈現方式，從早期的多分屏播放到后來圍繞主畫面進行聯動彈窗，皆是在獨立窗口內顯示單獨的某路視頻。而隨著應用場景對監控規模、視角、管理方式的要求越來越高，基于AR 的大范圍現實視頻與三維仿真模型融合形成的孿生監控視頻成為了發展趨勢。在這其中，需要構建基于統一地理空間框架的多視頻協同感知體系， 通過快速的地理配準，將不同視角的多個視頻融合拼接成多維、立體的全景化視頻數據流。
對于存在重疊區域的相鄰視頻，首先要解決圖像配準問題，一般基于特征匹配的方法來實現， 對圖像的旋轉、縮放和比例變換等具有較好的魯棒性。在具體的拼接過程中也面臨極大的挑戰。例如， 對于靈活高速的無人機監控視頻需要實現快速的拼接，當監控視角發生變化時也能進行即時反應。當無人機視頻發生抖動時，與相鄰的視頻如何對齊？當運動物體經過重疊區域時，由于相鄰視頻之間存在較大的視差，容易在拼接畫面中產生視差偽影。若相鄰視頻之間存在較大的色差也會產生明顯的拼接痕跡，以及不同視頻之間的時間一致性問題等。目前業界對這些問題已有較多的理論研究和技術方案，且逐漸應用在實際系統之中。
5.AR協同交互技術
目前 AR 系統的交互方式仍較為單一，主要是將真實視頻畫面中的各種靜態或動態目標與 AR 標簽關聯，以點擊或框選的方式通過 AR 標簽查看目標的詳細信息、聯動視頻資源、調度警力資源等。虛擬對象以AR 標簽為主，且在真實視頻、虛擬對象、行為事件之間的交互和反饋較少、沉浸感不足，需要繼續探索虛實之間的深度融合方式。在實際應用中，無人機也僅是作為可靈活機動的視頻源來使用，需要進一步加強無人機與其他監控對象之間的協同與交互。
在操控方式方面，目前無人機以人工操控或自主航線飛行為主。可以考慮結合對跨視頻動態目標的監測狀態，實現無人機的全自動智能飛行，對關鍵目標進行實時軌跡追蹤。還可以進一步進行地空聯動或無人機群自主組網，完成對重點目標或應急區域的全方位立體防控。此外，可以集成 AR 交互硬件設備，通過表情識別、手勢識別、眼動追蹤等方式，從單一交互方式向多模態交互方式發展， 實現更高效的操控與協同，例如快速定位事件中心并即時自動調度警力和監控資源等。
三、在重大活動安保場景中的應用
AR與無人機已廣泛應用于眾多安防監控場景，特別是在重大活動安保中，“AR+ 無人機”視頻監控方案的優勢更加突出。
重大活動的安保工作具有時空跨度大、社會關注度高、安保要求復雜的特點。在活動開展前需要對現場和周邊環境進行安全勘察、風險監測，制定警力調度計劃、區域監控方案、應急事件處置預案等；在活動進行期間，需要進行重點區域巡邏防控、突發事件預警、警情及時處置、安保人員在崗監督等；在活動結束之后，需要進行人員和車輛引導疏散、活動場館清場確認等。
在這些安保活動中，基于 AR 與無人機構建的應急指揮系統發揮了極為重要的作用。利用無人機的高空視野廣、監控范圍大、視角靈活多變的特點， 結合全景聚焦、告警聯動等技術，可對大型活動現場和周邊人員聚集區域進行有效管控。具體來說，AR 與無人機結合的方案在重大活動安保工作中提供了以下功能：
1.AR高空地圖
通過無人機高視角、可移動的優勢擴展監控視角，打造 AR 高空地圖，有效應對范圍大、危險性高的區域防控需求。無人機進行 AR 化改造升級后，可在無人機畫面中疊加地理信息、感知數據、風險信息等數據，使得資源要素直觀可視。結合高空和地面融合的全景視角，可根據安保需要控制無人機巡航方向，通過多角度、全時段的監控，全方位保障賽事安全。
2.無人機多位一體監控
通過無人機獨特的高空視角，結合 AR 標簽聯動特性，可在無人機畫面中聯動打開地面監控資源， 構建“空中+ 地面”的立體監控模式，確保治安情況一覽無余。在無人機 AR 高空視頻畫面中，若發生突發緊急事件可對視域范圍內的資源等進行快速定位，利用標簽名稱或標簽內容進行模糊搜索，可快速檢索周邊視頻及警力資源，實現資源調用一步到位。當預警事件發生后，可自動聯動無人機對準預警區域，從高空視角掌握事發區域宏觀情況，同時以畫中畫的形式打開周邊低點監控，輔助指揮人員快速核查細節，大大提高對預警事件的感知與處置效率。
3.重點線路空中巡航
無人機可按照預先規劃的路線和指令進行飛行并且實時回傳巡邏視頻。通過無人機高空視野廣的特點，有利于輔助地形勘察及線路規劃，減輕人工巡查負擔。指揮人員可在地圖中快速掌握無人機實時位置，以宏觀視角了解飛行動態。同時，可利用 AR 標簽聯動能力，當無人機飛行時可自動打開周邊監控畫面，實現對周邊環境的快速巡查，以地空聯動方式動態掌握區域態勢，構建宏觀加微觀的無人機巡檢新模式。
