無人機即時追瞄的抗遮蔽系統

摘要：先進的追蹤演算法與深度學習模型表現驚人，然而，在不同光線條件、目標外觀變化或目標與相機之間突然出現異物遮蔽等情況下，仍面臨許多挑戰。現行解決此類問題的方法都必須等到清晰的影像數據被重新傳送後才得以解決。本文說明了一種新的方法，於首次影像環境被建立後，被遮蔽的目標仍可被迅速且可靠的追蹤。此系統能從無人機平台上檢測、追蹤並瞄準靜態目標，即使目標離開相機的影像視線也能有效運作。
Abstract：Advanced tracking algorithms and deep learning models show remarkable performance; however, challenges arise from varying light conditions, target appearance changes, or unexpected occlusion by foreign objects between the target and the camera. Nonetheless, these approaches can mitigate these challenges, but only for short periods until a target data update is received. To address this previous drawback, a new method using projective geometry was developed, making the tracking of occluded targets fast and reliable after the initial detection. This article describes a system for detecting, tracking, and aiming at a static target from a UAV platform, even when the target leaves the camera frame or when the camera completely loses sight of it.

關鍵詞：無人機、目標遮蔽追蹤、投影幾何
Keywords：UAV, Occluded-targets tracking, Projective geometry

前言
在當今的無人機技術發展中，AI技術的應用已經使得追蹤和影像識別演算法得到顯著提升。然而，當涉及到特定應用，如使用無人機進行清潔作業時，這些高科技的演算法也會遇到前所未有的挑戰。特別是在清潔無人機操作過程中，噴射的水霧會嚴重影響視覺識別系統，導致畫面模糊，物體無法辨識，進而使得追焦瞄準系統失效，如圖1所示。

(a)                                    (b)                                         (c)
圖1 水槍噴灑後追瞄失效 (a)噴灑前追瞄 (b)噴灑中畫面 (c)噴灑後無法辨識

為了克服水霧導致的遮擋問題，本文測試了兩種方法。第一種方法基於 Wang等人[1]的研究，開發了一種隨機自定義深度卷積神經網絡（Dynamic Convolution Neural Network, DCNN）模型，此模型使用兩個時間序列圖像和之前預測的相機姿態作為輸入。模型的輸出是當前的相機姿態，並在旁邊展示了真實值與預測值之間的比較，如圖2(a)所示。第二種方法如圖2(b)所示，展示了使用結合慣性測量單元（Inertial Measurement Unit, IMU）感測器融合卡爾曼濾波器的確定性方法，類似Lynen等人[2]的研究，進行目標姿態與真實值和預測值之間的比較。

       (a)                                                (b)
圖2 兩種克服水霧測試的方法 (a)深度視覺里程計法 (b)感測器融合無跡卡爾曼濾波法

儘管從模型獲得的相機測距學在某種程度上是有效的，但當水被噴灑時，由於缺乏視覺紋理或參考，此方法最終失敗。與視覺測距學方法不同，傳感器融合預測器即使在目標被水遮擋的情況下仍能追蹤目標姿態，然而，由於無法及時更新目標姿態觀測，誤差隨時間增加，最高可達30公分。這兩種方法均屬於先進且知名的演算法，但它們的性能未達到可靠追蹤遮擋目標的最低要求，因此不適用於可靠的目標遮擋追蹤。因此，本文接下來將描述目前成功的系統。