｜影像縫合與機器人視覺應用

摘要：本文介紹影像縫合技術之基本觀念、原理與應用，與其於移動式機器人之技術開發實務案例－遠端機器人之360度環場鳥瞰影像技術，經由多攝影機陣列、影像傳輸、影像鳥瞰轉置與多張影像縫合，達成取得遠端機器人所處環境之上視影像，於安全監控上提供機器人所處環境周圍之完整資訊，並可作為實現遠端控制機器人移動操作之視覺影像輔助。

Abstract: In this article, the basic concepts and applications of image stitching for computer vision technology are described. Also, for the applications to mobile robot, a development of bird’s eye view panorama imaging system is also proposed. Design of the system includes the devices of photographic equipments, devices of image acquisition and wireless transmission. Also, the results of bird’s eye view perspective transformation and image stitching are described. The panorama imaging system provides users to remotely access panoramic images for further applications in surveillance system.

關鍵詞：機器視覺、影像縫合、全景影像、移動式機器人

Keywords：Machine Vision, Image Stitching, Panorama Image, Mobile Robot

前言
機器視覺系統是指運用影像感測器擷取影像與用電腦進行影像處理和分析、輸出或顯示，來實現對客觀三維世界之識別，近年來機器視覺與影像處理廣泛運用於工廠自動化檢測與自動控制機器人系統或人機互動領域。傳統影像感測器基於鏡頭與光學成像原理之限制，使致單一影像擷取視角有限，因此越來越多影像縫合之原理與功能被應用於影像之擷取或影像處理融合上，使機器視覺系統所能輸出或顯示之影像可得一較寬廣的視覺範圍，本文將介紹影像縫合之基本觀念與應用，並以一開發案例說明其於移動式機器人之應用，該硬體模組為設計一環場攝影機陣列進行多角度之取像，經由影像縫合使之達360環場影像監控之目的。

影像縫合簡介
影像縫合（Image Stitching）係指將兩張以上之數位影像，依循相互幾何關係而合併成結果影像輸出，結果影像所包含之內容通常涵蓋較寬廣的視角範圍，以做為特定用途之用；因此，影像縫合之關鍵在於取得影像間之轉換關係[1]以及透視投影轉換[2]兩項關鍵技術。為獲取影像間轉換關係，輸入影像必須拍攝環境中至少部份重合場景，由於同一實體特徵於不同視角拍攝影像將座落於相異影像座標（如圖一所示），因此藉由找出同一特徵點於各影像中之影像座標將可推算得各影像間之轉換關係式，以利後續縫合運用。總而言之，轉換關係可由影像座標值及其聯立方程求解[3, 4]。

特徵點通常於空間域（Spatial Domain）或頻域（Frequency Domain）上具有統計顯著性，因此可透過適當演算法則萃取獲得；然而，影像並非總是完美，其可能涵蓋有雜訊，故特徵點之位置與數量皆可能有所變化，下列針對不同方式進行描述：

（1）人工擇取：觀察者透過指向裝置於各影像中擇選同一特徵點，此法最簡單易行，且由於人類原本就具備深度感覺，所以人工選擇特徵點是較容易的，然而此方法需要一定程度手動操作，但可預期精確度較為可靠。

（2）自動萃取：輸入影像經由特定演算法則，取得具備顯著特色的像素點，常見的點有邊緣角點、線段等。此法雖擁有完全自動的便利性，但是不同的演算法則有其適用範圍，通常必須於實際應用時適度調整門檻值等關鍵參數，以適用於當下客觀環境。此外，由於完全由電腦進行運算，電腦運算力的耗用也是可預期的，部份萃取演算法可能耗用過多的時間。

（3）電腦輔助人工擇取法：此法運用自動萃取方式於影像當中找出特徵點後，依照觀察員於影像中手動擇取的像素，自動於另一或其他剩餘影像強顯（Highlight）可能的對應像素，給予觀察員進一步擇定的參考並確認，在某種程度上降低人工擇取時所須耗費的心神，可說是兼備精確性與快速性優良手段。