｜基於FPGA之嵌入式180度即時視訊縫合

摘要：超廣角視覺可廣泛應用於機器人視覺、無死角安全監控、車輛安全應用。於本文中，為了即時取得180度視角的視訊，我們提出了一個以FPGA為基礎的嵌入式視訊縫合模組，可及時將兩個廣角攝影機的視訊縫合為一含蓋180度視野的單一視訊。我們針對數位電路需求開發了較簡化的視訊縫合的演算法；而為了達到即時縫合視訊的目標，我們將自行開發的演算法以平行管線化電路實現。本文中的嵌入式即時視訊縫合模組畫面更新頻率可達到30Hz。

Abstract: Wide view angle vision can be applied to robotic vision, security surveillance, and vehicle safety. In this work, we presented an FPGA-based real-time 180 degree video stitching module. This module was capable of combining the video stream from two wide view angle cameras into one single video stream that covered 180 degree view angle. We developed a stitching algorithm suitable for digital circuit implementation. This algorithm was mapped to our parallel and pipelined video stitching computation circuits to achieve real-time video stitching. The embedded real-time video stitching module could stitch 30 frames per second.

關鍵詞：域可程式化邏輯陣列、嵌入式系統、平行處理、管線化架構、影像縫合

Keywords：Field Programmable Gate Array, Embedded System, Parallel Processing, Pipelined Architecture, Image Stitching

前言
機器人與週遭環境的物體作互動的領域裏，“視覺”是一個非常重要的感測技術。透過視覺讓機器人能夠看到工作環境的景像，辨識環境與物體。而在移動式機器人應用場合中，視覺就可以協助機器人透過辨識環境進行定位。以視覺進行定位具有感測成本相對較低的優勢，另一方面也可以取得更多的環境影響資訊，因此過去十年成為一個重要的技術研發題目。根據過去視覺定位的研究0指出，在視覺定位時容易出現難以分辨平移與旋轉的差別，若採用廣角攝影機將能改善此一問題。然而採用廣角攝影機有兩個缺點，一為廣角鏡頭遠較一般視角鏡頭昂貴，二為廣角攝影機若解析度不足時，取像畫面非中心處的周遭將因廣角魚眼效應而不清楚。

針對上述廣角鏡頭的限制，一般解決方式為採用更廉價的鏡頭或是更高解析度的感測器，但採用廉價鏡頭會有扭曲不對稱或是影像品質不佳的問題，而採用高解析度感測器亦將有成本較高的問題。另外一種解決方案是以兩個較小視角的攝影機組合取像，再縫合成一個較大視角的影像。採用此法可以得到較好的解析度與畫質，但在縫合時運算量較大，不易達成即時視訊的縫合。對於此問題，我們採用以FPGA開發平行管線化的縫合運算電路，加速視訊縫合的運算速度，以達到即時縫合兩個攝影機的視訊。本文所說明的嵌入式即時視訊縫合模組，可每秒縫合出30張640×240解析度的彩色影像，並顯示於顯示幕上。此模組除了可以用於機器人視覺定位外，還可推廣應用至無死角安全監控與車輛安全應用。

這篇文章其它的部份將規畫如下：第二節將提出在此之前有關影像縫合相關技術。第三節將說明我們的影像縫合演算方法與嵌入式即時視訊縫合模組。最後於第四節作一個結論。

相關技術
目前最著名的影像縫合技術為由加拿大卑詩省大學所開發的AutoStich[2~3]技術，此技術可將任意數量部分重疊的圖片予以縫合。AutoStich功能並且被開發成iPhone的應用程式，於iPhone App Store銷售，提供智慧型手機縫合出全景照的功能。此外，ArcSoft的Panorama Maker[4]與 Albatross Design的ADG Panorama Tool[5]也可以提供影像縫合的的功能，而ADG Panorama Tool還提供轉換為Java虛擬實境程式的功能，增加網路的應用性。

然而以往的技術因影像縫合運算量高，因此多半針對軟體靜態影像的縫合，較少針對視訊進行即時的縫合。直到最近因運算平台的運算能力不斷提高，才開始有及時的影像縫合技術出現。Scallop Imaging的D7監控攝影機模組[6]以五個攝影機的影像縫合成一張高解析度180度的畫面，每秒鐘可即時輸出15張縫合的畫面。然而此系統無可攜性，因此主要用於無死角的大樓安全監控。微軟埃及開羅研究所則開發了可使用於智慧手機的即時視訊縫合系統[7]。此系統可利用兩個智慧手機的攝影機擷取畫面部分重疊的視訊，傳輸到一工作站電腦，再即時將兩個視訊縫合一起。此方式雖可即時縫合，卻需仰賴額外的工作站電腦進行縫合的運算，應用性還是相對有限。

本文的做法為開發一個完全嵌入式的即時視訊縫合模組，此嵌入式模組可達到每秒30張畫面的縫合運算速度，並可提供180度視角的縫合影像。