PilotNet及其於自駕車之應用

摘要：近幾年來自動駕駛相關技術是科技業、汽車業的一門顯學，雖然全自動駕駛還未真正商業化，但每年幾乎都可看見各家車廠展示其所開發之最新相關技術。過去的自動駕駛多建立於感知融合之技術上，但隨著深度學習之蓬勃發展，其亦提供自動駕駛技術研發一個全新的方向，本單位由於已建立各類深度學習技術之研發基礎，因此亦已領先全台打造出第一台基於深度學習之自動駕駛車。

Abstract：In recent years, self-driving related technologies become a significant study in the field of automotive industry. Though the technologies have yet been fully commercialized, it is widely noted that each year many companies demonstrate their latest progress on such a topic. Some years back, a large number of self-driving R&D activities were based on sensor fusion techniques.  Lately, the rise of deep learning opens up a promising alternative approach. Having been involved in many kinds of deep learning technologies pertaining to self-driving vehicles, ITRI MMSL has already successfully built a fully self-driving vehicle in Taiwan.

關鍵詞：自動駕駛、深度學習、封閉場域
Keywords：Self-driving, Deep learning, Closed field

前言
自動駕駛為近幾年車輛產業的一門顯學，其實自動駕駛的概念於1930年代就被提出，然其直至近期才有顯著之突破與成效，例如1980年代才有第一臺能真正執行自動駕駛的汽車出現，至此各家車廠紛紛投入相關發展[1]，在2004年由美國國防高等研究計劃署(Defense Advanced Research Projects Agency, DARPA)舉辦的自走車大挑戰賽更加激起了這個領域的發展與創新，雖然第一年所有參加的自動駕駛車輛皆未完成目標，然僅隔一年的時間就有五臺車輛達成了目標，其中的贏家是史丹佛大學的stanley，其特色是利用機器學習的方式來進行障礙物的偵測[2]，通常在可建構模型的條件下，依憑感測器提供的訊息來進行邏輯判斷是較佳的選擇，然而大部分的現實環境下事件的變化性太高以及許多物理模型是很難被定義的，藉由提供人類駕駛操駕的方式及決策資料來對車輛感測進行訓練，因此可大幅修正自動駕駛車輛單就感測器判斷產生的誤判。
在機器學習領域中的類神經網路，因硬體GPU進化，大幅加速了運算速度，因為引發了深度學習技術的發展，由於原來只能建立較為淺層網路的限制已消除，因此可進行複雜的曲線擬合而突破原先淺層網路的功效。深度學習除了感知這種最直接的應用外，亦可直接模擬人的駕駛行為，也就是所謂的PilotNet，本文主要內容將介紹PilotNet的整體研發流程，其包括了資料蒐集、建置網路、網路訓練及模型驗證。
本單位已經完成建置國內第一臺基於深度學習操駕演算法(PilotNet)之自動駕駛車，目前已經初步完成封閉及半封閉場域之繞行。
PilotNet架構及訓練
PilotNet主要功能為模仿人類駕駛車輛，系統的輸入為相機所擷取之車前影像，正如駕駛開車時看向前方，並依據所看到的影像來修正車輛的方向盤轉角，以進行車輛之控制，PilotNet建置流程如圖1，分為資料搜集、資料處理、資料訓練，本節將依循此流程進行個步驟細部之介紹。

圖1 PilotNet建置流程

1. 資料搜集：
   資料搜集的目的為建立自動駕駛車學習之資料庫，主要是透過控制器區域網路(Controller Area Network, CAN) Bus傳輸方向盤轉角之資料及GMSL( Gigabit Multimedia Serial Link)介面傳輸影像至NVIDIA DrivePX2 [3]中，再將所記錄到的資料紀錄時序後存入硬碟，如圖2所示。

圖2 資料蒐集硬體架構[3]

由於學習的教材皆來自於資料庫，因此資料搜集時應盡量滿足資料之多樣性，如：氣候、時間、物件等，氣候的多樣性是指晴天、雨天對於資料產生之影響，如：鏡頭是否拍攝到雨水、地面是否有積水、地面是否有陰影等，時間的多樣性則是指不同位置的太陽對於資料之影響，如：下午陽光易直射鏡頭、影子的長短及對比等，物件的多樣性則是指不同物件對於資料的影響，如：路邊是否有停放車輛、車輛的顏色及位置、是否有行人、標線的顏色及形式等較複雜之狀態，這有助於網路學習時能真正篩選出重要的資訊，及更能在事件發生時依據學習過的經驗對應,且不會產生過度學習的效果，除了外在環境的多樣性外，錄製方法的不同也可額外增加資料之多樣性，可由駕駛模式著手，藉由多次駕駛於道路的不同位置，如：靠右線駕駛、靠左線駕駛、回復駕駛等方法來增加資料之多樣性，另一方面則是在硬體條件允許的情況下安裝多顆鏡頭進行資料之搜集，在資料處理時在錄製的方向盤轉角上加上一偏移的角度，亦可達到類似於上述之效果。