基於深度Q- 學習網路演算法之無人搬運車交通管理系統介紹

摘要：現階段有軌式無人搬運車系統於派車運載與交通管理兩大功能上，多半使用邏輯導向架構進行設計。在多站點、多樣料或高隨機之物料運載過程中容易發生交通堵塞的情況；且當環境有所變動時，邏輯程式也需要隨著更動的路徑進行重建。本文將介紹基於深度Q學習網路(Deep Q Network)演算法建置之無人搬運車交通管理系統，透過學習方式生成初始最佳多車派車路徑，並於行進中因應環境狀態自動調整車速或變更路徑以減少整體會車機率，除減少塞車情況外，也達到無人搬運車系統推廣泛用的目的。
Abstract：Existing tracked type automated guided vehicle systems were designed to use rule base dispatching
and traffic control. Traffic jams often occur in scenarios of multi-site or highly random material transport routes.
When the layout of working environment changes, the rules or logics of the dispatch system often need to be
redesigned. In this article, we will introduce automated guided vehicle traffic control system based on deep
Q-learning network algorithm. This method initialized an initial optimal multiple AGV dispatch policy using a
reinforcement learning method. The dispatch system would automatically adjust the speed or change the
path according to the system state to reduce the probability of encountering traffic jams. In addition to
reducing traffic jams, the learning-based dispatch system was also designed to reduce modifying time
according to working environment layout so that the system would be easier to be applied to various AGV  applications.

關鍵詞：無人車搬運系統、深度Q-學習網路、交通管理
Keywords：Automated guided vehicle system(AGV system), Deep Q network(DQN), Traffic control

前言
在自動化生產系統中，無人車搬運系統(AGV System)為最基本之需求，過去幾十年間無人車搬運系統已普遍運用於汽車、半導體、3C電子、鋼鐵、食品加工、醫務與自動倉儲系統等各相關產業[10]。依據GIA (Global Industry Analysts)研究報告指出：2018年全球無人車搬運系統市場規模將達24.9億美元，而各產業應用產值百分比如圖1所示[1]，其中自動倉儲系統應用產業創造了最大收益，約佔總體之45%左右。而2019年至2025年AGV系統之複合年均增長率(Compound Annual Growth Tate, CAGR)將達15.8%。
無人車搬運系統因應各種場合之運載模式，可分為拖曳式(Tow Vehicle)、堆高機式(Forklift Truck)、乘載式 (Unit Load Carrier)、拖板車式(Pallet Truck)以及複合動力式(Hybrid Vehicle)等形式。圖2為2014年至2025年各形式AGV之市場規模趨勢圖[1]。其中以拖曳式與拖板車式之AGV市場規模最大。無人搬運車在設計上大致可分為四個重點，分別為車型結構、導引方式、生產管理與交管系統。車型結構設計與運載需求息息相關，包含物料載重、生產設備接合方式、環境條件與潔淨度要求等；而導引方式之選擇則著眼於環境條件、定位精度與建置成本等考量，一般來說，無軌式導引(Rail less Guide Type)之建置成本會高於有軌式導引(Rail guide)，且無軌式導引若使用雷射定位之技術手段，還需考量現場環境條件是否可配置反光片，但無軌式導引在環境變動之使用彈性上優於有軌式導引[8][9]。生產管理之導入有助於AGV系統與製造執行系統( Manufacturing Execution System, MES)或企業資源規劃系統(Enterprise Resource Planning, ERP)進行溝通整合，進而控管生產流程與倉儲物流。交管系統是多台AGV運行的控制核心，能依現場叫、派車需求進行多車路徑規劃，適宜的交管控制邏輯能降低系統會車次數與會車等待時間，進而提高AGV系統運載效率。
在無人搬運車系統市場規模持續增長的同時，如何提高其運載效能一直是各投入業者努力的目標，實務操作上，通常是以優化無人搬運車交管系統為主要技術手段。本文將介紹深度Q-學習網路演算法，並概述此演算法如何應用於無人搬運車交管系統之多車路徑生成與智慧交管邏輯之建置，同時說明與傳統無人搬運車交管系統之差異。

圖1 2018年AGV各產業應用產值百分比圖[1]
Logistics and Warehousing為最大面積，依序順時針占比呈現

圖2 2014年至2025年AGV市場規模趨勢圖[1]
由左而右之各形式AGV依序於趨勢長條圖中由下而上呈現