模擬器自動圖像生成及自動標註：以深度學習結合機器人隨機堆疊取料為例

目前視覺領域中的深度學習往往依賴大量圖像及針對這些圖像進行標註，才能將資料集給深度學習演算法進行學習，而人工蒐集資料曠日廢時，且成像品質無法控管其為問題之一，人工針對大量資料進行標註，不同工程師標註方式與品質不一，且此工作枯燥乏味無法負荷長時間工作其為問題之二。針對上述兩個問題，本技術提出以模擬器建立高擬真的場景，其中包含工廠配置、料籃、光源及工件資料，並透過多樣性生成算法(Domain Randomization)，快速產生大量符合物理特性工件隨機堆疊擺放之多樣性場景，以及相關條件控制如：光源種類、光源方向等。針對每一次的場景進行工件遮蔽演算法計算，判別物料隨機掉落於料籃後是否有遮蔽現象等，以配合後續機器人隨機堆疊取料之應用情境。根據每一次場景結果進行圖像儲存以及自動圖像標註包含：工件多邊型標註(Polygon)資訊、深度圖像取料點標註(Picking Point label)資訊、圖像儲存位置描述等，其描述檔案符合Pascal 與 COCO Datasets格式，故可以支援絕大多數圖像深度學習演算法之使用。

Vision recognition with deep learning relies on massive amount of training images. All these training images must be labeled before deep learning algorithms can be used for training. However, manual gathering and labeling of images are both extremely time consuming given that labeling quality is find to be inconsistent. This article proposes a method to generate large amount of physically correct scenes of randomly stacked objects through domain randomization technique. The controllable conditions include illumination type, light source direction, and occlusion status. Every image taken from each scene can be labeled automatically without human interference. The labeled information includes polygon label, depth image picking point label, image storage location, etc. The description of each label conforms with Pascal and COCO Dataset description formats and can be used in most image-based deep learning algorithms.