｜工件三維姿態估測方法介紹

摘要：隨著產業逐漸轉型，製造業升級、科技業需要高階組裝、3K產業缺工問題等等，智慧自動化的需求逐漸增加。容器內物件夾取技術，是智慧自動化前端的一項重要關鍵技術。而其中的核心技術，就是工件三維姿態估測方法。本文介紹了三維姿態估測的相關研究、三維視覺感測技術、以及關於容器內物件夾取技術的組成與應用例。藉由分享國際上頂尖團隊SINTEF與MERL所研發的技術，期望讀者對三維姿態估測技術及其應用，有更深入的瞭解
。

Abstract: Random bin picking is an important key ability of intelligent automation. One of the core technologies in bin picking is 3-D object pose estimation. This article introduces related studies on 3-D pose estimation, 3-D visual sensing technologies, as well as two particular applications of bin picking. By introducing technologies developed by international teams, SINTEF and MERL, we expect readers to gain a deeper understanding of 3-D pose estimation and its applications.

關鍵詞：姿態估測、容器內夾取、點雲資料

Keywords：Pose estimation, Bin picking, Point cloud

前言
第一次產業自動化的推動，讓台灣產業界降低了製造成本與取代部分人力。隨著產業逐漸轉型，製造業升級、科技業需要高階組裝、3K產業缺工問題等等，第二次自動化—智慧自動化的需求逐漸增加[1]。傳統自動化透過訊號感測與機構的設計，解決了具備固定規格且大量製造的生產自動化問題。然而，隨著產品的生命週期縮短、少量多樣化的製造需求下，傳統的固定式產線已經無法滿足，從給料、加工到組裝都需要更大彈性的產線規劃。因此，包含訊號感測、資料處理、智慧決策的智慧自動化生產流程，應運而生。

在自動化的流程中，第一個課題就是物件的給料。傳統的給料方式，除了人工給料，就是以供料機或供料盤，配合設計好的機構自動上料。但是，在異形件或是散亂堆疊物件的情況下，往往是自動化的一個瓶頸。從散亂堆疊物件中上下料的自動化技術，又稱作隨機容器內物件夾取（Random Bin Picking, RBP）的技術，在過去幾年間隨著視覺感知的技術進步，和多自由度機械手臂的普及，而被國際各研究單位中廣泛的研究。

隨機容器物件夾取的系統，通常包含三大部分：視覺感測器、姿態估測（pose estimation）演算法、操作手臂，系統架構示意圖如圖1所示。堆疊的工件，經由視覺感測器擷取外觀影像或表面量測結果，接著以姿態估測演算法進行工件的三維定位以及方向角計算，再由機械手臂夾取，完成取料的動作。整個RBP系統的核心的關鍵技術，就是三維物件的姿態估測演算法。

姿態估測必須仰賴預先定義的工件外型，通常是工件的三維CAD模型。經過事先的姿態資料庫建構後，物件姿態的表示方式以各種特徵形式存放，供演算法進行姿態比對。一般而言，物體的三維姿態估測都牽涉大量的資料運算，因此運算速度都有一定的限制。還有許多不利的影響因素，像是因堆疊造成部分的表面、感測雜訊等等。物件姿態估測的準確度直接影響隨機容器物件夾取的準確性以及成功率。

目前，薄片式工件的散亂堆疊問題，透過優異的二維視覺檢測技術，已經可以定位工件並做到相當程度的產業應用。然而，不規則立體工件的散亂堆疊，在定位上仍然存在許多困難待解的問題。例如，立體物件堆疊時，會出現不同的外觀，很難單純地用現有二維影像技術來辨別。而物體彼此交疊造成的遮蔽效應與混亂背景，也是一大挑戰。

本文將對應用在RBP的工件三維姿態估測方法，介紹關於三維姿態相關研究、三維視覺感測技術、以及姿態估測方法應用的兩個例子：挪威科學與工業研究基金會（Stiftelsen for Industriell og Teknisk Forskning, SINTEF）研究機構的演算法和日本三菱電機研究實驗室（Mitsubishi Electronics Research Laboratories, MERL）團隊的技術。相信在經過這些技術上的分享後，能提供讀者對RBP系統的組成以及三維姿態估測技術，有更深入的瞭解。