多視角3D全形貌建模與缺陷檢測技術簡介

摘要：近年來，3D深度感測元件被廣泛應用於工業自動化之領域，本文中利用3D深度感測元件所擷取之三維座標資訊（點雲）資訊進行工件姿態之估測及外觀缺陷檢測，達成彈性取放工件與檢測之目的，進一步使得機器手臂能自動化上下料、加工製造及產品篩選。傳統3D深度感測元件在進行工件建模縫合時，需透過連續鄰近3D掃描所產生的三維特徵資訊來進行縫合，因此造成建模耗時且無法適用於大範圍移動掃描等問題，本文中提出多視角3D全貌姿態估測技術以及多視角3D樣貌缺陷檢測技術，除可克服跨大視區之工件掃描及建模問題外，亦可兼具檢測工件外觀重大缺陷之功能。多視角3D全貌姿態估測技術使得視覺導引機器人（VGR）系統能夠透過獲得的影像準確地運算工件的姿態與位置，提昇夾持工件、搬運和組裝能力，搭配多視角3D樣貌缺陷檢測技術可做供件品質粗篩選後再進行後續製程，可減少製程虛工時間之損耗。

Abstract: In recent years, 3D depth sensors are widely used in industrial automation. The article proposes a common application to estimate the attitude of the work-piece with the three-dimensional coordinate information (point cloud) captured by the 3D sensor. It achieves the purpose of picking & placing the work-piece’s elastically and defect inspection, so that the robot can automatically load & unload and manufacture. Traditional vision-guided robotic (VGR) systems solve the problems of the work-piece topography stitching using traditional 3D depth sensor. Three-dimensional coordinative information required by image stitching must be generated by 3D scanning repeatedly. It is time-consuming when robot needs to perform large-scale scanning. It can’t obtain the whole topography information with a single view as well. Therefore, the proposed vision-guided robotic (VGR) system is capable of computing the attitude and position of work-piece accurately through the grabbed images, improving the capability of the gripping, transporting and fabricating, and enhancing the accuracy of the work-piece appearance’s defect inspection to reduce unnecessary processing time.

關鍵詞：視覺系統、視覺導引機器人、缺陷檢測

Keywords：Vision System, Vision Guided Robot, Defect Inspection

前言
由於製造加工產業技術近年來快速發展，其產品種類也越來越多樣化，為了能快速且準確地取放與檢測多樣性的產品，有效且快速之3D視覺建模[1, 2]、姿態估測[3]與工業檢測需求越來越高，並且因應產業對於智慧化視覺導引機器人投入生產之大量需求，一個快速且精度高的複合3D深度感測系統之三維座標資訊縫合方法與裝置，將能夠有效提升智慧視覺導引機器手臂自動化系統的靈活度與泛用性，當複合3D深度感測系統有效地建立完整工件三維座標資訊模型後，由所獲得的三維座標資訊能快速地進行工件位置與姿態估測及3D形貌缺陷檢測，大幅地提昇智慧視覺導引機器人自動化系統3D工件檢測、抓取、搬運與組裝之能力，本文之技術亦可應用於機器手臂抓取3D深度感測元件進行彈性多視角的取像與三維座標資訊建模。

本文所提出的方法與裝置將可以快速且有效地讓複合3D深度感測元件系統縫合為3D掃描座標資訊，並開發一組3D校正模組，透過此3D校正模組可解決跨視區複合式系統座標不易轉換之問題，降低多組3D掃描座標資訊縫合時間。所提出之方法，僅需透過一組位於複合3D深度感測元件系統共視區之3D校正模組及簡易校正流程，便可獲得此複合3D感測系統之座標轉換資訊，可將各組3D深度感測元件所掃描獲得之三維資訊整合，建立出物件三維模型及估測三維物件座標資訊與姿態，相較於傳統3D深度感測元件需鄰近連續多張三維座標資訊才可縫合所耗費繁複之程序與時間，此方法以跨視區縫合可大幅減少三維座標資訊縫合處理的時間。夾持之待測物透過最佳檢測視角定位技術之研發，可將待檢測面自動匹配至最適檢測視角位置，完成樣貌缺陷檢測機器人系統開發，結合機器手臂之最適取物過程中所獲得的3D特徵，發展多面向3D特徵疊合技術，以達成快速3D全形貌建模之目的，再與CAD檔比對達到粗略缺陷檢測之功能。