機器人AI視覺動態影像特徵定位技術

摘要：傳統在使用機器人進行自動化的設計應用中，機器人與目標物之間的定位與即時動態控制佔據了關鍵角色，也幾乎決定了系統整體的動態效能，並影響總體執行時間與工作精度兩個重要的量化指標。一般在設計機器人控制流程前會先利用視覺感測器來偵測目標物上的特定平面格狀交點特徵或立體參考點後，再進行兩者間的座標校正與轉換計算，才可進行後續的智慧化控制流程，然而現今為符合產業在高速動態與高精度的需求下，在目標物上的特徵偵測演算速度與位置正確性將會是關鍵。有鑑於目前人工智慧(Artificial Intelligence, AI)的蓬勃發展，本文分析多種具備即時性與準確性的特徵偵測AI模型與機器學習演算法，並分別針對橡膠、鑄件、畜牧三種產業上所需要的2D與3D的視覺特徵偵測、分類與追蹤，搭配高即時性機器人的動態控制來實現低延遲與高精度的自動化系統。
Abstract：In traditional applications of design automation using robots, the positioning and real-time dynamic control between the robot and the target object play a critical role, almost determining the overall dynamic performance of the system and affecting two important quantitative indicators: total execution time and work precision. Typically, before designing the robot control process, visual sensors are used to detect specific planar grid intersection features or spatial reference points on the target object, followed by coordinate correction and transformation calculations between the two, before proceeding with the subsequent intelligent control process. However, to meet the industry's demand for high-speed dynamics and high precision today, the computation speed and positional accuracy of feature detection on the target object will be crucial. Given the current rapid development of artificial intelligence (AI), this research analyzes various AI models and machine learning algorithms that possess real-time accuracy for feature detection. It specifically addresses the needs for 2D and 3D visual feature detection, classification, and tracking in the rubber, casting, and livestock industries, combined with high real-time robot dynamic control to achieve low-latency and high-precision automated systems.development of artificial intelligence (AI), this research analyzes various AI models and machine learning algorithms that possess real-time accuracy for feature detection. It specifically addresses the needs for 2D and 3D visual feature detection, classification, and tracking in the rubber, casting, and livestock industries, combined with high real-time robot dynamic control to achieve low-latency and high-precision automated systems.and improve production efficiency.

關鍵詞：機器人、人工智慧、特徵定位
Keywords：Robot, AI, Feature localization

前言
在現今可預期的人力缺乏的情況下，使用機器人取代人類的工作已經相當普遍，而機器人應用的領域相當廣泛，包含常見的橡膠、金屬、畜牧、塑膠、醫學等，對於不同領域上所設計的機器手臂或專用機器人都需要有相當程度的即時性、精準度與耐用性，在不同的應用上也皆有不同的特徵定位作法，而最終的目標皆希望能以模仿人類的工藝取代人力。
1.機器人手眼校正
手眼校正是操作機器人和視覺感測器中的一個基本關鍵技術，能夠影響自動控制系統的精度與可靠性，在多數使用機器手臂進行控制的情境中是必要的過程，最早於1989開始有了第一次的研究[1]，其奠定了校正基礎公式AX = XB，其中A為感測器與目標物之間的轉移矩陣，B為機器手臂基座座標到末端座標的轉移矩陣，在後續的多種設計應用也皆以此公式針對不同的流程與演算法而發展，並確保了機器手臂末端執行器(手)和視覺感測器(眼)之間的對應關係，也就是求出X的轉換矩陣，此矩陣描述了兩者之間的位置(x,y,z)與姿態(Yaw,Roll,Pitch)的關係，並可提供開發者直接對機器手臂進行空間座標命令控制的功能。一般手眼校正的過程包括以下幾個步驟：
(1)數據資料收集：收集手與眼相對於目標物的資料，包括機器手臂末端在機器手臂基座座標系統中的位置和姿態，以及視覺感測器所感測到的目標物上單一或多個姿態的位置。
(2)計算轉換關係：利用收集到的資料計算出手眼之間的轉換矩陣X。
(3)驗證校正準確性：對所獲得的手眼轉換矩陣X進行驗證，確保校正結果的準確性和可靠性。
(4)應用校正結果：將校正矩陣X導入於實際的機器手臂命令控制中，使機器手臂能根據視覺所看到的物體進行準確操作。
目前在機器人與目標物的定位方法中，主要有圖1(a)眼在手(Eye in Hand)，以及圖1(b)眼對手(Eye to Hand)兩種，其中眼在手除了可以透過嵌入於手臂末端的2D相機外，還可以加入6D慣性量測系統(IMU)來開發低成本的定位系統[2]，透過偵測機器手臂的移動三軸加速度與角速度，以及實際手臂移動的命令位置，再由相機偵測環境中的特徵點(如Apriltag)來推算移動的距離，將此三種資訊進行感測融合做出更高的定位精度。而眼對手則是利用架設於外部的2D相機同時拍攝到手臂末端與目標物來計算兩者的關係，先讓手臂末端夾取校正板並移動多種姿態讓2D相機拍攝後計算出2D相機與校正板之間的轉移矩陣，再分別計算校正板到機器手臂終端、機器手臂基座到機械手臂終端的轉移矩陣，最後可取得2D相機與機械手臂基座之間的轉移矩陣，後續可以利用2D相機捕捉目標物上的特徵位置，並將此位置資訊作為命令進行機器手臂的控制。

                  (a)                                       (b)

                             圖1 (a)眼在手(b)眼對手