智慧工廠沉浸式互動應用開發

摘要：全球疫情促使製造業開始學習如何利用遠距會議工具排除製程、設備、產線的各種異常。遠距協作省去人員跨廠、跨國的工時與能源消耗，更是全球節能減碳趨勢，及製造業必備的核心能力。但現有的遠距會議工具受限於互動性不足仍然很難解決複雜的工程協作問題，所幸近年來沉浸式互動技術結合雲端運算、人工智慧與強大的行動運算晶片技術而有了長足進步。本文將簡述工研院近年來把沉浸式互動技術帶入智慧工廠進行遠距協同工程應用情境的研發現況，並對於未來可能的營運模式提出建議。
Abstract：The global pandemic has promoted the manufacturing industry to learn how to use remote meeting systems to eliminate various abnormalities in the processes, equipment and production lines. Moreover, with benefits of energy saving and labor cost reduction for across factories and across borders troubleshooting, the remote collaboration has become a key competitiveness in the carbon neutral era. However, the existing remote meeting systems are still difficult to solve sophisticated engineering collaboration problems due to insufficient interactivity between human and software systems. With the help of cloud computing, improvement of AI and mobile computing, the immersive interaction technique is undergoing significant improvements in recent years. In this article, the latest development achievements of using immersive interaction technique in intelligent factory will be introduced. Business model for the industrial application of immersive interaction will also be proposed.

關鍵詞：智慧工廠、沉浸式互動、數位雙生
Keywords：Intelligent factory, Immersive interaction, Digital twin

前言
2020年新冠疫情對全球產業造成極大衝擊，限制了人員分流與分散，而在人員無法流動的情形下，仍需維持正常的營運及運轉，遠距串起了居家、混合辦公模式的橋梁，使得各種遠距會議服務加速產品迭代，即便在疫情緩和的情形下，人們發現遠距會議已經可以解決很多過往需要面對面討論或協作才能完成的事情，進而節省人力、時間與交通成本，也漸漸開始習慣甚至依賴遠距會議系統。
然而現有的遠距會議系統，仍無法解決生產線上的製程、設備診斷、優化等工程討論需求，原因在於遠距會議只能讓與會者以電腦、手機、平板裝置分享影音、檔案等方式互動討論，而欠缺工程討論最重要的即時數據分析、模擬與呈現功能，工程師、技術專家之間的遠距協作仍無法實現。
而在虛擬實境、擴增實境或混合實境技術(統稱沉浸式互動)近年結合雲端運算、人工智慧與強大的行動運算晶片技術而有了長足進步，除了在電競、商業行銷等方面有較突出的商業成果，各種基於沉浸式互動的遠距會議、遠距教學、虛擬展會技術與新創公司如雨後春筍般出現在市場上。但是僅僅將遠距會議場景搬到沉浸式互動系統中仍無法實現工程領域的遠距協作，原因如上所述，要將即時數據分析、模擬結果呈現在虛擬場景中，所有與會者可以即時觀測產線設備的運轉情形以及評估對設備做任何操作下的即時互動反饋。
要獲得上述的即時數據分析、模擬結果與即時互動反饋，關鍵在於數位雙生協作體系的應用。數位雙生是一種透過物聯網技術與真實物理系統連結並可模擬或呈現真實物理系統行為模式的軟體模組，而數位雙生協作體系則是由一組功能互補的數位雙生模組共同完成某個特定任務，例如製程參數優化、設備診斷等。把數位雙生的運算結果投射到沉浸式互動環境中，並賦予直覺化的互動反饋機制，工程師與遠端技術專家就可以很快找到設備、產線、製程與操作流程、製程參數的因果關係，進而加速遠端技術診斷流程。
中美貿易戰使得東南亞成為佈局生產基地首選，許多臺商正在找尋可以快速將總部技術投射至海外產線的技術以便將生產基地快速遷移與重組，整合數位雙生的沉浸式互動系統也成為跨國、跨域技術服務的重要工具之一。
本文將簡介沉浸式互動技術發展現況，工研院在數位雙生沉浸式互動研發現況及未來規劃，提供產學界研發佈局與產品開發之參考。
遠距會議
遠距會議系統是一種存在已久的網路服務，在2019新冠疫情爆發之前，對國內大部分的公司而言遠距會議只是偶爾用於取代實體會議的一種輔助溝通方案，商業洽談、工程討論仍以面對面實體會議為主。而以疫情爆發後，召開、參加遠距會議成為必要技能，即便是原先坐在同一個辦公室的一群人現在也要使用遠距會議系統進行討論、協作。視訊會議產品的功能、性能也在這一兩年內快速提升，各行各業也迅速接受這樣的工具成為主要的商務、業務、教學工具。遠距會議也同樣被嘗試使用在生產線的設備、製程診斷活動中，不過使用者很快就發現效果不太好，原因在於不論使用手機、平板或電腦開視訊會議，與會者都只能透過口語、文字、影像互動而且必須手持通訊裝置或者在電腦前面進行討論，非常不利於生產線上的工作模式。更重要的是，生產線上的設備及製程異常由多種因素耦合而成，無法僅憑單一的數據結果判定成因，往往需要結合即時收集的產線數據進行複雜分析，診斷過程常需要結合數種不同分析工具與軟體，技術門檻高，現場操作員不易使用，而遠端的技術專家也很難在會議中調用這些複雜的數據與分析結果給現場操作員使用，因此現行的遠距會議系統產品在遠距協同工程應用領域仍然只能作為輔助溝通方式，人員面對面討論或離線數據分析仍無法避免。
數位雙生沉浸式互動
近年來由於物聯網、雲端運算發達，加上如上所述疫情因素使得遠端會議系統開始被大量使用，另一方面頭戴式裝置有如雨後春筍般大量出現在市場上。上述兩個趨勢使得設備廠、加工廠開始思考如何結合頭戴式裝置與遠距會議系統實現加工診斷、遠距技術服務以節省時間成本與人員差旅費用。以頭戴式裝置進行遠距會議可以讓操作員及遠端專家解放雙手，讓溝通更有效率，但是仍然無法採集運轉數據、量測數據與即時模擬結果，多方同時檢視製程、設備、產線狀況。
要讓參與遠距會議的人可以觀測設備即時運轉數據、檢視模擬分析結果，關鍵在於將製程、設備、產線的數位雙生引入遠端會議使用情境中，建立數位雙生協作體系與三維空間(3D)場景，讓現場操作員與遠端專家在同一個虛擬場景內互動，並且將數位雙生、人工智慧(AI)的運算結果以3D圖表、網格、點雲方式呈現在場景中如圖1。目前國內外市場都已經可以看到將虛擬場景互動技術應用在建築設計、房屋仲介、消費精品導覽、超跑客製化等應用情境，但仍欠缺以遠距協同工程討論為主的服務方案，從現有的應用案例來看，如能延伸應用到工程領域必能為製造業、設備業創造極大的產業價值，整體來說未來的遠距協同工程情境將跳脫現有人與人協作的範疇，藉由引進數位雙生沉浸式互動，現場操作員、遠端專家以及在雲端的數位雙生共同協作解決產線問題，協同工程環境將包含下列技術特徵：

圖1 設備操作員與遠端技術專家在虛擬場景內互動討論