2017發明展技術推薦系列報導(5)運用擴增實境智慧眼鏡與無標記動作擷取於虛擬棒球打擊訓練之研究

擁有嘉義農林棒球隊(Kano)的榮耀歷史以及臥虎藏龍的棒球隊，嘉義大學資訊工程學系盧天麒主任利用一般光學式攝影機擷取角色動作，透過AR/VR虛擬實境技術，協助選手進行虛擬棒球打擊訓練，希望應用於遊戲、動畫、電影相關產業，未來更可延伸至手機、平板等行動裝置，增加市場開發的潛力。

「傳統做法是藉由穿戴特殊裝備，不但成本高昂，且受限於穿戴者身材，並無法普遍適用。」盧天麒主任指出，以往透過顏色追蹤的做法，只要環境光線有所變化，或是受測者的動作太快，偵測就會來不及反應，造成資料缺損。「現在我們嘗試透過3D骨架的每個關節跟顏色資訊作對應，算出相似值，把骨架綁定顏色，利用顏色資訊驅動骨架。另外也用人工智慧記億人的動作，因此即使顏色資訊有缺，也能透過推測算出下一個動作，甚至當畫面被遮蔽時，也能有所補償。」

盧天麒主任解釋，這項技術可分為八個部分，包含攝影機校正、來源影像處理、剪影萃取、骨架投影、相似度計算、遮擋處理、動作評估，最後產生動作資料。在環境初始化階段，會先定義攝影機位置以及使用者位置進行初始化，在這裡採用HSV色彩空間藉由馬氏距離定義出影像中人體特徵，接著將取得的三面人體剪影及相關資訊傳送給本機端進行整理，同時系統中會有一組三維骨架，也將它進行投影，在計算預設骨架投影與實際人體剪影相似度後，系統會檢查是否發生遮擋問題，如發生此問題，將利用多面向攝影機資訊及遮擋運算處理該問題，系統將會選取相似度最高之預測動作作為最新虛擬骨架動作。

而當相似度過低時，代表使用者可能做出大幅度快速動作或是系統抓取資訊有誤，此時系統就會利用機器學習技術輔助系統找出最適合的虛擬骨架動作，當使用者錄出找出最新動作後，系統將會平滑化相鄰影隔間動作，使整體動作較為流暢且連續，最後匯出人體動作資料，取得人體動作資料，運用至人機互動領域，擴展至虛擬實境棒球打擊模擬當中。

盧天麒主任表示，這項技術可使用目前市面上的所有攝影機來進行。且使用者無需穿戴任何特殊衣物，希望藉由提供這樣一個簡便且低成本的技術，產生更多生活應用，進一步應用在課程教材，例如化學實驗，減少意外發生，也能減少城鄉教育落差。

（發佈時間：2017-10-30）