論文：A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU

該研究提出了一種多模式移動遙操作系統，該系統由一個新穎的基于視覺的手勢回歸網絡（Transteleop）和一個基于IMU的手臂跟蹤方法組成。Transteleop通過低成本的深度相機觀察人的手，并通過圖像到圖像的轉換過程，不僅生成關節角度，而且還生成配對的機器人手姿勢的深度圖像?；陉P鍵點的重建損失探索了人類和機器人手在外觀和解剖結構上的相似之處，并豐富了重建圖像的局部特征。穿戴式攝像機支架可實現同時的手臂控制，并促進整個遠程操作系統的移動性。測試數據集上的網絡評估結果以及除簡單的取放操作之外的各種復雜操作任務，顯示了多模式遙操作系統的效率和穩定性。

1.研究問題

擬人化機械手的遙操作以執行靈巧操作仍是挑戰。無標記的基于視覺的遙操作具有成本低，侵入性小的強大優勢。

問題a：由于機器人手和人手占據兩個不同的領域，因此如何補償它們之間的運動學差異在基于無標記視覺的遙操作中起著至關重要的作用。

問題b：遠程操作員的手應停留在攝像機系統有限的視野范圍內。這種限制阻礙了操作員完成需要廣闊工作區域的操縱任務。

2.解決方法

解決方法a：提出了一種稱為Transteleop的基于視覺的新型遙操作方法，該方法基于圖像到圖像的翻譯方法提取配對的人和機器人手之間的連貫姿勢特征。Transteleop將人手的深度圖像作為輸入，然后估計機器人手的關節角度，并生成機器人手的重建圖像。本著監督學習的精神，為了增強從圖像翻譯結構中提取的特征的豐富性，研究人員設計了一個基于關鍵點的重建損失，以專注于手部關鍵點周圍的局部重建質量。

解決方法b：為了實現真正的移動式手臂遙控操作系統，研究人員開發了一種攝像機支架，將攝像機安裝在人的手臂上。

3.研究目標

建立一個移動機器人手臂遠程操作系統，其中遠程操作員可以在無限的工作空間中進行自然的手部動作以完成一系列操作任務。為了建立這樣的系統，研究人員制定了一種新穎的基于視覺的方法來對擬人化的手進行遙控操作，并利用基于IMU的設備來同時控制手臂。假設IH是人類的圖像，展示了通過深度相機觀察到的操作任務的手部姿勢。視覺部分旨在訓練輸入IH并預測機器人關節角度Jhand的神經模型，而IMU部分則打算將人手臂的絕對運動映射到機器人手臂。

4.具體研究方法

4.1 Transteleop的提出和使用

根據機器人和人的共享姿態特征Zpose可以獲取Jhand(機器人關節角度)。文章采用了一種生成結構，該結構從圖像IH映射到圖像IR，并從該結構的瓶頸層檢索姿態作為Zpose。網絡結構如下圖所示：

編碼器-****模塊：編碼器從各種角度拍攝人手IH的深度圖像，并發現人手和機器人手之間的潛在特征Zpose。研究人員使用六個卷積層，其中包含四個下采樣層和兩個具有相同輸出尺寸的殘差塊。因此，給定大小為9696的輸入圖像，編碼器將計算抽象66512維特征表示?？紤]到數據集中的IH和IR中的像素區域不匹配，文章中使用完全連接的層而不是卷積層連接編碼器和****。

****旨在根據潛在姿勢特征Zpose從固定視點重建機器人手的深度圖像。一層全連接層將要素從Zpose連接到機器人要素向量ZR。緊跟著的是具有學習濾波器的四個上卷積層和一個用于圖像生成的卷積層。與其他圖像翻譯不同的是本文更加關注局部特征（例如指尖的位置）的準確性，而不是全局特征（例如圖像樣式）的準確性。研究人員設計了一個基于關鍵點的重建損失，以捕獲手的整體結構，并專注于手的15個關鍵點周圍的像素。每個像素誤差的比例因子取決于該像素與所有關鍵點的距離，并認為每個關鍵點的八個相鄰像素與這些關鍵點本身一樣重要。

4.2手臂支架設計

手臂的移動比較大會導致遙控操作員的手很容易從攝像機的視野中消失，研究中通過便宜的3D打印攝像機支架解決了這個問題，該攝像機支架可以安裝在遠程操作員的前臂上，因此，相機將隨手臂一起移動。

由于攝像機位置的不確定性，研究中使用慣性動作捕捉設備控制機器人的手臂，將可穿戴設備的全局坐標系設置為與機器人基坐標系平行。根據獲取的旋轉數據和機器人手臂的鏈接長度，計算出機器人的手腕姿勢。通過將該姿勢輸入到BioIK解算器中來計算機器人手臂的關節角度。此后，研究人員通過計算和縮放當前幀和前一幀的期望關節角度之間的前饋關節差異以及期望關節角度之間的反饋關節差異來設置每個關節的角速度。

5.實驗分析

輸入的深度圖像是從原始深度圖像中提取出來的，大小調整為9696。為優化網絡，研究中使用批訓練隨機梯度下降法，并應用Adam優化器，其學習率0.002和動量參數設置為0.5和0.999，并在每個卷積層之后添加一個批處理歸一化（BN）層和一個修正線性單元（ReLU）。

1）網絡框架對比

為了評估Transtelop是否可以學習指示性的視覺表示，研究中將Transtelop與兩種網絡結構進行了比較：TeachNet和GANteleop。為了顯示來自機器人自身域的回歸結果，研究中訓練了一個模型Robotonly，該模型刪除了Transteleop中的****模塊，僅提供了機器人手的圖像。為提供輸入圖像的空間變換功能，研究人員在Transteleop上增加了STN網絡。

研究中使用手姿勢估計中的標準指標評估了測試數據集上Transteleop和四個基線的回歸性能：a.最大關節角度誤差低于閾值的幀比例；b.最大關節距離誤差低于閾值的幀比例；c.在所有角度上的平均角度誤差。結果如下圖所示：

實驗結果分析：

由于具有匹配的域和相同的視角，因此，Robotonly模型在所有評估指標上均明顯優于其他基準。Transtelop和GANteleop均在最大關節角度以下顯示了平均10.63％的精度的提升，該精度高于TeachNet。研究人員推斷，這兩種圖像到圖像的轉換方法都比TeachNet抓住了機器人更多的姿勢特征。此外，GANteleop之所以比Transteleop差，是因為GANteleop中的判別網絡專注于追求逼真的圖像，并削弱了對關節的監督。比較Transtelop和不使用STN的Transtelop，即使使用了STN網絡，也沒有明顯的改進。這表明附加的空間變換僅為該任務帶來了一點外觀標準化效果，但并未顯著促進手部姿勢變換為規范姿勢。如上圖(c)所示，所有方法聯合回歸的絕對平均誤差均低于0.05 rad，最高誤差發生在拇指關節5上，因為人的拇指與陰影拇指之間存在很大差異。

2）實驗操作設置：

系統地評估了四種類型的物理任務，對多模型遠程操作方法進行了分析，涉及精度和功率控制的分析，有力和無力操縱以及雙臂交接任務的分析。

手臂的速度控制頻率為20Hz，人手臂的起始姿勢始終與機器人手臂的起始姿勢一致。同時，機器人的手臂在每個任務上總是以幾乎相似的姿勢開始和結束，手部軌跡控制的頻率設置為10Hz。一名女性和兩名男性測試人員參加了以下機器人實驗，并且其中每一項任務都是隨機執行的。

1)取放。研究人員準備了兩個測試方案：挑選一個薯條罐并將其放在同一張桌子上的紅色碗中；在桌子上選擇一個立方體，并將其放在方塊的頂部。第一種情況需要機械手的動力掌握技巧，第二種情況需要機械手的精確掌握技巧，并為遠程操作員提供足夠的工作空間。

2)插入杯子。三個同心杯應相互插入。此任務檢查精確掌握和釋放的能力。

3)推動物體。研究人員設置方塊的隨機初始姿勢，然后將方塊推入指定的位置。此任務包含推動，滑動和精確抓握的挑戰。

4)雙臂交接。左臂將一卷紙交給右手。操作員還利用慣性可穿戴設備控制PR2的左臂和左夾具。此任務測試整個遠程操作系統的協調能力。由于系統的可移動性，人們可以面對面坐著而不是與機器人平行，從而獲得清晰的視野。

實驗練習：操作員在實際測試之前對每個任務進行了五次非連續嘗試的預熱訓練階段。對于諸如拾取和放置之類的簡單任務，經過三輪試驗，操作員可以很好地完成任務。但是對于移交任務，遙控操作員進行了更多嘗試，以適應手臂的相反操作方向。每個任務由一名演示者執行了五次。下表為實驗結果：

上表顯示了遠程操作員完成任務所花費的平均時間以及成功率。完成時間是在機器人開始移動直到返回初始姿勢時計算得出的。兩項拾取和放置任務的成功率高且完成時間短，并且杯子插入任務表明系統具有精確性和力量把握能力。與拾取和放置任務相比，方塊比碗小得多，因此機器人需要更長的時間才能找到放置立方體的寶貴位置。在推入任務期間，機器人可以使用多個手指將方塊快速推入目標位置。然而，為了使推入誤差小于5mm，操作者花費了很長時間來處理磚的方向。移交任務的成功率較低，主要是因為對左夾具的控制不精確，從而導致機器人意外丟失了物體。研究人員認為：基于視覺的方法比基于IMU的方法更適合于多指控制。

6.總結和未來工作

本文結合了基于視覺的聯合估計方法，Transteleop和基于IMU的手臂遙操作方法，提出了一種手臂遠程傳送系統。

研究不足和研究計劃：首先，攝像機支架給操作員帶來了額外的負擔，這在長期遙控操作過程中不舒服。其次，研究中缺乏手勢控制，因此一些高精度的任務（例如開瓶和擰緊螺絲）對于當前系統仍然是棘手的。因此，研究人員計劃收集一個手部運動數據集，更多地集中在拇指、無名指和中指的微妙姿勢上。最后，研究人員希望可以通過滑動檢測和力估計以減輕用戶的控制負擔并避免機器人的意外碰撞。

備注：作者也是我們「3D視覺從入門到精通」特邀嘉賓：一個超干貨的3D視覺學習社區

本文僅做學術分享，如有侵權，請聯系刪文。

*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。