以下文章來源于機器人大講堂 ，作者Robospeak

人類天生擁有先進而靈活的手部操縱能力，能夠輕松完成日常很多動作，例如移動物體、開門、打字、繪畫等。

但對機器人來說，要實現多任務操控，并根據不同物體適應最合適的抓握手勢，這可是件難事。

那該如何控制機械手實現日常操作呢？

很多靈活強大的機械手使用了無模型強化學習技術（RL）來進行精確抓握，這種方法通用性很強，它無需過多假設，而且能自動掌握很多技能。由于這種方法除了建立函數無需其他信息，所以很容易在改進后的環境中重新學習技能，例如更換了目標物體或機械手。

但大部分情況下，這種策略需要外部傳感信息，例如，用多攝像頭系統來跟蹤手指或物體，然而這種系統很難部署在實驗室以外的環境。

為了解決該問題，哥倫比亞大學機器人操作和移動實驗室的研究人員首次將無模型強化學習技術（RL）與本體觸覺反饋相結合，在沒有任何外部信息、機械手也不知道物體形狀的情況下，僅利用“觸覺感知”就能靈活操縱物體。

無需提前了解抓握物體，也能靈活適應形狀

將觸覺反饋與強化學習集成在一起，本身就是一個挑戰。

觸覺反饋通常是高維的，這會極大地增加強化學習所需的訓練樣本數量。因此，大多數使用強化算法控制機械手的工作要么完全避免使用觸覺反饋，要么考慮需要較少訓練樣本的任務。

為了避免大量的訓練樣本，研究人員考慮僅使用內部感知，不關注被抓物體的形狀，而是專注于讓機械手學習手指手勢（包括手指替換和重新抓握的操作）和手指旋轉（涉及手指抓握中的物體的操作）技能，這些不受手的運動學約束的限制，可以實現潛在的物體形狀重新定向。

這個機械手并不包含手掌，所以可將手指的手勢學習主要集中在主軸旋轉，然后為每個軸獲得的手指采集策略以適當的順序組合，以實現目標方向的期望變化。

穩定抓取采樣，減少隨機性

僅用內部感知學習手勢的方法有一定的缺點：行動隨機化。

隨機的探索動作容易擾亂精確抓握的物體的穩定性，導致其掉落，因此需要對手指位置穩定抓取采樣(SGS)，以訓練穩定的抓握軌跡。

為了對手部姿勢進行采樣，研究人員首先對物體周圍的環內指尖位置進行采樣，該環以物體為中心并與其部分重疊，因此指尖接觸物體和保持自由的概率大致相同。通過這個過程，不僅可以找到與手指步態和手指旋轉相關的穩定抓握，還可以提高發現它們的可能性，從而最大限度地減少訓練時間。

第一個將內在觸感與強化學習結合的實例

這項研究的預印本發表在arXiv上，論文標題為《On the Feasibility of Learning Finger-gaiting In-hand Manipulation withIntrinsic Sensing》。

為了促進未來在真實場景中的部署，限制外部視覺或跟蹤傳感器等信息是很有必要的。這項研究是第一個成功地使用僅內在傳感信息進行訓練的機械手實例，論文的第一作者，Gagan Khandate認為：“這項工作是邁向未來機械手操縱方向的非常有用的一步，不僅如此，我們在不使用手掌或其他表面進行被動支持的情況下，也能實現機械手的穩定操作技能。”

論文鏈接：

https://arxiv.org/abs/2109.12720