人類善于利用手指觸覺來(lái)感知物體的物理特性（包括質(zhì)量、重心、轉(zhuǎn)動(dòng)慣量、表面摩擦等），從而完成高難度的控制任務(wù)。在不遠(yuǎn)的將來(lái)，機(jī)器人也會(huì)擁有觸覺分析能力。在剛剛結(jié)束的機(jī)器人頂會(huì) IROS 2020 上，上海交大 & MIT 聯(lián)合項(xiàng)目 SwingBot 為我們展示了如何讓機(jī)器人通過(guò)觸覺傳感器來(lái)學(xué)習(xí)感知物體復(fù)雜的物理特性（tactile exploration），從而完成一個(gè)高難度的甩筆任務(wù)（in-hand object swing-up）。該工作也摘得此次大會(huì)的最佳論文獎(jiǎng)項(xiàng)。

IROS2020 最佳論文獎(jiǎng)項(xiàng)。來(lái)源 iros2020.org (http://iros2020.org/) 下圖為機(jī)器人觸覺分析的流程通過(guò)握著物體旋轉(zhuǎn)一定角度和抖動(dòng)物體來(lái)感知物理特性，從而推斷出最佳的控制策略實(shí)現(xiàn)甩筆。

該項(xiàng)目通過(guò)對(duì)多種觸覺探索動(dòng)作的信息融合，讓機(jī)器人端到端的去學(xué)習(xí)概括手中物體的物理特性，并依靠這個(gè)物理特征來(lái)實(shí)現(xiàn)高難度的手上控制任務(wù)（in-hand swing-up）。更多的詳細(xì)內(nèi)容可以訪問(wèn)論文原文和項(xiàng)目主頁(yè)：

論文鏈接：http://gelsight.csail.mit.edu/swingbot/IROS2020_SwingBot.pdf

項(xiàng)目地址：http://gelsight.csail.mit.edu/swingbot/

高精度、低成本的觸覺傳感器 研究人員使用的是一款名為 GelSight 的機(jī)器人觸覺傳感器，該傳感器也發(fā)明于此 MIT 項(xiàng)目組（指導(dǎo)教授：Edward Adelson）。區(qū)別于傳統(tǒng)觸覺傳感器依賴于稀疏的電極陣列（基于電阻 / 電容 ），GelSight 是一個(gè)基于光學(xué)的觸覺傳感器，通過(guò)一個(gè)微型相機(jī)來(lái)拍攝接觸面的三維幾何形變，可以返回高精度的觸覺信息（見下圖是 GelSight 重建的奧利奧餅干表面）。 更值得一提的是，因?yàn)橹恍枰粋€(gè)低成本的微型攝像頭和一個(gè)樹莓派控制器，GelSight 的制作總成本只有 100 美金（700 元），遠(yuǎn)低于市面上的其他觸覺傳感器。

GelSight 觸覺信息效果圖。來(lái)源：[2] 在本篇工作中，研究人員將 GelSight 安裝在了機(jī)器人二爪夾具的一側(cè)，通過(guò)在傳感器上標(biāo)定靶點(diǎn)和重建三維信息，高密度的力學(xué)反饋可以以每秒60幀的速度實(shí)時(shí)傳輸出來(lái)。

基于多種觸覺探索動(dòng)作的物理特性分析能力 人類可以通過(guò)多種觸覺探索動(dòng)作（觸摸、甩、掂量）來(lái)概括手上物體的物理特性（重量、光滑程度、重心位置等）[1]，而且人類并不需要測(cè)量這些物理參數(shù)的精確數(shù)值，而是用自己的經(jīng)驗(yàn)結(jié)合觸覺手感來(lái)實(shí)現(xiàn)對(duì)手中物體高難度的控制。 受這個(gè)觀察的啟發(fā)，該項(xiàng)目的研究人員首先提出了一個(gè)多觸覺探索的信息融合模型（Information fusion model for multiple tactile exploration actions），該模型的目的是整合不同的機(jī)器人觸覺探索動(dòng)作信息到一個(gè)共同的物理特性特征空間（Physical embedding）中，從而實(shí)現(xiàn)對(duì)物體多種物理特性（質(zhì)量、重心位置、轉(zhuǎn)動(dòng)慣量和摩擦力）的概括能力。

多觸覺探索動(dòng)作的信息融合模型。來(lái)源：論文 研究人員為機(jī)器人設(shè)計(jì)了兩種基礎(chǔ)的探索動(dòng)作：（1）緊握物體并旋轉(zhuǎn)一定角度（in-hand tilting）和（2）放松緊握狀態(tài)并抖動(dòng)物體（in-hand shaking）。動(dòng)作（1）的觸覺反饋信息會(huì)通過(guò)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)輸出一個(gè)一維的特征向量；動(dòng)作（2）的抖動(dòng)因?yàn)槭菚r(shí)序信息，會(huì)用一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）來(lái)處理獲得相應(yīng)的特征。這兩個(gè)特征信息通過(guò)拼接和一個(gè)由若干多層感知器（MLP）組成的融合模型進(jìn)行整合，得到一個(gè)低維的物理特征概括（physical feature embedding）。 區(qū)別于逐個(gè)測(cè)量每種不同的物理特性，這種信息整合模型的一大優(yōu)勢(shì)是可以根據(jù)任務(wù)來(lái)自主調(diào)節(jié)對(duì)不同物理信息的關(guān)注程度，因?yàn)楹芏嗳蝿?wù)是無(wú)法明確分析出是哪一種物理特性起到了主導(dǎo)作用，而使用該方法可以讓機(jī)器人自主地學(xué)習(xí)并選擇需要的物理信息。此外，這兩個(gè)觸覺探索動(dòng)作加起來(lái)只需要 7 秒的時(shí)間，相比于用精密的儀器來(lái)逐個(gè)測(cè)量物體的質(zhì)量和摩擦力等，該方法的效率也有很大的提升，并且不需要額外的測(cè)量?jī)x器的輔助，更接近人類的觸覺感知能力。 此外，為了讓機(jī)器人自主學(xué)習(xí)選擇最需要的物理信息，研究人員接著提出了一個(gè)控制預(yù)測(cè)模型，該模型通過(guò)輸入先前獲得的物理特征向量和機(jī)器人控制參數(shù)，來(lái)預(yù)測(cè)最終物體會(huì)被甩到的角度。在訓(xùn)練過(guò)程中，整個(gè)流程是用一個(gè)端到端（end-to-end）的訓(xùn)練算法來(lái)實(shí)現(xiàn)的。研究人員設(shè)計(jì)了一個(gè)機(jī)器人自動(dòng)采集數(shù)據(jù)的系統(tǒng)，并且 3D 打印了可以隨意調(diào)節(jié)物理特性的模型來(lái)采集數(shù)據(jù)，具體如下兩個(gè)動(dòng)圖所示：

可變物理特性的模板物體。

數(shù)據(jù)收集流程。 研究人員讓機(jī)器人自主采集了1350次甩筆的數(shù)據(jù)，其中包含了27個(gè)不同物理特性的物體。在測(cè)試的時(shí)候，研究人員額外選擇了6個(gè)訓(xùn)練數(shù)據(jù)中不包含（unseen）的新物體，機(jī)器人需要通過(guò)觸覺探索模型來(lái)確定未知物體的物理特性，并根據(jù)任務(wù)要求的最終甩到的角度，來(lái)選擇一套成功率最高的控制參數(shù)。 實(shí)驗(yàn)成果 研究人員首先對(duì)比了使用和不使用多觸覺探索融合算法對(duì)預(yù)測(cè)控制模型準(zhǔn)確率的影響（數(shù)值越低，準(zhǔn)確度越高），其中融合算法（Comb.）在已知和未知物體上的預(yù)測(cè)誤差率都遠(yuǎn)低于不使用觸覺信息（None）。此外融合算法（Comb.）的表現(xiàn)也比單一使用一種觸覺探索動(dòng)作（Tilt.: tilting-only, Shak.:shaking-only）的算法效果好。

以下是機(jī)器人在測(cè)試過(guò)程中，通過(guò)使用多觸覺探索融合算法來(lái)實(shí)現(xiàn)對(duì)未知物體（unseen objects）的物理特性探索和上甩效果（swing-up）。第一個(gè)任務(wù)要求將物體上甩至相對(duì)于傳感器 90 度的角度位置：

第二個(gè)任務(wù)要求將物體上甩至相對(duì)于傳感器 180 度的位置：

研究人員緊接著探索融合算法學(xué)習(xí)到的物理特征空間到底包含哪些信息。他們用一組額外的多層感知器來(lái)回歸（regression）每一個(gè)物理特性的具體參數(shù)，并計(jì)算誤差百分比（數(shù)值越低，準(zhǔn)確度越高）。 如下表所示，可以發(fā)現(xiàn)第一個(gè)旋轉(zhuǎn)動(dòng)作（Tilting）對(duì)物體的質(zhì)量（Mass）、重心（Center of mass）和轉(zhuǎn)動(dòng)慣量（Moment of inertia）的信息捕捉更準(zhǔn)確。而第二個(gè)搖晃動(dòng)作（Shaking）對(duì)物體接觸部分的摩擦力（Friction）的把握更準(zhǔn)。將兩種探索動(dòng)作融合的算法（Combined）取得了最好的回歸準(zhǔn)確率。

最后研究人員進(jìn)一步探索所學(xué)習(xí)到的物理特征空間是如何能夠做到對(duì)未知物體依然適用的。他們可視化了6個(gè)未知物體的數(shù)據(jù)分布并展示在了下圖 (b) 中，其中 x 軸表示控制參數(shù)，y 軸表示最終上甩的角度。在圖 (a) 中，研究人員用 PCA 提取了每個(gè)采樣中網(wǎng)絡(luò)輸出的物理特征向量的主成分（2 維）并可視化在這個(gè)二維點(diǎn)圖中。觀察可以發(fā)現(xiàn)，如果兩個(gè)物體的控制策略相近（例如物體 5 和物體 6），他們的物理特征間距也會(huì)越近，而兩個(gè)物體的控制策略相差較大（例如物體 1 和物體 4），則在特征空間上的間距也會(huì)更大。

物理特征可視化。來(lái)源：論文 作者介紹

本項(xiàng)目的共同第一作者是：

王辰（Chen Wang）: 本科畢業(yè)于上海交通大學(xué)，師從盧策吾教授。他即將前往 Stanford 攻讀計(jì)算機(jī)博士學(xué)位，該項(xiàng)目是其在 MIT 暑研期間完成的。個(gè)人主頁(yè)：http://www.chenwangjeremy.net

王少雄（Shaoxiong Wang）：MIT CSAIL 博士生四年級(jí)，師從 Prof. Edward Adelson（此項(xiàng)目指導(dǎo)教授），本科畢業(yè)于清華大學(xué)。個(gè)人主頁(yè)：http://shaoxiongwang.com/

責(zé)任編輯：lq