「運(yùn)動控制問題已經(jīng)成為強(qiáng)化學(xué)習(xí)的基準(zhǔn)，而深度強(qiáng)化學(xué)習(xí)的方法可以很高效的處理控制和運(yùn)動等問題。然而，使用深度強(qiáng)化學(xué)習(xí)訓(xùn)練的目標(biāo)對象也經(jīng)常會出現(xiàn)不自然動作、異常抖動、步伐不對稱以及四肢過度擺動等問題。我們可以將我們的虛擬人物訓(xùn)練的行為表現(xiàn)更加自然嗎？」

伯克利 BAIR 實驗室介紹了他們對于運(yùn)動建模的最新研究成果，他們使用動作捕捉片段訓(xùn)練自己的模型。訓(xùn)練中著力減小跟蹤誤差并采用提前終止的方法來優(yōu)化訓(xùn)練結(jié)果。訓(xùn)練模型最終表現(xiàn)優(yōu)秀。 詳情介紹如下。

虛擬特技演員

我們從計算機(jī)圖形學(xué)研究中獲得了啟發(fā)。在這一領(lǐng)域中基于自然動作的人體仿真模擬已經(jīng)存在大量的工作，相關(guān)研究已經(jīng)進(jìn)行了很多年。由于電影視覺效果以及游戲?qū)τ趧幼髻|(zhì)量要求很高，多年下來，基于豐富的肢體動作動畫已經(jīng)開發(fā)相應(yīng)控制器，這個控制器可以生成大量針對不同任務(wù)和對象的魯棒性好又自然的動作。這種方法會利用人類洞察力去合并特定任務(wù)的控制結(jié)構(gòu)，最終會對訓(xùn)練對象所產(chǎn)生的動作有很強(qiáng)的歸納偏向。這種做法會讓控制器更加適應(yīng)特定的訓(xùn)練對象和任務(wù)。比如被設(shè)計去生成行走動作的控制器可能會因為缺乏人類洞察力而無法生成更有技巧性的動作。

在本研究中，我們將利用兩個領(lǐng)域的綜合優(yōu)勢，在使用深度學(xué)習(xí)模型的同時也生成自然的動作，這動作質(zhì)量足以匹敵計算機(jī)圖形學(xué)當(dāng)前最先進(jìn)的全身動作模擬。我們提出了一個概念化的簡單強(qiáng)化學(xué)習(xí)框架，這個框架讓模擬對象通過學(xué)習(xí)樣例動作剪輯來做出難度更高的動作，其中樣例動作來自于人類動作捕捉。給出一個技巧的展示，例如旋踢或者后空翻，我們的訓(xùn)練對象在仿真中會以穩(wěn)健的策略去模仿這一動作。我們的策略所生成的動作與動作捕捉幾乎沒有區(qū)別。

動作模擬

在大多數(shù)強(qiáng)化學(xué)習(xí)基準(zhǔn)中，模擬對象都使用簡單的模型，這些模型只有一些對真實動作進(jìn)行粗糙模仿的動作。因此，訓(xùn)練對象也容易學(xué)習(xí)其中的特異動作從而產(chǎn)生現(xiàn)實世界根本不會有的行為。故該模型利用的現(xiàn)實生物力學(xué)模型越真實，就會產(chǎn)生越多的自然行為。但建設(shè)高保真的模型非常具有挑戰(zhàn)性，且即使在該模型下也有可能會生成不自然行為。

另一種策略就是數(shù)據(jù)驅(qū)動方式，即通過人類動作捕捉來生成自然動作樣例。訓(xùn)練對象就可以通過模仿樣例動作來產(chǎn)生更加自然的行為。通過模仿運(yùn)動樣例進(jìn)行仿真的方式在計算機(jī)動畫制作中存在了很久，最近開始在制作中引入深度強(qiáng)化學(xué)習(xí)。結(jié)果顯示訓(xùn)練對象動作的確更加自然，然而這離實現(xiàn)多動作仿真還有很長一段距離。

在本研究中，我們將使用動作模仿任務(wù)來訓(xùn)練模型，我們的訓(xùn)練目標(biāo)就是訓(xùn)練對象最終可以復(fù)現(xiàn)一個給定的參考動作。參考動作是以一系列目標(biāo)姿勢表示的（q_0,q_1,…,q_T）,其中 q_t 就是目標(biāo)在t時刻的姿勢。獎勵函數(shù)旨在縮小目標(biāo)姿勢 q^_t 與訓(xùn)練對象姿勢 q_t 之間的方差。

雖然在運(yùn)動模仿上應(yīng)用了更復(fù)雜的方法，但我們發(fā)現(xiàn)簡單的縮小跟蹤誤差（以及兩個額外的視角的誤差）表現(xiàn)的出人意料的好。這個策略是通過訓(xùn)練使用PPO算法優(yōu)化過的目標(biāo)實現(xiàn)的。

利用這個框架，我們可以開發(fā)出包含大量高挑戰(zhàn)性技巧（運(yùn)動，雜技，武術(shù)，舞蹈）的策略。

接著我們比較了現(xiàn)有方法和之前用來模仿動作捕捉剪輯的方法（IGAL）。結(jié)果顯示我們的方法更加簡單，且更好的復(fù)現(xiàn)了參考動作。由此得到的策略規(guī)避了很多深度強(qiáng)化學(xué)習(xí)方法的弊端，可以使得訓(xùn)練對象的像人一樣行動流暢。

Insights

參考狀態(tài)初始化

假設(shè)虛擬對象正準(zhǔn)備做后空翻，它怎樣才能知道在半空做一個完整翻轉(zhuǎn)可以獲得高獎勵呢？由于大多強(qiáng)化學(xué)習(xí)方法是可回溯的，他們只觀察已訪問到的狀態(tài)的獎勵。在后空翻這個實驗中，虛擬對象必須在知道翻轉(zhuǎn)中的這些狀態(tài)會獲得高獎勵之前去觀察后空翻的運(yùn)動軌跡。但是因為后空翻對于起始和落地的條件非常敏感，所以虛擬對象不太可能在隨機(jī)嘗試中劃出一條成功的翻轉(zhuǎn)軌跡。為了給虛擬對象提示，我們會把它初始化為參考動作的隨機(jī)采樣狀態(tài)。所以，虛擬對象有時從地面開始，有時從翻轉(zhuǎn)的中間狀態(tài)開始。這樣就可以讓虛擬對象在不知道怎么達(dá)到某些狀態(tài)之前就知道哪些狀態(tài)可以獲得高獎勵。

下圖就是是否使用RSI訓(xùn)練的策略之間的差別，在訓(xùn)練之前，虛擬對象都會被初始化至一個特定的狀態(tài)。結(jié)果顯示，未使用RSI訓(xùn)練的對象沒有學(xué)會后空翻只學(xué)會了向后跳。

提前終止

提前終止對于強(qiáng)化學(xué)習(xí)研究者來說很重要，他經(jīng)常被用來提升模仿效率。當(dāng)虛擬對象處于一種無法成功的狀態(tài)時，就可以提前終止了，以免繼續(xù)模仿。這里我們證明了提前終止對結(jié)果有很重要的影響。我們依舊考慮后空翻這一動作，在訓(xùn)練的開始階段，策略非常糟糕，而虛擬對象基本上是不停的失敗。當(dāng)它摔倒后就極難恢復(fù)到之前的狀態(tài)。首次試驗成敗基本由樣本決定，所以虛擬對象大多數(shù)時間都是在地上徒勞掙扎。其他的方法論也曾經(jīng)遭遇過這樣的不平衡問題，比如監(jiān)督學(xué)習(xí)。當(dāng)虛擬對象進(jìn)入無用狀態(tài)時，就可以終結(jié)這次訓(xùn)練來緩解這個問題。ET結(jié)合RSI就可以保證數(shù)據(jù)集中的大部分樣本是接近參考軌跡的。沒有ET,虛擬對象就學(xué)不會空翻，而只會摔倒然后在地上嘗試表演這一動作。

其他成果

通過給模型輸入不同參考動作，模擬對象最終可以學(xué)會24中技巧。

除了模仿動作捕捉片段之外，我們還可以讓虛擬對象執(zhí)行其他任務(wù)。比如提一個隨機(jī)放置的目標(biāo)，或者向某個目標(biāo)扔球。

我們還訓(xùn)練的 Atlas 機(jī)器人去模仿人類動作捕捉的剪輯。盡管 Atlas 擁有與人不同的形態(tài)和質(zhì)量分布，但它依舊可以復(fù)現(xiàn)目標(biāo)動作。該策略不僅可以模仿參考動作，還可以在模仿過程中抵抗異常擾動。

如果沒有動作捕捉剪輯怎么辦？假設(shè)我們要做霸王龍仿真，由于我們無法獲得霸王龍的的動作捕捉影像，我們可以請一個畫家去畫一些動作，然后用使用畫作來訓(xùn)練策略。

為什么只模仿霸王龍呢？我們還可以試試獅子

還有龍

最終結(jié)論是一個簡單的方法卻取得了很好的結(jié)果。通過縮小跟蹤誤差，我們就可以訓(xùn)練處針對不同對象和技巧的策略。我們希望我們的工作可以幫助虛擬對象和機(jī)器人習(xí)得更多的動態(tài)運(yùn)動技巧。探索通過更常見的資源（如視頻）來學(xué)會動作模仿是一項激動人心的工作。這樣我們就可以克服一些沒法進(jìn)行動作捕捉的場景，比如針對某些動物或雜亂的環(huán)境動作捕捉很難實現(xiàn)。