基于真實世界演示訓(xùn)練機器人策略,不僅成本高、速度慢,還容易出現(xiàn)過擬合問題,進而限制其在不同任務(wù)與環(huán)境中的泛化能力。而仿真優(yōu)先的方法可簡化開發(fā)流程、降低風(fēng)險與成本,同時部署到真實環(huán)境也將更安全、適應(yīng)性更強。
最新的Isaac Lab 2.3早期開發(fā)者預(yù)覽版,通過先進的全身控制、強化的模仿學(xué)習(xí)和更優(yōu)的運動能力,提升了人形機器人的性能。此次更新還擴展了遙操作的數(shù)據(jù)收集功能,可支持 Meta Quest VR 和 Manus 手套等設(shè)備,加速了演示數(shù)據(jù)集的創(chuàng)建。此外,新版本引入了基于運動規(guī)劃器的工作流,用于在操作任務(wù)中生成數(shù)據(jù)。
新增強化學(xué)習(xí)與模仿學(xué)習(xí):Isaac Lab 2.3 為靈巧操作任務(wù)推出了多項新功能,包括用于感知和本體感知的字典觀察空間,以及自動域隨機化(ADR)和群體訓(xùn)練(PBT)的技術(shù),以提高強化學(xué)習(xí)訓(xùn)練的可擴展性。
Isaac Lab 2.3 還新增了帶吸盤夾具的基準測試環(huán)境,可支持吸盤與傳統(tǒng)夾具兩種操作模式。本次更新在基于管理器的工作流中加入了針對 CPU 端平面夾具的支持,以強化模仿學(xué)習(xí)功能。
優(yōu)化升級的靈巧操作遙操作功能:Isaac Lab 2.3 新增對宇樹 G1 機器人的遙操作支持,可對宇樹三指靈巧手和 Inspire 五指靈巧手進行動作映射。靈巧動作映射指將人手姿態(tài)轉(zhuǎn)換為機器人手部關(guān)節(jié)位置的過程,可實現(xiàn)高效的人機技能遷移,提升接觸密集型手部任務(wù)的執(zhí)行表現(xiàn),并為訓(xùn)練穩(wěn)健的操作策略生成豐富的演示數(shù)據(jù)。本次更新還針對傅利葉 GR1T2、宇樹 G1 等雙臂機器人,改進了上半身控制。
引入無碰撞運動規(guī)劃技術(shù),助力操作數(shù)據(jù)生成:在最新版的 Isaac Lab 中,開發(fā)者可以使用 Isaac Lab Mimic 中的 SkillGen 來生成演示。SkillGen 工作流能生成自適應(yīng)、無碰撞的操作演示。它將人工提供的子任務(wù)片段與 GPU 加速運動規(guī)劃相結(jié)合,使得只需少量的人工演示,就能學(xué)習(xí)現(xiàn)實世界中接觸密集型操作任務(wù)。
移動機器人的端到端導(dǎo)航:開發(fā)者現(xiàn)可利用 Isaac Lab 中的移動工作流對NVIDIA COMPASS進行后訓(xùn)練。NVIDIA COMPASS 是基于視覺的通用移動工作流,適配不同類型機器人與多樣環(huán)境。該工作流包括三個環(huán)節(jié):在 Isaac Sim 中進行合成數(shù)據(jù)生成、訓(xùn)練移動模型,以及最終部署到NVIDIA Jetson Orin或NVIDIA Thor。通過 Cosmos Transfer 技術(shù)優(yōu)化合成數(shù)據(jù),可以有效縮小仿真與現(xiàn)實的差距。
人形機器人移動操作的合成數(shù)據(jù)生成:移動操作是指移動與操作的協(xié)同執(zhí)行:機器人在移動機身(行走或滾動)的同時,對物體實施動作(抓取、推動或拉動),形成全身協(xié)同作業(yè)體系。該工作流通過整合導(dǎo)航與全身控制器(WBC),生成移動與操作協(xié)同合作的機器人任務(wù)演示數(shù)據(jù)。借助這一方案,機器人能夠執(zhí)行復(fù)雜且連續(xù)的任務(wù),例如從桌面抓取物體、穿越空間,再將物體放置到其他位置。
策略評估框架:NVIDIA 正與光輪智能共同開發(fā)NVIDIA Isaac Lab – Arena。這是一款用于可擴展仿真實驗的開源策略評估框架。借助該框架的 API,開發(fā)者無需自行搭建系統(tǒng),即可簡化并執(zhí)行復(fù)雜的大規(guī)模評估任務(wù)。這意味著開發(fā)者既能專注于策略迭代,也能向社區(qū)貢獻評估方法,進而加速機器人研究領(lǐng)域的研發(fā)進程。
基礎(chǔ)設(shè)施支持:Isaac Lab 2.3 現(xiàn)支持搭載 NVIDIA GB10 Grace Blackwell 超級芯片的 NVIDIA RTX PRO Blackwell 服務(wù)器與 DGX Spark 系統(tǒng)。無論是 RTX PRO 還是 DGX Spark,均為研究人員提供了卓越平臺,可支撐從訓(xùn)練、合成數(shù)據(jù)生成到機器人學(xué)習(xí)與仿真等各類機器人開發(fā)工作負載的實驗、原型開發(fā)與運行。
-
機器人
+關(guān)注
關(guān)注
213文章
30309瀏覽量
218433 -
NVIDIA
+關(guān)注
關(guān)注
14文章
5444瀏覽量
108598 -
仿真
+關(guān)注
關(guān)注
52文章
4363瀏覽量
137440
原文標題:在 NVIDIA Isaac Lab 2.3 中使用全身控制和增強遙操作,簡化機器人學(xué)習(xí)
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
NVIDIA Isaac Lab推動機器人技術(shù)突破
NVIDIA 發(fā)布三大利器,推動人形機器人邁向新紀元
NVIDIA 利用全新開源模型與仿真庫加速機器人研發(fā)進程
NVIDIA Isaac Lab多GPU多節(jié)點訓(xùn)練指南
NVIDIA展示機器人領(lǐng)域的研究成果
NVIDIA Isaac Lab可用環(huán)境與強化學(xué)習(xí)腳本使用指南
通過NVIDIA Cosmos模型增強機器人學(xué)習(xí)
NVIDIA Isaac Sim和Isaac Lab現(xiàn)已推出早期開發(fā)者預(yù)覽版
NVIDIA Isaac Sim與NVIDIA Isaac Lab的更新
NVIDIA Isaac 是英偉達推出的綜合性機器人開發(fā)平臺
深度解讀英偉達Newton機器人平臺:技術(shù)革新與跨界生態(tài)構(gòu)建
智元機器人基于NVIDIA Isaac GR00T打造高效仿真數(shù)據(jù)采集方案

NVIDIA Isaac Lab 2.3新增功能助力簡化機器人學(xué)習(xí)
評論