“洞悉 Omniverse”系列文章將重點(diǎn)介紹藝術(shù)家、開(kāi)發(fā)者和企業(yè)如何使用通用場(chǎng)景描述和 NVIDIA Omniverse 的最新技術(shù)改變其工作流程。

NVIDIA Isaac Sim 等工具增強(qiáng)了合成數(shù)據(jù)生成能力，提高 AI 模型性能并加速機(jī)器人技術(shù)的發(fā)展。

可擴(kuò)展的仿真技術(shù)能夠縮短開(kāi)發(fā)時(shí)間、降低開(kāi)發(fā)成本，幫助推動(dòng)自主機(jī)器人的未來(lái)發(fā)展。

通用場(chǎng)景描述(OpenUSD)為虛擬世界的開(kāi)發(fā)提供了一個(gè)擴(kuò)展自如的互通數(shù)據(jù)框架，機(jī)器人能夠在這些世界中學(xué)習(xí)如何成為一個(gè)“合格的”機(jī)器人。借助基于 SimReady OpenUSD 的仿真技術(shù)，開(kāi)發(fā)人員可以創(chuàng)建無(wú)數(shù)基于物理世界的場(chǎng)景。

NVIDIA Isaac Sim正在推進(jìn)基于感知 AI 的機(jī)器人仿真。Isaac Sim 是一個(gè)基于 NVIDIA Omniverse 平臺(tái)構(gòu)建的參考應(yīng)用，使開(kāi)發(fā)人員能夠在基于物理學(xué)的虛擬環(huán)境中對(duì) AI 驅(qū)動(dòng)的機(jī)器人進(jìn)行仿真和測(cè)試。

NVIDIA 在 AWS re:Invent 大會(huì)上宣布 Isaac Sim 現(xiàn)在可以在NVIDIA GPU驅(qū)動(dòng)的亞馬遜 EC2 G6e 實(shí)例上使用。這些功能強(qiáng)大的實(shí)例提高了 Isaac Sim 的性能和可訪問(wèn)性，使高質(zhì)量機(jī)器人仿真具有了更強(qiáng)的擴(kuò)展能力和更高的效率。

Isaac Sim 的這些進(jìn)步標(biāo)志著機(jī)器人技術(shù)發(fā)展的一次重大飛躍。通過(guò)在虛擬環(huán)境中進(jìn)行的逼真測(cè)試和 AI 模型訓(xùn)練，企業(yè)可以縮短部署時(shí)間并提高機(jī)器人在各種用例中的性能。

使用合成數(shù)據(jù)生成推進(jìn)

機(jī)器人仿真技術(shù)的發(fā)展

Cobot、Field AI、Vention 等機(jī)器人公司正在使用 Isaac Sim 對(duì)機(jī)器人性能進(jìn)行仿真和驗(yàn)證，而 SoftServe、Tata Consultancy Services 等公司則使用合成數(shù)據(jù)對(duì)用于各種機(jī)器人應(yīng)用的 AI 模型進(jìn)行自舉訓(xùn)練(bootstrap)。

機(jī)器人學(xué)習(xí)的發(fā)展與仿真技術(shù)密切相關(guān)。早期的機(jī)器人實(shí)驗(yàn)主要依賴(lài)于耗費(fèi)大量勞動(dòng)力和資源的試錯(cuò)。仿真技術(shù)是創(chuàng)造達(dá)到物理精確環(huán)境的重要工具，機(jī)器人可以在這些環(huán)境中通過(guò)試錯(cuò)進(jìn)行學(xué)習(xí)，改進(jìn)算法，甚至使用合成數(shù)據(jù)訓(xùn)練 AI 模型。

物理 AI 指能夠理解物理世界并與之互動(dòng)的 AI 模型。它代表著下一代自主機(jī)器和機(jī)器人，例如自動(dòng)駕駛汽車(chē)、工業(yè)機(jī)械臂、移動(dòng)機(jī)器人、人形機(jī)器人，甚至工廠、倉(cāng)庫(kù)等依靠機(jī)器人運(yùn)行的基礎(chǔ)設(shè)施。

機(jī)器人仿真是“三臺(tái)計(jì)算機(jī)解決方案”中的第二臺(tái)計(jì)算機(jī)。它是物理 AI 開(kāi)發(fā)工作的基石，能夠讓工程師和研究人員在受控虛擬環(huán)境中設(shè)計(jì)、測(cè)試和完善系統(tǒng)。

圍繞仿真技術(shù)的方法不僅大大減少了與物理原型開(kāi)發(fā)相關(guān)的成本和時(shí)間，同時(shí)還能夠在現(xiàn)實(shí)生活中可能不切實(shí)際或存在危險(xiǎn)的場(chǎng)景中對(duì)機(jī)器人進(jìn)行測(cè)試，以此提高機(jī)器人的安全性。

借助新的參考工作流，開(kāi)發(fā)人員可以使用 OpenUSD NIM 微服務(wù)加快生成式 AI 的 3D 合成數(shù)據(jù)集生成速度。該集成簡(jiǎn)化了從場(chǎng)景創(chuàng)建到數(shù)據(jù)增強(qiáng)的整個(gè)過(guò)程，實(shí)現(xiàn)了更加快速、準(zhǔn)確的感知 AI 模型訓(xùn)練。

合成數(shù)據(jù)有助于應(yīng)對(duì)訓(xùn)練各類(lèi) AI 模型時(shí)所面臨的數(shù)據(jù)有限、受限或無(wú)法獲取的挑戰(zhàn)，尤其是在計(jì)算機(jī)視覺(jué)領(lǐng)域。開(kāi)發(fā)動(dòng)作識(shí)別模型是一個(gè)常見(jiàn)的應(yīng)用場(chǎng)景，能夠從合成數(shù)據(jù)生成中獲益。

如要了解如何使用 Isaac Sim 創(chuàng)建人類(lèi)動(dòng)作識(shí)別視頻數(shù)據(jù)集，請(qǐng)查看關(guān)于使用合成數(shù)據(jù)擴(kuò)展動(dòng)作識(shí)別模型的技術(shù)博客。3D 仿真使開(kāi)發(fā)者能夠?qū)D像生成進(jìn)行精確控制，避免出現(xiàn)虛幻失真的情況。

適用于人形機(jī)器人的機(jī)器人仿真

人形機(jī)器人是下一代具身 AI，但它們給機(jī)電一體化、控制理論和 AI 的交叉領(lǐng)域帶來(lái)了挑戰(zhàn)。仿真技術(shù)提供的安全、經(jīng)濟(jì)、多功能的人形機(jī)器人訓(xùn)練和測(cè)試平臺(tái)，是解決這一挑戰(zhàn)的關(guān)鍵。

NVIDIA Isaac Lab是在 Isaac Sim 基礎(chǔ)上構(gòu)建的統(tǒng)一開(kāi)源機(jī)器人學(xué)習(xí)框架。借助該框架，開(kāi)發(fā)人員可以通過(guò)仿真大規(guī)模訓(xùn)練人形機(jī)器人策略。領(lǐng)先的商用機(jī)器人制造商正在使用 Isaac Lab 應(yīng)對(duì)日益復(fù)雜的動(dòng)作和交互。

NVIDIA Project GR00T是一個(gè)為人形機(jī)器人生態(tài)系統(tǒng)構(gòu)建者提供支持的活躍研究項(xiàng)目。該項(xiàng)目開(kāi)創(chuàng)了 GR00T-Gen 等在 OpenUSD 中生成機(jī)器人任務(wù)和仿真就緒環(huán)境的工作流程。這些環(huán)境可用于訓(xùn)練通用機(jī)器人執(zhí)行操作、移動(dòng)和導(dǎo)航。

最近發(fā)表的 Project GR00T 研究成果還展示了如何使用先進(jìn)仿真訓(xùn)練交互式人形機(jī)器人。研究人員使用 Isaac Sim 為物理仿真人形機(jī)器人開(kāi)發(fā)了一個(gè)名為 MaskedMimic 的一站式統(tǒng)一控制器。該控制器能夠根據(jù)用戶(hù)定義的直觀意圖，在不同地形上產(chǎn)生各種動(dòng)作。

使用基于物理學(xué)的數(shù)字孿生

簡(jiǎn)化 AI 訓(xùn)練過(guò)程

各個(gè)行業(yè)的伙伴都在使用 Isaac Sim、Isaac Lab、Omniverse 和 OpenUSD 設(shè)計(jì)、仿真和部署智能化程度更高、能力更強(qiáng)的自主機(jī)器：

Agility使用 Isaac Lab 創(chuàng)建仿真，將所仿真的機(jī)器人行為直接遷移到機(jī)器人身上，使機(jī)器人在被部署到現(xiàn)實(shí)世界后更加智能、敏捷和穩(wěn)健。

Cobot將 Isaac Sim 用于其 AI 驅(qū)動(dòng)的協(xié)作機(jī)器人 Proxie，以便優(yōu)化倉(cāng)庫(kù)、醫(yī)院、制造現(xiàn)場(chǎng)等的物流。

Cohesive Robotics已將 Isaac Sim 集成到其 Argus OS 軟件框架中，用于開(kāi)發(fā)和部署在高混合制造環(huán)境中使用的機(jī)器人工作單元。

機(jī)器人基礎(chǔ)模型構(gòu)建商Field AI使用 Isaac Sim 和 Isaac Lab 評(píng)估其模型在建筑、制造、石油和天然氣、采礦等行業(yè)的復(fù)雜、非結(jié)構(gòu)化環(huán)境中的性能。

傅利葉使用 NVIDIA Isaac Gym 和 Isaac Lab 訓(xùn)練其 GR-2 人形機(jī)器人，通過(guò)強(qiáng)化學(xué)習(xí)和先進(jìn)仿真技術(shù)加快開(kāi)發(fā)速度、提高適應(yīng)能力和實(shí)際性能。

通過(guò)集成 Isaac Sim 和 Omniverse，F(xiàn)oxglove能夠在逼真 3D 環(huán)境中進(jìn)行高效的機(jī)器人測(cè)試、訓(xùn)練和傳感器數(shù)據(jù)分析。

銀河通用使用 Isaac Sim 驗(yàn)證 DexGraspNet(一個(gè)包含 132 萬(wàn)個(gè) ShadowHand 抓握動(dòng)作的大規(guī)模數(shù)據(jù)集)的數(shù)據(jù)生成，通過(guò)在 5355 個(gè)物體、133 個(gè)類(lèi)別的物體交互上進(jìn)行可擴(kuò)展的驗(yàn)證，提高了機(jī)器人手的功能。

Standard Bots正在對(duì)其用于制造和加工準(zhǔn)備的 R01 機(jī)器人進(jìn)行性能仿真和驗(yàn)證。

Wandelbots通過(guò)將其 NOVA 平臺(tái)與 Isaac Sim 集成，創(chuàng)造出基于物理學(xué)的數(shù)字孿生和直觀的訓(xùn)練環(huán)境，不僅簡(jiǎn)化了機(jī)器人交互，而且還實(shí)現(xiàn)了機(jī)器人系統(tǒng)在現(xiàn)實(shí)場(chǎng)景中的無(wú)縫測(cè)試、驗(yàn)證和部署。

進(jìn)入 OpenUSD 的世界

NVIDIA 專(zhuān)家和 Omniverse 大使主持的 Office Hours 和 Study Group 直播將為機(jī)器人開(kāi)發(fā)人員提供 Isaac Sim 和 Isaac Lab 的技術(shù)指導(dǎo)和故障排除幫助。通過(guò) NVIDIA 深度學(xué)習(xí)培訓(xùn)中心(DLI)的這一全新免費(fèi)課程，了解如何開(kāi)始在 Isaac Sim 中進(jìn)行機(jī)器人仿真。

關(guān)于優(yōu)化 OpenUSD 工作流的更多信息，請(qǐng)瀏覽新的 Learn OpenUSD 自學(xué)培訓(xùn)課程，其中包含了針對(duì) 3D 從業(yè)人員和開(kāi)發(fā)人員的免費(fèi)深度學(xué)習(xí)培訓(xùn)中心課程。