作者：Arm 戰(zhàn)略與生態(tài)部主任工程師 Sergio Alapont

為滿足用戶對(duì)于手游體驗(yàn)的期望，例如更清晰的畫面、更流暢的游戲體驗(yàn)，以及更長(zhǎng)的電池續(xù)航時(shí)間，全球手游開發(fā)者正面對(duì)著日益激增的壓力。在受限的移動(dòng)設(shè)備上平衡這些目標(biāo)體驗(yàn)，往往需要權(quán)衡取舍。傳統(tǒng)的優(yōu)化升級(jí)方法不夠靈活，而實(shí)時(shí)人工智能 (AI) 渲染則又依然存在復(fù)雜、耗電或依賴硬件性能等難題。

Arm 神經(jīng)超級(jí)采樣 (Arm Neural Super Sampling, Arm NSS) 能夠直接應(yīng)對(duì)上述挑戰(zhàn)。作為 Arm 在本周舉行的 SIGGRAPH 上宣布的圖形技術(shù)的首個(gè)用例，這是一項(xiàng)由 AI 驅(qū)動(dòng)的新一代優(yōu)化升級(jí)解決方案。

Arm NSS 將桌面級(jí)別的視覺效果引入手游，依托專用神經(jīng)加速器，并將通過 Arm 神經(jīng)技術(shù)集成到未來推出的 Arm GPU 中。這標(biāo)志著移動(dòng)端圖形技術(shù)的重要?jiǎng)?chuàng)新，實(shí)現(xiàn)了實(shí)時(shí)超級(jí)分辨率，將時(shí)域一致性與感知質(zhì)量相結(jié)合，帶來遠(yuǎn)勝于傳統(tǒng)技術(shù)的卓越表現(xiàn)。

搭載這項(xiàng)技術(shù)的設(shè)備預(yù)計(jì)將于 2026 年底上市，而開發(fā)者即刻起就可通過 Arm 神經(jīng)圖形開發(fā)套件著手探索 Arm NSS。該套件包含虛幻引擎 (Unreal Engine) 插件和 Vulkan 模擬層，使開發(fā)者能夠體驗(yàn)神經(jīng)優(yōu)化升級(jí)工作流、游戲集成原型設(shè)計(jì)，并為面向 Vulkan 機(jī)器學(xué)習(xí) (ML) 的渲染管線做好準(zhǔn)備，而無需等待兼容硬件的面世。

通過神經(jīng)性能實(shí)現(xiàn)實(shí)時(shí)優(yōu)化升級(jí)

傳統(tǒng)優(yōu)化升級(jí)技術(shù)依賴人工設(shè)計(jì)的啟發(fā)式方法或有限的空域數(shù)據(jù)，Arm NSS 通過神經(jīng)推理，以更高的保真度還原細(xì)節(jié)、運(yùn)動(dòng)狀態(tài)和光照變化。

Arm NSS 在典型的管線中包含三個(gè)步驟：

預(yù)處理：將輸入數(shù)據(jù)（顏色、運(yùn)動(dòng)向量、深度）整理為張量格式；

神經(jīng)推理：通過使用 Vulkan ML 擴(kuò)展在神經(jīng)加速器上運(yùn)行；

后處理：利用模型輸出重建最終圖像。

這使得 Arm NSS 能夠逐步擴(kuò)展性能，利用更少的資源處理較高的分辨率，非常適合應(yīng)用在硬件受限的移動(dòng)設(shè)備上。

以 Arm ASR 為基石，以 ML 進(jìn)一步強(qiáng)化性能

Arm NSS 專為在搭載 Arm 神經(jīng)技術(shù)的未來移動(dòng)設(shè)備上實(shí)現(xiàn)實(shí)時(shí)性能而設(shè)計(jì)，但其具體的延遲表現(xiàn)還取決于 GPU 的配置、分辨率和用例等實(shí)現(xiàn)因素。在 Arm 的“魔法城堡”演示中，通過使用 Arm NSS，GPU 工作負(fù)載可降低 50%，且在持續(xù)性能的設(shè)定下，當(dāng)模型以 540p 分辨率渲染時(shí)，能在四毫秒就可優(yōu)化升級(jí)至 1080p。

開發(fā)者如果想深入了解模型性能與畫質(zhì)對(duì)比，請(qǐng)?jiān)诩夹g(shù)白皮書中查閱細(xì)節(jié)。

白皮書：https://developer.arm.com/documentation/111019

Arm NSS 是基于Arm 精銳超級(jí)分辨率技術(shù) (Arm Accuracy Super Resolution, Arm ASR)的成果而構(gòu)建，Arm ASR 是一款面向移動(dòng)設(shè)備，實(shí)現(xiàn)時(shí)域優(yōu)化升級(jí)的開源解決方案。而 Arm NSS 是針對(duì)搭載神經(jīng)加速器的移動(dòng)設(shè)備，旨在為開發(fā)者提供先進(jìn)的神經(jīng)優(yōu)化升級(jí)解決方案，因此，對(duì)于不具備此類能力的移動(dòng)設(shè)備，Arm ASR 仍然是經(jīng)高度優(yōu)化的可選方案。

據(jù) Arm 內(nèi)部測(cè)試結(jié)果顯示，Arm NSS 已經(jīng)接近 NVIDIA DLSS2 級(jí)別的畫質(zhì)精度，但所使用的模型更小，且針對(duì)移動(dòng)設(shè)備進(jìn)行了優(yōu)化。團(tuán)隊(duì)對(duì) Arm ASR、DLSS2 以及 AMD 的超級(jí)分辨率銳畫技術(shù) 2 (FSR2) 進(jìn)行了對(duì)比測(cè)試，收集了包括峰值信噪比 (PSNR)、結(jié)構(gòu)相似性指數(shù) (SSIM)、空域-時(shí)域降參考熵差 (STRRED) 等多項(xiàng)指標(biāo)，結(jié)果驗(yàn)證了 Arm NSS 的高水平表現(xiàn)。

Arm ASR 與 Arm NSS：你需要了解的要點(diǎn)

即刻體驗(yàn) Arm NSS

當(dāng)一項(xiàng)新技術(shù)落地時(shí)，開發(fā)者需要一個(gè)可以實(shí)驗(yàn)和探索其創(chuàng)造力的環(huán)境。這正是 Arm 推出神經(jīng)圖形開發(fā)套件的原因，該套件為開發(fā)者提供了一切所需，包括工具、示例代碼和資源，以便開發(fā)者著手實(shí)驗(yàn)、測(cè)試并為下一波移動(dòng)端圖形技術(shù)做好準(zhǔn)備。其中還包括：

Vulkan ML 模擬層

虛幻引擎 5 插件

通過 Hugging Face 和 GitHub 提供的預(yù)訓(xùn)練開源模型

全面的技術(shù)文檔和 Learning Path 幫助團(tuán)隊(duì)入門

Arm 神經(jīng)圖形開發(fā)套件還提供了對(duì)面向 Vulkan 的 ML 擴(kuò)展（VK_ARM_tensors 和 VK_ARM_data_graph）的早期訪問。這些擴(kuò)展使得開發(fā)者能夠使用張量資源并將推理管線直接構(gòu)建到渲染圖中。這種集成有助于滿足實(shí)時(shí)應(yīng)用在移動(dòng)設(shè)備上所需的延遲和效率目標(biāo)。

這些資源能讓游戲開發(fā)者在首批硬件面世前便能著手集成神經(jīng)圖形技術(shù)。團(tuán)隊(duì)可以使用能反映新一代 Arm GPU 架構(gòu)的桌面環(huán)境來對(duì) Arm NSS 進(jìn)行原型設(shè)計(jì)或探索新的用例。該開發(fā)套件能夠在硬件面世之前實(shí)現(xiàn)深度集成和性能測(cè)試。

在虛幻引擎中集成和測(cè)試

虛幻引擎 5 插件實(shí)現(xiàn)了將 Arm NSS 集成到虛幻引擎中，使開發(fā)者能夠快速將優(yōu)化升級(jí)技術(shù)增加到他們的項(xiàng)目中，并預(yù)覽在新一代移動(dòng)設(shè)備上運(yùn)行的游戲效果。該插件還與虛幻引擎的神經(jīng)網(wǎng)絡(luò)引擎 (Neural Network Engine, NNE) 框架結(jié)合，用于管理 ML 資源并與渲染圖同步調(diào)度推理任務(wù)。

這些功能使得開發(fā)者能夠以最小的開銷，將神經(jīng)優(yōu)化升級(jí)技術(shù)直接集成到現(xiàn)有的渲染流程中，進(jìn)而有助于在 AI 后處理過程中保持幀時(shí)和實(shí)時(shí)響應(yīng)性。

值得注意的是，虛幻引擎 5 插件中運(yùn)行的 ML 推理使用的是軟件模擬。其性能并不能完全反映實(shí)際芯片上的預(yù)期表現(xiàn)。該插件的主要目標(biāo)是支持實(shí)驗(yàn)和集成。

虛幻引擎 5 插件：

https://github.com/arm/neural-graphics-for-unreal

Vulkan ML 模擬層

搭載 Arm 神經(jīng)技術(shù)的新一代 Arm GPU 驅(qū)動(dòng)的 2026 年移動(dòng)設(shè)備將能原生支持 Vulkan ML 擴(kuò)展。為了做好準(zhǔn)備，我們需找到一種方式，讓利用這些擴(kuò)展技術(shù)編寫代碼的開發(fā)者得以運(yùn)用這些新功能。

這正是 Arm 提供 Vulkan ML 模擬層的緣由，它顯示了所需擴(kuò)展的軟件模擬。開發(fā)者可以啟用模擬層并使用擴(kuò)展 Vulkan 頭文件來運(yùn)行使用了 Vulkan ML 擴(kuò)展的內(nèi)容。NNERuntimeRDGVulkanML 就是很好的一個(gè)例證，它可通過虛幻引擎 5 插件來使用，并且它通過使用 Vulkan ML 擴(kuò)展的原生后端，擴(kuò)展了 NNE 框架。

Vulkan ML 擴(kuò)展：

https://github.com/arm/ml-extensions-for-vulkan-unreal-plugin

開啟移動(dòng)端神經(jīng)圖形技術(shù)新時(shí)代

Arm NSS 是首批專為手游打造的神經(jīng)圖形解決方案之一，結(jié)合了高質(zhì)量的優(yōu)化升級(jí)技術(shù)和開發(fā)者就緒的軟件開發(fā)套件。它通過開放、開發(fā)者就緒的基礎(chǔ)設(shè)施，實(shí)現(xiàn)了高質(zhì)量的圖像表現(xiàn)、低延遲和高能效。通過 Arm NSS，Arm 不僅提供了神經(jīng)優(yōu)化升級(jí)技術(shù)，還賦予了開發(fā)者如何使用這項(xiàng)技術(shù)的能力。

Arm 神經(jīng)圖形開發(fā)套件為開發(fā)者提供了工具和能力，使他們能夠針對(duì)自己獨(dú)特的內(nèi)容和藝術(shù)構(gòu)想，適配和優(yōu)化 Arm NSS，進(jìn)而確保開發(fā)者為 2026 年首批基于搭載 Arm 神經(jīng)技術(shù)的 Arm GPU 而構(gòu)建的移動(dòng)設(shè)備的上市做好準(zhǔn)備。

即刻開始實(shí)驗(yàn)、測(cè)試并為下一波移動(dòng)端圖形技術(shù)做好準(zhǔn)備。歡迎訪問 Arm 開發(fā)者中心的 Arm NSS 頁面，探索 Arm 神經(jīng)圖形開發(fā)套件，并嘗試預(yù)訓(xùn)練模型。工具已就緒，快來探索未來吧！

Arm 開發(fā)者中心的 Arm NSS 頁面：

https://developer.arm.com/mobile-graphics-and-gaming/neural-graphics