預訓練 AI 模型是為了完成特定任務而在大型數(shù)據(jù)集上訓練的深度學習模型。這些模型既可以直接使用，也可以根據(jù)不同行業(yè)的應用需求進行自定義。

如果要教一個剛學會走路的孩子什么是獨角獸，那么我們首先應該向孩子展示這種生物的圖像并描述其獨有特征。

那么，如果要教一臺人工智能（AI）機器什么是獨角獸，該從什么地方做起呢？

預訓練 AI 模型提供了解決方案。

預訓練 AI 模型是一種為了完成某項特定任務而在大型數(shù)據(jù)集上進行訓練的深度學習模型，它是一種類腦神經算法的表現(xiàn)形式，可以根據(jù)數(shù)據(jù)找到模式或進行預測。預訓練 AI 模型既可以直接使用，也可以根據(jù)某個應用的具體需求進行進一步微調。

為什么使用預訓練 AI 模型？

開發(fā)者可以使用預訓練模型并根據(jù)需求對其進行自定義，無需從頭開始構建 AI 模型。

無論是識別一匹虛構的馬，檢測自動駕駛汽車的安全隱患，還是根據(jù)醫(yī)學影像診斷癌癥，要構建一個 AI 應用，開發(fā)者首先需要一個能夠完成特定任務的 AI 模型。而這個模型需要大量具有代表性的數(shù)據(jù)進行學習。

模型的學習過程需要經歷好幾層傳入數(shù)據(jù)，并在每一層強調與目標相關的特征。

例如，在創(chuàng)建一個能夠識別獨角獸的模型時，首先會為其提供獨角獸、馬、貓、老虎和其他動物的圖像作為傳入數(shù)據(jù)。

然后再構建具有代表性的數(shù)據(jù)特征層。從線條、顏色等簡單特征開始，深入到復雜的結構特征。依據(jù)計算出的概率，這些特征將被賦予不同程度的相關性。

舉個例子，當一個生物看起來越像馬，它是獨角獸而不是貓或老虎的概率就越大。這些概率值被存儲在 AI 模型的每個神經網絡層。隨著層數(shù)的增加，模型對表征的理解程度也在提高。

若要從頭開始創(chuàng)建一個這樣的模型，開發(fā)者通常需要調用包含數(shù)十億行數(shù)據(jù)的巨大數(shù)據(jù)集，并且這些數(shù)據(jù)可能十分昂貴且難以獲得。但如果因此在數(shù)據(jù)上讓步，就會導致模型性能不佳。

預先計算的概率表征（也稱權重）能夠節(jié)省開發(fā)者或企業(yè)的時間、金錢和精力。已建立完成的預訓練模型可通過這些權重進行訓練。

高質量的預訓練模型搭配大量準確且具有代表性的權重可以提高 AI 部署的成功率。

權重可以被修改，而且可以通過添加更多數(shù)據(jù)為模型進行進一步的自定義或微調。

在預訓練模型基礎上進行構建的開發(fā)者可以更快創(chuàng)建出 AI 應用，因為他們無需處理堆積如山的傳入數(shù)據(jù)或去計算密集的數(shù)據(jù)層的概率。

換言之，使用預訓練 AI 模型就像是用一件成衣根據(jù)自己的需求進行剪裁，而不用從布料和針線做起。

預訓練 AI 模型通常被用于遷移學習，可以基于多種模型架構類型而構建。其中一種流行的架構類型是 Transformer 模型，一種通過追蹤連續(xù)數(shù)據(jù)中的關系來學習上下文和意義的神經網絡。

AI 公司 Clarifai 是NVIDIA 初創(chuàng)加速計劃的高級合作伙伴。Clarifai 的平臺高級副總裁 Alfredo Ramos 表示，預訓練模型可以將 AI 應用的開發(fā)時間縮短一年并節(jié)約數(shù)十萬美元的成本。

預訓練模型如何推動 AI 的發(fā)展？

預訓練模型簡化并加快了 AI 的開發(fā)，許多開發(fā)者和公司通過它們來加速各種 AI 用例。

預訓練模型主要推動了以下幾個領域的 AI 發(fā)展：

• 自然語言處理：預訓練模型被用于翻譯、聊天機器人等自然語言處理應用。大型語言模型一般基于 Transformer 模型架構構建，是預訓練模型的延伸。世界上最大的 AI 模型之一NVIDIA NeMo Megatron就是一個預訓練大型語言模型。

• 語音 AI：預訓練模型能幫助語音 AI 應用在不同的語言下也能直接使用。用例包括呼叫中心自動化、AI 助手和語音識別技術。

• 計算機視覺：如上文所述的獨角獸模型，預訓練模型可以幫助 AI 快速識別生物或者物體、地點和人。預訓練模型通過這種方式加速計算機視覺，為體育運動、智慧城市等領域的應用提供近似于人類的視覺能力。

• 醫(yī)療：在醫(yī)療應用方面，MegaMolBART（NVIDIA BioNeMo服務和框架的一部分）等預訓練 AI 模型能夠理解化學語言并學習現(xiàn)實世界分子中原子之間的關系，為科學界提供了一種加快藥物研發(fā)的強大工具。

• 網絡安全：預訓練模型為實施 AI 網絡安全解決方案打下了基礎，并幫助人類安全分析師更快的發(fā)現(xiàn)威脅。包括人類和機器的數(shù)字指紋及異常、敏感信息和網絡釣魚檢測等多種情況。

• 藝術和創(chuàng)作流程：為推動最新的 AI 藝術浪潮，預訓練模型可以在GauGAN和NVIDIA Canvas等工具的幫助下加快創(chuàng)作流程。

預訓練 AI 模型的自定義和微調為其帶來了無限的應用可能性，因此也可以用于更多其他行業(yè)。

何處獲取預訓練 AI 模型

谷歌、Meta、微軟、NVIDIA 等公司正在發(fā)明用于構建 AI 模型的尖端模型架構和框架。

這些模型有時會在模型中心或作為開放源碼發(fā)布，使開發(fā)者能夠對預訓練 AI 模型進行微調、提高其準確性并擴展模型庫。

NVIDIA NGC匯集了通過 GPU 優(yōu)化的 AI 軟件、模型和 Jupyter Notebook 示例，包括各種預訓練模型以及為 NVIDIA AI 平臺優(yōu)化的 AI 基準和訓練方式。

NVIDIA AI Enterprise是一套全面且安全的云原生 AI 與數(shù)據(jù)分析軟件套件，包含未加密的預訓練模型。這讓希望將 NVIDIA 預訓練模型整合到其自定義 AI 應用中的開發(fā)者和企業(yè)能夠查看模型權重和偏差、提高可解釋性并輕松進行調試。

在 GitHub、Hugging Face 等平臺也有數(shù)千個可供使用的開源模型。

十分重要的是，在訓練預訓練模型時，模型數(shù)據(jù)必須透明、可解釋、符合隱私要求，并且是獲得同意許可且無偏見的道德數(shù)據(jù)。

NVIDIA 預訓練 AI 模型

為幫助更多開發(fā)者將 AI 原型投入到生產中，NVIDIA 提供了幾種開箱即用的預訓練模型：

• NVIDIA SegFormer是一個在 GitHub 上提供的 Transformer 模型，可實現(xiàn)簡單、高效、強大的語義分割。

• NVIDIA 的專用計算機視覺模型經數(shù)百萬張圖像訓練而成，可用于智慧城市、停車管理等應用。

• NVIDIA NeMo Megatron是一個大型可定制語言模型，包含在 NVIDIA NeMo 中。NeMo 是一個用于構建靈活、高性能對話式 AI、語音 AI 和生物學應用的開源框架。

• NVIDIA StyleGAN是一個基于風格的生成器架構，用于生成式對抗網絡（或稱 GAN）。它可以使用遷移學習來無限生成各種不同風格的繪畫。

除此之外，NVIDIA 還能夠提供：

• NVIDIA Riva：一款用于構建和部署語音 AI 應用的 GPU 加速軟件開發(fā)工具包，包含了十種語言的預訓練模型。

• MONAI：由 NVIDIA 和倫敦國王學院聯(lián)合開發(fā)的開源醫(yī)療研究 AI 框架，包含了用于醫(yī)學影像的預訓練模型

點擊閱讀原文，進一步了解NVIDIA 預訓練 AI 模型。

掃描海報二維碼，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！