案例簡(jiǎn)介

Votee AI 利用 NVIDIA 的 GPU 硬件、NeMo Curator 數(shù)據(jù)處理軟件、NeMo Framework 模型訓(xùn)練框架及 Auto Configurator 優(yōu)化工具，高效構(gòu)建了精準(zhǔn)的方言及小語種大語言模型 (LLM)。此舉成功解決了數(shù)據(jù)稀缺、語言復(fù)雜及計(jì)算效率等挑戰(zhàn)，為全球數(shù)以百萬計(jì)、缺乏數(shù)字化資源的語言使用者提供了技術(shù)支持。

用技術(shù)打破小眾語言數(shù)字化障礙

Votee AI 是一家致力于通過人工智能推動(dòng)語言多樣性發(fā)展與文化遺產(chǎn)保護(hù)的初創(chuàng)公司。全球有超過 6000 種語言，其中大量是缺乏數(shù)字化資源的方言和小語種（如粵語、伊班語、爪哇語等）。Votee AI 的使命是“讓 AI 技術(shù)以用戶的母語服務(wù)社區(qū)”，專注于為這些語言開發(fā)先進(jìn)的 LLM。

Votee AI 提供定制化的 AI 語言解決方案，服務(wù)范圍覆蓋教育、媒體、金融、零售、公共服務(wù)和文化遺產(chǎn)保護(hù)等多個(gè)領(lǐng)域。公司自主研發(fā)的粵語 LLM，是一個(gè)開源、開放數(shù)據(jù)和開放模型的項(xiàng)目，旨在服務(wù)全球的粵語使用者。通過技術(shù)創(chuàng)新，Votee AI 希望打破小眾語言面臨的數(shù)字化障礙，不僅為這些語言社群提供更貼近本土需求的 AI 工具，更以科技力量守護(hù)全球的語言多樣性。

小語種 LLM 構(gòu)建的嚴(yán)峻挑戰(zhàn)

為粵語等方言和小語種構(gòu)建高性能的 LLM，面臨著幾大嚴(yán)峻挑戰(zhàn)：

嚴(yán)重的數(shù)據(jù)稀缺性與質(zhì)量問題：與英語或普通話等資源豐富的語言相比，粵語等方言和小語種的高質(zhì)量、適用于計(jì)算處理的文本數(shù)據(jù)極其有限。現(xiàn)有的網(wǎng)絡(luò)爬取數(shù)據(jù)往往充滿噪聲、格式不一致，甚至包含錯(cuò)誤信息，且可能存在地域或主題偏差，影響模型訓(xùn)練的基礎(chǔ)和泛化能力。

語言本身的復(fù)雜性：粵語等語言擁有豐富的俚語、口語化表達(dá)、網(wǎng)絡(luò)用語以及獨(dú)特的語法結(jié)構(gòu)和聲調(diào)系統(tǒng)（例如粵語的“水文化”習(xí)語）。傳統(tǒng) NLP 模型和分詞器難以準(zhǔn)確捕捉這些細(xì)微差別，容易導(dǎo)致理解錯(cuò)誤、生成不自然甚至完全錯(cuò)誤的“幻覺”內(nèi)容。

巨大的計(jì)算需求：訓(xùn)練能夠理解復(fù)雜語言細(xì)微差別的大規(guī)模 LLM 需要強(qiáng)大的計(jì)算能力。傳統(tǒng)的 CPU 計(jì)算方案或資源不足的 GPU 環(huán)境會(huì)導(dǎo)致訓(xùn)練周期過長(zhǎng)（數(shù)周甚至數(shù)月），使得模型迭代、實(shí)驗(yàn)和優(yōu)化變得極其緩慢和昂貴，難以快速響應(yīng)需求或改進(jìn)模型。

評(píng)估困難：標(biāo)準(zhǔn)的 NLP 評(píng)估指標(biāo)（如 BLEU、ROUGE）可能不足以全面衡量模型在方言和小語種上的真實(shí)表現(xiàn)，特別是在理解文化背景和口語地道性方面。需要結(jié)合語言特定指標(biāo)和成本高昂的人工評(píng)估。

NVIDIA 技術(shù)加速方言小語種 LLM 開發(fā)

面對(duì)這些挑戰(zhàn)，Votee AI 選擇采用端到端的 NVIDIA 技術(shù)進(jìn)行賦能，利用其硬件和軟件堆棧來加速和優(yōu)化方言和小語種語言 LLM 的開發(fā)流程：

硬件基礎(chǔ)：Votee AI 借助 NVIDIA GPU 所具備的大規(guī)模并行計(jì)算能力，為數(shù)據(jù)處理與模型訓(xùn)練提供了核心支撐，成為應(yīng)對(duì)計(jì)算密集型任務(wù)的底層技術(shù)基礎(chǔ)。

數(shù)據(jù)準(zhǔn)備與清洗：為了解決數(shù)據(jù)稀缺和質(zhì)量問題，Votee AI 利用NVIDIA NeMo Curator進(jìn)行高效的數(shù)據(jù)準(zhǔn)備。NeMo Curator 是一個(gè) GPU 加速的數(shù)據(jù)整理庫，能夠處理從數(shù)據(jù)下載、提?。ㄖС?Common Crawl, Wikipedia 等）、清洗（語言識(shí)別、格式化、去噪、自定義規(guī)則處理粵語特定字符和表達(dá)）、過濾到去重（精確/模糊）的全流程。結(jié)合 NVIDIA RAPIDS cuDF 進(jìn)行底層加速，數(shù)據(jù)清洗和分詞等預(yù)處理任務(wù)速度提升了 20 倍，例如，處理 1TB 的粵語語料庫，清理時(shí)間從數(shù)周縮短至僅需 2 小時(shí)，確保了輸入模型的數(shù)據(jù)質(zhì)量和處理效率。

模型訓(xùn)練：Votee AI 采用NVIDIA NeMo Framework，這是一個(gè)端到端的平臺(tái)，用于開發(fā)和訓(xùn)練大規(guī)模語言模型。利用其 NeMo Megatron 組件，Votee AI 能夠：

a. 高效分布式訓(xùn)練：在多 GPU 和多節(jié)點(diǎn)環(huán)境上高效擴(kuò)展訓(xùn)練，支持張量并行 (TP)、流水線并行 (PP) 等多種并行策略。

b. 混合精度訓(xùn)練：使用 BF16 混合精度進(jìn)行訓(xùn)練，顯著減少內(nèi)存占用并加速計(jì)算，使 Votee AI 的 120 億參數(shù)粵語模型訓(xùn)練時(shí)間縮短了 40%（從預(yù)計(jì) 14 天減少到 8.4 天）。

c. 靈活架構(gòu)與優(yōu)化：支持多種 Transformer 架構(gòu)，并允許針對(duì)方言和小語種進(jìn)行調(diào)整（如模型大小、正則化策略、遷移學(xué)習(xí)）。

優(yōu)化與評(píng)估：

a. 自動(dòng)配置優(yōu)化：使用NVIDIA Auto Configurator自動(dòng)搜索和推薦影響訓(xùn)練吞吐量和效率的最佳超參數(shù)組合（如并行策略 TP/PP、微批量大小 MBS 等），簡(jiǎn)化了復(fù)雜的配置過程，幫助快速找到最優(yōu)訓(xùn)練方案。

b. 超參數(shù)調(diào)優(yōu)：利用NVIDIA cuML（RAPIDS 的一部分）進(jìn)行加速的自動(dòng)化超參數(shù)調(diào)優(yōu)，以提升模型在下游任務(wù)上的性能。這使得模型的困惑度 (Perplexity) 降低了 15%，并在粵語特定評(píng)估任務(wù)中（如 BLEU 分?jǐn)?shù)）提升了 22%，顯著增強(qiáng)了模型對(duì)粵語俚語和口語化表達(dá)的理解能力。

通過整合這些 NVIDIA 技術(shù)，Votee AI 建立了一個(gè)高效、可擴(kuò)展的工作流程，專用于應(yīng)對(duì)方言和小語種語言 LLM 開發(fā)的獨(dú)特挑戰(zhàn)。

使用效果及影響

通過采用 NVIDIA AI 技術(shù)，Votee AI 在為方言和小語種（以粵語為起點(diǎn)）構(gòu)建 LLM 方面取得了顯著的成果：

大幅提升研發(fā)效率：借助 NVIDIA GPU和 NeMo 軟件棧，Votee AI 的模型迭代周期縮短了 50%，從原來的平均 6 周減少到僅需 3 周。這使得團(tuán)隊(duì)能夠更快地進(jìn)行實(shí)驗(yàn)、優(yōu)化模型并響應(yīng)社區(qū)需求。

顯著提高模型準(zhǔn)確性與魯棒性：通過 NeMo Curator 精心準(zhǔn)備數(shù)據(jù)和 NeMo Framework 以及 Nemo Megatron 進(jìn)行優(yōu)化訓(xùn)練，結(jié)合 cuML 進(jìn)行超參數(shù)調(diào)優(yōu)，所構(gòu)建的粵語 LLM 在理解復(fù)雜粵語（包括俚語和口語）方面的準(zhǔn)確率從基線的 68% 提高到了 89%。這確保了模型在實(shí)際應(yīng)用中能提供更自然、更精準(zhǔn)的交互。

增強(qiáng)應(yīng)用性能與用戶體驗(yàn)：GPU 的高效計(jì)算能力不僅加速了訓(xùn)練，還將模型推理速度提高了 3 倍。這意味著基于該 LLM 的應(yīng)用（如智慧客服、教育工具、媒體內(nèi)容生成）能夠?qū)崟r(shí)響應(yīng)用戶查詢，提供更流暢、更自然的交互體驗(yàn)。

推動(dòng)語言包容性與文化傳承：Votee AI 構(gòu)建的高質(zhì)量粵語 LLM 為全球粵語使用者提供先進(jìn) AI 工具，既彌合數(shù)字鴻溝，也助力粵語文化遺產(chǎn)保護(hù)與傳承。

奠定可擴(kuò)展的基礎(chǔ)：Votee AI 使用 NVIDIA 技術(shù)構(gòu)建的這套方法論和技術(shù)架構(gòu)具有高度可擴(kuò)展性，正在被應(yīng)用于開發(fā)其他方言和小語種（如伊班語、爪哇語）的 LLM，推動(dòng) AI 技術(shù)在全球多語言環(huán)境中的公平普及和創(chuàng)新應(yīng)用。

Votee AICTO陳豪杰表示：“借助NVIDIA GPU和NeMo Framework，我們成功克服了方言和小語種建模中數(shù)據(jù)稀缺性和語言復(fù)雜性的挑戰(zhàn)。這使得我們能夠高效、精準(zhǔn)地開發(fā)AI應(yīng)用，并使粵語及其他語言的大模型和AI場(chǎng)景能夠真正在世界各地落地應(yīng)用，賦能全球使用這些語言的社區(qū)?！?/p>