作者 / 產(chǎn)品經(jīng)理 Lucas Gonzalez 和軟件工程師 Rakesh Shivanna

繼 Gemma 3 和 Gemma 3 QAT 的成功發(fā)布之后，我們的先進(jìn)開(kāi)放模型系列具備了在單一云端或桌面加速器上運(yùn)行的能力，我們正在進(jìn)一步推進(jìn)我們對(duì)可訪(fǎng)問(wèn) AI 的愿景。Gemma 3 為開(kāi)發(fā)者提供了強(qiáng)大的功能，現(xiàn)在我們正將這一愿景擴(kuò)展到能夠在您日常使用的設(shè)備 (您的手機(jī)、平板電腦和筆記本電腦) 上直接運(yùn)行的高性能實(shí)時(shí) AI。

為了驅(qū)動(dòng)下一代的 On-device AI 并支持各種應(yīng)用，包括提升 Gemini Nano 的能力，我們?cè)O(shè)計(jì)了一種全新的尖端架構(gòu)。這個(gè)下一代基礎(chǔ)架構(gòu)是在與高通技術(shù) (Qualcomm Technologies)、聯(lián)發(fā)科 (MediaTek) 和三星系統(tǒng) LSI (Samsung System LSI) 等移動(dòng)硬件領(lǐng)導(dǎo)者的緊密合作下打造的，并針對(duì)閃電般快速的多模態(tài) AI 進(jìn)行了優(yōu)化，從而能夠在您的設(shè)備上直接實(shí)現(xiàn)真正個(gè)性化和私密的體驗(yàn)。

Gemma 3n 是我們首個(gè)基于此突破性的共享架構(gòu)構(gòu)建的開(kāi)放模型，開(kāi)發(fā)者即日起就可以在早期預(yù)覽版中開(kāi)始體驗(yàn)這項(xiàng)技術(shù)。同樣的先進(jìn)架構(gòu)也為下一代 Gemini Nano 提供支持，它將這些功能帶到 Google 應(yīng)用和我們的 On-device 生態(tài)系統(tǒng)的廣泛功能中，并將在今年晚些時(shí)候推出。Gemma 3n 使您能夠開(kāi)始在此基礎(chǔ)上進(jìn)行構(gòu)建，該基礎(chǔ)將應(yīng)用于 Android 和 Chrome 等主要平臺(tái)。

Gemma 3n 利用了 Google DeepMind 一項(xiàng)名為 Per-Layer Embeddings (PLE) 的創(chuàng)新技術(shù)，該技術(shù)顯著降低了 RAM 的使用量。雖然原始參數(shù)規(guī)模為 5B 和 8B，但這項(xiàng)創(chuàng)新允許您在移動(dòng)設(shè)備上運(yùn)行更大的模型，或從云端進(jìn)行實(shí)時(shí)流式傳輸，其內(nèi)存消耗與 2B 和 4B 模型相當(dāng)，這意味著這些模型可以在僅 2GB 和 3GB 的動(dòng)態(tài)內(nèi)存占用下運(yùn)行。

通過(guò)探索 Gemma 3n，開(kāi)發(fā)者可以提前預(yù)覽開(kāi)放模型的核心功能以及將通過(guò) Gemini Nano 在 Android 和 Chrome 上提供的移動(dòng)優(yōu)先架構(gòu)創(chuàng)新。

在本文中，我們將探討 Gemma 3n 的新功能、我們負(fù)責(zé)任的開(kāi)發(fā)方法，以及如何訪(fǎng)問(wèn)預(yù)覽版。

Gemma 3n 的關(guān)鍵功能

Gemma 3n 專(zhuān)為在本地運(yùn)行的快速、低占用空間的 AI 體驗(yàn)而設(shè)計(jì)，提供:

優(yōu)化的 On-Device 性能和效率: 與 Gemma 3 4B 相比，Gemma 3n 在移動(dòng)設(shè)備上的響應(yīng)速度提升了約 1.5 倍，質(zhì)量顯著提高，并通過(guò) Per Layer Embeddings、KVC sharing 和高級(jí) activation quantization 等創(chuàng)新技術(shù)降低了內(nèi)存占用。

Many-in-1 靈活性: 一個(gè)具有 4B 活躍內(nèi)存占用 (active memory footprint) 的模型，原生包含一個(gè)嵌套的先進(jìn) 2B 活躍內(nèi)存占用子模型 (這要?dú)w功于 MatFormer 訓(xùn)練)。這提供了在運(yùn)行中動(dòng)態(tài)權(quán)衡性能和質(zhì)量的靈活性，而無(wú)需托管單獨(dú)的模型。我們還在 Gemma 3n 中引入了 mix'n'match 能力，可以從 4B 模型中動(dòng)態(tài)創(chuàng)建子模型，以最佳地適應(yīng)您的特定用例以及相關(guān)的質(zhì)量/延遲權(quán)衡。敬請(qǐng)關(guān)注我們即將發(fā)布的技術(shù)報(bào)告中有關(guān)此研究的更多信息。

Privacy-First 和 Offline Ready: 即使沒(méi)有互聯(lián)網(wǎng)連接，也可以在本地執(zhí)行能夠?qū)崿F(xiàn)尊重用戶(hù)隱私并可靠運(yùn)行的功能。

通過(guò)音頻擴(kuò)展的多模態(tài)理解: Gemma 3n 可以理解和處理音頻、文本和圖像，并提供顯著增強(qiáng)的視頻理解能力。其音頻能力使模型能夠執(zhí)行高質(zhì)量的自動(dòng)語(yǔ)音識(shí)別 (轉(zhuǎn)錄) 和翻譯 (語(yǔ)音到翻譯文本)。此外，該模型還接受跨模態(tài)的交錯(cuò)輸入，從而能夠理解復(fù)雜的多模態(tài)交互。(相關(guān)功能即將公開(kāi)發(fā)布)

改進(jìn)的多語(yǔ)言能力: 提升了多語(yǔ)言性能，特別是在日語(yǔ)、德語(yǔ)、韓語(yǔ)、西班牙語(yǔ)和法語(yǔ)方面。在多種語(yǔ)言基準(zhǔn)測(cè)試中表現(xiàn)出色，例如在 WMT24++ (ChrF) 上取得了 50.1% 的優(yōu)異成績(jī)。

解鎖全新 On-the-go 體驗(yàn)

Gemma 3n 將通過(guò)以下方式賦能新一代智能 On-the-go 應(yīng)用，使開(kāi)發(fā)者能夠:

構(gòu)建實(shí)時(shí)的互動(dòng)體驗(yàn)，能夠理解并響應(yīng)用戶(hù)環(huán)境中的實(shí)時(shí)視覺(jué)和聽(tīng)覺(jué)信息。

利用組合的音頻、圖像、視頻和文本輸入 (全部在設(shè)備上私密處理) 來(lái)實(shí)現(xiàn)更深層次的理解和基于上下文的文本生成。

開(kāi)發(fā)先進(jìn)的以音頻為中心的應(yīng)用，包括實(shí)時(shí)語(yǔ)音轉(zhuǎn)錄、翻譯和豐富的語(yǔ)音驅(qū)動(dòng)互動(dòng)。

攜手共建負(fù)責(zé)任的 AI

我們對(duì)負(fù)責(zé)任的 AI 開(kāi)發(fā)的承諾至關(guān)重要。與所有 Gemma 模型一樣，Gemma 3n 經(jīng)過(guò)了嚴(yán)格的安全評(píng)估、數(shù)據(jù)治理以及與我們的安全政策進(jìn)行微調(diào)對(duì)齊。我們以謹(jǐn)慎的風(fēng)險(xiǎn)評(píng)估方式對(duì)待開(kāi)放模型，并在 AI 領(lǐng)域不斷發(fā)展的同時(shí)持續(xù)完善我們的實(shí)踐。

開(kāi)始使用: 立即預(yù)覽 Gemma 3n

您可以通過(guò)預(yù)覽版率先體驗(yàn) Gemma 3n 的強(qiáng)大功能:

初始訪(fǎng)問(wèn) (現(xiàn)已可用):

通過(guò) Google AI Studio 進(jìn)行基于云的探索: 無(wú)需任何配置，您可直接通過(guò)瀏覽器訪(fǎng)問(wèn) Google AI Studio，即刻上手試用 Gemma 3n。立即探索其文本輸入能力。

使用 Google AI Edge 進(jìn)行 On-Device 開(kāi)發(fā): 對(duì)于希望在本地集成 Gemma 3n 的開(kāi)發(fā)者，Google AI Edge 提供了工具和庫(kù)。您即刻就可以開(kāi)始使用文本和圖像理解/生成能力。

Gemma 3n 標(biāo)志著在普及前沿且高效 AI 的道路上又邁出了新的一步。我們非常期待能看到，隨著這項(xiàng)技術(shù)的預(yù)覽版開(kāi)始逐步開(kāi)放，您將構(gòu)建出怎樣的精彩應(yīng)用。