借助 TensorRT-LLM，Google 全新開放語言模型可在 NVIDIA AI 平臺（包括本地 RTX AI PC）上加速運行。

2024 年 2 月 21 日，NVIDIA 攜手 Google 在所有 NVIDIA AI 平臺上發(fā)布面向 Gemma 的優(yōu)化功能，Gemma 是 Google 最先進的新型輕量級 2B 和 7B 開放語言模型，可在任何地方運行，從而降低成本并加快特定領(lǐng)域用戶案例的創(chuàng)新工作。

NVIDIA 和 Google 的團隊緊密合作，利用 NVIDIA TensorRT-LLM（用于優(yōu)化大語言模型推理性能的開源庫），在數(shù)據(jù)中心的 NVIDIA GPU、云計算和搭載 NVIDIA RTX GPU 的 PC 上運行時，加速 Gemma 性能（Gemma 由創(chuàng)建 Gemini 模型的相同研究和技術(shù)構(gòu)建）。

這使開發(fā)者能將全球高性能 AI PC 中超過 1 億臺搭載 NVIDIA RTX GPU 的用戶作為潛在用戶進行開發(fā)。

開發(fā)者還可在搭載 NVIDIA GPU 的云端運行 Gemma，該實例擁有 141GB HBM3e 顯存，速度為 4.8TB/秒，Google 將于今年部署該實例。

此外，企業(yè)級開發(fā)者還可利用 NVIDIA 豐富的工具生態(tài)系統(tǒng)（包括依托 NeMo 框架的 NVIDIA AI Enterprise 和 TensorRT-LLM），對 Gemma 進行微調(diào)，并將優(yōu)化后的模型部署到生產(chǎn)應(yīng)用中。

審核編輯：劉清