大語言模型無損壓縮方面超越PNG和FLAC
Google DeepMind 和 Meta 的研究人員發(fā)表論文《Language Modeling Is Compression》，他們發(fā)現(xiàn) DeepMind 的大語言模型 Chinchilla 70B 在圖像和音頻的無損壓縮上超過了 PNG 和 FLAC。
論文提到，Chinchilla 70B 能將 ImageNet 圖像數(shù)據(jù)庫中的圖像無損壓縮到原始大小 43.4%，超過了 PNG 算法的 58.5%。
Chinchilla 能將 LibriSpeech 音頻數(shù)據(jù)集中的樣本無損壓縮到原始大小 16.4%，超過 FLAC 算法的 30.3%。
據(jù)介紹，Chinchilla 70B 主要是訓(xùn)練用于處理文本，但它在壓縮其它類型的數(shù)據(jù)集上的效果也表現(xiàn)優(yōu)異，甚至優(yōu)于專門的算法。
下面的例子比較了 gzip 和 Chinchilla 在示例文本上的壓縮效果?？梢钥吹?，gzip 的輸出沒有可讀性。
編輯：黃飛
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
無損壓縮
+關(guān)注
關(guān)注
0文章
12瀏覽量
8582 -
FLAC
+關(guān)注
關(guān)注
0文章
4瀏覽量
8720 -
png
+關(guān)注
關(guān)注
0文章
14瀏覽量
4657 -
大模型
+關(guān)注
關(guān)注
2文章
3368瀏覽量
4822
原文標題：大模型在無損壓縮方面超越PNG和FLAC
文章出處：【微信號：OSC開源社區(qū)，微信公眾號：OSC開源社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
利用自壓縮實現(xiàn)大型語言模型高效縮減
隨著語言模型規(guī)模日益龐大，設(shè)備端推理變得越來越緩慢且耗能巨大。一個直接且效果出人意料的解決方案是剪除那些對任務(wù)貢獻甚微的完整通道（channel）。我們早期的研究提出了一種訓(xùn)練階段的方法——自壓縮
?VLM（視覺語言模型）?詳細解析
視覺語言模型（Visual Language Model, VLM）是一種結(jié)合視覺（圖像/視頻）和語言（文本）處理能力的多模態(tài)人工智能模型，能夠理解并生成與視覺內(nèi)容相關(guān)的自然
大語言模型的解碼策略與關(guān)鍵優(yōu)化總結(jié)
本文系統(tǒng)性地闡述了大型語言模型(LargeLanguageModels,LLMs)中的解碼策略技術(shù)原理及其實踐應(yīng)用。通過深入分析各類解碼算法的工作機制、性能特征和優(yōu)化方法，為研究者和工程師提供了全面
LZO Data Compression,高性能LZO無損數(shù)據(jù)壓縮加速器介紹，F(xiàn)PGA&ASIC
LZOAccel-CLZO Data Compression Core/無損數(shù)據(jù)壓縮IP CoreLZOAccel-C是一個無損數(shù)據(jù)壓縮引擎的FPGA硬件實現(xiàn)，兼容LZO 2.10標準
發(fā)表于 01-24 23:53
LZO Data Compression,高性能LZO無損數(shù)據(jù)壓縮加速器介紹，F(xiàn)PGA&ASIC
LZOAccel-C是一個無損數(shù)據(jù)壓縮引擎的FPGA硬件實現(xiàn)，兼容LZO 2.10標準。Core接收未壓縮的輸入數(shù)據(jù)塊，產(chǎn)生壓縮后的數(shù)據(jù)塊。輸入的數(shù)據(jù)塊可以被分段，并且不同數(shù)據(jù)塊的分段
AI大語言模型開發(fā)步驟
開發(fā)一個高效、準確的大語言模型是一個復(fù)雜且多階段的過程，涉及數(shù)據(jù)收集與預(yù)處理、模型架構(gòu)設(shè)計、訓(xùn)練與優(yōu)化、評估與調(diào)試等多個環(huán)節(jié)。接下來，AI部落小編為大家詳細闡述AI大語言
大語言模型開發(fā)框架是什么
大語言模型開發(fā)框架是指用于訓(xùn)練、推理和部署大型語言模型的軟件工具和庫。下面，AI部落小編為您介紹大語言模
大語言模型開發(fā)語言是什么
在人工智能領(lǐng)域，大語言模型（Large Language Models, LLMs）背后，離不開高效的開發(fā)語言和工具的支持。下面，AI部落小編為您介紹大語言
云端語言模型開發(fā)方法
云端語言模型的開發(fā)是一個復(fù)雜而系統(tǒng)的過程，涉及數(shù)據(jù)準備、模型選擇、訓(xùn)練優(yōu)化、部署應(yīng)用等多個環(huán)節(jié)。下面，AI部落小編為您分享云端語言模型的開發(fā)
百問FB顯示開發(fā)圖像處理 - PNG圖像處理
2.3 PNG圖像處理
2.3.1 PNG文件格式和libpng編譯
?跟JPEG文件格式一樣，PNG也是一種使用了算法壓縮后的圖像格式，與JPEG不同，
發(fā)表于 12-02 09:25
使用vLLM+OpenVINO加速大語言模型推理
隨著大語言模型的廣泛應(yīng)用，模型的計算需求大幅提升，帶來推理時延高、資源消耗大等挑戰(zhàn)。
【BearPi-Pico H3863星閃開發(fā)板體驗連載】LZO壓縮算法移植
：無損壓縮算法和有損壓縮算法。
壓縮算法在無線通信中的應(yīng)用可以顯著提高數(shù)據(jù)傳輸效率和降低能耗，尤其是在資源受限的無線通信環(huán)境中。選擇合適的壓縮算法對于優(yōu)化無線傳輸性能至關(guān)重要。
二、L
發(fā)表于 11-10 21:45
大語言模型如何開發(fā)
大語言模型的開發(fā)是一個復(fù)雜且細致的過程，涵蓋了數(shù)據(jù)準備、模型架構(gòu)設(shè)計、訓(xùn)練、微調(diào)和部署等多個階段。以下是對大語言模型開發(fā)步驟的介紹，由AI部
工商網(wǎng)監(jiān)
評論