近日,在計(jì)算機(jī)視覺(jué)領(lǐng)域最具影響力的國(guó)際競(jìng)賽 CVPR NTIRE 2025中,傳音多媒體團(tuán)隊(duì)與上海交通大學(xué)圖像所MediaLab聯(lián)合團(tuán)隊(duì)分別斬獲高效超分辨率挑戰(zhàn)賽(NTIRE 2025 Efficient Super-Resolution Challenge)第一名,短視頻UGC圖像超分辨率挑戰(zhàn)賽(NTIRE 2025 Short-form UGC Image Super-Resolution Challenge)第二名,展現(xiàn)了傳音在視頻畫(huà)質(zhì)領(lǐng)域的深厚積累與領(lǐng)先實(shí)力。

CVPR NTIRE(New Trends in Image Restoration and Enhancement)是計(jì)算機(jī)視覺(jué)頂會(huì)CVPR(Conference on Computer Vision and Pattern Recognition)旗下極具影響力的國(guó)際學(xué)術(shù)競(jìng)賽,素有“影像算法奧林匹克”之稱(chēng)。該賽事聚焦視頻復(fù)原、圖像增強(qiáng)、生成技術(shù)及質(zhì)量評(píng)估等底層視覺(jué)任務(wù),旨在推動(dòng)技術(shù)突破并解決實(shí)際應(yīng)用難題。今年的賽事設(shè)置了多項(xiàng)挑戰(zhàn)賽,吸引了全球頂尖科研與產(chǎn)業(yè)隊(duì)伍參與。

傳音深耕非洲、南亞等新興市場(chǎng)多年,始終圍繞用戶(hù)需求進(jìn)行本地化創(chuàng)新。近年來(lái)數(shù)字媒體飛速發(fā)展,傳音洞察到用戶(hù)對(duì)智能手機(jī)圖像和視頻素質(zhì)提出了更高的要求。據(jù)Dataspark的數(shù)據(jù)顯示,2024年非洲用戶(hù)月均在社交、視頻類(lèi)App上花費(fèi)約52小時(shí),然而非洲用戶(hù)觀看視頻在線(xiàn)播放網(wǎng)速平均不到10M/S,觀看體驗(yàn)較差。面對(duì)非洲等目標(biāo)市場(chǎng)存在的網(wǎng)速慢、流量貴等現(xiàn)實(shí)問(wèn)題,傳音持續(xù)投入資源,與上海交通大學(xué)圖像所MediaLab深入合作,研發(fā)輕量化、低功耗、高性能的畫(huà)質(zhì)增強(qiáng)技術(shù),讓更多用戶(hù)在有限條件下也能享受高清視覺(jué)體驗(yàn)。

技術(shù)成果一:高效圖像超分辨率中的蒸餾監(jiān)督下的卷積低秩適應(yīng)

在高效超分辨率挑戰(zhàn)賽中,傳音多媒體團(tuán)隊(duì)和上海交通大學(xué)圖像所MediaLab提交的論文“高效圖像超分辨率中的蒸餾監(jiān)督下的卷積低秩適應(yīng)(Distillation-Supervised Convolutional Low-Rank Adaptation for Efficient Image Super-Resolution)”提出DSCLoRA技術(shù),其借鑒大語(yǔ)言模型中的低秩適應(yīng)并結(jié)合知識(shí)蒸餾策略,在不增加計(jì)算成本的前提下顯著提升了高效超分辨率模型的性能。

多個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明DSCLoRA在模型復(fù)雜度和性能表現(xiàn)之間實(shí)現(xiàn)了出色的均衡。在不增加模型體積和計(jì)算開(kāi)銷(xiāo)的前提下,DSCLoRA能夠大幅提升圖像超分辨率效果,提升弱網(wǎng)環(huán)境下視頻通話(huà)與流媒體播放清晰度,同時(shí)具備推理速度快、功耗低等優(yōu)點(diǎn)。通過(guò)將該算法集成至手機(jī)影像引擎,用戶(hù)在在線(xiàn)視頻播放、視頻通話(huà)、圖像放大、數(shù)碼變焦拍攝等場(chǎng)景中,均可體驗(yàn)更高分辨率、更銳利自然的畫(huà)面。

模型架構(gòu)總覽

技術(shù)成果二:用于短視頻UGC圖像超分辨率的增強(qiáng)語(yǔ)義提取與引導(dǎo)

在短視頻UGC圖像超分辨率挑戰(zhàn)賽中,傳音多媒體團(tuán)隊(duì)和上海交通大學(xué)圖像所MediaLab提交的論文“用于UGC圖像超分辨率的增強(qiáng)語(yǔ)義提取與引導(dǎo)(Enhanced Semantic Extraction and Guidance for UGC Image Super Resolution)”,提出一種基于 Diffusion 的新型模型以處理短視頻平臺(tái) UGC 場(chǎng)景下低分辨率退化圖片,有助于實(shí)現(xiàn)更穩(wěn)健、感知可信和實(shí)際適用的圖像修復(fù)。

該模型通過(guò)制作特定數(shù)據(jù)集,消除現(xiàn)實(shí) UGC 場(chǎng)景下圖片退化類(lèi)型和合成退化之間存在的差異。其次,通過(guò)引入語(yǔ)義提取模塊,利用 SAM2 預(yù)訓(xùn)練模型提取高層次的上下文信息,協(xié)助模型進(jìn)行圖像重建任務(wù)。最后,針對(duì)不同的數(shù)據(jù)集進(jìn)行參數(shù)微調(diào),使模型在不同數(shù)據(jù)集上表現(xiàn)達(dá)到最優(yōu)。

該項(xiàng)技術(shù)突破,將有效處理模糊、壓縮、結(jié)構(gòu)變形等常見(jiàn)失真問(wèn)題,生成更自然、真實(shí)、語(yǔ)義一致的修復(fù)圖像,極大提升用戶(hù)在短視頻截圖、社交圖片增強(qiáng)等場(chǎng)景中的視覺(jué)體驗(yàn)。

模型架構(gòu)總覽

此次聯(lián)合高校團(tuán)隊(duì)參加國(guó)際頂級(jí)競(jìng)賽體現(xiàn)傳音對(duì)核心技術(shù)創(chuàng)新的重視與投入,也為后續(xù)畫(huà)質(zhì)增強(qiáng)功能的產(chǎn)品化奠定堅(jiān)實(shí)基礎(chǔ)。未來(lái),傳音將加速將畫(huà)質(zhì)增強(qiáng)技術(shù)部署到旗下手機(jī)產(chǎn)品中,構(gòu)建起一套適應(yīng)新興市場(chǎng)特色、兼顧性能與體驗(yàn)的視頻增強(qiáng)解決方案,為更多新興市場(chǎng)用戶(hù)帶來(lái)更為高清、流暢的視覺(jué)體驗(yàn)。