50%成本節(jié)省、3~5倍推理時延降低、100%的QPS（每秒請求數(shù)）提升！

由想法流打造的“造夢次元”，是由多模態(tài)AI驅(qū)動的新一代內(nèi)容平臺，得益于商湯大裝置AIGC解決方案從算力到模型的端到端支持，通過算力和模型、模型和應(yīng)用之間的緊密協(xié)同，既創(chuàng)造了最佳的用戶體驗，又獲得了最大化的成本效益，如今已成為一款日均活躍互動時間超過100分鐘的現(xiàn)象級應(yīng)用。

想法流合伙人、Studio負(fù)責(zé)人張鴻表示：“商湯大裝置展現(xiàn)出三重核心優(yōu)勢：一是算力與模型的深度協(xié)同，實現(xiàn)最高效的資源利用；二是針對文本、語音、圖像等不同模態(tài)的協(xié)同，構(gòu)建了流暢自然的交互體驗；三是支持開源模型的完善生態(tài)，提供了多樣化模型選擇。這種多維度協(xié)同優(yōu)勢助力我們完成了‘算力、模型、應(yīng)用’三位一體的全鏈條優(yōu)化，推動技術(shù)效能向商業(yè)價值的高效轉(zhuǎn)化。”

日均6000萬次調(diào)用、千億token消耗，帶來三大「生存挑戰(zhàn)」

基于對用戶需求的洞察，想法流通過技術(shù)創(chuàng)新直擊AI互動應(yīng)用普遍存在的“沉浸感不足”和“門檻過高”兩大核心問題。

例如，通過提供文字、語音、文圖結(jié)合的多模態(tài)交互，讓用戶與AI的互動體驗趨近真實人際交流。此外，想法流還提供豐富的創(chuàng)作工具，用戶只需套用相關(guān)模板，就可快速搭建完整互動內(nèi)容，有效降低了創(chuàng)作門檻。

造夢次元每日平均模型調(diào)用量高達(dá)6000多萬次，一天消耗的token達(dá)千億級別。在如此龐大的規(guī)模下，任何卡頓、宕機(jī)、出錯都會導(dǎo)致嚴(yán)重的用戶流失；任何因模型能力不足造成的體驗不佳，都會影響產(chǎn)品口碑；任何微小的資源閑置，都會累計成巨大的成本開銷。擺在想法流面前的“生存挑戰(zhàn)”，主要體現(xiàn)在三個層面：

2倍峰谷差的算力彈性戰(zhàn)：造夢次元的平臺流量有著鮮明的潮汐特征，周末和節(jié)假日高峰時段的流量可達(dá)低谷時期2倍，對基礎(chǔ)設(shè)施算力資源有很強(qiáng)的彈性伸縮需求。

推理時延的2秒生死線：虛擬角色互動場景對時延極為敏感，要保證基本流暢的交互體驗，模型推理時延需穩(wěn)定控制在2秒以內(nèi)。

模型迭代的穩(wěn)定性挑戰(zhàn)：想法流采用了很多開源模型，需要跟隨社區(qū)節(jié)奏進(jìn)行頻繁升級甚至替換。需求多、更新頻，如何保證業(yè)務(wù)穩(wěn)定運行也至關(guān)重要。

高峰秒級響應(yīng)不卡頓、低谷資源釋放不浪費

商湯大裝置作為“最懂大模型的AI基礎(chǔ)設(shè)施”，為想法流提供了從算力到模型的全鏈路一體化AIGC整體解決方案，一站式支撐想法流的產(chǎn)品研發(fā)及運營需求，做到“高峰秒級響應(yīng)不卡頓、低谷資源釋放不浪費”。

秒級彈性伸縮：成本暴降50%，流量潮汐從容應(yīng)對

面對流量峰谷波動挑戰(zhàn)，商湯大裝置通過實時監(jiān)測、統(tǒng)一調(diào)度、智能擴(kuò)縮容的組合策略，實現(xiàn)秒級彈性伸縮，為想法流的整體運營成本降低了50%。其中，智能化統(tǒng)一調(diào)度結(jié)合監(jiān)測系統(tǒng)實時抓取的業(yè)務(wù)指標(biāo)，根據(jù)推理業(yè)務(wù)擴(kuò)縮容規(guī)則自動分配資源，實現(xiàn)算力與流量的精準(zhǔn)匹配；并結(jié)合定時擴(kuò)縮容與按需擴(kuò)縮容的雙重策略，進(jìn)一步提升彈性伸縮的靈活性。

全鏈路優(yōu)化：5倍推理時延降低、100%QPS提升

想法流將“人均互動次數(shù)”作為判斷模型體驗的綜合指標(biāo)，推理時延和QPS正是影響該指標(biāo)的關(guān)鍵因素。商湯大裝置通過硬件資源、軟件框架、算法模型等多維度協(xié)同優(yōu)化，使推理時延降低3~5倍。

另外，在秒級彈性伸縮的基礎(chǔ)上，商湯大裝置還通過全鏈路量化加速、流量分級與降級等專項優(yōu)化，可在高峰期優(yōu)先保障高價值業(yè)務(wù)的響應(yīng)速度，最終將QPS提升100%，以更快的響應(yīng)速度提升用戶體驗。

商湯日日新多模型組合，“人均互動次數(shù)”翻倍提升

“人均互動次數(shù)”另一個影響因素在于模型能力，商湯以商量語言大模型、商量擬人對話模型、文生圖模型秒畫等多模型組合，為造夢次元用戶帶來“更懂人心”的交互體驗。

其中，商量語言大模型以精準(zhǔn)的上下文語義分析、意圖推理及對人類情感的細(xì)致感知與回應(yīng)，助力造夢次元以擬人化思維打造沉浸式交流體驗。同時，依托商量擬人對話模型領(lǐng)先的角色對話、人設(shè)、及劇情推動能力，幫助想法流用戶打造IP角色，為用戶提供高擬真對話體驗。此外，創(chuàng)作者可使用秒畫的普通生圖、CN生圖、換臉、擴(kuò)圖等功能，進(jìn)行各類虛擬角色設(shè)計。

基于基礎(chǔ)設(shè)施的系統(tǒng)優(yōu)化和雙方的模型共創(chuàng)，造夢次元的“人均互動次數(shù)”從初期20輪提升至40~50輪，用戶粘性實現(xiàn)跨越式增長。

可靠全面穩(wěn)定性保障：模型隨時升，業(yè)務(wù)不斷點

針對想法流高頻次的模型切換，以及開源模型頻繁的版本升級給業(yè)務(wù)運營帶來的穩(wěn)定性挑戰(zhàn)，商湯大裝置針對推理階段構(gòu)建了涵蓋模型灰度發(fā)布、滾動升級與智能運維的全面穩(wěn)定性保障體系，不僅為模型快速迭代提供了有效支撐，也確保了在線業(yè)務(wù)的穩(wěn)定運行。

日均活躍100分鐘，構(gòu)建新型內(nèi)容消費生態(tài)

短短兩年時間，“造夢次元”已發(fā)展成為擁有數(shù)百個萬粉級別IP角色，日均活躍互動時間超過100分鐘的應(yīng)用平臺，是大量年輕用戶娛樂、情感表達(dá)和學(xué)習(xí)陪練的重要伙伴。未來，雙方還將聚焦多模態(tài)模型能力深化合作，給用戶帶來更新奇、更有趣的AI互動之旅。

商湯科技聯(lián)合創(chuàng)始人、大裝置事業(yè)群總裁楊帆認(rèn)為：“商湯大裝置與想法流的合作，是對商湯科技‘大裝置-大模型-應(yīng)用’三位一體戰(zhàn)略價值的最佳詮釋。基于應(yīng)用場景特點開展模型能力共創(chuàng)，訓(xùn)練高度貼合業(yè)務(wù)需求的垂類模型，并針對模型調(diào)用需求提供最優(yōu)的基礎(chǔ)設(shè)施支持，給予靈活的彈性伸縮、極低的推理時延和穩(wěn)定性保障，最終實現(xiàn)降本增效和用戶滿意度的提升。大模型算法與基礎(chǔ)設(shè)施的聯(lián)合優(yōu)化，不僅是驅(qū)動生成式AI發(fā)展的核心動力，也是實現(xiàn)最大化商業(yè)價值的最優(yōu)路徑?！?/p>