本文來(lái)自“GPT-4精華專題：多模態(tài)能力提升，應(yīng)用生態(tài)加速（2023）”，2023年11月7日，OpenAI通過(guò)開(kāi)發(fā)者大會(huì)推出新產(chǎn)品：

1）GPT4-Turbo：該模型通過(guò)增加上下文窗口以支持更長(zhǎng)的工作流，同時(shí)具備視覺(jué)和語(yǔ)音等多模態(tài)能力，輸入和輸出的tokens價(jià)格大幅下降，從而幫助開(kāi)發(fā)者以更低的價(jià)格獲取更高的模型性能。

2）GPTs：用戶只需輸入指令并提供外設(shè)的知識(shí)庫(kù)即可創(chuàng)建專屬GPT，應(yīng)用開(kāi)發(fā)門檻大幅降低，未來(lái)在收益計(jì)劃的助力下，AI應(yīng)用有望迎來(lái)大爆發(fā)，形成全新的AI Agent生態(tài)。

3）Assistant API：開(kāi)發(fā)者可以通過(guò)函數(shù)調(diào)用、知識(shí)檢索、代碼解釋器簡(jiǎn)化應(yīng)用開(kāi)發(fā)流程、實(shí)現(xiàn)效率提升。

《400+份重磅ChatGPT專業(yè)報(bào)告》

1）算力端：OpenAI一系列新產(chǎn)品的推出成功打開(kāi)新流量入口，更多的用戶和開(kāi)發(fā)者希望參與其中，巨大的流量對(duì)算力底座提出更高的要求；疊加圖片等多模態(tài)生成所要求的tokens計(jì)算量遠(yuǎn)高于文本模態(tài)（根據(jù)OpenAI官網(wǎng)信息推算，在GPT-4-Turbo的Vision pricing calculator高保真度模式下，1張圖片所產(chǎn)生的tokens數(shù)大約是1個(gè)單詞的570或830倍），算力供給亟需擴(kuò)容。

2）存力端：在算力提效到達(dá)一定瓶頸的情況下，AI芯片未來(lái)將逐步通過(guò)堆疊HBM的方式來(lái)提升性能，擴(kuò)大單位算力的存儲(chǔ)能力，HBM等存力需求將迎來(lái)暴增。

3）應(yīng)用端：類比移動(dòng)互聯(lián)網(wǎng)時(shí)代，AI時(shí)代的應(yīng)用市場(chǎng)有望如同移動(dòng)互聯(lián)網(wǎng)時(shí)代具備無(wú)限潛力，GPTs數(shù)量將呈現(xiàn)非線性高速增長(zhǎng)；此外，OpenAI的GPTs通過(guò)提供API，使得開(kāi)發(fā)者只需喂給大模型更多的垂類數(shù)據(jù)即可打造垂類AI應(yīng)用，同時(shí)使?jié)M足更多長(zhǎng)尾需求成為可能。

4）數(shù)據(jù)端：從OpenAI GPTs的Knowledge功能來(lái)看，專業(yè)知識(shí)與大模型通用能力的結(jié)合將成為未來(lái)的重中之重，私域數(shù)據(jù)庫(kù)和專業(yè)數(shù)據(jù)庫(kù)方向?qū)?huì)不斷產(chǎn)生新熱點(diǎn)、新需求，因此，如何在合規(guī)前提下留存垂類數(shù)據(jù)并構(gòu)建體系化數(shù)據(jù)庫(kù)、以及保證知識(shí)產(chǎn)權(quán)的確權(quán)或成為未來(lái)的重要議題。

為打造視覺(jué)大模型，建立高效視覺(jué)預(yù)訓(xùn)練體系以提升圖像理解能力至關(guān)重要，這影響到從圖像整體（如分類、圖文檢索、標(biāo)注）到部分區(qū)域（如物體識(shí)別、短語(yǔ)定位）及到像素細(xì)節(jié)（如語(yǔ)義、實(shí)例、全景分割）的各項(xiàng)任務(wù)。

通用視覺(jué)預(yù)訓(xùn)練方法主要可歸納為三大類。1）標(biāo)簽監(jiān)督：此方法在每張圖片都配有對(duì)應(yīng)標(biāo)簽的數(shù)據(jù)集上進(jìn)行訓(xùn)練，如圖像分類中，一張狗的照片會(huì)對(duì)應(yīng)“狗”的標(biāo)簽，模型的核心任務(wù)是準(zhǔn)確預(yù)測(cè)此標(biāo)簽。2）語(yǔ)言-圖像監(jiān)督：利用完整的文本描述來(lái)引導(dǎo)模型學(xué)習(xí)，使模型能夠深入挖掘圖像內(nèi)容與文本語(yǔ)義間的關(guān)聯(lián)。3）僅圖像自監(jiān)督：利用圖像本身固有的結(jié)構(gòu)和信息來(lái)學(xué)習(xí)有意義的表示，而不依賴于顯式的人工注釋標(biāo)簽。

1）更長(zhǎng)的上下文（Context Length）：GPT-4-turbo支持的上下文窗口（128k）相較于GPT-4-8k提升16倍，相較于GPT-4-32k提升4倍，即GPT-4-turbo可在單個(gè)prompt中處理超過(guò)300頁(yè)的文本，且GPT-4-turbo模型在較長(zhǎng)的上下文中更加準(zhǔn)確。我們認(rèn)為GPT-4-turbo更長(zhǎng)且更準(zhǔn)確的上下文處理能力將支持更長(zhǎng)的工作流，在B端有能力承擔(dān)更多的工作負(fù)載，提升用戶體驗(yàn)。

2）更豐富的世界知識(shí)（Better Knowledge）：外部文檔和數(shù)據(jù)庫(kù)的截止更新日期從21年9月更新至23年4月，意味著OpenAI的大模型在半年內(nèi)已學(xué)習(xí)互聯(lián)網(wǎng)一年半的知識(shí)，學(xué)習(xí)速度極快。

什么是GPTs：GPTs是指“針對(duì)特定目的定制的ChatGPT”，用戶可以通過(guò)自定義行為創(chuàng)建一個(gè)定制版的ChatGPT，定制版的ChatGPT具備帶有任何功能的可能性（在保證隱私和安全的情況下）。

不論是開(kāi)發(fā)者還是不會(huì)寫代碼的普通人，都可以擁有自定義版本的GPT。

更加個(gè)性化、私人化、場(chǎng)景化，每個(gè)人都可以擁有自己的AI Agent。GPTs通過(guò)結(jié)合①說(shuō)明/Instruction+②擴(kuò)展的知識(shí)/Expand knowledge+③操作/Actions，能夠在很多情況下更好地工作，并且為用戶提供更好地控制，用以幫助用戶輕松完成各種任務(wù)、或者獲得更多樂(lè)趣。

針對(duì)開(kāi)發(fā)者在開(kāi)發(fā)API中的痛點(diǎn)，OpenAI推出Assistant API，致力于為開(kāi)發(fā)者賦能。根據(jù)此前市場(chǎng)上推出的各種API，我們可以發(fā)現(xiàn)API通過(guò)接入各種程序和應(yīng)用，有助于幫助應(yīng)用實(shí)現(xiàn)特定功能。

例如，Shopify的Sidekick允許用戶在平臺(tái)上進(jìn)行操作；Discord的Clyde允許discord版主設(shè)置自定義人格；Snap my AI作為定制聊天機(jī)器人工具，可以添加至群聊中并提出建議。但以上API的構(gòu)建可能需要開(kāi)發(fā)者耗費(fèi)幾個(gè)月的時(shí)間、并由數(shù)十名工程師搭建，而目前Assistant API的推出將使其變得容易實(shí)現(xiàn)。

1）云側(cè)芯片龍頭：英偉達(dá)龍頭地位穩(wěn)固，AMD加速發(fā)展。

① 英偉達(dá)：2023年11月13日，英偉達(dá)推出H200，內(nèi)存方面首次采用HBM3e，容量高達(dá)141GB，帶寬實(shí)現(xiàn)大幅提升；性能方面著重強(qiáng)化推理能力和HPC性能，可將Llama2模型的推理速度提高近一倍，相較于H100可降低50%的TCO和能耗成本。2023年以來(lái)，英偉達(dá)AI芯片已發(fā)布多個(gè)產(chǎn)品，在云側(cè)算力芯片領(lǐng)域龍頭優(yōu)勢(shì)明顯。

② AMD：2023年6月，AMD正式發(fā)布MI300系列，MI300將CPU、GPU和內(nèi)存封裝為一體，大幅縮短DDR內(nèi)存行程和CPU-GPU PCIe行程，提高性能和效率；MI300采用Chiplet設(shè)計(jì)，擁有13個(gè)基于3D堆疊的小芯片（5nm: 3個(gè)CPU，6個(gè)GPU；4個(gè)6nm芯片），包括24個(gè)Zen4 CPU內(nèi)核，同時(shí)融合CDNA 3和8個(gè)HBM3顯存堆棧，集成5nm和6nm IP，總共包含128GB HBM3顯存和1460億個(gè)晶體管。對(duì)比MI250加速卡，MI300可帶來(lái)8倍AI性能和5倍每瓦性能的提升(FP8)，使ChatGPT和DALL-E等超大AI模型的訓(xùn)練時(shí)間可以從幾個(gè)月縮短到幾周。

2）端側(cè)芯片格局：對(duì)于AI PC端側(cè)適用芯片，英特爾進(jìn)展保持領(lǐng)先，高通有望實(shí)現(xiàn)從0到1。

① 英特爾：PC主芯片包括CPU和GPU。GPU方面，根據(jù)Statista數(shù)據(jù)，英特爾在22Q4全球PC GPU市場(chǎng)中占據(jù)71%的市場(chǎng)份額；CPU方面，根據(jù)Counterpoint Research數(shù)據(jù)，英特爾在2022年全球Notebook CPU/SoC市場(chǎng)中占據(jù)69.6%的市場(chǎng)份額，當(dāng)前英特爾在PC主芯片市場(chǎng)中處于主導(dǎo)地位。23H2，英特爾推出Meteor Lake處理器，助力PC效能提升，專為AI任務(wù)設(shè)計(jì)，在AI PC主芯片市場(chǎng)中具備先發(fā)優(yōu)勢(shì)。

② 高通：2023年10月，高通于驍龍峰會(huì)上推出驍龍X Elite芯片，可支持130億參數(shù)大模型，為Windows-on-Arm筆記本設(shè)計(jì)，預(yù)計(jì)在2024年中期發(fā)布。算力方面，AI PC對(duì)PC芯片的算力要求更高，高通在端側(cè)AI推理能力優(yōu)于英特爾。與此同時(shí)，生態(tài)方面，2022年至今Windows開(kāi)始支持高通，已發(fā)布多輪支持Arm架構(gòu)芯片的操作系統(tǒng)。未來(lái)，高通在以驍龍X Elite為代表的AI PC芯片的助力下，將在PC領(lǐng)域?qū)崿F(xiàn)重要突破，逐步搶占市場(chǎng)份額。

3）大廠自研趨勢(shì)：科技巨頭加速自研，優(yōu)先服務(wù)于自身云服務(wù)業(yè)務(wù)及AI條線。微軟于23年11月16日Ignite技術(shù)大會(huì)上發(fā)布兩款自研芯片——Azure Maia 100和Azure Cobalt 100，分別用于大語(yǔ)言模型的訓(xùn)練推理和通用云服務(wù)的支持。近年來(lái)，各大科技廠商紛紛自研芯片，一是為了降低自身對(duì)第三方芯片和外部供應(yīng)鏈的依賴；二是自研芯片可幫助各大廠商克服一定的通用芯片局限，通過(guò)CPU+GPU+DPU+定制芯片等結(jié)合方案，提升全系統(tǒng)整合效率、實(shí)現(xiàn)業(yè)務(wù)賦能；三是提高計(jì)算能效、減少長(zhǎng)期硬件成本。