2021年12月 WebGPT 的橫空出世標(biāo)志了基于網(wǎng)頁(yè)搜索的問(wèn)答新范式的誕生，在此之后，New Bing 首先將網(wǎng)頁(yè)搜索功能整合發(fā)布，隨后 OpenAI 也發(fā)布了支持聯(lián)網(wǎng)的插件 ChatGPT Plugins。大模型在聯(lián)網(wǎng)功能的加持下，回答問(wèn)題的實(shí)時(shí)性和準(zhǔn)確性都得到了飛躍式增強(qiáng)。

近期，面壁智能聯(lián)合來(lái)自清華、人大、騰訊的研究人員共同發(fā)布了中文領(lǐng)域首個(gè)基于交互式網(wǎng)頁(yè)搜索的問(wèn)答開(kāi)源模型框架 WebCPM，相關(guān)工作錄用于自然語(yǔ)言處理頂級(jí)會(huì)議 ACL 2023。

WebCPM 是面壁智能自研大模型工具學(xué)習(xí)引擎 BMTools的首個(gè)成功實(shí)踐，其特點(diǎn)在于其信息檢索基于交互式網(wǎng)頁(yè)搜索，能夠像人類一樣與搜索引擎交互從而收集回答問(wèn)題所需要的事實(shí)性知識(shí)并生成答案。WebCPM 背后的基礎(chǔ)模型 CPM 是由面壁智能與 OpenBMB 開(kāi)源社區(qū)開(kāi)發(fā)的百億參數(shù)中文語(yǔ)言模型，占據(jù)多個(gè)中文領(lǐng)域語(yǔ)言模型排行榜前列。

WebCPM 論文鏈接：https://arxiv.org/abs/2305.06849

WebCPM 數(shù)據(jù)與代碼鏈接：

https://github.com/thunlp/WebCPM

WebCPM研究背景

在當(dāng)今信息化時(shí)代，人們?cè)谌粘Ｉ詈凸ぷ髦校枰粩嗟孬@取各種知識(shí)和信息，而這些信息往往分散在互聯(lián)網(wǎng)上的海量數(shù)據(jù)中。如何快速、準(zhǔn)確地獲取這些信息，并且對(duì)這些信息進(jìn)行合理的整合，從而回答復(fù)雜、開(kāi)放式問(wèn)題，是一個(gè)極具挑戰(zhàn)性的問(wèn)題。長(zhǎng)文本開(kāi)放問(wèn)答（Long-form Question Answering, LFQA）模型就是為了回答這種復(fù)雜的問(wèn)題而設(shè)計(jì)的。

目前的 LFQA 解決方案通常采用檢索-綜合范式，包括信息檢索和信息綜合兩個(gè)核心環(huán)節(jié)。信息檢索環(huán)節(jié)從外部知識(shí)源（如搜索引擎）中搜索多樣化的相關(guān)支持事實(shí)，信息綜合環(huán)節(jié)則將搜集到的事實(shí)整合成一個(gè)連貫的答案。

然而，傳統(tǒng)的 LFQA 范式存在一個(gè)缺陷：它通常依賴于非交互式的檢索方法，即僅使用原始問(wèn)題作為查詢語(yǔ)句來(lái)檢索信息。相反，人類能夠通過(guò)與搜索引擎實(shí)時(shí)交互來(lái)進(jìn)行網(wǎng)頁(yè)搜索而篩選高質(zhì)量信息。

對(duì)于復(fù)雜問(wèn)題，人類往往將其分解成多個(gè)子問(wèn)題并依次提問(wèn)。通過(guò)識(shí)別和瀏覽相關(guān)信息，人類逐漸完善對(duì)原問(wèn)題的理解，并不斷查詢新問(wèn)題來(lái)搜索更多樣的信息。這種迭代的搜索過(guò)程有助于擴(kuò)大搜索范圍，提高搜索結(jié)果質(zhì)量。總體而言，交互式網(wǎng)頁(yè)搜索不僅為我們提供了獲取多樣化信息來(lái)源的途徑，同時(shí)也反映了人類解決問(wèn)題的認(rèn)知過(guò)程，從而提高了可解釋性。

2021年12月 OpenAI 發(fā)布 WebGPT，這是支持 LFQA 的交互式網(wǎng)頁(yè)搜索的一項(xiàng)先驅(qū)性工作。作者首先構(gòu)建了一個(gè)由微軟必應(yīng)搜索（Bing）支持的網(wǎng)頁(yè)搜索界面，然后招募標(biāo)注員使用該界面收集信息來(lái)回答問(wèn)題。之后，他們微調(diào) GPT-3 模型，讓其模仿人類的搜索行為，并將收集到的信息整理成答案。實(shí)驗(yàn)結(jié)果顯示，WebGPT 在 LFQA 任務(wù)具備出色的能力，甚至超過(guò)了人類專家。而 WebGPT 也正是微軟近期推出的 New Bing 背后的新一代搜索技術(shù)。

盡管效果十分驚人，但 WebGPT 、New Bing 對(duì)學(xué)術(shù)圈和工業(yè)界來(lái)說(shuō)仍然充滿神秘感。這是因?yàn)?WebGPT 的相關(guān)細(xì)節(jié)并未完全公開(kāi)，其核心設(shè)計(jì)元素的工作原理也不透明。鑒于當(dāng)前交互式網(wǎng)頁(yè)搜索的重要價(jià)值，我們迫切需要一個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集與相關(guān)的開(kāi)源模型以支持后續(xù)研究。

WebCPM搜索交互界面和數(shù)據(jù)集

▲ WebCPM搜索交互界面

為推動(dòng)相關(guān)領(lǐng)域發(fā)展，這篇 ACL 論文的研究團(tuán)隊(duì)首先構(gòu)建了一個(gè)開(kāi)源的交互式網(wǎng)頁(yè)搜索界面，用于記錄人類為開(kāi)放式問(wèn)題收集相關(guān)信息時(shí)的網(wǎng)頁(yè)搜索行為。該界面底層調(diào)用必應(yīng)搜索 API 支持網(wǎng)頁(yè)搜索功能，囊括 10種主流網(wǎng)頁(yè)搜索操作（如點(diǎn)擊頁(yè)面、返回等等）。

在這個(gè)界面中，用戶可以執(zhí)行預(yù)定義的操作來(lái)進(jìn)行多輪搜索和瀏覽。在找到網(wǎng)頁(yè)上的相關(guān)信息時(shí)，他們可以將其作為支持事實(shí)記錄下來(lái)。當(dāng)收集到足夠的信息后，用戶可以完成網(wǎng)頁(yè)搜索，并根據(jù)收集到的事實(shí)來(lái)回答問(wèn)題。同時(shí)，界面會(huì)自動(dòng)記錄用戶的網(wǎng)頁(yè)瀏覽行為，用于構(gòu)建 WebCPM 數(shù)據(jù)集。

▲ WebCPM數(shù)據(jù)集與相關(guān)問(wèn)答數(shù)據(jù)集的比較

基于這個(gè)界面，作者構(gòu)建了中文領(lǐng)域首個(gè)基于交互式網(wǎng)頁(yè)搜索的 LFQA 數(shù)據(jù)集。它包含 5,500對(duì)高質(zhì)量的問(wèn)題-答案對(duì)以及十萬(wàn)多條真實(shí)用戶網(wǎng)頁(yè)搜索行為。與現(xiàn)有的中文問(wèn)答數(shù)據(jù)集相比，WebCPM 的問(wèn)題、支持事實(shí)和答案都更長(zhǎng)，體現(xiàn)了其問(wèn)題的復(fù)雜性和答案內(nèi)容的豐富性。

WebCPM模型框架

作者提出了的 WebCPM 框架包括：（1）搜索模型與（2）答案綜合模型。

▲ WebCPM模型框架

搜索模型：

該模型模仿人類網(wǎng)頁(yè)搜索行為、與搜索引擎交互并進(jìn)行信息檢索。作者將網(wǎng)頁(yè)搜索任務(wù)劃分為 3 個(gè)子任務(wù)：搜索行為預(yù)測(cè)（action prediction）、查詢語(yǔ)句生成（search query generation）和支持事實(shí)摘要（supporting fact extraction）。搜索行為預(yù)測(cè)模塊在每一步?jīng)Q定執(zhí)行哪個(gè)具體的搜索行為。該模塊可以調(diào)用其它兩個(gè)模塊來(lái)生成下一步查詢語(yǔ)句或摘錄重要信息。每個(gè)子任務(wù)都基于生成式中文大模型來(lái)訓(xùn)練。

通過(guò)組合 3 個(gè)訓(xùn)練得到的模塊，該模型能夠在搜索引擎界面上執(zhí)行一系列操作以收集與問(wèn)題相關(guān)的信息。每個(gè)模塊在當(dāng)前界面狀態(tài) 的條件下執(zhí)行推理。 包括原始問(wèn)題 、當(dāng)前搜索的查詢語(yǔ)句 、歷史操作序列，上一個(gè)窗口和當(dāng)前窗口中顯示的內(nèi)容 和 、當(dāng)前已經(jīng)摘錄的支持事實(shí)。

答案綜合模型

該模型根據(jù)原問(wèn)題與收集到的事實(shí)生成連貫的答案。然而與人類不同，經(jīng)過(guò)訓(xùn)練的搜索模型偶爾會(huì)收集到不相關(guān)的噪聲，這將影響生成答案的質(zhì)量。為了解決這一問(wèn)題，作者在答案綜合模型的訓(xùn)練數(shù)據(jù)中引入噪聲，使其具備一定的去噪的能力，從而忽略不相關(guān)的事實(shí)，只關(guān)注重要的事實(shí)以生成答案。

WebCPM實(shí)驗(yàn)評(píng)測(cè)

作者首先對(duì)每個(gè)子模塊分別評(píng)估，然后，將所有模塊組合起來(lái)形成整體的 pipeline，并測(cè)試其效果。最后，作者對(duì)每個(gè)模塊的性能進(jìn)行深入分析。

單個(gè)子任務(wù)的性能評(píng)估結(jié)果，作者測(cè)試了包括 CPM 模型在內(nèi)的多個(gè)有代表性的中文大模型。

3.1 單個(gè)子任務(wù)評(píng)估

作者測(cè)試了多個(gè)有代表性的中文大模型，并得出以下結(jié)論（結(jié)果如上圖所示）：不同模型在四個(gè)子任務(wù)上的性能各有優(yōu)劣。例如在搜索行為預(yù)測(cè)、查詢語(yǔ)句生成和支持事實(shí)摘要中，mT0 的表現(xiàn)優(yōu)于 mT5，但在綜合信息方面表現(xiàn)較差。此外，CPM 系列模型的性能隨著模型參數(shù)量的增加也不斷提高。得益于 scaling law ，更大的模型通常擁有更強(qiáng)的理解和生成能力，能表現(xiàn)出更好的下游任務(wù)性能。

3.2 整體pipeline評(píng)測(cè)

對(duì)于每個(gè)測(cè)試問(wèn)題，作者比較了模型（CPM 10B 模型）和人類用戶使用搜索引擎回答問(wèn)題和做相同任務(wù)的表現(xiàn)，并進(jìn)行人工評(píng)測(cè)。具體而言，給定一個(gè)問(wèn)題和模型與人類分別給出的答案，標(biāo)注員將根據(jù)多個(gè)因素（包括答案整體實(shí)用性、連貫性和與問(wèn)題的相關(guān)性）決定哪個(gè)答案更好。

從下圖（a）的結(jié)果可以得出以下結(jié)論：模型生成的答案在30%+的情況下與人寫(xiě)的答案相當(dāng)或更優(yōu)。這個(gè)結(jié)果表明整個(gè)問(wèn)答系統(tǒng)的性能在未來(lái)仍有巨大的提升空間（例如訓(xùn)練性能更加強(qiáng)大的基底模型）；當(dāng)將人工收集的事實(shí)應(yīng)用于信息綜合模型時(shí)，性能提高到了45%，這可以歸因于收集的事實(shí)質(zhì)量的提高。

▲ 整體pipeline評(píng)測(cè)效果，作者測(cè)試了WebCPM數(shù)據(jù)集和DuReader數(shù)據(jù)集

此外，作者也將整體 pipeline 應(yīng)用于 DuReader 中文 QA 數(shù)據(jù)集（包含 Zhidao 和 Search 兩個(gè)子數(shù)據(jù)集），并比較了模型生成的答案和人工標(biāo)注的答案，從上圖（b）可以觀察到模型生成的答案比 DuReader 標(biāo)注答案更好的情況接近50%，這反映了該模型強(qiáng)大的泛化能力，體現(xiàn)了WebCPM 數(shù)據(jù)標(biāo)注的高質(zhì)量。

WebCPM案例分析

為了探究查詢模塊所學(xué)習(xí)到的人類行為，作者抽樣不同測(cè)試問(wèn)題生成的查詢語(yǔ)句來(lái)進(jìn)行案例分析。下圖展示了部分結(jié)果，以研究查詢模塊的性能。可以看出，該模塊已經(jīng)學(xué)會(huì)了復(fù)制原始問(wèn)題，將問(wèn)題分解為多個(gè)子問(wèn)題，用相關(guān)術(shù)語(yǔ)改寫(xiě)問(wèn)題等多種人類搜索策略。這些策略使查詢語(yǔ)句更加多樣化，有助于從更多的來(lái)源收集更豐富的信息。

WebCPM成功實(shí)踐BMTools

近年來(lái)，大模型在諸多領(lǐng)域展現(xiàn)出驚人的應(yīng)用價(jià)值，持續(xù)刷新各類下游任務(wù)的效果上限。盡管大模型在很多方面取得了顯著的成果，但在特定領(lǐng)域的任務(wù)上，仍然存在一定的局限性。這些任務(wù)往往需要專業(yè)化的工具或領(lǐng)域知識(shí)才能有效解決。因此，大模型需要具備調(diào)用各種專業(yè)化工具的能力，這樣才能為現(xiàn)實(shí)世界任務(wù)提供更為全面的支持。

最近，新的范式大模型工具學(xué)習(xí)（Tool Learning）應(yīng)運(yùn)而生。這一范式的核心在于將專業(yè)工具與基礎(chǔ)模型的優(yōu)勢(shì)相融合，以在問(wèn)題解決方面達(dá)到更高的準(zhǔn)確性、效率和自主性，工具學(xué)習(xí)極大地釋放了大模型的潛力。

在應(yīng)用方面，ChatGPT Plugins 的出現(xiàn)補(bǔ)充了 ChatGPT 最后的短板，使其可以支持連網(wǎng)、解決數(shù)學(xué)計(jì)算，被稱為 OpenAI 的 “App Store” 時(shí)刻。然而直到現(xiàn)在，它僅支持部分 OpenAI Plus 用戶，大多數(shù)開(kāi)發(fā)者仍然無(wú)法使用。為此，面壁智能前段時(shí)間也推出了工具學(xué)習(xí)引擎 BMTools，一個(gè)基于語(yǔ)言模型的開(kāi)源可擴(kuò)展工具學(xué)習(xí)平臺(tái)，它將是面壁智能在大模型體系布局中的又一重要模塊。

研發(fā)團(tuán)隊(duì)將各種各樣的工具（例如文生圖模型、搜索引擎、股票查詢等）調(diào)用流程都統(tǒng)一到一個(gè)框架上，使整個(gè)工具調(diào)用流程標(biāo)準(zhǔn)化、自動(dòng)化。開(kāi)發(fā)者可以通過(guò) BMTools，使用給定的模型（ChatGPT、GPT-4）調(diào)用多種多樣的工具接口，實(shí)現(xiàn)特定功能。此外，BMTools 工具包也已集成最近爆火的 Auto-GPT 與 BabyAGI。

BMTools 工具包：https://github.com/OpenBMB/BMTools

工具學(xué)習(xí)綜述鏈接：

https://arxiv.org/abs/2304.08354

工具學(xué)習(xí)論文列表：

https://github.com/thunlp/ToolLearningPapers

WebCPM 是 BMTools 的一次成功實(shí)踐，相信在不斷發(fā)展和完善大模型工具學(xué)習(xí)技術(shù)的過(guò)程中，面壁智能將讓大模型落地賦能更多產(chǎn)業(yè)。期待大模型在更多領(lǐng)域展現(xiàn)出令人驚喜的應(yīng)用價(jià)值。

審核編輯 ：李倩