Buildt 使用 OpenAI 基礎(chǔ)模型已經(jīng)有一段時(shí)間了。這些模型非常強(qiáng)大，關(guān)于這一點(diǎn)，互聯(lián)網(wǎng)上已經(jīng)有了大量的記錄，特別是隨著 ChatGPT 的出現(xiàn)，它的關(guān)注度超過了之前 GPT-3 的 100 倍。然而，在應(yīng)用這些模型解決相應(yīng)問題（代碼庫搜索、理解和增強(qiáng)）的過程中，我們發(fā)現(xiàn)了一個(gè)明顯的障礙：延遲和成本。比較大的模型（特別是 davinci 家族）無疑能產(chǎn)生最高質(zhì)量的輸出，但運(yùn)行起來也最慢、最昂貴。

要獲得良好的搜索體驗(yàn)，顯然速度就得快。你看谷歌，100 毫秒就可以索引數(shù)百萬個(gè)網(wǎng)頁，代碼庫搜索也是如此。我們發(fā)現(xiàn)，在單個(gè)搜索中，其中一個(gè)最耗時(shí)的點(diǎn)就是生成輸出的 LLM 層（我們使用 LLM 來增強(qiáng)搜索，讓你可以搜索代碼是什么，而不是它做什么，例如“找出最慢的遞歸函數(shù)”）。Alex grave 是 Github Copilot 的創(chuàng)建者之一。據(jù)他說，每增加 10 毫秒的延遲，完成率就會(huì)下降 1%。這一邏輯也適用于搜索。所以，當(dāng)務(wù)之急是從 davinci 這樣的大型模型轉(zhuǎn)向 ada 和 babbage 這樣的小型模型。

我們的解決方案很簡單，對于給定的任務(wù)，由 davinci 生成一個(gè)中等大小的語料庫，并精心優(yōu)化像 babbage 這樣的模型來完成相同的任務(wù)。如果操作得當(dāng)，你可以以低 40 倍的成本、低 4-5 倍的延遲獲得幾乎相同的完成率（或至少 90% 的相似性）。

如果你愿意花點(diǎn)時(shí)間，則還可以在循環(huán)中加一個(gè)人：我們最近就做了這樣的事情來優(yōu)化 babbage 模型，以便能夠識(shí)別代碼的特征，所以我讓 ChatGPT 幫我創(chuàng)建了一個(gè)基本的 Web UI，讓我們可以輕松地審核和改進(jìn) davinci 所的識(shí)別結(jié)果；從根本上說，你永遠(yuǎn)無法從一個(gè)更小的模型那里獲得類似的性能，所以讓完成率勝過你試圖模仿的模型，意味著你至少在訓(xùn)練完成時(shí)就比較接近。

關(guān)于這種技術(shù)，我想的最多的一個(gè)問題是：我需要多少樣本？答案恐怕是“視情況而定”。

根據(jù)經(jīng)驗(yàn)，如果你只是想標(biāo)準(zhǔn)化平淡無奇的輸出格式，那么你可以用幾百個(gè)樣本；如果你是在做邏輯推理，那么你至少需要 1000 個(gè)樣本；如果你在做 DSL 工作，那么你需要幾千個(gè)樣本。樣本大小通常會(huì)是一個(gè)障礙，但有了用更大的模型來生成合成數(shù)據(jù)集的方法，那突然變得比較容易處理了，特別是當(dāng)這些模型變得越來越好時(shí)。

這種方法有很多應(yīng)用場景；如果你有一個(gè)提示符，它可以重復(fù)做同樣的工作，那么你就可以使用這項(xiàng)技術(shù)來加快速度，降低成本。

有人問過我這種方法的維護(hù)問題，特別是如果想要更改輸出結(jié)構(gòu)時(shí)會(huì)出現(xiàn)什么情況。我們內(nèi)部構(gòu)建了一個(gè)經(jīng)過精心優(yōu)化的管道來自動(dòng)化整個(gè)過程，其底層是 davinci-003 提示符，然后我們用它來生成 n 個(gè)合成樣本，格式化后傳遞給 OpenAI 調(diào)優(yōu) API，它會(huì)吐出一個(gè)調(diào)優(yōu)過的模型。這樣，如果你想更改提示符的輸出，只需一次單擊就可以更新一個(gè)調(diào)優(yōu)過的模型。

我總是很樂意談?wù)撨@個(gè)話題，歡迎在 Twitter 上關(guān)注我（@AlistairPullen），我上面描述的所有內(nèi)容都可以在我們的代碼搜索工具 Buildt 中找到。

審核編輯 ：李倩