清華唐杰新作WebGLM：參數100億、主打聯網搜索，性能超OpenAI WebGPT

來源：量子位

清華唐杰團隊的新作來了：

WebGLM，一個參數100億的聯網問答聊天機器人（論文入選KDD2023）。

你可以問它任何問題，然後它將列舉出網上（例如維基百科、相關官網）相關的文章鏈接，整理出答案。

比如：

ChatGPT的核心技術是什麼？

或者:

誰提出的Music Transformer？它的原理是什麼？

再或者：

原神3.5版本怎麼樣？

沒有高薪工作，怎麼在一線城市生活？ （手動狗頭）

……

它都能給出有理有據的回答。

據介紹，在性能對比測試中，WebGLM的水平已經高於OpenAI 135億參數的WebGPT，在人類評估中，甚至與1750億參數的模型不相上下。

那麼，它是如何訓練的？

可以上網的清華系WebGLM

據介紹，WebGLM的目標是通過Web搜索和檢索功能，增強預訓練大語言模型，同時可以進行高效的實際部署。

為此，作者基於三種策略進行開發。

首先是大模型增強檢索器。

它主要是用於增強模型相關網絡內容的檢索能力，在給定查詢的情況下查找相關引用，以便後面更好地準確回答問題。

它有兩個階段：粗粒度web搜索和細粒度LLM增強密集檢索。

其次是自舉生成器。

它利用GLM（比如清華之前發布的雙語開源預訓練模型GLM-130B）的能力為問題生成回复，提供詳細的答案。

利用該生成器，作者得到WebGLM-QA——一個LLM自舉引用和長程的QA數據集。

它通過上下文學習等策略進行清洗和過濾，最終包括45k的高質量過濾樣本和83k的噪聲樣本。

WebGLM的backbone就是一個在該數據集上訓練的GLM模型。

最後是基於人類偏好的打分器。

它通過優先考慮人類偏好而非昂貴的專家反饋來評估生成回复的質量，確保系統能夠產生有用和吸引人的內容。

以上三大組件最終按順序形成WebGLM的pipeline：

可以看到，正好三個模塊，對應前面介紹的三部分，其中：

LLM增強檢索器會將前五個最相關的頁面作為參考源，讓自舉生成器生成多個答案，最終打分器選出最可能符合人類偏好的那一個作為最終輸出。

性能超OpenAI WebGPT

除了WebGLM本身，唐杰團隊此次還提出了一個網絡增強問答系統的評估標準，評估對象既包括參考文獻，也包括最終回答。

其中前者衡量相關性、信息密度、真實性（無事實錯誤）、毒性（不含暴力色情等信息）和社會偏見程度這5個維度；後者則衡量流暢度、正確性、引用準確性、客觀性和冗餘程度。

他們用WebGPT（來自OpenAI，基於GPT-3進行微調）演示網站提供的272個問題進行對比評估，並招募了15個學歷為碩士的志願者打分。

最終結果如下：

（“Rel.”、“ Den.”……分別對應上面說的10個指標。）

可以看到，儘管WebGLM的搜索結果略遜於WebGPT-175B，但遠好於Perplexity.ai和WebGPT-13B（左邊的參考文獻評估）。

值得一提的是，WebGLM檢索過程只使用了一些傳統的基於單詞的算法和兩個累計參數量不超過300M的Contriever。

此外，WebGLM在計算性能和時間消耗方面也明顯優於WebGPT-13B、並與175B不相上下。

而在最終結果方面，WebGLM在流暢度、真實性和冗餘度方面均獲得最高得分，正確性指標上則接近WebGPT-175B，遠高於Perplexity.ai和WebGPT-13B。

作者表示，這表明WebGLM可以以更低的成本獲得更高的性能。

部署與訓練

WebGLM發布即開源。

要想部署它，需要從SerpAPI官網獲得一個密鑰，用於在搜索過程中獲取搜索結果。

檢索器的權重可從清華雲上下載。

運行該模型的方式有兩種：一是命令行界面，二是Web服務形式，並且包含WebGLM-2B和WebGLM-10B兩種可選模型。

你也可以自己訓練WebGLM，官方已提供好了生成器和檢索器的訓練數據供下載～

論文地址：

GitHub主頁：