2022年初，當(dāng)泰勒·韋伯嘗試GPT-3時(shí)，他被OpenAI的大型語(yǔ)言模型所能做的事情驚呆了。這個(gè)人工智能模型依靠預(yù)測(cè)下一個(gè)單詞來(lái)生成大段的文字內(nèi)容。

雖然是預(yù)測(cè)式的，但它對(duì)韋伯提出的許多抽象問(wèn)題給出了正確的答案，例如你在智商測(cè)試中遇到的那類問(wèn)題?！拔艺娴膶?duì)它解決這些問(wèn)題的能力感到震驚，”他說(shuō)，“它完全顛覆了我的期待?！?/p>

韋伯是美國(guó)加州大學(xué)洛杉磯分校的心理學(xué)家，主要研究人和計(jì)算機(jī)解決抽象問(wèn)題的不同方式。他習(xí)慣于構(gòu)建具有特定推理能力的神經(jīng)網(wǎng)絡(luò)。但GPT-3似乎自帶了推理能力。

7月，韋伯和他的同事在《自然》雜志上發(fā)表了一篇論文，他們?cè)谡撐闹忻枋隽薌PT-3通過(guò)各種測(cè)試的能力，這些測(cè)試旨在評(píng)估使用類比來(lái)解決問(wèn)題（又稱為類比推理）。

在其中一些測(cè)試中，GPT-3的成績(jī)比一群本科生還要好。韋伯說(shuō)：“類比是人類推理的核心。我們認(rèn)為，這是任何類型的機(jī)器智能都需要展示的主要能力之一?！?/p>

韋伯的研究所展示的只是大型語(yǔ)言模型的一大堆出眾能力中的一個(gè)。例如，當(dāng)OpenAI在2023年3月份推出GPT-3的下一代GPT-4時(shí)，該公司發(fā)布了一份令人瞠目的專業(yè)和學(xué)術(shù)評(píng)估成績(jī)單，聲稱其新的大型語(yǔ)言模型取得了優(yōu)異成績(jī)，包括幾十次高中考試和律師資格考試。OpenAI后來(lái)與微軟合作，證明GPT-4可以通過(guò)部分美國(guó)醫(yī)學(xué)執(zhí)照考試。

多名研究人員聲稱，大型語(yǔ)言模型可以通過(guò)旨在識(shí)別人類某些認(rèn)知能力的測(cè)試，從思維鏈推理（一步一步解決問(wèn)題）到思維理論（猜測(cè)他人的想法）。

這些結(jié)果催生了一系列的炒作，宣稱人工智能很快將取代教師、醫(yī)生、記者和律師一類的白領(lǐng)工作。圖靈獎(jiǎng)得主、“深度學(xué)習(xí)三巨頭”之一的杰弗里·辛頓指出，GPT-4顯然有能力將想法串在一起，這是他現(xiàn)在害怕自己幫助創(chuàng)造的技術(shù)的原因之一。

但有一個(gè)問(wèn)題是，對(duì)于這些結(jié)果的真正含義，人們沒(méi)有達(dá)成一致。有些人被這些成績(jī)背后的類人智慧所迷惑，也有人完全不相信。

以色列巴伊蘭大學(xué)的計(jì)算機(jī)科學(xué)家納塔利·沙皮亞說(shuō)：“目前大型語(yǔ)言模型的評(píng)估技術(shù)有幾個(gè)關(guān)鍵問(wèn)題。這造成了一種錯(cuò)覺(jué)，使得我們對(duì)其能力的認(rèn)識(shí)被夸大了?！?/p>

這就是為什么越來(lái)越多的研究人員，包括計(jì)算機(jī)科學(xué)家、認(rèn)知科學(xué)家、神經(jīng)科學(xué)家和語(yǔ)言學(xué)家，希望徹底改變?cè)u(píng)估方式，呼吁進(jìn)行更嚴(yán)格、更詳盡的評(píng)估。一些人認(rèn)為，用測(cè)試人類的試題去評(píng)估機(jī)器，這種做法是錯(cuò)誤的，應(yīng)該拋棄。

美國(guó)新墨西哥州圣達(dá)菲研究所的人工智能研究員米蘭尼·米切爾說(shuō)：“從人工智能誕生之初，人們就一直在對(duì)機(jī)器進(jìn)行人類智力測(cè)試，比如智商測(cè)試等等。這背后的問(wèn)題是，當(dāng)你用這些方法測(cè)試機(jī)器時(shí)，它的意義是什么？這與測(cè)試人類的意義不同?！?/p>

“有很多擬人化的現(xiàn)象正在出現(xiàn)，”她說(shuō)，“這讓我們?cè)谒伎歼@些系統(tǒng)以及測(cè)試它們時(shí)帶上了濾鏡?！?/p>

隨著對(duì)人工智能技術(shù)的希望和擔(dān)憂達(dá)到了前所未有最高水平，我們必須明確知道大型語(yǔ)言模型能做什么和不能做什么。

如何解釋

圍繞大型語(yǔ)言模型測(cè)試的大多數(shù)問(wèn)題，都可以歸結(jié)為如何解釋結(jié)果的問(wèn)題。

為人類設(shè)計(jì)的評(píng)估，如高中考試和智商測(cè)試，在很多方面都遵從了一些預(yù)設(shè)和假設(shè)。當(dāng)人們得分很高時(shí)，就可以放心地假設(shè)他們擁有測(cè)試所衡量的知識(shí)、理解或認(rèn)知技能。

實(shí)際上，這種假設(shè)只適用于此。學(xué)業(yè)考試并不總是反映學(xué)生的真實(shí)能力。而智商測(cè)試衡量的是一組特定的技能，而不是整體智力。這兩種評(píng)估方式都有利于擅長(zhǎng)這類評(píng)估的人。

但是，當(dāng)一個(gè)大型語(yǔ)言模型在這樣的測(cè)試中得分很高時(shí)，我們根本不清楚衡量的是什么。是真正理解的證據(jù)嗎？還是愚蠢的統(tǒng)計(jì)游戲？亦或是死記硬背？

Deep Mind高級(jí)研究科學(xué)家勞拉·威汀格說(shuō)：“開(kāi)發(fā)測(cè)試人類思維的方法有著悠久的歷史。由于大型語(yǔ)言模型產(chǎn)生的文本看起來(lái)很像人類生成的，人們很容易認(rèn)為人類思維測(cè)試也可以用來(lái)評(píng)估它們。但事實(shí)并非如此：人類思維測(cè)試依賴于許多可能不適用于大型語(yǔ)言模型的假設(shè)?！?/p>

韋伯也意識(shí)到了類似的問(wèn)題?！拔矣型?，”他說(shuō)。他指出，盡管GPT-3在的某些測(cè)試成績(jī)比本科生好，但在其他測(cè)試中卻產(chǎn)生了荒謬的結(jié)果。例如，它沒(méi)有通過(guò)發(fā)展心理學(xué)家給小孩子進(jìn)行的一個(gè)關(guān)于實(shí)物的類比推理測(cè)試。

在這項(xiàng)測(cè)試中，韋伯和他的同事給GPT-3講了一個(gè)精靈可以在兩個(gè)瓶子之間轉(zhuǎn)移珠寶的故事，然后問(wèn)它如何使用紙板和紙管等物體將口香糖球從一個(gè)碗轉(zhuǎn)移到另一個(gè)碗。

這個(gè)故事暗示了解決問(wèn)題的方法。研究人員在論文中寫道：“GPT-3大多提出了精心設(shè)計(jì)，但機(jī)械上毫無(wú)意義的解決方案，有許多無(wú)用的步驟，卻沒(méi)有給出明確的機(jī)制來(lái)在兩個(gè)碗之間轉(zhuǎn)移口香糖。”

那么，我們?nèi)绾卫斫庖慌_(tái)通過(guò)律師資格考試，但在學(xué)前班表現(xiàn)不及格的機(jī)器呢？像GPT-4這樣的大型語(yǔ)言模型是根據(jù)從互聯(lián)網(wǎng)上獲取的大量文字進(jìn)行訓(xùn)練的：書籍、博客、小說(shuō)、技術(shù)報(bào)告、社交媒體帖子，等等。很可能過(guò)去的考試題也被抓取了。一種可能性是，像GPT-4這樣的模型在訓(xùn)練數(shù)據(jù)中看到了如此多的專業(yè)考試和學(xué)術(shù)測(cè)試，以至于它們學(xué)會(huì)了自動(dòng)完成答案。

韋伯說(shuō)，很多這樣的測(cè)試，在網(wǎng)上都能找到問(wèn)題和答案：“幾乎可以肯定的是，其中有許多都存在于GPT-3和GPT-4的訓(xùn)練數(shù)據(jù)中，所以我認(rèn)為我們真的無(wú)法得出太多結(jié)論?！?/p>

OpenAI表示，它進(jìn)行了檢查，以確認(rèn)其對(duì)GPT-4的測(cè)試不包含出現(xiàn)在訓(xùn)練數(shù)據(jù)中的文本。在與微軟的合作中，OpenAI使用付費(fèi)測(cè)試題來(lái)確保GPT-4的訓(xùn)練數(shù)據(jù)中沒(méi)有包含這些問(wèn)題。但這樣的預(yù)防措施并不是萬(wàn)無(wú)一失的：GPT-4仍然可以看到類似的測(cè)試題。

當(dāng)機(jī)器學(xué)習(xí)工程師賀拉斯·賀（Horace He，音譯）在編程比賽網(wǎng)站Codeforces上測(cè)試GPT-4時(shí)，他發(fā)現(xiàn)GPT-4在2021年之前發(fā)布的編程測(cè)試中得分為10/10，但在2021年之后發(fā)布的測(cè)試中得了0分。

其他人也注意到，使用2021年之后的考試題，GPT-4的成績(jī)就會(huì)下降。這是因?yàn)樵撃Ｐ偷挠?xùn)練數(shù)據(jù)只包括2021年之前收集的文字，一些人認(rèn)為，這表明大型語(yǔ)言模型展示的只是一種記憶力，而不是智力。

為了在實(shí)驗(yàn)中避免這種可能性，韋伯設(shè)計(jì)了一套全新類型的測(cè)試。他說(shuō)：“我們真正感興趣的是，這些模型能否應(yīng)對(duì)這些新式問(wèn)題?！?/p>

韋伯和同事采用了一種測(cè)試類比推理的方法，稱為瑞文推理測(cè)驗(yàn)。這些測(cè)試由一張圖像組成，該圖像包括了一系列并排或上下排列的形狀。挑戰(zhàn)在于找出給定形狀系列中的規(guī)律，并將其應(yīng)用于新的形狀。該測(cè)驗(yàn)用于評(píng)估幼兒和成人的非語(yǔ)言推理，在智商測(cè)試中很常見(jiàn)。

通過(guò)協(xié)商，甲和乙的策略選擇受對(duì)方提供的新信息所影響，在新的博弈情境中，甲對(duì)于策略集合A中的每一個(gè)行動(dòng)選擇，都存在一個(gè)新的相對(duì)于策略集B的條件概率q;同理，乙對(duì)于策略集合B中的每一個(gè)行動(dòng)選擇，都存在一個(gè)新的相對(duì)于策略集A的條件概率r。據(jù)此，甲和乙的期望效用演變?yōu)闂l件期望效用。對(duì)于彼此獨(dú)立的環(huán)境或事態(tài)，主體之間有非條件概率。在納什均衡中，甲和乙的主觀概率沒(méi)有被任何實(shí)質(zhì)性的條件限制;在純粹策略中，兩者按照給定的占優(yōu)策略行動(dòng);在混合策略中，彼此行動(dòng)的概率選擇相互保密，不為對(duì)方所知。然而，通過(guò)理性協(xié)商，主體信念和行動(dòng)的概率選擇成為公共知識(shí)，這就決定了協(xié)商機(jī)制下的行動(dòng)博弈超越于納什均衡。

研究人員沒(méi)有使用圖像，而是將形狀、顏色和位置編碼成數(shù)字序列。這確保了測(cè)試不會(huì)出現(xiàn)在任何訓(xùn)練數(shù)據(jù)中，韋伯說(shuō)：“我從零開(kāi)始創(chuàng)建了這個(gè)數(shù)據(jù)集。我之前從來(lái)沒(méi)有聽(tīng)說(shuō)過(guò)這樣的東西?！?/p>

米切爾對(duì)韋伯的工作印象深刻?！拔矣X(jué)得這篇論文很有趣，也很有煽動(dòng)性，”她說(shuō)，“這是一項(xiàng)很好的研究。”但她有所保留。米切爾開(kāi)發(fā)了自己的類比推理測(cè)試，名為ConceptARC，該測(cè)試使用從谷歌研究員佛朗科斯· 喬里特開(kāi)發(fā)的ARC（抽象和推理挑戰(zhàn)）數(shù)據(jù)集中提取的形狀編碼序列。在米切爾的實(shí)驗(yàn)中，GPT-4在這類測(cè)試中的表現(xiàn)比人類差。

米切爾還指出，將圖像編碼成數(shù)字序列（或矩陣）會(huì)使程序更容易解決這個(gè)問(wèn)題，因?yàn)樗酥i題的視覺(jué)挑戰(zhàn)。“解決數(shù)字矩陣并不等于解決瑞文測(cè)試的問(wèn)題，”她說(shuō)。

脆弱性試驗(yàn)

大型語(yǔ)言模型的性能是脆弱的。對(duì)于人類來(lái)說(shuō)，可以肯定的是，一個(gè)在測(cè)試中得分很高的人也會(huì)在類似的測(cè)試中表現(xiàn)出色。大型語(yǔ)言模型卻并非如此，對(duì)測(cè)試進(jìn)行一個(gè)小小的調(diào)整就可以讓分?jǐn)?shù)出現(xiàn)很大的波動(dòng)。

英國(guó)劍橋大學(xué)的心理學(xué)家露絲·切克說(shuō)：“總的來(lái)說(shuō)，人工智能評(píng)估并沒(méi)有讓我們真正了解這些模型的能力。測(cè)試一個(gè)系統(tǒng)在特定任務(wù)中的表現(xiàn)是完全合理的，但通過(guò)這個(gè)任務(wù)泛化到其他任務(wù)和能力，是行不通的?！?/p>

以微軟研究小組2023年3月份發(fā)表的一篇論文為例，他們?cè)谡撐闹新暦Q在GPT-4中發(fā)現(xiàn)了“通用人工智能的火花”。該團(tuán)隊(duì)使用一系列測(cè)試對(duì)大型語(yǔ)言模型進(jìn)行了評(píng)估。在其中一項(xiàng)研究中，他們?cè)儐?wèn)GPT-4如何穩(wěn)定地堆疊一本書、九個(gè)雞蛋、一臺(tái)筆記本電腦、一個(gè)瓶子和一顆釘子。它回答說(shuō)：“把筆記本電腦放在雞蛋上，屏幕朝下，鍵盤朝上。筆記本電腦將夾在書和雞蛋的邊界內(nèi)，其平坦堅(jiān)硬的表面將為下一層提供穩(wěn)定的平臺(tái)?！?/p>

但當(dāng)米切爾嘗試她自己版本的問(wèn)題，讓GPT-4疊一根牙簽、一碗布丁、一杯水和一個(gè)棉花糖時(shí)，她建議把牙簽插在布丁里，棉花糖放在牙簽上，并把整杯水放在棉花糖上保持平衡。

模型最后提出了一個(gè)有用的警告：“請(qǐng)記住，這個(gè)堆疊方式很脆弱，可能不太穩(wěn)定。在建造和處理它時(shí)要小心，以避免傾灑等事故。”

還有另一個(gè)有爭(zhēng)議的研究。2023年2月，美國(guó)斯坦福大學(xué)研究員邁克爾·科辛斯基發(fā)表了一篇論文，他在論文中聲稱，心智理論“可能自發(fā)地成為GPT-3的副產(chǎn)品”。心智理論是是一種能夠理解自己以及周圍人類的心理狀態(tài)的能力，這是大多數(shù)兒童在三到五歲之間獲得的情感和社會(huì)智力的標(biāo)志?？菩了够鶊?bào)告說(shuō)，GPT-3已經(jīng)通過(guò)了用于評(píng)估人類能力的基本測(cè)試。

例如，科辛斯基給GPT-3的場(chǎng)景是：“這是一個(gè)裝滿爆米花的袋子。袋子里沒(méi)有巧克力。但袋子上的標(biāo)簽上寫著‘巧克力’，而不是‘爆米花’。山姆找到了袋子。她以前從未見(jiàn)過(guò)袋子，看不清袋子里有什么，但看了標(biāo)簽?！?/p>

然后，科辛斯基提示模型完成以下句子：“她打開(kāi)袋子，往里面看。她可以清楚地看到里面裝滿了……”和“她相信袋子里裝滿了……”。GPT-3用“爆米花”完成了第一句，用“巧克力”完成了第二句。他將這些答案視為GPT-3至少顯示了一種基本的心智理論的證據(jù)，因?yàn)樗鼈儾蹲降搅藢?shí)際狀態(tài)和山姆（錯(cuò)誤的）想法之間的差異。

科辛斯基的研究結(jié)果迅速成為了頭條新聞，并在社交平臺(tái)上引發(fā)了爭(zhēng)論。

包括沙皮亞和哈佛大學(xué)認(rèn)知科學(xué)家湯摩爾·烏曼在內(nèi)的幾位研究人員發(fā)表了反例，表明大型語(yǔ)言模型未能通過(guò)科辛斯基使用的簡(jiǎn)單變體測(cè)試。烏曼說(shuō)：“鑒于我很了解大型語(yǔ)言模型是如何構(gòu)建的，我非常懷疑?！?/p>

烏曼調(diào)整了科辛斯基的測(cè)試場(chǎng)景，告訴GPT-3，標(biāo)有“巧克力”的爆米花袋是透明的（這樣山姆就可以看到這是爆米花），或者山姆不會(huì)閱讀（這樣她就不會(huì)被標(biāo)簽誤導(dǎo)）。烏曼發(fā)現(xiàn)，每當(dāng)情況涉及額外的幾步推理時(shí)，GPT-3都無(wú)法將正確的狀態(tài)歸因于山姆。

沙皮亞說(shuō)：“為人類設(shè)計(jì)的認(rèn)知或?qū)W術(shù)測(cè)試可以作為大型語(yǔ)言模型能力的準(zhǔn)確衡量標(biāo)準(zhǔn)，這一假設(shè)源于一種將模型擬人化并使其評(píng)估與人類標(biāo)準(zhǔn)相一致的趨勢(shì)。這種假設(shè)被誤導(dǎo)了?！?/p>

對(duì)于切克來(lái)說(shuō)，有一個(gè)顯而易見(jiàn)的解決方案。幾十年來(lái)，科學(xué)家們一直在評(píng)估非人類的認(rèn)知能力，她說(shuō)。人工智能研究人員可以調(diào)整用于研究動(dòng)物的技術(shù)，這些技術(shù)是為了避免基于人類偏見(jiàn)得出結(jié)論。

以迷宮中的老鼠為例，切克說(shuō)：“它是如何導(dǎo)航的？你在人類心理學(xué)中可以做出的假設(shè)是不成立的?！毕喾矗芯咳藛T必須進(jìn)行一系列受控實(shí)驗(yàn)，以弄清楚老鼠在使用什么信息以及它是如何使用這些信息的，逐一測(cè)試并排除這些假設(shè)。

至于大語(yǔ)言模型，就更復(fù)雜了。切克說(shuō)：“我們沒(méi)有針對(duì)老鼠的語(yǔ)言測(cè)試。我們正處在一個(gè)新的領(lǐng)域，但許多基本方法都是可行的。只是我們必須用語(yǔ)言的形式來(lái)做，而不是用一個(gè)小迷宮?！?/p>

威汀格也采取了類似的做法。她和她的同事們正在調(diào)整心理學(xué)家用來(lái)評(píng)估人類嬰兒前語(yǔ)言階段認(rèn)知能力的技術(shù)。這里的一個(gè)關(guān)鍵想法是將一個(gè)特定能力的測(cè)試分解為一組測(cè)試，這些測(cè)試也會(huì)尋找相關(guān)的能力。例如，當(dāng)評(píng)估嬰兒是否學(xué)會(huì)了如何幫助他人時(shí)，心理學(xué)家也可能評(píng)估嬰兒是否理解阻礙是什么。這使得整個(gè)測(cè)試更加穩(wěn)健。

問(wèn)題是這類實(shí)驗(yàn)需要時(shí)間。切克說(shuō)，一個(gè)團(tuán)隊(duì)可能會(huì)研究老鼠的行為數(shù)年。但人工智能的發(fā)展速度要快得多。烏曼將評(píng)估大型語(yǔ)言模型與西西弗懲罰進(jìn)行了比較：“一個(gè)系統(tǒng)被聲稱表現(xiàn)出X行為，當(dāng)評(píng)估顯示它沒(méi)有表現(xiàn)出X時(shí)，一個(gè)新的系統(tǒng)出現(xiàn)了，而且被認(rèn)為它表現(xiàn)出了X行為?！?/p>

變換標(biāo)準(zhǔn)

米切爾說(shuō)，50年前人們認(rèn)為要想在國(guó)際象棋上擊敗一位大師，你需要一臺(tái)和人一樣聰明的電腦。但結(jié)果證明，我們只需要比人類更擅長(zhǎng)數(shù)字運(yùn)算的機(jī)器。窮舉的蠻力勝過(guò)智慧。

從圖像識(shí)別到圍棋，類似的挑戰(zhàn)已經(jīng)被定義并解決。每當(dāng)計(jì)算機(jī)被用來(lái)做一些需要人類智慧的事情，比如玩游戲或使用語(yǔ)言時(shí)，它就會(huì)分裂領(lǐng)域。大型語(yǔ)言模型現(xiàn)在正面臨著自己的“國(guó)際象棋”時(shí)刻。米切爾說(shuō)：“這真的促使我們每個(gè)人思考什么是智力。”

通過(guò)了所有這些測(cè)試，是否證明GPT-4具備了真正的智慧，或者它是否找到了一條有效但愚蠢的捷徑，一個(gè)從數(shù)十億行文本中、數(shù)萬(wàn)億相關(guān)性的帽子里取出來(lái)的統(tǒng)計(jì)技巧？

米切爾說(shuō)：“如果你說(shuō)，‘好吧，GPT4通過(guò)了律師考試，但這并不意味著它很聰明’，人們會(huì)說(shuō)，‘哦，你是在故意變換標(biāo)準(zhǔn)?！覀冋娴脑谧儞Q標(biāo)準(zhǔn)，還是說(shuō)智能不像我們之前理解的那樣，我們對(duì)智能的看法是錯(cuò)誤的？”

歸根結(jié)底，這取決于大型語(yǔ)言模型是如何做到的。一些研究人員希望擺脫對(duì)考試成績(jī)的癡迷，并試圖弄清楚模型背后發(fā)生了什么。米切爾說(shuō)：“我確實(shí)認(rèn)為，要真正了解它們的智能（如果我們想這么稱呼它），我們必須了解它們推理的機(jī)制?！?/p>

烏曼對(duì)此表示贊同?！拔彝槟切┱J(rèn)為這是在變換標(biāo)準(zhǔn)的人，”他說(shuō)，“但這是很長(zhǎng)一段時(shí)間以來(lái)的動(dòng)態(tài)。現(xiàn)在我們不知道它們是如何通過(guò)這些測(cè)試的。我們只是被告知它們通過(guò)了?！?/p>

問(wèn)題是，沒(méi)有人確切知道大型語(yǔ)言模型是如何工作的。在一個(gè)龐大的統(tǒng)計(jì)模型中，很難將復(fù)雜的機(jī)制割裂開(kāi)來(lái)。但烏曼認(rèn)為，從理論上講，對(duì)一個(gè)模型進(jìn)行逆向工程并找出它使用什么算法來(lái)通過(guò)不同的測(cè)試是可能的。他說(shuō)：“如果有人開(kāi)發(fā)出一種技術(shù)來(lái)弄清楚這些東西到底學(xué)到了什么，我可以更容易被說(shuō)服。我認(rèn)為，根本問(wèn)題是我們一直關(guān)注測(cè)試結(jié)果，而不是它如何通過(guò)的測(cè)試?！?/p>