非嵌入式與嵌入式智能體價(jià)值觀加載的對(duì)比研究

李 熙，龔 媛

(中南大學(xué)，湖南 長(zhǎng)沙 410083)

隨著深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)的迅速發(fā)展，人工智能對(duì)人類社會(huì)的影響日益加深。雖然超級(jí)智能體在短時(shí)間內(nèi)不會(huì)出現(xiàn)，但這并不意味著我們可以忽視它未來的發(fā)展及可能的影響。正如帕斯卡賭注的情形，我們需要對(duì)超級(jí)智能的存在及其可能的影響保持審慎的態(tài)度，提前為超級(jí)智能的到來做好準(zhǔn)備。那么，如何設(shè)計(jì)一個(gè)相對(duì)安全可靠的超級(jí)智能體，使其按照人類價(jià)值觀的要求來行動(dòng)，并且始終與人類利益保持一致，這將是超級(jí)智能發(fā)展面臨的一個(gè)巨大挑戰(zhàn)，應(yīng)對(duì)這一挑戰(zhàn)的重要方法就是對(duì)超級(jí)智能體進(jìn)行價(jià)值觀加載。

一、智能體價(jià)值觀加載研究現(xiàn)狀分析

在當(dāng)前的研究中，主要是以非嵌入式智能體為研究對(duì)象，隨著研究深入，非嵌入式智能體價(jià)值觀加載的局限性逐漸凸顯。從哲學(xué)的視角看，非嵌入式智能體與環(huán)境的關(guān)系符合二元論的設(shè)定。其中，哲學(xué)里的二元論以笛卡爾的身心二元論為代表。笛卡爾指出，身體和心靈是兩個(gè)獨(dú)立存在的實(shí)體，兩者性質(zhì)完全不同，各自獨(dú)立存在和發(fā)展，不能相互影響、決定。預(yù)設(shè)身心獨(dú)立、沒有任何交互作用是一種理想的簡(jiǎn)化，非嵌入式智能體與環(huán)境相互獨(dú)立的二元論關(guān)系恰恰也是一種類似的簡(jiǎn)化。

根據(jù)哲學(xué)中一元論與二元論的劃分，除了非嵌入式研究之外，嵌入式智能體價(jià)值觀加載也受到關(guān)注，非嵌入式和嵌入式智能體分別對(duì)應(yīng)著哲學(xué)中一元論和二元論的劃分。從智能體與環(huán)境的關(guān)系來分析，非嵌入式智能體是指智能體與環(huán)境相互獨(dú)立，智能體需要明確的輸入-輸出方式來與環(huán)境進(jìn)行交互，這對(duì)應(yīng)著哲學(xué)上身心相互獨(dú)立的二元論主張；嵌入式智能體是指智能體內(nèi)置于環(huán)境中，智能體完全是環(huán)境的一部分，除了通過明確的輸入-輸出與環(huán)境交互，智能體本身的內(nèi)存、源代碼甚至硬件都受環(huán)境的影響，雙方的交互比較復(fù)雜，這與哲學(xué)上一元論的觀點(diǎn)相契合。

當(dāng)前，智能體價(jià)值觀加載主要以二元論的非嵌入式為主要研究對(duì)象，具體可以從倫理和技術(shù)兩方面來看：

一是倫理方面。首先需要探討的問題是如何為智能體確定價(jià)值觀，在這一過程中將會(huì)面臨什么樣的困難以及有何具體的解決方式？保拉·博丁頓(Paula Boddington)指出，由于道德規(guī)范的不確定性，為非嵌入式智能體選擇明確的價(jià)值觀存在較大難度，難以獲得普遍認(rèn)可的人類共同價(jià)值觀，這可以通過將具體的價(jià)值觀簡(jiǎn)化為一些可以普遍適用的價(jià)值觀標(biāo)準(zhǔn)來解決這一問題。[1]肖(Nolan P. Shaw)等人認(rèn)為無法以一種純客觀的方式來衡量道德，從而無法以統(tǒng)一的方式對(duì)智能體進(jìn)行具體的價(jià)值觀加載。針對(duì)這些問題，可以轉(zhuǎn)向研究元道德品質(zhì)。[2]其次，既然很難直接地進(jìn)行價(jià)值觀加載，那么能否讓智能體通過其他方式間接地獲得價(jià)值觀？對(duì)此，蘇亞雷斯(Nate Soares)探討了非嵌入式智能體進(jìn)行價(jià)值觀學(xué)習(xí)的路徑，同時(shí)他也指出，除了通過學(xué)習(xí)間接加載價(jià)值觀之外，還可以嘗試探索世界來間接獲得價(jià)值觀。[3]另外，智能體價(jià)值觀加載后的監(jiān)督問題也受到學(xué)界的普遍關(guān)注。波斯特洛姆(Nick Bostrom)認(rèn)為，智能體經(jīng)常會(huì)追求工具性子目標(biāo)來協(xié)助完成系統(tǒng)的最終目標(biāo)，這些工具子目標(biāo)大多具有相似性，可以看作是智能體自動(dòng)演化出來的動(dòng)機(jī)，因此可以嘗試監(jiān)督智能體的這些工具子目標(biāo)。[4]

二是技術(shù)方面。盡管直接為智能體選擇價(jià)值觀是有難度的，但可以通過其他方式來改善。博戈西安(Kyle Bogosian)認(rèn)為，道德分歧問題是非嵌入式智能體價(jià)值觀加載的阻礙，但可以從間接的角度設(shè)計(jì)出一個(gè)具有不確定性的智能程序，從而適當(dāng)?shù)靥幚淼赖路制鐔栴}。[5]丹尼爾·杜威(Daniel Dewey)則指出，強(qiáng)化學(xué)習(xí)只適用于在具體環(huán)境中以最大化期望報(bào)酬為目標(biāo)的智能體，一旦這個(gè)目標(biāo)與人類所設(shè)定的目標(biāo)不一致時(shí)，智能體可能會(huì)違背人類設(shè)定的目標(biāo)要求；即使開始的目標(biāo)一致，也會(huì)面臨工具子目標(biāo)的問題，并且隨著機(jī)器智能的提升，在某些情況下，我們會(huì)發(fā)現(xiàn)某些目標(biāo)對(duì)其追求任何目標(biāo)都有益，因而會(huì)將這類工具性子目標(biāo)當(dāng)作重要目標(biāo)去追求，但這可能與人類設(shè)計(jì)者的初衷相違背。為了解決這個(gè)問題，丹尼爾·杜威提出了“價(jià)值強(qiáng)化學(xué)習(xí)”的方案，只要人類設(shè)計(jì)者可以為其提供足夠多的相關(guān)效用函數(shù)，這個(gè)價(jià)值強(qiáng)化學(xué)習(xí)者就可以在與環(huán)境的交互過程中，通過調(diào)整效用函數(shù)的權(quán)重，逼近人類預(yù)期的價(jià)值觀。[6]

另外，關(guān)于價(jià)值觀監(jiān)督問題，肖等人認(rèn)為，直接為智能體選擇并賦予明確的價(jià)值觀存在一定的難度和局限性，即使可以確定價(jià)值觀，在設(shè)計(jì)智能體進(jìn)行價(jià)值觀學(xué)習(xí)時(shí)也不能保證智能體出錯(cuò)的范圍被控制在極小的誤差范圍內(nèi)。因此，肖等人提出構(gòu)建一個(gè)動(dòng)態(tài)的多重智能體的反饋系統(tǒng)來盡可能保證智能體價(jià)值觀學(xué)習(xí)的可靠性。在這一過程中，不僅人類設(shè)計(jì)者可以從外部對(duì)非嵌入式智能體進(jìn)行檢查監(jiān)督，同時(shí)智能體系統(tǒng)可以在內(nèi)部進(jìn)行一致性檢查，對(duì)子系統(tǒng)進(jìn)行監(jiān)督和檢查，使得智能體可以以一種更為安全的方式運(yùn)行。

二、非嵌入式智能體的價(jià)值觀加載

當(dāng)前的研究主要集中在這幾個(gè)方面：如何為非嵌入式智能體選擇價(jià)值觀？如何使其準(zhǔn)確地學(xué)習(xí)人類價(jià)值觀？如何對(duì)其進(jìn)行檢查監(jiān)督？怎樣保證其安全性？接下來將從哲學(xué)的視角對(duì)非嵌入式智能體價(jià)值觀加載進(jìn)行探究。

(一)非嵌入式智能體價(jià)值觀加載的便利

非嵌入式智能體與實(shí)際環(huán)境之間是一種二元關(guān)系的設(shè)定，這類似于游戲玩家與超級(jí)瑪麗電子游戲之間的一種關(guān)系。玩家與超級(jí)瑪麗電子游戲是相互獨(dú)立存在的兩個(gè)實(shí)體，但是玩家可以在游戲體驗(yàn)中對(duì)超級(jí)瑪麗里的所有任務(wù)、情節(jié)和環(huán)境有所了解，玩家對(duì)游戲主角馬里奧擁有完全的控制權(quán)，并且可以通過不斷地游戲體驗(yàn)和通關(guān)升級(jí)來對(duì)這款游戲加深了解，同時(shí)也在玩游戲的過程中不斷積累經(jīng)驗(yàn)，從而找到快速通關(guān)的方法。我們嘗試總結(jié)非嵌入式智能體可能具有如下特征：

● 智能體通過定義清晰、明確的函數(shù)以輸入-輸出的方式與環(huán)境進(jìn)行交互。

● 智能體與環(huán)境相互獨(dú)立，并且能從一個(gè)全知的視角來整體把握環(huán)境。

● 智能體的設(shè)定就像固定不變且不可分割的原子，是不可還原的，也無法進(jìn)行自我剖析。

● 智能體關(guān)注的是如何更好地把控環(huán)境，如何讓環(huán)境變得有利于其目標(biāo)的實(shí)現(xiàn)。

非嵌入式智能體與環(huán)境的這種二元關(guān)系設(shè)定以及所具有的特征，使其在價(jià)值觀加載方面具有優(yōu)勢(shì)，也為人類研究這一問題提供了許多便利。

從非嵌入式智能體的定義和特征來看，第一，在具體考慮智能體價(jià)值觀加載時(shí)，主要是將環(huán)境、智能體作為兩個(gè)獨(dú)立的實(shí)體考慮，通過定義明確的效用函數(shù)來進(jìn)行價(jià)值觀加載。第二，由于對(duì)智能體交互環(huán)境而言具有一個(gè)全知的“上帝”視角，因此非嵌入式智能體對(duì)邏輯事實(shí)是確定無疑的，對(duì)經(jīng)驗(yàn)事實(shí)是不確定的，智能體可以通過數(shù)據(jù)搜集、經(jīng)驗(yàn)積累來解決這種不確定性。第三，智能體自身是不可還原的，它不會(huì)對(duì)自身本質(zhì)進(jìn)行思考探究，而是關(guān)注如何更好地利用環(huán)境，或者如何提升自己的策略，從而在與環(huán)境交互的過程中可以更好地實(shí)現(xiàn)系統(tǒng)設(shè)定的目標(biāo)，這就意味著在對(duì)智能體進(jìn)行價(jià)值觀加載時(shí)，人類設(shè)計(jì)者可以從智能體的動(dòng)機(jī)控制入手，思考如何通過對(duì)其進(jìn)行動(dòng)機(jī)控制來使智能體更好地符合人類要求來行動(dòng)。

從設(shè)計(jì)安全且值得人類信任的智能體過程來看，需要考慮各方面的問題，倫理和技術(shù)層面的問題都要兼顧。無論是非嵌入式還是嵌入式智能體，面臨的問題大致可歸納為三個(gè)方面：第一，人類該選擇什么樣的價(jià)值觀賦予智能體？第二，人類如何準(zhǔn)確地賦予這個(gè)價(jià)值觀？第三，人類在準(zhǔn)確地賦予其價(jià)值觀之后，如何進(jìn)行有效的檢查監(jiān)督，使得它可以在智能不斷提升的情況下依然按照人類賦予的價(jià)值觀行動(dòng)？

首先，第一個(gè)問題屬于倫理學(xué)研究的范疇，什么樣的價(jià)值觀是值得考慮和選擇的，這與智能體本身的類型并無太大關(guān)聯(lián)，無論是對(duì)非嵌入式還是對(duì)嵌入式智能體而言都是如此，兩者都不具備明顯的優(yōu)勢(shì)。其次，人類如何將確定的價(jià)值觀賦予非嵌入式智能體，可以分別從倫理和技術(shù)的視角來討論。一是從倫理層面考慮，可以用不同的倫理框架來進(jìn)行價(jià)值觀加載。當(dāng)前非嵌入式智能體價(jià)值觀加載的路徑主要有兩種：一種是自上而下的路徑，一種是自下而上的路徑，當(dāng)然也有學(xué)者探索這兩種路徑混合的加載路徑。自上而下的路徑是指人類設(shè)計(jì)者為智能體直接選擇某種明確的價(jià)值觀作為系統(tǒng)目標(biāo)，讓智能體識(shí)別和執(zhí)行。自下而上的路徑則是通過間接的方式讓智能體在環(huán)境中主動(dòng)地進(jìn)行價(jià)值觀學(xué)習(xí)，獲得相對(duì)正確的價(jià)值觀，從而做出相對(duì)安全的選擇。非嵌入式智能體由于自身特征使其在不同的加載路徑中存在不同的優(yōu)勢(shì)：在自上而下的加載路徑中，智能體對(duì)于環(huán)境的全知視角可以使其按照價(jià)值標(biāo)準(zhǔn)行動(dòng)，并且根據(jù)價(jià)值標(biāo)準(zhǔn)更好地把握環(huán)境變化，不斷地創(chuàng)造有利于實(shí)現(xiàn)系統(tǒng)目標(biāo)的條件。而在自下而上的加載路徑中，智能體對(duì)于環(huán)境的全知視角則有利于智能體依據(jù)環(huán)境的實(shí)際變化學(xué)習(xí)最為合適、符合人類主流標(biāo)準(zhǔn)的價(jià)值觀。二是從技術(shù)層面考慮，在自上而下的路徑中，將某種明確的價(jià)值觀標(biāo)準(zhǔn)通過定義效用函數(shù)編碼為機(jī)器語言，讓智能體對(duì)具體的價(jià)值觀進(jìn)行學(xué)習(xí)，隨著智能體智能的提升，可以根據(jù)智能體的表現(xiàn)情況對(duì)系統(tǒng)目標(biāo)不斷進(jìn)行修正。當(dāng)前，最為典型的是傳統(tǒng)的強(qiáng)化學(xué)習(xí)的框架。而在自下而上的路徑中，則是為智能體提供足夠多的數(shù)據(jù)集，讓智能體主動(dòng)在環(huán)境之中進(jìn)行價(jià)值觀學(xué)習(xí)，當(dāng)前典型的學(xué)習(xí)框架是逆合作強(qiáng)化學(xué)習(xí)。再次，在非嵌入式智能體監(jiān)督問題上，這也需要從倫理和技術(shù)兩個(gè)方面來考慮。倫理方面，由于智能體自身是不可還原的，它關(guān)注的是如何更好地實(shí)現(xiàn)系統(tǒng)目標(biāo)，這就意味著它的動(dòng)機(jī)都是以實(shí)現(xiàn)系統(tǒng)目標(biāo)為基礎(chǔ)，在對(duì)智能體進(jìn)行監(jiān)督時(shí)，可以從它的動(dòng)機(jī)控制入手，如果出現(xiàn)智能體的動(dòng)機(jī)與系統(tǒng)目標(biāo)不一致，或者相違背的情況，可以借助功利主義或義務(wù)論的原則對(duì)其進(jìn)行修正；技術(shù)方面，智能體與環(huán)境之間有明確的交互方式，在對(duì)智能體進(jìn)行系統(tǒng)目標(biāo)控制時(shí)，可以用明確的效用模型來進(jìn)行修正。

(二)非嵌入式價(jià)值觀加載的局限

盡管非嵌入式智能體的價(jià)值觀加載有諸多便利，但是這并不意味著它是實(shí)現(xiàn)通用“友好”人工智能的最好模型。從二元論的角度看，智能體與環(huán)境之間是兩個(gè)獨(dú)立的實(shí)體，這在一定程度上降低了研究的難度，忽略了實(shí)際上兩者可能會(huì)以更復(fù)雜的方式相互影響的問題，這是一種高度的理想化，使得智能體的精準(zhǔn)性、安全性都要存疑。下面從價(jià)值觀加載的具體內(nèi)容來分析非嵌入式智能體的局限性。

首先，價(jià)值觀選擇對(duì)兩種智能體的價(jià)值觀加載都存在影響。為非嵌入式和嵌入式智能體選擇價(jià)值觀都有兩種方式，一種是直接為智能體選擇確定的價(jià)值觀作為系統(tǒng)目標(biāo)，另一種是間接地讓智能體主動(dòng)學(xué)習(xí)正確的價(jià)值觀作為系統(tǒng)行動(dòng)的指導(dǎo)準(zhǔn)則。

直接的方式在倫理和技術(shù)兩個(gè)層面上都簡(jiǎn)化了智能體價(jià)值觀加載研究的難度，但是也面臨各種問題。一方面是由于道德規(guī)范的不確定，人類社會(huì)中每個(gè)個(gè)體都有不同的價(jià)值偏好，不同社會(huì)文化背景的共同體所認(rèn)同的價(jià)值理念之間也存在差異。由于地域、文化、宗教、法律等多種因素的影響，到目前為止，在人類社會(huì)中并沒有一種價(jià)值觀是可以被所有人認(rèn)同、推崇的。因此，無論是為非嵌入式還是嵌入式選擇一個(gè)符合所有人類價(jià)值標(biāo)準(zhǔn)的價(jià)值觀難度極大。另一方面是具體的價(jià)值觀目標(biāo)無法適用于所有可能的環(huán)境，使智能體可以始終采取正確的行為。

既然具體、直接的價(jià)值觀選擇是有難度的，那么不妨嘗試轉(zhuǎn)向間接的倫理框架。雖然不用面對(duì)直接選擇價(jià)值觀的難題，間接的方式也存在局限。當(dāng)前在智能體價(jià)值觀選擇上主要有美德倫理學(xué)、義務(wù)論和后果論三種不同的倫理框架。但是，不同的倫理框架具有不同的價(jià)值取向和價(jià)值標(biāo)準(zhǔn)，遵循不同價(jià)值觀標(biāo)準(zhǔn)的智能體在實(shí)際環(huán)境中的行動(dòng)會(huì)有區(qū)別，這就導(dǎo)致人類主體在評(píng)價(jià)智能體行為正確與否的問題上存在差異，無法獲得一個(gè)統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn)。同時(shí)，智能體在具體執(zhí)行系統(tǒng)任務(wù)時(shí)判斷是非對(duì)錯(cuò)的標(biāo)準(zhǔn)也有差異，導(dǎo)致最后會(huì)帶來不同的結(jié)果和影響。

其次，如果確定了一種價(jià)值觀，該如何將這種價(jià)值觀準(zhǔn)確地賦予智能體？從倫理方面來看，自上而下和自下而上的價(jià)值觀加載路徑有不同的倫理框架。自上而下的路徑有兩個(gè)版本，一種是基于義務(wù)論的，另一種是基于后果主義的。先看基于義務(wù)論的版本，比如阿西莫夫的“機(jī)器人三大定律”就是通過倫理規(guī)則進(jìn)行約束的，但這存在嚴(yán)重的困難：一方面是如何確定智能體被哪種規(guī)則所約束，依據(jù)的標(biāo)準(zhǔn)是什么；另一方面是即使可以為其確定某些約束規(guī)則，但這些規(guī)則是否是完備的？是否適用于所有可能的環(huán)境？基于后果主義的版本也面臨類似困境，如設(shè)定人工智能體實(shí)現(xiàn)功利主義的目標(biāo)，即最大多數(shù)人的最大幸福。這個(gè)目標(biāo)看似簡(jiǎn)單，但是要用計(jì)算機(jī)代碼來實(shí)現(xiàn)這一目標(biāo)就需要首先精確定義“最大多數(shù)人的最大幸?！薄Ｒ鉀Q這一問題，就必須先解決哲學(xué)中關(guān)于“人”的定義、“幸?！钡亩x和量化問題，先用自然語言將其描述清楚，然后再以準(zhǔn)確的方式翻譯成編程語言。但對(duì)于這些問題，目前哲學(xué)上的定義都還不夠清楚。

自上而下的路徑一般與義務(wù)論、后果論相關(guān)，而自下而上的價(jià)值觀加載路徑則一般基于美德倫理學(xué)，即在任何的情況下做的正確事情就是一個(gè)擁有絕對(duì)道德的人會(huì)做的事情。這里需要把機(jī)器當(dāng)作行為主體，把人類整體當(dāng)作擁有“絕對(duì)道德的人”。因此，通過自下而上的價(jià)值觀加載方式讓智能體主動(dòng)地進(jìn)行價(jià)值觀學(xué)習(xí)，在不同的情況下可以始終選擇相對(duì)正確的行為，同時(shí)也符合人類的利益要求。在這個(gè)過程中，不僅它的行為具有正當(dāng)性，而且最終目標(biāo)也是與人類利益要求相一致的。但從實(shí)際角度來說，人類并不能完全推測(cè)出未來超級(jí)智能體所有的具體行為，只是通過讓智能體去進(jìn)行價(jià)值觀學(xué)習(xí)以期望它可以做出正確的行為。所以，不能在理論上保證智能體所做出的行為不會(huì)與人類初衷相違背。

從技術(shù)角度考慮，自上而下和自下而上的價(jià)值觀加載也都存在嚴(yán)重的問題。自上而下路徑所面臨的核心問題是如何準(zhǔn)確地將具體的價(jià)值觀和規(guī)則編碼為智能體可以理解的機(jī)器語言。而當(dāng)前有些倫理問題人類也無法得到統(tǒng)一的意見，又如何將這種價(jià)值觀準(zhǔn)確地用機(jī)器語言描述出來？在自上而下的路徑中，從所羅門諾夫(Solomonoff)提出的通用歸納模型到馬庫斯·胡特(Marcus Hutter)的通用強(qiáng)化學(xué)習(xí)框架AIXI，從只做預(yù)測(cè)完全無交互到能跟環(huán)境進(jìn)行交互，智能體的二元框架雖然在不斷改進(jìn)，但仍然存在局限性。所羅門諾夫的歸納推理理論雖然可以使智能體基于觀察進(jìn)行預(yù)測(cè)，但是這種理論卻沒有意識(shí)到智能體作為學(xué)習(xí)環(huán)境的一部分內(nèi)置其中時(shí)可能面臨的問題。而胡特的AIXI框架是當(dāng)前解釋非嵌入式智能體工作原理的理想性理論模型。在這一模型中，智能體通過最大化效用函數(shù)與環(huán)境進(jìn)行交互。這一框架可以應(yīng)用于各種不確定環(huán)境，它包含所有可計(jì)算環(huán)境的概率分布，通過計(jì)算最高期望回報(bào)而行動(dòng)，在交互過程中不斷逼近真實(shí)的環(huán)境。但是AIXI仍然是一個(gè)二元論的框架，而且，在AIXI的框架中所包含的環(huán)境都是可計(jì)算的，但是智能體AIXI本身是不可計(jì)算的，所以AIXI無法進(jìn)行自我指涉式的推理，它沒有考慮到自身作為內(nèi)置于環(huán)境的一部分時(shí)可能會(huì)面臨的問題。因此，無論是哪一種模型，都是基于二元論的假設(shè)，將智能體與環(huán)境看作獨(dú)立的兩個(gè)實(shí)體進(jìn)行交互，都忽略了智能體作為環(huán)境的一部分，在與環(huán)境進(jìn)行交互時(shí)可能產(chǎn)生的影響這一重要內(nèi)容。

而對(duì)于自下而上的路徑，一般來說，智能體需要通過價(jià)值強(qiáng)化學(xué)習(xí)或逆強(qiáng)化學(xué)習(xí)來進(jìn)行價(jià)值觀學(xué)習(xí)，這其實(shí)是一種循環(huán)學(xué)習(xí)模式，通過定義明確的效用函數(shù)與環(huán)境進(jìn)行輸入-輸出的交互。智能體在以往執(zhí)行的行動(dòng)上不斷優(yōu)化，盡管智能體可能通過經(jīng)驗(yàn)學(xué)習(xí)不斷逼近人類價(jià)值觀，但這種習(xí)得的人類價(jià)值觀也可能會(huì)發(fā)生偏離，因?yàn)檠h(huán)學(xué)習(xí)過程中的誤差是難以精準(zhǔn)把控和完全避免的。另外，類似的學(xué)習(xí)方式需要將所有可能的效用函數(shù)以及可計(jì)算的環(huán)境都包含在內(nèi)，所以很難在實(shí)際中得到應(yīng)用。

再次，非嵌入式智能體的監(jiān)督問題在考慮價(jià)值觀加載路徑時(shí)就已經(jīng)涵蓋其中。對(duì)智能體進(jìn)行動(dòng)機(jī)控制在一定程度上有利于對(duì)其進(jìn)行檢查和監(jiān)督，但這種監(jiān)督控制也存在很多障礙。

根據(jù)目標(biāo)正交論題，智能體的手段策略可以與任意目標(biāo)匹配，不同階段的智能體也可以與任意目標(biāo)匹配。這意味著我們即使知道智能體的目標(biāo)函數(shù)，也并不能知道它在優(yōu)化函數(shù)方面有多好，或者即使知道智能體具有強(qiáng)大的優(yōu)化性能，也不知道它具體是在優(yōu)化什么。因此我們對(duì)智能體的動(dòng)機(jī)理解和把握就會(huì)存在困難，也就無法對(duì)其行為進(jìn)行有效監(jiān)督。

雖然不同的智能體設(shè)定的系統(tǒng)目標(biāo)各不相同，但是智能體需要通過完成一系列子目標(biāo)來最終實(shí)現(xiàn)系統(tǒng)目標(biāo)。如果某些子目標(biāo)的實(shí)現(xiàn)有利于實(shí)現(xiàn)最終目標(biāo)，這些子目標(biāo)就會(huì)成為不同情境下智能體都會(huì)去追求的目標(biāo)。顯然，這些子目標(biāo)并不一定是符合人類利益要求的，甚至可能會(huì)產(chǎn)生有害影響。當(dāng)智能體的智能水平達(dá)到一定程度，在執(zhí)行與人類要求一致的子目標(biāo)時(shí)可能會(huì)掩飾其真實(shí)目的，做出一些迷惑行為來獲取人類信任，同時(shí)又在“暗中”執(zhí)行它的真實(shí)動(dòng)機(jī)，如何辨別、監(jiān)督智能體的真實(shí)動(dòng)機(jī)對(duì)于監(jiān)督者而言具有難度。

三、嵌入式智能體價(jià)值觀加載

通過前面的分析可以看出，非嵌入式智能體價(jià)值觀加載有很多理想化的便利之處，也正因?yàn)槠淅硐牖艿皆S多局限。二元設(shè)定過于簡(jiǎn)單，忽視了智能體與環(huán)境之間可能產(chǎn)生的其他問題，所以有必要轉(zhuǎn)向一元論視角，考慮嵌入式智能體的價(jià)值觀加載。相較于非嵌入式，嵌入式智能體價(jià)值觀加載一定程度上能克服某些非嵌入式智能體的缺陷，但同時(shí)進(jìn)行價(jià)值觀加載的難度也會(huì)大得多。

(一)嵌入式智能體價(jià)值觀加載的必要性

同樣拿超級(jí)瑪麗電子游戲與一元論的設(shè)定作一個(gè)類比，就類似于超級(jí)瑪麗的游戲主角馬里奧與游戲環(huán)境設(shè)定之間的關(guān)系。馬里奧作為超級(jí)瑪麗游戲里的主角，是超級(jí)瑪麗這款游戲中的一部分，可以在游戲情節(jié)里執(zhí)行各種任務(wù)、通關(guān)升級(jí)，但無法對(duì)整個(gè)游戲的內(nèi)容進(jìn)行全面的把握，它必須通過自己的探索才能掌握更多的局部信息。通過這種關(guān)系類比，我們可以看出，嵌入式智能體可能具有的一些特征：

● 智能體與環(huán)境是一體的，是環(huán)境的一部分。智能體在探索環(huán)境的同時(shí)，環(huán)境也在影響智能體。

● 智能體內(nèi)置于環(huán)境中，對(duì)環(huán)境信息是不確定的，因而智能體不具備關(guān)于環(huán)境的全知視角，無法獲得關(guān)于環(huán)境的準(zhǔn)確模型。

● 智能體是由構(gòu)成環(huán)境的相同物質(zhì)材料組成，不是單一的實(shí)體，因此可能需要具有自我推理、自我改進(jìn)的能力。

● 智能體除了關(guān)于外部環(huán)境的不確定性，還具有對(duì)自身內(nèi)部的不確定性。

這種一元論的關(guān)系設(shè)定及其特征，使得嵌入式智能體在價(jià)值觀加載的研究中存在一定優(yōu)勢(shì)。

從嵌入式智能體的定義和特征來看：第一，對(duì)比非嵌入式智能體與環(huán)境的二元論關(guān)系的設(shè)定，嵌入式智能體這種一元論的設(shè)定更加貼近現(xiàn)實(shí)場(chǎng)景，不僅將智能體和環(huán)境作為兩個(gè)單獨(dú)因素考慮，也顧及了智能體內(nèi)置于環(huán)境中可能會(huì)面臨的問題。第二，智能體需要具有自我指涉、自我推理甚至自我提升的能力，相較于非嵌入式智能體，在關(guān)注環(huán)境的發(fā)展變化之外，還需要關(guān)注如何讓自身的發(fā)展更好地實(shí)現(xiàn)系統(tǒng)目標(biāo)。這就意味著除了人類對(duì)智能體系統(tǒng)的修正和完善之外，它自身也需要進(jìn)行自我完善發(fā)展。其中，主要的提升方式可能有兩種：一種是在已有的智能系統(tǒng)基礎(chǔ)之上進(jìn)行完善增強(qiáng)，以便更好地實(shí)現(xiàn)系統(tǒng)目標(biāo)；另一種是創(chuàng)建和發(fā)展一個(gè)可以實(shí)現(xiàn)智能系統(tǒng)既定目標(biāo)的繼任智能體后代，從而有利于智能體隨著環(huán)境的變化能做出更多的探索。

“創(chuàng)建繼任者”對(duì)于非嵌入式與嵌入式智能體來說，有本質(zhì)的區(qū)別。對(duì)嵌入式智能體而言，“創(chuàng)建繼任者”是為了提高完成系統(tǒng)目標(biāo)的可能性，同時(shí)也是出于智能體自我能力發(fā)展的需要。但未來的自我也只是作為一個(gè)新的嵌入式智能體內(nèi)置于環(huán)境之中，同樣具有嵌入式智能體的特征、面臨價(jià)值觀加載的一系列問題，因此可以沿襲對(duì)初始智能體的研究，對(duì)繼任者進(jìn)行相似的價(jià)值觀加載研究；至于非嵌入式智能體，“創(chuàng)建繼任者”只是出于工具性子目標(biāo)的需要，為了更好地完成系統(tǒng)目標(biāo)。在考慮初始智能體價(jià)值觀加載困難的基礎(chǔ)之上，還會(huì)出現(xiàn)新的問題，即如何將人類為初始智能體賦予的價(jià)值觀在智能體二次賦予繼任者時(shí)，保證這種價(jià)值觀與人類價(jià)值觀的一致性，以及對(duì)繼任者二次監(jiān)督方面的問題。

從具體設(shè)計(jì)安全可靠的智能體的過程來看，嵌入式智能體有如下優(yōu)勢(shì)：

第一，關(guān)于價(jià)值觀加載問題。從倫理角度來說，嵌入式也是基于不同的倫理框架使智能體進(jìn)行價(jià)值觀加載或?qū)W習(xí)，同樣也有兩種價(jià)值觀加載路徑。一是在自上而下的路徑中，由于嵌入式智能體具有自我推理、提升的能力，相較于非嵌入式智能體，它在進(jìn)行價(jià)值觀學(xué)習(xí)時(shí)，隨著環(huán)境變化，推理方式會(huì)發(fā)生改變，并且可以更新模型框架。因此，它的學(xué)習(xí)方式更加靈活，可以在學(xué)習(xí)過程中不斷地對(duì)不確定的環(huán)境進(jìn)行探索。二是在自下而上的路徑中，嵌入式智能體則是通過人類提供的大量數(shù)據(jù)集進(jìn)行價(jià)值觀學(xué)習(xí)，但是可以根據(jù)環(huán)境的不斷變化去探索相對(duì)更加準(zhǔn)確的價(jià)值觀，同時(shí)人類可以通過調(diào)控環(huán)境來調(diào)控智能體，使得智能體能在不同的環(huán)境中做出相對(duì)正確的選擇。兩種智能體基于各自的特征，在相同的加載路徑中二者存在的優(yōu)勢(shì)有所不同。非嵌入式智能體存在的優(yōu)勢(shì)，是從對(duì)環(huán)境的整體把握出發(fā)的，以一種全知視角對(duì)實(shí)際環(huán)境進(jìn)行把握，以便可以獲得更為合適的價(jià)值觀。而嵌入式智能體的優(yōu)勢(shì)則在于具有自我指涉和推理的能力，可以在學(xué)習(xí)價(jià)值觀的過程對(duì)環(huán)境進(jìn)行探索，根據(jù)實(shí)際環(huán)境的要求獲得相對(duì)正確的價(jià)值觀。即使是在相同的加載路徑中，嵌入式智能體能夠更加靈活地進(jìn)行價(jià)值觀學(xué)習(xí)，所獲得的價(jià)值觀也更能夠適用于實(shí)際情況變化。但是，從技術(shù)角度來看，當(dāng)前關(guān)于嵌入式智能體價(jià)值觀學(xué)習(xí)的一元論學(xué)習(xí)框架還未提出，仍屬于待探索的領(lǐng)域。

第二，關(guān)于如何對(duì)嵌入式智能體進(jìn)行監(jiān)督。大致可以分為兩種主要的方案，一種方案是人類對(duì)智能體的外部監(jiān)督，根據(jù)其表現(xiàn)對(duì)智能體及時(shí)進(jìn)行修正；另一種方案是智能體進(jìn)行內(nèi)部一致性檢查，通過完善自身、提升自己的智能發(fā)展為更強(qiáng)大的智能體或者是創(chuàng)建、發(fā)展一個(gè)可以實(shí)現(xiàn)系統(tǒng)既定目標(biāo)的繼任智能體后代。因此其安全性可以通過外部、內(nèi)部監(jiān)督兩個(gè)方面來進(jìn)行雙重保障。第一種監(jiān)督方式是兩種智能體都可以獲得的，由人類主體作為監(jiān)督者進(jìn)行監(jiān)督，從而保證一定的安全性。就外部監(jiān)督而言，人類對(duì)非嵌入式智能體的動(dòng)機(jī)更容易把握。第二種方式則是嵌入式智能體獨(dú)有的優(yōu)勢(shì)，在接受外部監(jiān)督的同時(shí)還可以通過系統(tǒng)內(nèi)部一致性檢查，獲得有效地監(jiān)督補(bǔ)充。

(二)嵌入式智能體價(jià)值觀加載的難點(diǎn)

從嵌入式智能體的定義和特征來看，一方面是智能體作為環(huán)境的子部分，無法對(duì)環(huán)境進(jìn)行整體地把握。不同于非嵌入式，嵌入式智能體需要在不斷變化的實(shí)際環(huán)境中與環(huán)境進(jìn)行交互，面臨的問題更為復(fù)雜多樣。另一方面是嵌入式智能體自我推理、完善的能力，讓嵌入式智能體進(jìn)行人類價(jià)值觀加載或?qū)W習(xí)時(shí)，需要在不確定的環(huán)境里不斷地更新推理方式，而當(dāng)前非嵌入式智能體的二元論框架和模型并不適用這種自我指涉的復(fù)雜情形，因此需要改進(jìn)原有的，或者提出新的、有效的智能模型。除此之外，相較非嵌入式智能體的價(jià)值觀加載，嵌入式智能體的價(jià)值觀加載還面臨子系統(tǒng)一致性問題，即嵌入式智能體的繼任子系統(tǒng)的目標(biāo)如何與智能體自身的目標(biāo)保持一致。

從設(shè)計(jì)安全可靠的智能體的具體過程來看，主要有幾種情形：

第一，關(guān)于價(jià)值觀選擇問題。對(duì)于非嵌入式和嵌入式智能體來說，首先確定哪種價(jià)值觀作為系統(tǒng)目標(biāo)是困難的。退一步假設(shè)，即使可以確定某種倫理框架作為系統(tǒng)行動(dòng)的指導(dǎo)準(zhǔn)則，這一框架能否對(duì)智能體的行動(dòng)產(chǎn)生約束，能否適用于所有可能情況及潛在的新情況都是不確定的。當(dāng)前針對(duì)這一問題，嘗試的解決方案是將某一確定的價(jià)值觀簡(jiǎn)化為普遍適用的價(jià)值觀標(biāo)準(zhǔn)，如穩(wěn)健性、普遍性、簡(jiǎn)單性和一致性，使得智能體在這些價(jià)值觀標(biāo)準(zhǔn)的指導(dǎo)下針對(duì)不斷出現(xiàn)的新情況作出恰當(dāng)?shù)男袨?。但是，這種簡(jiǎn)單的價(jià)值觀標(biāo)準(zhǔn)該如何定義？?jī)H僅根據(jù)這些簡(jiǎn)單的價(jià)值觀標(biāo)準(zhǔn)要求，又如何讓智能體真正地理解現(xiàn)實(shí)世界中人類的價(jià)值目標(biāo)？除此之外，嵌入式智能體還面臨其他問題，即由于智能體內(nèi)置于環(huán)境中，會(huì)以更復(fù)雜的方式與環(huán)境進(jìn)行交互，相比人類直接賦予其價(jià)值觀的預(yù)設(shè)感知，實(shí)際智能體對(duì)環(huán)境的具體感知要更為復(fù)雜、真實(shí)，導(dǎo)致智能體在實(shí)際該如何選擇、遵照人類的價(jià)值觀行動(dòng)時(shí)會(huì)面臨更大的困難。

第二，從倫理和技術(shù)兩個(gè)方面討論怎樣將價(jià)值觀準(zhǔn)確地賦予嵌入式智能體。從倫理角度看，一方面是嵌入式需要面對(duì)非嵌入式智能體價(jià)值觀加載路徑中存在的相似問題，基于不同的倫理框架進(jìn)行價(jià)值觀學(xué)習(xí)，無論是從哪種路徑進(jìn)行價(jià)值觀加載，都會(huì)存在不同的價(jià)值評(píng)判標(biāo)準(zhǔn)和價(jià)值取向，對(duì)人類主體和智能體來說都將會(huì)是一個(gè)棘手的問題；另一方面是嵌入式智能體特有的問題，即如何將確定的價(jià)值觀準(zhǔn)確地翻譯為編程語言，使嵌入式智能體正確理解并執(zhí)行命令的同時(shí)，保證其在進(jìn)行自我完善、發(fā)展之后，仍然可以繼續(xù)認(rèn)同人類為其選擇的價(jià)值觀并據(jù)此行動(dòng)，在嵌入式智能體創(chuàng)建和發(fā)展一個(gè)可以實(shí)現(xiàn)系統(tǒng)既定目標(biāo)的繼任子系統(tǒng)時(shí)，如何能夠使其后代作為一個(gè)新的嵌入式智能體學(xué)習(xí)、認(rèn)同人類價(jià)值觀，又或者嵌入式智能體是否會(huì)發(fā)展出合適的價(jià)值觀，而當(dāng)這種價(jià)值觀與人類當(dāng)初為其設(shè)定的價(jià)值目標(biāo)相違背時(shí)，又該怎樣去選擇正確的行為。從技術(shù)角度來看，兩種不同的價(jià)值觀加載路徑考慮的核心問題是，當(dāng)嵌入式智能體作為環(huán)境的一部分存在時(shí)，如何設(shè)計(jì)安全且可以信賴的嵌入式智能體。目前，二元論學(xué)習(xí)框架在非嵌入式智能體價(jià)值觀加載的應(yīng)用中尚且存在無法解決的問題和缺陷，更是無法應(yīng)用于嵌入式智能體價(jià)值觀加載。而關(guān)于嵌入式智能體價(jià)值觀加載或?qū)W習(xí)的明確框架還未提出，即使可以提出一個(gè)完全的嵌入式智能體的基礎(chǔ)理論框架，在這一框架下給定智能體訓(xùn)練數(shù)據(jù)集，讓其學(xué)習(xí)人類的價(jià)值觀，也會(huì)存在問題，例如，該如何從感知數(shù)據(jù)中構(gòu)建多層次的世界模型使得嵌入式智能體能充分學(xué)習(xí)復(fù)雜的價(jià)值觀，同時(shí)還可以讓它可以有效地識(shí)別訓(xùn)練數(shù)據(jù)中所忽略的內(nèi)容？

第三，關(guān)于監(jiān)督問題。雖然與非嵌入式智能體存在相類似問題，但是兩者之間存在的問題仍有所差別。一是動(dòng)機(jī)的復(fù)雜程度。非嵌入式智能體的目的在于如何完成人類主體為其設(shè)定的系統(tǒng)目標(biāo)，所有的行動(dòng)都只是為了更好地完成系統(tǒng)目標(biāo)，這樣的緣由使得非嵌入式智能體內(nèi)部的透明度相對(duì)較高，相對(duì)而言動(dòng)機(jī)更容易把握；而嵌入式智能體在完成系統(tǒng)目標(biāo)的同時(shí)，還具有自我推理和改善的需求，因此系統(tǒng)內(nèi)部的透明度不斷降低，動(dòng)機(jī)更加難以把握。二是檢查和監(jiān)督的方式。非嵌入式智能體的監(jiān)督主要依賴于人類對(duì)其進(jìn)行的外部監(jiān)督，智能體進(jìn)行價(jià)值觀學(xué)時(shí)，對(duì)人類主體來說就是一個(gè)“黑箱”，人類主體對(duì)其進(jìn)行的檢查和監(jiān)督通過外部?jī)?yōu)化進(jìn)行，因此這種外部監(jiān)督控制就比內(nèi)部動(dòng)機(jī)控制更不準(zhǔn)確；而對(duì)嵌入式智能體的監(jiān)督在遇到外部監(jiān)督不準(zhǔn)確的情況，可以通過內(nèi)部一致性檢查來加以補(bǔ)充，但是內(nèi)部一致性檢查也存在問題需要解決。

除此之外，嵌入式智能體還有以下幾個(gè)問題：

一是反事實(shí)推理的困難。因?yàn)榍度胧街悄荏w是由與環(huán)境相同的非智能的部分組成，所以，它為了進(jìn)行自我增強(qiáng)或構(gòu)建繼任者，必須對(duì)這些部分的可能的和不可能的配置方式進(jìn)行推理，這在一定程度上就會(huì)遇到反事實(shí)推理的困難。嵌入式智能體在考慮如何完成人類設(shè)定的系統(tǒng)目標(biāo)時(shí)，需要理解這個(gè)目標(biāo)是要做什么，才能去具體執(zhí)行。因此在理解目標(biāo)時(shí)必須以某種方式把任務(wù)分解成沒有思維活動(dòng)的子任務(wù)進(jìn)行理解，而考慮什么樣的改變能完成這些子任務(wù)時(shí)又會(huì)面臨與環(huán)境的反事實(shí)交互。

二是目標(biāo)交叉問題。為了更好地完成系統(tǒng)目標(biāo)，嵌入式智能體會(huì)將系統(tǒng)目標(biāo)分解成一系列子目標(biāo)，由不同的子系統(tǒng)來完成各自的任務(wù)，但是，這必然會(huì)導(dǎo)致子目標(biāo)交叉的問題。如果在一開始就忽略這個(gè)問題，不刻意地建立子系統(tǒng)之間的關(guān)聯(lián)，這個(gè)問題會(huì)更加難以解決。因此在智能體具體運(yùn)行過程中需要避免啟動(dòng)具有不同功能的子系統(tǒng)，從而獲得一定程度的系統(tǒng)穩(wěn)定性。但不同的子目標(biāo)都有其存在的意義，限制不同功能子系統(tǒng)的啟動(dòng)，會(huì)導(dǎo)致智能體的能力有所限制。而系統(tǒng)穩(wěn)定性也體現(xiàn)在多個(gè)方面，亦即系統(tǒng)擴(kuò)展的穩(wěn)定性、系統(tǒng)縮小的穩(wěn)定性、相對(duì)規(guī)模的穩(wěn)定性，實(shí)現(xiàn)這些不同程度的穩(wěn)定需要考慮的具體問題又有不同。

三是目標(biāo)一致性問題。嵌入式智能體為了更好地實(shí)現(xiàn)整體目標(biāo)會(huì)將目標(biāo)進(jìn)行分解，然后創(chuàng)建不同的繼任者來解決。但對(duì)于不同的子系統(tǒng)來說把握整體系統(tǒng)目標(biāo)是很難的。同時(shí)不同的子系統(tǒng)會(huì)試圖最大化各種不同的效用函數(shù)來努力完成子目標(biāo)，如果無法對(duì)嵌入式智能體的真正動(dòng)機(jī)進(jìn)行把握，又無法對(duì)其子系統(tǒng)的行動(dòng)進(jìn)行追蹤，那么把握整體目標(biāo)的安全就更具難度。除此之外，還需要考慮如何保證整體的系統(tǒng)目標(biāo)始終作為子系統(tǒng)的終極目標(biāo)，如何在宏觀的整體目標(biāo)指導(dǎo)下實(shí)現(xiàn)各個(gè)子目標(biāo)。

四、結(jié)語

如何設(shè)計(jì)一個(gè)安全并且值得人類高度信任的超級(jí)智能體，使其能夠始終符合人類利益要求行動(dòng)，對(duì)人類社會(huì)帶來好的影響，而不是使超級(jí)智能的發(fā)展超出安全控制范圍，使人類遭受生存性災(zāi)難，這就是本文研究的出發(fā)點(diǎn)。

從哲學(xué)設(shè)定來看，非嵌入式智能體與環(huán)境處于二元論的關(guān)系中，這是把非嵌入式智能體與環(huán)境看作兩個(gè)完全獨(dú)立的實(shí)體，對(duì)實(shí)際的研究進(jìn)行了較大程度的簡(jiǎn)化。嵌入式智能體與環(huán)境則處于一元論的關(guān)系中，這是把嵌入式智能體看作環(huán)境的子部分，二者之間的相互影響不能被忽視。雖然后者的研究?jī)?nèi)容更為復(fù)雜，但可以為實(shí)際研究、運(yùn)用提供更為合理的參考。

而在具體的價(jià)值觀加載問題上，關(guān)于價(jià)值觀選擇問題，是人類需要在倫理范疇內(nèi)解決的問題，也是人類進(jìn)行智能體價(jià)值觀加載面臨的首要問題，因此價(jià)值觀選擇會(huì)影響到兩種智能體具體的價(jià)值觀加載；關(guān)于其他兩個(gè)價(jià)值觀加載方面的問題，兩種智能體存在各自的優(yōu)勢(shì)，非嵌入式智能體存在的優(yōu)勢(shì)是基于二元論框架假設(shè)而獲得的，相比嵌入式來說，這些優(yōu)勢(shì)在理論研究中可以帶來更大的便利性，而在實(shí)際的應(yīng)用中，基于一元論假設(shè)的嵌入式所具備的優(yōu)勢(shì)更為有利。此外，兩種智能體都存在亟需解決的問題。這些問題有的是各自需要面對(duì)的，有些是兩者都需要考慮的，但即使是兩者都需要解決的問題也有所差異，不能概而論之。

當(dāng)前關(guān)于智能體價(jià)值觀加載所進(jìn)行的研究?jī)?nèi)容還只是冰山一角，對(duì)這些問題我們也尚未獲得詳盡且有效的解決策略。此外，可以考慮的其他研究方向和具體問題也是多樣化的，雖然在短時(shí)間內(nèi)無法得到突破，我們?nèi)匀恍枰獜幕A(chǔ)的工作開始著手，為之后的研究發(fā)展奠定一個(gè)良好的基礎(chǔ)。對(duì)于超級(jí)智能的發(fā)展，我們需要抱以樂觀的態(tài)度，相信我們可以發(fā)展出安全可靠的超級(jí)智能，并且為之不斷努力探索。