●孫滔

大腦的語言功能區(qū)、嘴唇運(yùn)動控制區(qū)和聽覺皮層是Edward Chang研究的重點(diǎn)。Broca失語癥患者會產(chǎn)生語言表達(dá)缺陷，但其理解能力相對正常，而Wernicke失語癥患者語言表達(dá)很流暢但理解卻很差，他會表達(dá)出清晰的言辭但卻無意義。Broca失語癥的腦損傷部位是額葉運(yùn)動聯(lián)合皮層，而Wernicke失語癥的腦損傷部位在顳葉后部。有看法稱，Broca區(qū)就在控制嘴巴、唇運(yùn)動的皮層附近

腦機(jī)接口最近很火。這要拜科技狂人馬斯克入局所賜，當(dāng)然臉書的加入也讓這把火越燒越旺。

學(xué)術(shù)界有不少進(jìn)展?！蹲匀弧ㄓ崱吩?月30日發(fā)表了來自加州大學(xué)舊金山分校神經(jīng)外科教授Edward Chang的研究成果，他們實(shí)現(xiàn)了實(shí)時(shí)地解碼大腦信號，將“聽到”和“說出”的對話轉(zhuǎn)變成語言文字，并且準(zhǔn)確率可達(dá)76%和61%，相比馬斯克的高調(diào)，Edward Chang這個(gè)研究是能夠落地的。他們的策略是，當(dāng)受試者執(zhí)行“聽到”和“說出”任務(wù)時(shí)，研究人員通過從高密度皮層腦電圖陣列記錄神經(jīng)活動（覆蓋聽覺和感覺運(yùn)動皮質(zhì)區(qū)域），然后解碼這些大腦信號的內(nèi)容。

至此想必很多人會有疑問：大腦語言信號解碼研究的現(xiàn)實(shí)意義有多大？語言信號解碼能實(shí)現(xiàn)到什么程度？腦機(jī)革命要來了嗎？科幻片里的意識交流會實(shí)現(xiàn)嗎？本文希望探討這些問題。

語言解碼的一大步

Edward Chang這項(xiàng)研究有一些不得不說的細(xì)節(jié)。在今年4月Edward Chang發(fā)表的《自然》研究中，利用神經(jīng)信號與人聲道咬合部位運(yùn)動的映射關(guān)系進(jìn)行解碼，也就是利用控制嘴唇、舌頭、喉部和下頜運(yùn)動的神經(jīng)信號來合成語音，這是一個(gè)比較獨(dú)特的解碼途徑。

這似乎可以類比以視覺信號代替聽覺信號的讀唇術(shù)。不過多位學(xué)者認(rèn)為，如果用人工智能來訓(xùn)練讀唇術(shù)的話，其準(zhǔn)確率比解碼腦電信號要準(zhǔn)確得多，畢竟前者是確定的視覺信號，而人在說話時(shí)的腦電信號有太多未知和不確定，畢竟人工智能更擅長以確定的數(shù)據(jù)來計(jì)算出結(jié)果。

對于聽覺腦電信號的解碼，Edward Chang則是利用植入于大腦皮層的電極實(shí)時(shí)獲取大腦皮層活動信號，這已經(jīng)與聲道部位的咬合無關(guān)，而是直接解碼人聽到語言后產(chǎn)生的腦電信號。這本來是無比復(fù)雜的研究，Edward Chang將這個(gè)研究簡化了許多。他只是對涉及4組簡單問答的腦電信號進(jìn)行了解碼。受試者得到的信號都是相對簡單的，比如問“你最喜歡哪種樂器”“你最不喜歡哪種樂器”“從0～10，你的幸福指數(shù)有多少”“你希望我多久來看你”等。正是這些簡單問題的訓(xùn)練，讓研究者得到了相對容易判斷的信號。

這仍是一項(xiàng)了不起的進(jìn)步。華南師范大學(xué)腦科學(xué)與康復(fù)醫(yī)學(xué)研究院教授翁旭初評價(jià)說，這項(xiàng)語音解碼研究在神經(jīng)科學(xué)上的突破并不大，但在臨床上的意義更大。由于使用了更多數(shù)目的侵入式電極，能夠?qū)崟r(shí)解碼相對準(zhǔn)確的語言信號，而此前的語言解碼研究更多是對于書面文字或圖片的腦電信號解碼，是非侵入式的，解碼速度不夠快。

疑問仍存，比如為何目前只能實(shí)現(xiàn)60%～70%的準(zhǔn)確率，有哪些影響語言解碼準(zhǔn)確率的因素？美國西北大學(xué)費(fèi)恩柏格醫(yī)學(xué)院Marc W.Slutzky博士對DeepTech解釋說，盡管這項(xiàng)研究用了256個(gè)電極，但檢測的腦電信號可能還是太少，因?yàn)槠酉聟^(qū)域也可能涉及語言功能。另外，這個(gè)研究是針對極少樣本得出的結(jié)果，已經(jīng)是相對不錯(cuò)的了，要知道蘋果公司的Siri經(jīng)過數(shù)百萬小時(shí)的訓(xùn)練仍然會犯錯(cuò)誤。

挑戰(zhàn)在后面

人的語言是一個(gè)極具創(chuàng)造性的系統(tǒng)，其使用在語法規(guī)則外沒有任何限制。也就是說，進(jìn)化數(shù)百萬年來，我們現(xiàn)實(shí)中的對話已經(jīng)是一個(gè)集合了聲音、符號、手勢、表情在內(nèi)的成熟的交流體系，并且這個(gè)體系仍然在日新月異的不斷完善中，而僅僅依賴腦電波信號一種維度來解碼這個(gè)復(fù)雜體系，其難度可想而知。

感知和言語的正電子發(fā)射計(jì)算機(jī)斷層掃描成像（PET）。顏色表示相對腦血流量。紅色表示血流量最大，橘黃、黃、綠和藍(lán)色分別表示血流量從大到小依次遞減

人腦是一個(gè)一直在運(yùn)行的器官，其腦電信號是持續(xù)不止的，尤其是在現(xiàn)實(shí)中，人腦常常是在執(zhí)行聽說功能的同時(shí)，還在進(jìn)行觸覺、視覺、味覺、嗅覺以及運(yùn)動等多種功能的運(yùn)行，我們并不清楚不同功能腦區(qū)相互干擾的情況是怎樣的。在這個(gè)腦電信號巨大噪音背景下，Edward Chang們每個(gè)微小的進(jìn)步都是不容易的。

那么問題來了，我們需要多么精確地了解這些功能的腦電信號才能真正實(shí)現(xiàn)復(fù)雜的語言解碼？到目前為止，我們僅僅知道人的語言功能與大腦分區(qū)有關(guān)，并不知道數(shù)百億神經(jīng)元中的映射詳情。一種可能的研究策略是，通過對大腦神經(jīng)活動的空間和時(shí)間信號進(jìn)行高分辨率的數(shù)據(jù)采集，并配合人工智能的機(jī)器學(xué)習(xí)算法（如深度神經(jīng)網(wǎng)絡(luò)），將各種感知覺、運(yùn)動、語言等高級認(rèn)知功能所對應(yīng)的神經(jīng)信號互相分離出來。這樣做還具有重要的臨床價(jià)值。例如，在腦損傷植物人的群體中，有一部分患者會出現(xiàn)運(yùn)動功能和高級認(rèn)知功能的分離。換句話說，這些患者雖然不具備任何行為上的交流能力，但卻保留著高級的思維能力（如運(yùn)動和空間想象）。在藥物誘導(dǎo)的麻醉狀態(tài)，也存在類似的現(xiàn)象。密西根大學(xué)醫(yī)學(xué)院麻醉系的黃梓芮博士就在嘗試讓受試者進(jìn)入麻醉狀態(tài)進(jìn)行腦活動解碼。但是，由于人類思維和意識內(nèi)容的豐富性，準(zhǔn)確探測大腦高級認(rèn)知功能、解碼甚至還原相對抽象的語言內(nèi)容，仍然面臨巨大的挑戰(zhàn)。

一個(gè)語言加工模型，標(biāo)注了書面和口語單詞復(fù)述任務(wù)的各個(gè)處理階段。每個(gè)階段下面表明了由PET成像所觀察到的與上述任務(wù)特異性相關(guān)的皮層區(qū)域

語言解碼還有很多挑戰(zhàn)。語言的解碼不僅限于聽說帶來的聲波信號，每個(gè)詞匯和句子還會給人一種語義，而這個(gè)語義就會對每個(gè)人的反饋不一樣。比如全世界有上萬種語言和方言，那么對于同一個(gè)語義，不同語言和方言對應(yīng)腦電信號都可能有差異，甚至對于不同環(huán)境成長的同一語言人群以及同一個(gè)人在不同年齡段和不同情緒狀態(tài)下的腦電信號都可能不同。還有，對于同一時(shí)間的同一個(gè)人，同一個(gè)詞匯可能都會引起不同刺激程度的腦電信號。

所以多位業(yè)內(nèi)人士的看法是，受試者的背景越接近，這種語言解碼的普適性才會更高。當(dāng)然，嚴(yán)格說來，即使對于同一個(gè)人做上無數(shù)次解碼訓(xùn)練，都可能做不到100%的解碼準(zhǔn)確，因?yàn)樗恼Z言思維體系一直在更新。

另外，文字閱讀也是一種語言有關(guān)的腦電活動，這顯然與口語引發(fā)的腦電活動不同。不同語言的文字引發(fā)的腦電信號也會不一樣，象形文字如漢字引發(fā)的腦電信號與拉丁字母引發(fā)的腦電信號顯然會不同，讀手語與讀唇語顯然也會引發(fā)不同的腦電信號。以漢語為例，包括翁旭初在內(nèi)的認(rèn)知心理學(xué)專家認(rèn)為，漢字是一種二維文字，相對于拼音文字，漢字閱讀加工的腦區(qū)分布就有自身特點(diǎn)。

也有相對樂觀的看法。這類看法認(rèn)為，如果數(shù)據(jù)運(yùn)算足夠先進(jìn)，加上科學(xué)分類以及對不確定性因素的控制，是有可能得到相對普適性的腦電解碼結(jié)果的。

意識對話？

事實(shí)上，真正的腦機(jī)接口挑戰(zhàn)在于意識。在4月份Edward Chang的《自然》論文發(fā)表時(shí)，同期雜志引述華盛頓大學(xué)Amy Orsborn博士看法稱，當(dāng)一個(gè)人沒有動嘴時(shí)，它能否理解其想說的話呢？

這是一個(gè)好問題。“想要說話”的腦電信號是否能被解碼，也就是人的意識能否解碼的問題。畢竟說出來的語言和聽到的語言有聲波的物理性質(zhì)，這些物理信號是確定的刺激信號，而意識則擁有較大的模糊不確定性。Edward Chang沒有接這個(gè)球，他對媒體回應(yīng)稱，解碼某人公開試圖說的話足夠困難，并且提取他們內(nèi)心的想法幾乎是不可能的?！拔覜]有興趣開發(fā)一種技術(shù)來發(fā)現(xiàn)人們在想什么，即使它是可能的”。

不過，這并非完全不能實(shí)現(xiàn)。曾在美國多年從事康復(fù)研究的林方博士認(rèn)為，如果給受試者一個(gè)預(yù)告，那么是有可能檢測到相應(yīng)的腦電信號的。比如當(dāng)警告受試者可能有重物落下的時(shí)候，受試者會馬上做出預(yù)防重物落下的應(yīng)激反應(yīng)，這時(shí)候的腦電信號就有可能被檢測到并分辨出來。德國科學(xué)家在今年4月《神經(jīng)科學(xué)》發(fā)表了一項(xiàng)對大鼠的研究，他們解碼了大鼠頭部預(yù)期運(yùn)動的信號。

其實(shí)Amy Orsborn這個(gè)問題的進(jìn)一步延伸就是，人們之間能不能實(shí)現(xiàn)無語言的意識對話，或者說是靈魂對話。這已經(jīng)接近科幻了，就像奇幻電影里的X教授，戴上一個(gè)頭盔就可以進(jìn)入其他人的意識世界。但是，如果不是應(yīng)激沖動的反應(yīng)，那么就不容易解碼。比如每個(gè)人在欣賞《蒙娜麗莎》畫作時(shí)的感受不同，那么如何讓一個(gè)沒有藝術(shù)鑒賞能力的中國山村娃娃與一個(gè)意大利畫家對這幅畫作進(jìn)行意識對話？現(xiàn)實(shí)中，這都要跨越語言、藝術(shù)、生活閱歷的鴻溝，在這種“意識對話”中，我們的計(jì)算機(jī)需要多么強(qiáng)大才能解碼跨越了這么多鴻溝的意識交流呢？當(dāng)然，這概率雖然足夠小，但也不是等于零。清華大學(xué)生物醫(yī)學(xué)工程系腦機(jī)接口研究組高小榕教授認(rèn)為，前述山村娃娃和意大利畫家相當(dāng)于一個(gè)地球人和外星人的對話，只要有足夠多的訓(xùn)練，也未嘗不可能實(shí)現(xiàn)。

我們再把這個(gè)思維延伸一下，如果腦電解碼能力足夠強(qiáng)大，是否意味著人類意識能夠像電腦數(shù)據(jù)一樣儲存在硬盤上呢？對于這個(gè)科幻式的問題，很多學(xué)術(shù)界人士給出的答案是讓人失望的。那些解碼數(shù)據(jù)僅僅是物理信號，并非人腦意識的腦電活動，它難以產(chǎn)生新的信息，也不能進(jìn)行思維加工。

腦機(jī)接口的現(xiàn)實(shí)

今天的神經(jīng)科學(xué)并沒有日新月異的突飛猛進(jìn)，而是人工智能的飛速發(fā)展給腦機(jī)接口帶來了空前的機(jī)遇。盡管如此，麻省理工學(xué)院大腦與認(rèn)知科學(xué)系講席教授馮國平認(rèn)為，腦機(jī)接口現(xiàn)實(shí)的考量是在物理性或確定性更強(qiáng)的功能上實(shí)現(xiàn)，但難以碰觸深一層的意識。

相對成熟的腦機(jī)接口研究是關(guān)于人體運(yùn)動機(jī)能。猶他大學(xué)生物醫(yī)學(xué)工程團(tuán)隊(duì)研發(fā)了一款高科技假肢，可以實(shí)現(xiàn)意識控制有觸覺，能夠執(zhí)行輕松摘葡萄等動作。這個(gè)系統(tǒng)由100個(gè)微電極和導(dǎo)線組成，這個(gè)假肢手臂接入了佩戴者的神經(jīng)系統(tǒng)，實(shí)現(xiàn)大腦向機(jī)械手臂發(fā)送動作信號。在機(jī)械手臂上安裝了向神經(jīng)發(fā)送信號的傳感器，以模仿手抓東西時(shí)的感覺。

林方對這類康復(fù)設(shè)備很看好。她認(rèn)為，腦機(jī)接口的現(xiàn)實(shí)意義在于作為輔助工具，幫助那些有語言障礙或者運(yùn)動障礙的人實(shí)現(xiàn)正常的器官功能。比如，一個(gè)運(yùn)動障礙患者本身只有40%的某器官運(yùn)動功能，如果這個(gè)腦機(jī)接口設(shè)備能夠幫助患者把功能提高到80%，那么這不僅是患者的福音，醫(yī)療保險(xiǎn)公司也會對此樂見其成，因?yàn)檫@會減少醫(yī)療資源的投入。

但腦機(jī)接口研究需要落地才行。盡管馬斯克Neuralink的腦機(jī)接口項(xiàng)目最為高調(diào)，但除了他的設(shè)備能夠?qū)崿F(xiàn)電極數(shù)目更多、電極更柔軟以及設(shè)備微型化，但并沒有本質(zhì)上對腦電信號解碼的突破?！堵槭±砉た萍荚u論》引述Google DeepMind神經(jīng)科學(xué)理論學(xué)家Adam Marblestone的看法，將Neuralink比作裝備精良的登山隊(duì)，但那座大山仍在那里，“真正需要的應(yīng)該是一架直升機(jī)”。多數(shù)業(yè)內(nèi)人士看法是，如馬斯克這類侵入式的腦機(jī)接口只能用于病情嚴(yán)重的植物人或中風(fēng)患者身上，而不能用于普通人，畢竟侵入的設(shè)備存在容易帶來感染、電池等材料更換等問題，畢竟大腦對自我保護(hù)的要求很高。

而對于臉書利用近紅外光的可穿戴設(shè)備來解碼腦電信號的做法，多數(shù)人也不認(rèn)可。因?yàn)榉乔秩胧皆O(shè)備的精確性有限，難以實(shí)現(xiàn)復(fù)雜腦電信號的解碼。現(xiàn)實(shí)的做法如Edward Chang，他們只針對癱瘓而失語的患者，這樣能夠采用開顱手術(shù)后用侵入式設(shè)備來解碼有限詞匯。因?yàn)樵诤芏嗲闆r下，這些患者的大腦中仍然存在著產(chǎn)生流利語言所需的信息，而現(xiàn)在需要通過新的技術(shù)讓他們表達(dá)出來，那么即使是少數(shù)詞匯的表達(dá)，對于他們的生活質(zhì)量都是巨大的改善。

Marc W.Slutzky也持這類看法，對于肌萎縮側(cè)索硬化（ALS）患者或中風(fēng)患者，如果能實(shí)現(xiàn)200個(gè)詞匯信息的接受和表達(dá)，只要能達(dá)到像Siri這類語音識別系統(tǒng)接近90%準(zhǔn)確率的話，就已經(jīng)是巨大進(jìn)步。■