• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      人工智能時(shí)代應(yīng)如何改變思維:系統(tǒng)、關(guān)聯(lián)和直覺(jué)
      ——錢(qián)旭紅院士訪談① 錢(qián)旭紅,中國(guó)工程院院士、華東師范大學(xué)校長(zhǎng)、華東理工大學(xué)原校長(zhǎng)。

      2019-12-14 06:12:34黃時(shí)進(jìn)成素梅
      哲學(xué)分析 2019年5期
      關(guān)鍵詞:人工智能思維

      黃時(shí)進(jìn) 成素梅

      黃時(shí)進(jìn)(以下簡(jiǎn)稱“黃”):錢(qián)院士,您好。2012 年您出版了《改變思維》,這本書(shū)在國(guó)內(nèi)率先從自然科學(xué)的角度出發(fā),強(qiáng)調(diào)科學(xué)思維的理性力量,強(qiáng)調(diào)邏輯思維重建的路徑,受到讀者的好評(píng)。當(dāng)前人工智能發(fā)展迅猛,您認(rèn)為會(huì)對(duì)人類的思維方式帶來(lái)哪些新的沖擊?需要人們做什么樣的改變?這些改變和您《改變思維》中論述的核心思想是否一致?人工智能時(shí)代,應(yīng)確立怎樣的思維框 架?

      錢(qián)旭紅(以下簡(jiǎn)稱“錢(qián)”):《改變思維》一書(shū)的目的就是強(qiáng)調(diào)思維的多樣性差異、集成與升華,強(qiáng)調(diào)全面而多樣的思維、超越性思維、超限性思維,真正做到道法自然,以跟上或者引領(lǐng)發(fā)展。七年過(guò)去了,書(shū)中一些內(nèi)容需要進(jìn)一步充實(shí)增訂,因此,我不敢講此書(shū)能對(duì)發(fā)展人工智能有多少幫助,但對(duì)人們接受人工智能會(huì)有些許益 處。

      首先聲明,我不是研究人工智能的,我無(wú)權(quán)也無(wú)能力對(duì)人工智能作出判斷。但我們的研究可能與人工智能有一定關(guān)聯(lián)。我的專業(yè)屬于綠色化學(xué)與分子識(shí)別,基于量子物理和量子化學(xué)基礎(chǔ)之上的分子識(shí)別現(xiàn)象和機(jī)理,可能對(duì)我們理解人工智能會(huì)有所幫 助。

      人工智能會(huì)在很大程度上改變?nèi)祟愃季S,其中,最大的改變就是人們更能理解和運(yùn)用數(shù)據(jù)科學(xué)(大數(shù)據(jù))。以前在我們的習(xí)慣中起主導(dǎo)作用是確定性思維,那么在數(shù)字人工智能時(shí)代,不確定思維將發(fā)揮更大作用,規(guī)律和其呈現(xiàn)方式,取決于次序時(shí)間、數(shù)據(jù)的大小規(guī)模和涉及的條件范圍。不確定思維,不是沒(méi)有規(guī)律,它符合不確定的那種思維規(guī)則,不是像我們通常所講的。我們通常認(rèn)為的不確定,就是什么都沒(méi)有,什么都隨便,其實(shí)根本不是那么回事,它是在看似雜亂無(wú)章的不確定基礎(chǔ)上形成新的規(guī)律,呈現(xiàn)出以前從未發(fā)現(xiàn)的并出人意料的非傳統(tǒng)規(guī) 律。

      比如說(shuō),我們的味覺(jué),味覺(jué)是感受體感知對(duì)應(yīng)的分子而產(chǎn)生的。我們以前喜歡強(qiáng)調(diào)選擇性,相比選擇性更高的叫專一性,什么叫專一性?比如說(shuō)這是糖分子,對(duì)應(yīng)的是糖的受體,糖受體認(rèn)出糖以后,會(huì)給出個(gè)信號(hào),它們相互結(jié)合,即表示認(rèn)識(shí);如果是酸的東西,糖受體幾乎不認(rèn)識(shí),響應(yīng)信號(hào)接近背景噪音。如果受體是專一性的,它對(duì)不對(duì)應(yīng)的分子的響應(yīng)信號(hào)就都為零。這就是我們通常喜歡的單一的、確定的方式。這樣的分子識(shí)別效率高。并且人們會(huì)據(jù)此認(rèn)為效率越高效果越好。但這就帶來(lái)一個(gè)問(wèn)題,自然界糖的分子各式各樣,有果糖的、阿拉伯糖的,如此等等。如果我們要識(shí)別一個(gè)具體的糖,就得有一個(gè)對(duì)應(yīng)的受體,因?yàn)樗叨葘R?。所以,為了識(shí)別每一個(gè)糖,我們就要有無(wú)數(shù)種受體,為了識(shí)別酸,我們也要有無(wú)數(shù)個(gè)酸的受體,看似聰明無(wú)比的策略,最后物極必反,識(shí)別的負(fù)荷越來(lái)越大,這個(gè)系統(tǒng)最終必將走向崩潰。為什么崩潰?它承擔(dān)不起這樣高度專一、種類繁多的壓力。這就是我們通常熟悉的一種思維方式,也是自然界存在的一種表達(dá)方 式。

      但自然界還有另一類更高效的識(shí)別方式或者更有趣的思維方式,比如人的舌苔,人的舌苔上面有無(wú)數(shù)個(gè)受體,即味蕾,但并不是每個(gè)味蕾都非常聰明,它們做不到高度專一性地識(shí)別對(duì)象,只能具有一定的選擇性。從傳統(tǒng)的識(shí)別角度看,這些味蕾很笨,似乎分辨能力很弱,用途不大。其實(shí)這種認(rèn)識(shí)是錯(cuò)誤的。就識(shí)別單個(gè)受體而言,它們的能力很差,而一旦無(wú)數(shù)這樣的水平一般、小有差異的受體集成起來(lái)互相配合,形成一個(gè)體系化的系統(tǒng),就會(huì)有令人震驚、超凡脫俗的本事。這點(diǎn)和神經(jīng)元與神經(jīng)系統(tǒng)的作用有些相 似。

      味蕾大概有感受酸甜苦辣之不同,每種味蕾不僅僅識(shí)別優(yōu)先對(duì)象(如甜),也識(shí)別非優(yōu)先對(duì)象(如酸),它們對(duì)優(yōu)先對(duì)象的響應(yīng)略微靈敏、略微快捷、信號(hào)稍強(qiáng)。味蕾的識(shí)別不具有確定性,每個(gè)味蕾不具備高度選擇性,更談不上專一性。但是它們集成在舌苔上,根據(jù)區(qū)域和對(duì)象來(lái)識(shí)別,然后,形成一個(gè)響應(yīng)信號(hào)的圖案,即模式識(shí)別。無(wú)數(shù)個(gè)識(shí)別能力弱小、相互有微小差異的個(gè)體,匯聚在一起,它遇到任何東西都會(huì)給出信號(hào)相應(yīng),而響應(yīng)也會(huì)有大致的特定的信號(hào)響應(yīng)圖案。所以人們會(huì)覺(jué)得,有的東西是甜當(dāng)中有點(diǎn)酸,或者苦中有點(diǎn)咸。無(wú)論對(duì)象千差萬(wàn)別,味覺(jué)都可以給出非常準(zhǔn)確的判斷,即幾乎專一性的識(shí)別。即使看似愚笨、非專一性、甚至選擇性都不強(qiáng)的味覺(jué)放在一起,通過(guò)相互配合、分工協(xié)調(diào),經(jīng)過(guò)模式識(shí)別,也可以產(chǎn)生高度專一性的效果,簡(jiǎn)單而便 捷。

      在人工智能時(shí)代,只有那種單線性的確定性思維肯定是沒(méi)用的,必須允許差異多樣而靈活的思維方式。單一的只能做到每個(gè)方面性能最佳,有小聰明;而群體中雖然每個(gè)個(gè)體微弱,但集成后,性能獨(dú)特而全面,會(huì)展現(xiàn)出大智慧。因此,單個(gè)數(shù)據(jù),就像單個(gè)的個(gè)體,不一定能看出什么規(guī)律,但是在不確定基礎(chǔ)之上,數(shù)據(jù)足夠多,它會(huì)揭示或者呈現(xiàn)新的規(guī)律。所以,這就是人工智能可能呈現(xiàn)出的一種圖景,這是我個(gè)人理解的,在人工智能時(shí)代將會(huì)出現(xiàn)的與過(guò)去的思維方式的重要區(qū) 別。

      成素梅(以下簡(jiǎn)稱“成”):您的意思是說(shuō),人工智能能夠基于無(wú)數(shù)不確定的數(shù)據(jù),找出確定性的規(guī)律 嗎?

      錢(qián):是的,就像計(jì)算機(jī)上無(wú)數(shù)個(gè)點(diǎn)數(shù)據(jù),單看幾個(gè)點(diǎn)根本沒(méi)啥規(guī)律。但無(wú)數(shù)個(gè)點(diǎn)出來(lái)以后,你會(huì)突然發(fā)現(xiàn)它有規(guī)律 的。

      成:但是,現(xiàn)在計(jì)算機(jī)的模式識(shí)別本身是非常單一的,還遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到您所比喻的舌苔對(duì)味道的識(shí)別那么通用的程 度。

      錢(qián):這是目前的現(xiàn) 狀。

      成:那么,您認(rèn)為未來(lái)會(huì)是什么樣 的?

      錢(qián):未來(lái)一定會(huì)如此。在過(guò)去概念中的機(jī)器人和人工智能,沒(méi)有大數(shù)據(jù)、沒(méi)有網(wǎng)絡(luò),沒(méi)有現(xiàn)代的技術(shù)和應(yīng)用場(chǎng)景,只是一個(gè)一個(gè)笨笨的單元,作為個(gè)體,其競(jìng)爭(zhēng)力永遠(yuǎn)比不上人,永遠(yuǎn)無(wú)法和人的能力相抗衡。而一旦這些笨笨的元素個(gè)體以適當(dāng)?shù)姆绞疥P(guān)聯(lián)結(jié)合在一起,形成一個(gè)新的智慧系統(tǒng),即人工智能2.0,新一代的人工智能就會(huì)橫空出世!其強(qiáng)大就在于不是一個(gè)一個(gè)單元的簡(jiǎn)單加和,而是能力倍增的集成增效,形成了系統(tǒng)和系統(tǒng)的競(jìng)爭(zhēng) 力!

      人工智能2.0,將用計(jì)算機(jī)和機(jī)器人的方式切入,借助網(wǎng)絡(luò)和大數(shù)據(jù)去模擬人的思維和言行,最后肯定逼近人的大腦思維,盡管其思維與人的大腦相比還是有重大區(qū)別,但正是在能力上而不是結(jié)構(gòu)上,正逐步向人逼近。逼近到最后,容易實(shí)現(xiàn)的是對(duì)數(shù)據(jù)的收集和處理,現(xiàn)在人工智能可能的難題是對(duì)圖像的處理能力比較弱一點(diǎn),將來(lái)它會(huì)在圖像、文字處理性能方面達(dá)到新的高度。比如說(shuō)分析和采集數(shù)據(jù),如消費(fèi)數(shù)據(jù),對(duì)個(gè)體而言,數(shù)據(jù)多與少意義不是很大,僅僅是一個(gè)記錄或者描述。但當(dāng)數(shù)據(jù)達(dá)到無(wú)限規(guī)?;蛘咛貏e大的規(guī)模,意義就會(huì)越來(lái)越明顯,規(guī)律性就會(huì)越來(lái)越強(qiáng),不僅可以預(yù)測(cè)和把握群體趨勢(shì),而且可以預(yù)測(cè)個(gè)體行為。我舉這個(gè)例子,就是說(shuō)我個(gè)人理解的人工智能時(shí)代,就是數(shù)據(jù)科學(xué)(大數(shù)據(jù))+網(wǎng)絡(luò)+人,從而實(shí)現(xiàn)對(duì)原有的人和計(jì)算機(jī)以及機(jī)器人的超 越。

      成:是指統(tǒng)計(jì)意義?也就是說(shuō),主要強(qiáng)調(diào)它的統(tǒng)計(jì)價(jià) 值?

      錢(qián):是的,越去統(tǒng)計(jì),規(guī)律會(huì)越來(lái)越明顯,當(dāng)然統(tǒng)計(jì)包括經(jīng)典的、量子的。在數(shù)據(jù)、統(tǒng)計(jì)、判斷的基礎(chǔ)上實(shí)現(xiàn)優(yōu)化。這個(gè)時(shí)代最大的意義和基礎(chǔ)就是海量數(shù)據(jù),網(wǎng)絡(luò)化地組織在一起,這非常有價(jià) 值。

      黃:您在《改變思維》中強(qiáng)調(diào)思維自由和精神獨(dú)立,那么在當(dāng)下人工智能時(shí)代這方面有什么新的表現(xiàn)形 式?

      錢(qián):我在《改變思維》中強(qiáng)調(diào),當(dāng)一個(gè)人具有以質(zhì)疑為第一要素的科學(xué)精神、以關(guān)愛(ài)為第一要素的人文精神、以使命為第一要素的信仰精神,這個(gè)人的精神就是獨(dú)立的、完美的;當(dāng)一個(gè)人具有邏輯思維能力、形象思維能力、系統(tǒng)思維能力,這個(gè)人的思維就是自由的、純真的。因此,用三個(gè)不同的方面描述某個(gè)人或事物,就基本能描述得比較完整。所以,在我看來(lái),“三”是認(rèn)識(shí)人或事物的幸運(yùn)數(shù)!人工智能也不例外,它就可以被描述為由三個(gè)部分組成的系統(tǒng),即大數(shù)據(jù)+計(jì)算機(jī)網(wǎng)絡(luò)+模擬 人。

      老子講“三生萬(wàn)物”,這話真的很正確,它包含了多樣性、差異性、復(fù)雜性、創(chuàng)造性。當(dāng)你遇到什么事情,或者進(jìn)行分析,或者講話,找三個(gè)不同的切入點(diǎn)或者支點(diǎn),就能在一定程度上代表整體,此方法簡(jiǎn)單易行、融會(huì)貫 通。

      老子強(qiáng)調(diào)的“大制無(wú)割”,即整體和相互關(guān)聯(lián)的重要性、系統(tǒng)的重要性。這強(qiáng)調(diào)用一個(gè)模型去理解另一個(gè)模型,用一個(gè)整體去模擬另外一個(gè)整體,當(dāng)然是好的方法,但在開(kāi)始時(shí),用三個(gè)不同的點(diǎn)作為起始的模擬角度,不失為一個(gè)便捷的開(kāi) 端。

      比如在描述一個(gè)人時(shí),我在《改變思維》第一版中,只講了思維自由、精神獨(dú)立,但從“道法自然”的角度,這還不夠,似乎還缺了點(diǎn)什么——缺少一個(gè)點(diǎn)。當(dāng)我們只強(qiáng)調(diào)思維,只強(qiáng)調(diào)精神,最后的落腳點(diǎn)是什么?應(yīng)該是能力!你的能力能否超出常人?能力如何能超出常人?并不是你真的能超出常人,而是你能最大程度尊重自然,符合真理,如此才能得道多助,猶如有神 助。

      在修改增訂版《改變思維》中,我將增加第三個(gè)和人有關(guān)的概念,即“超能善成”。為什么要如此?因?yàn)樵凇兜赖陆?jīng)》的“巧用章”中,老子講“善行者無(wú)轍跡”。就是說(shuō)一個(gè)人很有能力,他做出的事情是不會(huì)有紕漏、有后遺癥、有痕跡的。老子在此篇中還講:“善言無(wú)瑕謫;善數(shù)不用籌策;善閉無(wú)關(guān)楗而不可開(kāi);善結(jié)無(wú)繩約而不可解。是以圣人常善救人,故無(wú)棄人;常善救物,故無(wú)棄物,是謂襲明。故善人者,善人之師;不善人者,善人之資。不貴其師,不愛(ài)其資,雖智大迷。是謂要妙?!边@正是通過(guò)“大數(shù)據(jù)+計(jì)算機(jī)網(wǎng)絡(luò)+模擬人”三者融合的人工智能,有可能在能力集成的層面,超越自然人、超越數(shù)據(jù)和計(jì)算機(jī)、超越機(jī)器人。當(dāng)然,盡管人工智能不可能代替 人。

      成:您講的落腳點(diǎn),可以用德雷福斯所闡述的技能獲得模型講下去。德雷福斯是美國(guó)加州大學(xué)伯克利分校的哲學(xué)教授,以研究海德格爾而著名,早在20 世紀(jì)60年代,他就根據(jù)海德格爾的思想批判當(dāng)時(shí)盛行的人工智能的符號(hào)主義范式。在這些研究的基礎(chǔ)上,他提出了技能獲得模型。這個(gè)模型把人的能力分成七個(gè)階段:新手階段、高級(jí)初學(xué)者階段、勝任階段、精通階段、專長(zhǎng)階段、駕馭階段、實(shí)踐智慧階段。您所說(shuō)的做完事情以后不留痕跡,指的就是當(dāng)學(xué)習(xí)者進(jìn)入了高級(jí)階段之后,才能達(dá)到的境界,初學(xué)者在做同樣的事情時(shí),比如開(kāi)車(chē),由于還沒(méi)有掌握技能,因此一定是很笨拙的。在這個(gè)簡(jiǎn)單的等級(jí)模型中,前三個(gè)階段屬于低級(jí)階段,第四個(gè)階段是一個(gè)關(guān)鍵的轉(zhuǎn)折點(diǎn),達(dá)到了能夠熟練應(yīng)對(duì)的階段,后三個(gè)階段屬于高級(jí)階段,分別對(duì)應(yīng)于專家、大師和實(shí)踐智慧階 段。

      學(xué)習(xí)者對(duì)技能的掌握達(dá)到專長(zhǎng)階段之后,就達(dá)到了您所說(shuō)的能夠很圓滑和很漂亮地完成任務(wù)的階段。因此,圓融和漂亮地做事,說(shuō)起來(lái)容易,做起來(lái)難。如果學(xué)習(xí)者沒(méi)有經(jīng)過(guò)長(zhǎng)期的訓(xùn)練過(guò)程,是做不到的,但也不是說(shuō)經(jīng)歷了這個(gè)過(guò)程之后,就必然能做到。在這個(gè)技能獲得模型中,從前三個(gè)階段上升到后三個(gè)階段,學(xué)習(xí)者發(fā)生了三個(gè)轉(zhuǎn)變:第一個(gè)是情感轉(zhuǎn)變,即從面對(duì)“突發(fā)情況”的一籌莫展和恐懼與無(wú)助的情感狀態(tài),轉(zhuǎn)變?yōu)椤跋硎芎腕w驗(yàn)”情境變化帶來(lái)的刺激感和滿足感的狀態(tài);第二個(gè)是實(shí)踐轉(zhuǎn)變,即從處理情況的“手忙腳亂”和“應(yīng)接不暇”的狀態(tài),轉(zhuǎn)變?yōu)椤暗眯膽?yīng)手”和“胸有成竹”的狀態(tài),具備了針對(duì)問(wèn)題域的直覺(jué)應(yīng)對(duì)能力,也能前瞻性地修改現(xiàn)有的技能訓(xùn)練程序或規(guī)則,形成獨(dú)特風(fēng)格,成為值得依賴的專家;第三個(gè)是認(rèn)知轉(zhuǎn)變,即從域境無(wú)關(guān)(context-free)的狀態(tài)轉(zhuǎn)變?yōu)橛蚓趁舾校╟ontext-sensitive)的狀態(tài),體現(xiàn)在思維方式上就是從理性思維上升到直覺(jué)思維。理性思維對(duì)應(yīng)于技能的低級(jí)階段和遇到無(wú)法進(jìn)行常規(guī)處理問(wèn)題的高級(jí)階段,在這個(gè)階段,理性的分析思維占主導(dǎo),根據(jù)理性判斷來(lái)采取應(yīng)對(duì)措施;直覺(jué)思維對(duì)應(yīng)于技能的高級(jí)階段,在這個(gè)階段,實(shí)踐者與世界融為一體,直覺(jué)判斷占主導(dǎo)地位。因此,我們可以說(shuō),不費(fèi)勁的直覺(jué)思維是在理性思維的基礎(chǔ)上成長(zhǎng)出來(lái)的,這也揭示了實(shí)踐技能的意向?qū)蛐栽谡J(rèn)知過(guò)程中所起的重要作用,即認(rèn)知方式從“慎重考慮”的主客二分狀態(tài)轉(zhuǎn)變?yōu)椤爸庇X(jué)應(yīng)對(duì)”的身心一體化狀態(tài),也就是說(shuō),達(dá)到了應(yīng)對(duì)自如的狀 態(tài)。

      錢(qián):而且本身這兩者是不能夠完全區(qū)分 的。

      成:對(duì)的,到了專長(zhǎng)階段的時(shí)候,專家的應(yīng)對(duì)是由域境喚起的,不再是主客二分的了,我稱之為“域境誘導(dǎo)”,用海德格爾的話說(shuō)就是人們處于“寓居于世”的狀 態(tài)。

      錢(qián):在酶催化和分子識(shí)別中,就有一個(gè)類似概念,叫“誘導(dǎo)契 合”。

      成:就是說(shuō),專家處理事情的能力已經(jīng)內(nèi)化到身體之中了。這是身體哲學(xué)研究的主要內(nèi)容之一。也就是說(shuō),專家處理問(wèn)題的能力必須在具體域境中才能表現(xiàn)出來(lái),離開(kāi)特定的域境,就發(fā)揮不出來(lái)。比如說(shuō),打籃球的時(shí)候,運(yùn)動(dòng)員如何接球和傳球是由球場(chǎng)的場(chǎng)景決定的,不是事先安排好的,運(yùn)動(dòng)員的應(yīng)對(duì)技能是由變化莫測(cè)的球場(chǎng)激發(fā)出來(lái)的。到了大師階段,專家的技能將從個(gè)體層面上升到社會(huì)層面,形成新的技能訓(xùn)練規(guī)則,打上自己特有的烙印,形成特定的風(fēng)格或團(tuán)隊(duì),而這些新的規(guī)則與應(yīng)對(duì)技能進(jìn)一步產(chǎn)生了更普遍的社會(huì)影響,當(dāng)形成某種文化時(shí),就進(jìn)一步上升到了亞里士多德講的實(shí)踐智慧階段,即內(nèi)化為引導(dǎo)他人做事的一種行動(dòng)向?qū)В@是最高層 面。

      錢(qián):您解釋得太好了!我用“超能善成”這四個(gè)字對(duì)應(yīng)思維自由、精神獨(dú)立,就是強(qiáng)調(diào)能力,而且不是普通的能力,這種能力就像老子講 的……

      成:直覺(jué),即intuition。

      錢(qián):如果不叫“超能善成”該叫“能力直覺(jué)”,可以吧?人工智能應(yīng)該具有這個(gè)能力,因?yàn)樗写罅康臄?shù)據(jù)分析會(huì)提供明確的、甚至便捷的導(dǎo)向。舉個(gè)例子來(lái)講,剛才你提到,為什么人們最初看到的問(wèn)題是整體性的,要把很多數(shù)據(jù)采集過(guò)來(lái)加以判斷——比如說(shuō)怎么知道危險(xiǎn)?假如一只老虎跑來(lái),人們首先看到它的眼睛和皮毛,看了以后判斷說(shuō)這家伙是個(gè)危險(xiǎn)東西,具有危險(xiǎn)性。但是到了一定時(shí)候人們就對(duì)所見(jiàn)的東西加以抽象,不需要用所有特征比對(duì),只需要簡(jiǎn)單幾個(gè)特征的比對(duì),這樣判斷和反應(yīng)的速度大大加快,就是說(shuō)進(jìn)入比較高級(jí)的第二階段了,這時(shí)他根本不看老虎的眼睛、形狀,單憑直覺(jué)就能判 斷。

      成:對(duì),是整體性的,不是看到某個(gè)部位或部分,而是看到某種神 態(tài)。

      錢(qián):我有個(gè)老朋友,A.P.de Silva,從事熒光分子識(shí)別,他用化學(xué)方法來(lái)闡明人們的眼睛是如何識(shí)別形狀的,形狀識(shí)別很重要,最初你不會(huì)這么做,見(jiàn)多了老虎,你就會(huì)篩選各識(shí)別要素,最后很可能集中于形狀識(shí)別,看到老虎就會(huì)像看到簡(jiǎn)筆畫(huà),三兩筆就能判斷對(duì)面是不是老 虎。

      人最初在認(rèn)識(shí)對(duì)象時(shí),是把所有信息全部收集過(guò)來(lái),實(shí)際很多信息并沒(méi)有必要。人們看到老虎一開(kāi)始會(huì)害怕,記住老虎的所有特征,后來(lái)見(jiàn)多了,就知道該怎么辦,然后代代相傳,就抽象出最能代表它的關(guān)鍵部位的那些簡(jiǎn)單信息。這信息只要一出現(xiàn),就會(huì)知道有危險(xiǎn)了!第一個(gè)警告信號(hào)就出來(lái)了,它根本不需要經(jīng)過(guò)很長(zhǎng)時(shí)間的計(jì)算判斷。這個(gè)到最后就是所謂的出神入化了,我想人工智能到這個(gè)境界一定會(huì)出神入 化。

      黃:我們現(xiàn)在的科學(xué)家,實(shí)際上也是受近代以來(lái)牛頓力學(xué)方法論,即因果性思維的影響。而在人工智能時(shí)代,也就是在我們剛才提到特定的語(yǔ)境,相關(guān)性在一定程度上超過(guò)了因果性。作為科學(xué)家,您是怎么理解 的?

      成:也就是說(shuō),科學(xué)家在進(jìn)行研究時(shí)一定是信奉因果性思維的,某個(gè)結(jié)果必然是由某些或某種原因引起的,科學(xué)研究就是要尋找那些或那種原因,但是,隨著大數(shù)據(jù)時(shí)代的到來(lái),當(dāng)數(shù)據(jù)具有了認(rèn)知價(jià)值時(shí),通常會(huì)用相關(guān)關(guān)系替代因果關(guān)系,比如,谷歌對(duì)禽流感發(fā)生地的預(yù)測(cè),是根據(jù)對(duì)感冒藥的查詢結(jié)果來(lái)進(jìn)行的,而不是研究引發(fā)禽流感的病因來(lái)進(jìn)行的,這種預(yù)測(cè)方式不再關(guān)注尋找原因,只關(guān)注尋找相關(guān) 性。

      錢(qián):很有道理!世界上因果性和相關(guān)性是同時(shí)存在的。我們以前只關(guān)注了因果性,沒(méi)關(guān)注相關(guān)性。此外,你在關(guān)注相關(guān)性的時(shí)候,有時(shí)候也要注意因果。比如說(shuō),因果性主要是時(shí)間次序,是跟時(shí)間次序有關(guān)的,所謂前因后果,兩個(gè)東西同時(shí)發(fā)生,它就不存在因果,就像所謂的量子糾纏或者兩個(gè)雙胞胎間的心有靈犀。當(dāng)一個(gè)人有這個(gè)想法,兩人同時(shí)想到;當(dāng)一個(gè)人沒(méi)想到時(shí),另一個(gè)人也沒(méi)想不到;當(dāng)這個(gè)想到了,那個(gè)同時(shí)也想到。這種狀況應(yīng)該說(shuō)就不是因果性,它完全就是相關(guān)性。我們剛才舉的因果性和相關(guān)性的例子,基本是極端,是兩個(gè)極端,而我們大多數(shù)時(shí)候遇到的人或事物,都應(yīng)該是這兩者的結(jié) 合。

      所以在大數(shù)據(jù)時(shí)代,你看到的是相關(guān)性,這是對(duì)的,規(guī)律必定有因果,或者說(shuō)必定有一者與另外一者直接相關(guān)。我認(rèn)為,在大多數(shù)情況下,這兩者都重 要。

      黃:您在《改變思維》中從工具和圖騰兩個(gè)維度重新定義“人”,您會(huì)不會(huì)覺(jué)得人工智能的興起會(huì)重新定義“人”?

      錢(qián):我是這樣想的,每個(gè)人都具有獨(dú)特價(jià)值,每個(gè)人都是圖騰,尊重每個(gè)人,是全人類自由本身的價(jià)值。同時(shí),我們每個(gè)人又回避不了工具性,個(gè)人是社會(huì)的工具,是家庭的工具。過(guò)去,人的工具性色彩明顯,但是如果進(jìn)入人工智能時(shí)代,人的工具性角色以及很大部分工具性特征將會(huì)被人工智能所代替,這樣,人的價(jià)值性應(yīng)該有更大的體現(xiàn)。這是一個(gè)重大區(qū)別。人的價(jià)值更加得到體現(xiàn),以后很可能凸顯的主要是人的精神追求。因?yàn)槿斯ぶ悄軙r(shí)代到來(lái)以后,危險(xiǎn)的、費(fèi)時(shí)費(fèi)力的、簡(jiǎn)單的技能勞動(dòng),將部分或者全部由人工智能代替了。那自然就留下一個(gè)重要問(wèn)題:人將來(lái)干什 么?

      黃:關(guān)于這點(diǎn),您和成素梅教授的思維高度吻合。她就此提出:人工智能把人從很多的體力勞動(dòng)中解放出來(lái),但是人在閑暇時(shí)間該怎么 辦?

      成:我認(rèn)為,就人類的發(fā)展而言,“人成之為人”有兩個(gè)過(guò)程,第一次“人成之為人”的過(guò)程是人與自然界的分離,原始人是自然界的一部分,人靠自然而生,受制于自然,聽(tīng)天由命,所以,出現(xiàn)了圖騰崇拜、宗教、神學(xué)等。當(dāng)人從自然界中分離出來(lái)之后,自然界成為刪除了人的場(chǎng)所,人與自然界的關(guān)系成為對(duì)象性關(guān)系,人依靠聯(lián)合的力量來(lái)抗擊自然災(zāi)害,走上了征服自然的征程,也為大力發(fā)展科學(xué)技術(shù)提供了社會(huì)土壤。比如,以前人們依靠祭拜或祈禱等儀式來(lái)祈求下雨,現(xiàn)在,我們可以通過(guò)技術(shù)手段來(lái)達(dá)到目標(biāo)。現(xiàn)在,人工智能的發(fā)展將會(huì)為我們提供“人成之為人”的第二個(gè)過(guò)程。如果說(shuō),“人成之為人”的第一個(gè)過(guò)程,塑造了人類追求物質(zhì)、追求控制、追求擁有來(lái)達(dá)到美好生活,那么,“人成之為人”的第二個(gè)過(guò)程,則有可能塑造人類去追求精神、追求合作、追求享有美好生活。因?yàn)槿斯ぶ悄艿陌l(fā)展,將會(huì)使人類從繁重的勞動(dòng)中解放出來(lái),改變過(guò)去習(xí)慣于為生活而奔波的方式,真正擁有屬于個(gè)人自由支配的時(shí)間,將會(huì)進(jìn)入休閑時(shí)代。我們當(dāng)下正處在這個(gè)時(shí)代的大門(mén)口。如何塑造這個(gè)時(shí)代的文明形態(tài)?人類會(huì)過(guò)怎樣的生活?如何重新設(shè)計(jì)相關(guān)制度?這些都是人工智能向人類提出來(lái)的現(xiàn)實(shí)問(wèn)題,原來(lái)我們思考最多的是如何發(fā)展經(jīng)濟(jì),未來(lái)可能思考最多的是何為人類。這與錢(qián)校長(zhǎng)剛才講的觀點(diǎn)相一 致。

      錢(qián):這就迫使人們往“神”靠近,就使你更提高一步,因?yàn)槿四茏龅氖?,人工智能都能做,而且效率可能還比人更 高。

      黃:就是人被人工智能所重塑 了。

      錢(qián):對(duì),重塑。重塑以后,如果應(yīng)對(duì)不佳,也可能你會(huì)更痛苦,因?yàn)槟銦o(wú)事可 做。

      成:這是因?yàn)椋?dāng)人工智能變得越來(lái)越像人,做人所做的事情,而人變得越來(lái)越像機(jī)器,按機(jī)器的方式去做事與生活。這是一種顛倒。這種顛倒的思維會(huì)為人類帶來(lái)無(wú)窮的災(zāi)難。因此,我們對(duì)人工智能的警惕,事實(shí)上是對(duì)我們自己的警惕,我們需要為人工智能時(shí)代的到來(lái)作好準(zhǔn) 備。

      錢(qián):有多種可能性,人可能會(huì)變得更幸福,也可能變得更痛苦。痛苦的原因就是當(dāng)人工智能代替人時(shí),而人本身沒(méi)有得到進(jìn)一步升華和提高,沒(méi)有充分的認(rèn)識(shí)到他已處于新時(shí)代,那就很危險(xiǎn)。無(wú)事就生非,以前要生非還沒(méi)時(shí)間,每天要上班,朝九晚五;但現(xiàn)在時(shí)間多了,閑極無(wú)聊,就可能樂(lè)極生 悲。

      成:現(xiàn)在有些社會(huì)問(wèn)題的發(fā)生就與精神問(wèn)題有關(guān)。只通過(guò)物質(zhì)性的社會(huì)救助,根本解決不了精神問(wèn)題。精神救助比物質(zhì)救助更重要。所以說(shuō),人工智能的出現(xiàn)讓人變得有閑以后,人類如何面對(duì)自己是一個(gè)很大的問(wèn) 題。

      錢(qián):我們通常認(rèn)為,人從繁重的勞動(dòng)中解脫出來(lái)會(huì)變得更幸福,但這僅僅是解決了一瞬間的幸福,隨后就會(huì)更痛苦——如果人不能進(jìn)入到更高的精神境 界。

      成:所以說(shuō),精神境界更重 要。

      錢(qián):有精神境界,或者說(shuō)這個(gè)人非常有精神追求,他可以更幸福。某些人,就一個(gè)人、一杯茶,能坐兩個(gè)小時(shí)不動(dòng),但他大腦在動(dòng),一直在思考,所以兩個(gè)小時(shí)對(duì)他來(lái)就是十幾秒鐘!對(duì)一個(gè)大腦不動(dòng)的人來(lái)說(shuō),讓他靜坐十幾秒鐘,簡(jiǎn)直就像無(wú)聊靜坐兩個(gè)小時(shí)一般,痛苦得要 死。

      成:我翻譯過(guò)一本書(shū)叫《人類思想中的休閑》,我非常贊成這本書(shū)的作者論證的一種觀點(diǎn)。這種觀點(diǎn)是:如果說(shuō),解決經(jīng)濟(jì)問(wèn)題是人類面臨的第一次挑戰(zhàn),那么,解決休閑的問(wèn)題是人類面臨的比解決經(jīng)濟(jì)的問(wèn)題更大的挑戰(zhàn)。因?yàn)橛惺芬詠?lái),我們根本沒(méi)有為解決休閑問(wèn)題作好任何思想準(zhǔn)備、教育準(zhǔn)備、制度準(zhǔn)備、社會(huì)準(zhǔn)備等。追求經(jīng)濟(jì)最大化、追求物質(zhì)利益最大化等思維方式已經(jīng)根深蒂固,當(dāng)物質(zhì)生活不再成為人們追求的唯一目標(biāo)時(shí),我們就應(yīng)該為如何提升精神境界作準(zhǔn)備。反過(guò)來(lái)說(shuō),如果缺乏這方面的思想準(zhǔn)備,我們?cè)诿鎸?duì)休閑時(shí)代的到來(lái)時(shí),就會(huì)感到束手無(wú)策!所以,提高精神境界、倡導(dǎo)精神追求以及改變思維方式并不比解決經(jīng)濟(jì)問(wèn)題更容 易。

      黃:您剛才提到的恰恰是《改變思維》中很有前瞻性的一個(gè)預(yù)測(cè),就是說(shuō)在改變思維的過(guò)程中,需要走科學(xué)和人文融合之路,您認(rèn)為這能幫助人類走出精神絕對(duì)貧困。但是,人工智能可能創(chuàng)造新的精神、新的精神貧困,如果有此危險(xiǎn),怎么破 解?

      錢(qián):人工智能可以幫我們解決很多的問(wèn)題,基本上這些問(wèn)題都是跟物質(zhì)方面相關(guān)的。人工智能并沒(méi)有在精神創(chuàng)造層面上有什么貢獻(xiàn),因?yàn)樗F(xiàn)在的情形還是受人影響的。比如,我要給它設(shè)定哪個(gè)程序,告訴它數(shù)據(jù)如何進(jìn)行采集、怎么分析,我如何思維,他就怎么思維,基本上人工智能不太會(huì)超過(guò)人的思 維。

      問(wèn)題就在于,人工智能主要解決物質(zhì)層面的事情,那么精神層面,比如說(shuō)人的大腦要擁有藝術(shù)享受,擁有音樂(lè)、美術(shù)的鑒賞力,包括體育鍛煉和享受,這些都要自己親自來(lái),人工智能代替不了你。人工智能說(shuō)我看到這幅畫(huà)我很高興,你會(huì)高興嗎?你也不會(huì)高興。你必須親身體驗(yàn)。人工智能可以說(shuō),危險(xiǎn)的場(chǎng)所我?guī)湍闳z查一下,看工礦會(huì)不會(huì)發(fā)生瓦斯爆炸,它可以去,這是在真的代替你了。他說(shuō)看到一幅畫(huà)很漂亮,它能代替你嗎?沒(méi)法代替的。這個(gè)完全是精神層面上的事情。所以我們?cè)诰駥用孢€要更多地依賴人 文。

      黃:您覺(jué)得破解之道還是在人 文?

      錢(qián):人文與科學(xué)結(jié)合,就是要防止走歷史的老路,不能過(guò)度依賴科 學(xué)。

      科學(xué)很重要的一點(diǎn)就是強(qiáng)調(diào)本質(zhì)和共性。人文是非常個(gè)性化的,而科學(xué)強(qiáng)調(diào)有一個(gè)共同的認(rèn)知基礎(chǔ),有一個(gè)參照系和坐標(biāo)。可以有個(gè)性化,但前提是不能毀掉共同的基礎(chǔ)。人文與科學(xué)結(jié)合,就是既要強(qiáng)調(diào)共性,也要強(qiáng)調(diào)個(gè) 性。

      黃:成素梅老師認(rèn)為現(xiàn)在的人工智能有誘導(dǎo)功能。比如說(shuō),在淘寶上買(mǎi)東西、攜程訂票,就自動(dòng)有歷史記錄,那么下次當(dāng)你打開(kāi)網(wǎng)站時(shí),網(wǎng)站就能自動(dòng)推送相關(guān)內(nèi)容。人工智能可以根據(jù)人的行為進(jìn)行有針對(duì)性的引導(dǎo)或誘導(dǎo)。青少年電子游戲中也潛存著一種誘導(dǎo),使玩者上癮,這就是為什么網(wǎng)游、手游會(huì)如此火熱的原因所在。對(duì)此,您是怎么看待和理解 的?

      錢(qián):對(duì)程序分析結(jié)果的運(yùn)用,是有一定選擇性和一定主觀目的的。人工智能要從海量數(shù)據(jù)中提煉出其中的規(guī)律。我們知道,自然界存在各式各樣的規(guī)律,有已知的規(guī)律和未知的規(guī)律,有主流的和支流的規(guī)律。受人控制的人工智能會(huì)把其他較小的可能性去掉,而忘卻了的支流,有時(shí)會(huì)成為主流,也可能與其他支流匯合成主流;或者換一種算法和演化方法,某些支流實(shí)際是被忽視的或者潛在的主 流。

      但是,如果人工智能在數(shù)據(jù)分析中將支流去掉,把所謂的主流保留下來(lái),然后就會(huì)不停強(qiáng)化這一點(diǎn);如果人工智能以盈利為目的,它就會(huì)抓住人的特征和嗜好,以及你當(dāng)時(shí)的場(chǎng)景,以多種方式不停地強(qiáng)化,不停地給人以刺激,最后連人自己都認(rèn)為自己真的就是這個(gè)主流了。然后,人的一些方面就開(kāi)始退化,另一些方面就得到進(jìn)化和強(qiáng)化,最后就成為其身體特 征。

      黃:您覺(jué)得它有意識(shí)地抓住了 人?

      錢(qián):當(dāng)然,人工智能能有意識(shí)地進(jìn)行了數(shù)據(jù)的取舍,取舍是受人影響的。因?yàn)轭A(yù)先的初值或者條件是由人設(shè)定的。有人可能不贊成,認(rèn)為是機(jī)器自身設(shè)定的,其實(shí)不對(duì)。機(jī)器可能設(shè)定某些規(guī)則,但它的初值或者條件也是人設(shè)定的,后期只是自動(dòng)不停地復(fù)雜化而已。所以絕對(duì)不能說(shuō)人工智能中的機(jī)器程序在篩選,它的源頭還是人的篩選。很顯然,人工智能是有預(yù)置值或者邊界條件的。人工智能的預(yù)置值是誰(shuí)提出來(lái)的?是人。我們是人工智能的上帝,是人工智能時(shí)代的上帝。就像宗教里說(shuō)上帝創(chuàng)造了人,人創(chuàng)造了人工智 能。

      黃:在《改變思維》中,您從形式和辯證的偏好出發(fā)分析了東西方思維的邏輯差異,那么您覺(jué)得人工智能是否能夠幫助人們逐步地消解這種差異?如果您認(rèn)為是,那么它是通過(guò)什么路徑來(lái)消解 的?

      錢(qián):我覺(jué)得這種差異通過(guò)人工智能應(yīng)該是能夠消除的。為什么?很多計(jì)算都是通過(guò)形式邏輯,但大數(shù)據(jù)集成之后,則會(huì)出現(xiàn)所謂辯證邏輯。微小的變化積累到了一定程度,其性質(zhì)可能發(fā)生突然改變。這在原先的小樣本數(shù)據(jù)中并不明顯,而在大樣本數(shù)據(jù)中會(huì)非常明顯。人工智能時(shí)代涉及形式邏輯與辯證邏輯兩個(gè)方面,并且兩者會(huì)更好地融合在一起,這是人工智能的一大優(yōu)點(diǎn)。這兩種思維方式,我們?nèi)吮緛?lái)就具有,但是與人工智能相比,我們?nèi)说倪\(yùn)算速度實(shí)在太慢了,感受不會(huì)特別明 顯。

      黃:是不是存在一種通過(guò)人工智能——包括大數(shù)據(jù)——放大科學(xué)共同體的集體智慧的情 形?

      錢(qián):對(duì)智慧進(jìn)行延伸式放大是可能的,進(jìn)而可以改變習(xí)慣性思維,改變科學(xué)家群體的思維方式。但在大多數(shù)情況下,人工智能并沒(méi)有超出人的思維方式范圍。人工智能的運(yùn)算速度非???,人達(dá)不到,在計(jì)算速度相關(guān)的判斷上,人是比不上人工智能的。但人工智能不可能創(chuàng)造出測(cè)不準(zhǔn)原理、量子理論及其思維方 式。

      黃:您在《改變思維》中有個(gè)非常創(chuàng)新的觀點(diǎn),就是通過(guò)論證知識(shí)的正負(fù)效應(yīng)打破知識(shí)的神話。那么您覺(jué)得人工智能是否放大或縮小了知識(shí)的正負(fù)效應(yīng)?或者,是放大還是縮小了知識(shí)的融合效 應(yīng)?

      錢(qián):大部分情況下,在人類比較熟知的領(lǐng)域,人工智能是會(huì)縮小人知識(shí)的正負(fù)效應(yīng),因?yàn)樗搅藛吸c(diǎn)的知識(shí)而看整體。我們傳統(tǒng)的知識(shí),就是某幾個(gè)點(diǎn)的知識(shí),它與整體知識(shí)相比差得很遠(yuǎn)。我們的許多失誤就是因?yàn)檎`認(rèn)為知識(shí)都是很準(zhǔn)確的,不知道知識(shí)是否有效是有前提條件的。無(wú)數(shù)的知識(shí)、不同的知識(shí)在一起會(huì)形成一個(gè)新的圖像,這方面人工智能會(huì)做得比較 好。

      但問(wèn)題在于,人工智能最初的很多東西,如條件、邊界、閾值、預(yù)置值都是人給的,有一個(gè)設(shè)定范圍。在人們熟悉的范圍里,人工智能能很清楚地把控;但對(duì)于另一些領(lǐng)域,人類的了解本身就很有限,人工智能也就難以發(fā)揮,這時(shí)候人工智能導(dǎo)致的知識(shí)正負(fù)效應(yīng)更明顯。你原來(lái)還知道這僅僅是知識(shí),現(xiàn)在人工智能判定說(shuō)這就是規(guī)律,如果你輕易相信而不進(jìn)行核實(shí),就有可能被誤 導(dǎo)。

      發(fā)展人工智能要有一個(gè)先決條件,那就是要在科學(xué)技術(shù)的社會(huì)倫理學(xué)的引導(dǎo)下發(fā)展和提高人工智能。為什么要提這個(gè)條件?這是因?yàn)槿斯ぶ悄軐?huì)極大地改變我們的社會(huì),超越以前所有的科學(xué)技術(shù)。過(guò)去自然科學(xué)技術(shù)和社會(huì)倫理是沒(méi)有多少關(guān)聯(lián)的??ㄟd女士《寂靜的春天》發(fā)表以后,人類才有了生態(tài)環(huán)境概念。但在此之前,人們都是用科學(xué)沖破倫理,不停地沖擊倫理,進(jìn)而重塑倫理。但科技的發(fā)展速度越來(lái)越快,對(duì)社會(huì)的沖擊越來(lái)越大,社會(huì)和生態(tài)環(huán)境因之而改變的速度和程度也越來(lái)越讓人瞠目結(jié)舌。人們因此想到在發(fā)展科學(xué)時(shí)必須要顧及社會(huì)和自然的倫理,所以就有了動(dòng)物倫理、醫(yī)學(xué)倫理等。這時(shí)候遲到的倫理還是在追趕先行的科學(xué)。然而發(fā)展到當(dāng)代,情況有所改變,最新例子就是綠色化學(xué),這時(shí)候就是真正產(chǎn)生了一門(mén)科學(xué)與倫理融為一體的學(xué) 科。

      人們總結(jié)了過(guò)去的經(jīng)驗(yàn),發(fā)現(xiàn)了倫理的重要性,那么現(xiàn)在進(jìn)入人工轉(zhuǎn)基因時(shí)代,為什么有那么大的沖擊?這是因?yàn)槿嗽谵D(zhuǎn)基因出來(lái)之前沒(méi)有任何倫理學(xué)準(zhǔn)備。根據(jù)歷史發(fā)展軌跡,我們現(xiàn)在進(jìn)入人工智能時(shí)代,難道還要重復(fù)以前的故事嗎?不能拿著倫理安全帽跟在快速進(jìn)步的科學(xué)后面追趕。人工智能的沖擊力比以前任何一個(gè)科學(xué)技術(shù)都要強(qiáng),進(jìn)展速度更快,影響面更 大。

      人工智能幾乎能達(dá)到和我們?nèi)祟惼狡鹌阶牡匚?。我們現(xiàn)在是70 多億人口,如果造70 多億個(gè)人工智能2.0 的機(jī)器人,問(wèn)題就大了。這個(gè)時(shí)候倫理學(xué)應(yīng)該超前配置。先于問(wèn)題出來(lái)之前,就要提出人工智能時(shí)代的倫理規(guī)范,控制負(fù)面效應(yīng)。而不能像以前,化學(xué)化工材料制藥行業(yè)出現(xiàn)時(shí),是先污染,后治理。后治理的代價(jià)會(huì)很大。而且那個(gè)代價(jià)還算承受得起,因?yàn)槲廴镜氖黔h(huán)境生態(tài),只是間接影響人類;但人工智能不同,會(huì)直接影響人 類。

      成:也就是說(shuō),精神污染和環(huán)境污染還不一樣,有時(shí)候根本無(wú)法治理,無(wú)法挽 回。

      錢(qián):是的,所以發(fā)展到這個(gè)階段,科學(xué)技術(shù)與哲學(xué)和倫理的界限已經(jīng)消失了。但是我們?cè)谧龅臅r(shí)候,如果仍然還是按照以前的做法,先有科學(xué)上的發(fā)展,后有倫理跟隨,或者倫理與科學(xué)同期而動(dòng),必將貽誤戰(zhàn)機(jī),追悔莫及。我們需要未雨綢繆,在人工智能尚未充分發(fā)展起來(lái)之前,大力發(fā)展相關(guān)的倫理學(xué),并適當(dāng)超前。所以,如上海等科技發(fā)展比較好的富裕地區(qū),應(yīng)該首先開(kāi)始研究倫理學(xué)和社會(huì)學(xué)問(wèn)題,訂立一整套人工智能的倫理規(guī)則,在促進(jìn)科學(xué)技術(shù)的前提下,建立最基本的倫理規(guī)范。如果沒(méi)有人工智能的倫理規(guī)范,就可能出現(xiàn)一系列的社會(huì)問(wèn) 題。

      猜你喜歡
      人工智能思維
      思維跳跳糖
      思維跳跳糖
      思維跳跳糖
      我校新增“人工智能”本科專業(yè)
      思維跳跳糖
      思維跳跳糖
      思維跳跳糖
      2019:人工智能
      商界(2019年12期)2019-01-03 06:59:05
      人工智能與就業(yè)
      數(shù)讀人工智能
      小康(2017年16期)2017-06-07 09:00:59
      浠水县| 曲松县| 盘锦市| 理塘县| 湖州市| 阿勒泰市| 绿春县| 华安县| 兴和县| 万盛区| 西畴县| 于都县| 萝北县| 仙居县| 嘉祥县| 阜阳市| 大田县| 天津市| 壤塘县| 昌都县| 邵东县| 罗江县| 珠海市| 申扎县| 奉化市| 叙永县| 屯门区| 怀宁县| 江津市| 广州市| 康平县| 炎陵县| 玉屏| 定边县| 武威市| 都江堰市| 金川县| 五台县| 绥滨县| 安阳县| 深圳市|