徐 元，毛 進(jìn)，2，李 綱，2

（1.武漢大學(xué)信息管理學(xué)院，武漢 430072；2.武漢大學(xué)信息資源研究中心，武漢 430072）

1 引言

隨著移動(dòng)互聯(lián)網(wǎng)的迅速發(fā)展，微博、微信、Twitter等社交媒體平臺(tái)作為橋接物理和虛擬世界的信息通信工具之一，逐漸成為突發(fā)事件應(yīng)急管理中重要的實(shí)時(shí)信息獲取渠道[1]。在突發(fā)事件期間，大量與人員傷亡、設(shè)施損毀、緊急求助等內(nèi)容相關(guān)的文本、圖像、視頻被用戶實(shí)時(shí)分享到社交媒體上，這些多模態(tài)信息對(duì)于突發(fā)事件的應(yīng)急管理具有重要作用[2-3]。在大數(shù)據(jù)環(huán)境下，突發(fā)事件應(yīng)急管理的思維模式也發(fā)生了轉(zhuǎn)變，傳統(tǒng)基于專家經(jīng)驗(yàn)的管理決策模式轉(zhuǎn)變?yōu)椤扒榫?應(yīng)對(duì)”型應(yīng)急管理的新模式，即從大數(shù)據(jù)中挖掘有價(jià)值的知識(shí)來(lái)深入認(rèn)識(shí)突發(fā)事件的時(shí)空格局、活動(dòng)模式、演化規(guī)律與內(nèi)在運(yùn)行機(jī)制，以實(shí)現(xiàn)對(duì)突發(fā)事件態(tài)勢(shì)及演化趨勢(shì)的全面理解[4]。社交媒體為“情景-應(yīng)對(duì)”模式中的突發(fā)事件應(yīng)急管理提供了新的數(shù)據(jù)來(lái)源，不同模態(tài)的信息在內(nèi)容上相互關(guān)聯(lián)和呼應(yīng)，所包含的內(nèi)容也存在差異，如文本中包含事件的細(xì)節(jié)內(nèi)容，而圖像和視頻則更為直觀地展示事件的場(chǎng)景，文本與圖像、視頻之間能夠相互補(bǔ)充和印證，共同反映物理世界中事件的真實(shí)發(fā)展?fàn)顟B(tài)。從不同層次、不同側(cè)面對(duì)復(fù)雜的社交媒體多模態(tài)信息進(jìn)行抽象、概括和融合分析，總結(jié)并提煉出比單一模態(tài)更為準(zhǔn)確和全面的綜合情報(bào)，能夠幫助用戶全方位、深層次地理解突發(fā)事件的實(shí)時(shí)態(tài)勢(shì)，從而減少突發(fā)事件應(yīng)急管理中的不確定性。

社交媒體多模態(tài)數(shù)據(jù)呈現(xiàn)規(guī)模大、增長(zhǎng)速度快以及來(lái)源、種類、模態(tài)多樣等特征，如何將海量、分散、無(wú)序、動(dòng)態(tài)變化的多模態(tài)信息轉(zhuǎn)化為能夠有效支撐應(yīng)急管理的情報(bào)是突發(fā)事件下社交媒體多模態(tài)信息分析的核心問(wèn)題，其關(guān)鍵在于正確認(rèn)知數(shù)據(jù)背后的特征、邏輯和科學(xué)內(nèi)涵，從而快速準(zhǔn)確認(rèn)識(shí)、判別和分析突發(fā)事件在不同階段的態(tài)勢(shì)變化，并以此為依據(jù)輔助應(yīng)急管理人員制定科學(xué)有效的應(yīng)對(duì)決策[4]。近年來(lái)，相關(guān)研究和應(yīng)用實(shí)踐已較為豐富，且仍在逐步增多。因此，本文采用文獻(xiàn)綜述方法，通過(guò)梳理國(guó)內(nèi)外有關(guān)突發(fā)事件下社交媒體多模態(tài)信息的研究成果，從信息資源特征和信息分析方法兩個(gè)方面解析社交媒體多模態(tài)信息的多維特征，歸納特定事件場(chǎng)景下的多模態(tài)信息分析方法體系，并以此為基礎(chǔ)構(gòu)建面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析框架，指出現(xiàn)有研究中存在的不足和挑戰(zhàn)，為深入研究面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析方法提供新的線索與方向。

2 突發(fā)事件中的社交媒體研究概況

本文選擇以Web of Science和中國(guó)知網(wǎng)中的期刊論文和會(huì)議論文為文獻(xiàn)來(lái)源，進(jìn)行基于標(biāo)題的檢索來(lái)獲取國(guó)內(nèi)外有關(guān)突發(fā)事件中的社交媒體研究的文獻(xiàn)，時(shí)間范圍是2020年及其之前的年份。在關(guān)鍵詞的選擇上，主要從兩個(gè)方面考慮：一是與突發(fā)事件相關(guān)的詞，包括“突發(fā)事件”“災(zāi)害”“洪水”“臺(tái)風(fēng)”“地震”“火災(zāi)”等；二是與社交媒體相關(guān)的詞，包括“社交媒體”“微博”“Twitter”“Face‐book”等。通過(guò)審查標(biāo)題和摘要去除不相關(guān)的文獻(xiàn)，篩選后得到801篇文獻(xiàn)，包括625篇英文文獻(xiàn)和176篇中文文獻(xiàn)。文獻(xiàn)的年份分布如圖1所示，可以發(fā)現(xiàn)突發(fā)事件中的社交媒體研究在2011年后開(kāi)始逐漸增加，這與社交媒體平臺(tái)和智能手機(jī)的發(fā)展過(guò)程相吻合。隨著社交媒體用戶數(shù)量的增加，突發(fā)事件中可用于分析的社交媒體數(shù)據(jù)也在逐漸增加，使得社交媒體成為突發(fā)事件應(yīng)急管理的重要數(shù)據(jù)來(lái)源成為可能，也促進(jìn)了突發(fā)事件中社交媒體的研究。

圖1 國(guó)內(nèi)外有關(guān)突發(fā)事件中社交媒體研究文獻(xiàn)的年份分布圖

通過(guò)分析文獻(xiàn)所屬學(xué)科領(lǐng)域可發(fā)現(xiàn)，當(dāng)前有關(guān)突發(fā)事件中社交媒體信息分析的研究主要集中在計(jì)算機(jī)科學(xué)、傳播學(xué)、管理學(xué)和信息科學(xué)等研究領(lǐng)域，存在大量的跨學(xué)科研究。不同學(xué)科的研究側(cè)重點(diǎn)也存在差異，例如，從計(jì)算機(jī)科學(xué)的角度，主要研究突發(fā)事件下社交媒體數(shù)據(jù)智能化處理技術(shù)；從傳播學(xué)的角度，主要關(guān)注突發(fā)事件下社交媒體信息的傳播與擴(kuò)散規(guī)律；從管理學(xué)的角度，主要關(guān)注社交媒體信息在突發(fā)事件應(yīng)急管理中的應(yīng)用。在突發(fā)事件的類型上，主要關(guān)注地震、颶風(fēng)、洪水、襲擊、傳染病等危害人類生命和財(cái)產(chǎn)損失的重大自然災(zāi)害或公共安全事件。本文研究數(shù)據(jù)的來(lái)源主要包括Twitter、Facebook和微博等主流社交媒體平臺(tái)，Twitter由于其用戶量大、數(shù)據(jù)獲取便捷等特點(diǎn)，成為最主要的國(guó)外社交媒體數(shù)據(jù)來(lái)源，國(guó)內(nèi)主要利用微博數(shù)據(jù)進(jìn)行研究。

在檢索到的文獻(xiàn)中，標(biāo)題或摘要中直接出現(xiàn)“多模態(tài)”表述的文獻(xiàn)只占總文獻(xiàn)數(shù)的2%，且均為近5年發(fā)表，但是將多種模態(tài)的社交媒體信息作為分析對(duì)象或能夠體現(xiàn)多模態(tài)融合思想的文獻(xiàn)有216篇，占總文獻(xiàn)數(shù)的27%，對(duì)于文本和圖像兩種模態(tài)的信息分析最為常見(jiàn)。隨著人工智能和大數(shù)據(jù)等技術(shù)取得突破性進(jìn)展，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)技術(shù)在多模態(tài)數(shù)據(jù)處理任務(wù)中的性能和效果得到了明顯提升，并已經(jīng)成為社交媒體多模態(tài)信息分析的主要手段。這表明突發(fā)事件中社交媒體多模態(tài)信息分析研究是一個(gè)較新的研究領(lǐng)域，正逐漸被更多研究者所關(guān)注，并且形成了一定的理論和方法技術(shù)體系，所以有必要從整體上了解突發(fā)事件中社交媒體多模態(tài)信息的研究現(xiàn)狀，為面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析的研究提供理論和方法支撐。

本文將包含多種模態(tài)的社交媒體信息分析或能夠體現(xiàn)多模態(tài)融合思想的文獻(xiàn)作為主要的綜述文獻(xiàn)，重點(diǎn)關(guān)注如何利用多模態(tài)信息分析方法將原始的社交媒體信息轉(zhuǎn)化為能夠有效支撐應(yīng)急管理決策的情報(bào)。社交媒體中包含多種模態(tài)的內(nèi)容，用戶以文本、符號(hào)等形式發(fā)布內(nèi)容的同時(shí)，上傳相關(guān)的照片、音頻、視頻等附件，并標(biāo)記當(dāng)前所處地理位置和時(shí)間戳，此外，用戶之間通過(guò)瀏覽、點(diǎn)贊、評(píng)論和轉(zhuǎn)發(fā)等操作進(jìn)行交流和互動(dòng)，這些用戶之間的互動(dòng)行為可以抽象為復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，上述內(nèi)容共同形成了社交媒體多模態(tài)信息在內(nèi)容、時(shí)空和網(wǎng)絡(luò)三個(gè)層面的特征。而有關(guān)突發(fā)事件中社交媒體多模態(tài)信息分析可以概括為信息獲取、信息整合和信息挖掘三個(gè)層次。從社交媒體中的實(shí)時(shí)數(shù)據(jù)中可發(fā)現(xiàn)和獲取與突發(fā)事件相關(guān)的多模態(tài)信息；以主題或事件為基本單元對(duì)多模態(tài)信息進(jìn)行語(yǔ)義描述和關(guān)聯(lián)；最后面向特定的應(yīng)用場(chǎng)景，從這些多模態(tài)信息中挖掘出對(duì)應(yīng)急決策有價(jià)值的隱性知識(shí)并應(yīng)用到應(yīng)急管理中。

綜上所述，本文將突發(fā)事件下社交媒體的研究歸納為資源和方法兩個(gè)方面：一是社交媒體信息本身在突發(fā)事件中所具有的多維特征；二是突發(fā)事件中面向特定應(yīng)用場(chǎng)景的社交媒體信息分析方法，如圖2所示。充分掌握社交媒體多模態(tài)信息特征為信息分析方法的研究提供了指引，而借助高效的信息方法能夠深層次挖掘出社交媒體多模態(tài)信息中的隱含內(nèi)容和規(guī)律，二者聯(lián)系緊密，共同為突發(fā)事件的應(yīng)急管理提供支撐，也能較好地涵蓋不同學(xué)科視角下的研究成果。

圖2 突發(fā)事件社交媒體多模態(tài)信息的主要研究?jī)?nèi)容

3 突發(fā)事件中社交媒體多模態(tài)信息的多維特征

3.1 內(nèi)容特征

社交媒體本身的信息內(nèi)容是突發(fā)事件實(shí)時(shí)態(tài)勢(shì)最直觀的反映，蘊(yùn)含了人物、地點(diǎn)、狀態(tài)等各類突發(fā)事件的構(gòu)成要素，從總體上感知和把握社交媒體信息的內(nèi)容特征能夠發(fā)現(xiàn)用戶普遍關(guān)注的問(wèn)題和應(yīng)急管理中有價(jià)值的信息。不同類型的突發(fā)事件中，研究人員所關(guān)注的信息內(nèi)容也存在一定的差異，形成了不同的分類標(biāo)準(zhǔn)和體系。例如，Alam等[5]將哈維等颶風(fēng)中的社交媒體信息分為受影響的人群、損壞的基礎(chǔ)設(shè)施、警告和建議、捐贈(zèng)和志愿服務(wù)等信息；Cho等[6]將2011年日本地震中的社交媒體信息分為災(zāi)害態(tài)勢(shì)、個(gè)人經(jīng)歷、建議、技術(shù)、情感和行動(dòng)；Vieweg[7]根據(jù)事件中的受影響對(duì)象，將社交媒體信息分為社會(huì)環(huán)境信息（建議、警告、疏散、死亡、傷害、醫(yī)療、失蹤和幫助等與人相關(guān)的內(nèi)容）和物理環(huán)境信息（建筑物、道路等與物相關(guān)的內(nèi)容）；Rudra等[8]根據(jù)信息是否反應(yīng)事件實(shí)時(shí)狀態(tài)，將社交媒體信息分為情境信息（受影響的人群、設(shè)施以及對(duì)應(yīng)對(duì)措施等）和非情境信息（事件原因、捐贈(zèng)和事后分析等）。這種粗粒度的分類能夠幫助用戶盡早地獲取其所需要的信息，而細(xì)粒度的社交媒體信息分類體系能夠幫助用戶更加深入地掌握事件的細(xì)節(jié)，如Huang等[9]根據(jù)突發(fā)事件的預(yù)警、準(zhǔn)備、響應(yīng)和恢復(fù)四個(gè)階段，定義不同的階段下社交媒體信息的子類別，該細(xì)粒度分類體系及其關(guān)鍵詞能夠反映整個(gè)事件期間的社交媒體內(nèi)容。

不同類型的社交媒體用戶在發(fā)布的內(nèi)容和語(yǔ)言風(fēng)格上也存在差異。個(gè)體用戶發(fā)布的推文通常是與事件相關(guān)的第一手信息，表達(dá)個(gè)人的主觀態(tài)度、情感、需求和經(jīng)歷[10]，語(yǔ)言較為隨意，信息的真實(shí)性有待進(jìn)一步考證，在分析過(guò)程中需要結(jié)合其他用戶推文和實(shí)際情況來(lái)合理使用；政府部門(mén)、主流新聞媒體等官方用戶發(fā)布的內(nèi)容包括官方預(yù)警、事件態(tài)勢(shì)更新、建議對(duì)策、救援行動(dòng)等[11]，在語(yǔ)言上更為嚴(yán)謹(jǐn)，具有更高的可信度和權(quán)威性，能夠被直接轉(zhuǎn)發(fā)和使用。這種差異體現(xiàn)了在突發(fā)事件期間，不同社會(huì)角色關(guān)注的問(wèn)題也不同，可能導(dǎo)致不同用戶發(fā)布內(nèi)容在傳播效率和利用效率上存在差異。

除了文本信息，社交媒體中的圖像、視頻等多媒體信息也提供了與突發(fā)事件相關(guān)的內(nèi)容，能夠更加直觀和全面地展現(xiàn)事件的態(tài)勢(shì)詳情，對(duì)于應(yīng)急管理同樣具有重要作用[12]。一般情況下，在社交媒體內(nèi)容中，文字、圖像等不同模態(tài)的信息同時(shí)存在，單一模態(tài)的信息通常缺乏部分事實(shí)性內(nèi)容，例如，圖像能夠直觀展示受到損壞的設(shè)施狀態(tài)，而文本中則包含更精確的受影響人員信息[5]。研究結(jié)果表明，大部分社交媒體的內(nèi)容中圖像和文本是對(duì)象相關(guān)和場(chǎng)景相關(guān)，不同模態(tài)和載體的信息能夠相互補(bǔ)充、相互印證，對(duì)其進(jìn)行融合分析能夠?yàn)閼B(tài)勢(shì)感知提供比單一模態(tài)更為準(zhǔn)確和全面的內(nèi)容，在事件的識(shí)別以及事件帶來(lái)影響的評(píng)估上具有更大價(jià)值[13]。

現(xiàn)有的研究主要是針對(duì)特定的突發(fā)事件、數(shù)據(jù)集和研究任務(wù)來(lái)構(gòu)建相應(yīng)的分類和描述體系，而較少有研究考慮圖像、視頻等其他模態(tài)的信息。不同研究中，對(duì)于社交媒體多模態(tài)信息的分類沒(méi)有形成一個(gè)被普遍接受的統(tǒng)一標(biāo)準(zhǔn)，不同信息分類體系也缺乏語(yǔ)義上的關(guān)聯(lián)，導(dǎo)致不同研究的成果之間不能進(jìn)行交叉比較和驗(yàn)證，這將會(huì)導(dǎo)致對(duì)于突發(fā)事件中社交媒體內(nèi)容的一般性模式和規(guī)律揭示存在阻礙。

3.2 時(shí)空特征

社交媒體提供的時(shí)間戳和地理位置數(shù)據(jù)[14]，將時(shí)間和空間維度嵌入到語(yǔ)義內(nèi)容中，通過(guò)聯(lián)合分析社交媒體信息的時(shí)空分布和語(yǔ)義內(nèi)容，有助于進(jìn)一步了解突發(fā)事件期間不同位置的用戶在不同階段的關(guān)注熱點(diǎn)和看法。

在時(shí)間維度上，不同類型突發(fā)事件中的社交媒體信息數(shù)量和內(nèi)容隨時(shí)間的演變模式存在差異。地震經(jīng)常導(dǎo)致相關(guān)推文的數(shù)量激增（推文數(shù)量在一小時(shí)內(nèi)達(dá)到當(dāng)?shù)胤逯担15]，與情感有關(guān)的推文比例隨著時(shí)間推移逐漸下降[6]；而在洪水和颶風(fēng)等事件中的推文數(shù)量增加較為緩和，與情感相關(guān)的推文比例隨著時(shí)間的推移而持續(xù)增加[16]。這可能是由于該類型的事件能夠被有效預(yù)測(cè)和預(yù)警，并且發(fā)生較為頻繁，而地震事發(fā)突然且造成的影響巨大，具有極高的用戶關(guān)注度。

在空間維度上，與未受影響的用戶相比，受災(zāi)地區(qū)的用戶傾向于在社交媒體上發(fā)布更多與災(zāi)情相關(guān)的信息[17]，如在火災(zāi)事件中，發(fā)布位置與火災(zāi)位置之間的距離與推文發(fā)布數(shù)量之間存在顯著的負(fù)相關(guān)[18]。此外，事件受影響地區(qū)的用戶和未受影響地區(qū)用戶發(fā)布推文的內(nèi)容也存在差異。例如，在“海燕”臺(tái)風(fēng)中，居住在受災(zāi)最嚴(yán)重的菲律賓的用戶發(fā)布了更多有關(guān)協(xié)調(diào)救濟(jì)的推文，而菲律賓以外的用戶則發(fā)布了更多有關(guān)悼念活動(dòng)的信息[19]。在“哈維”颶風(fēng)中，災(zāi)害爆發(fā)時(shí)，受災(zāi)用戶主要發(fā)布物理環(huán)境類話題，而非受災(zāi)用戶傾向于情感的表達(dá)；災(zāi)害過(guò)后，受災(zāi)用戶通常發(fā)布情感類話題的推文，而非受災(zāi)用戶則更傾向于發(fā)布建設(shè)環(huán)境和物理環(huán)境類話題[20]。

突發(fā)事件中社交媒體信息的時(shí)空特征會(huì)受到一些外部因素的干擾，如地區(qū)人口密度和信息基礎(chǔ)設(shè)施，可能導(dǎo)致社交媒體信息的空間數(shù)量分布不平衡，當(dāng)突發(fā)事件發(fā)生在人口密度較大且網(wǎng)絡(luò)基礎(chǔ)設(shè)施較好的地區(qū)時(shí)，區(qū)域內(nèi)信息的總數(shù)也會(huì)較多，而在人口較少或信息基礎(chǔ)設(shè)施較為薄弱的地區(qū)，區(qū)域內(nèi)信息的數(shù)量較少。如何通過(guò)獲取其他社會(huì)感知數(shù)據(jù)源來(lái)補(bǔ)全缺失的社交媒體信息，以及糾正這些地區(qū)社交媒體數(shù)據(jù)不足所導(dǎo)致的社交媒體時(shí)空分析偏差，也是在數(shù)據(jù)獲取中需要考慮的問(wèn)題。

3.3 網(wǎng)絡(luò)特征

在社交媒體中，每個(gè)用戶是信息發(fā)布和轉(zhuǎn)發(fā)的節(jié)點(diǎn)，形成了一種可參與并具有自組織特性的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)交流和傳播信息，信息傳播的速度和廣度遠(yuǎn)遠(yuǎn)超過(guò)了傳統(tǒng)新聞媒介。突發(fā)事件下的社交媒體網(wǎng)絡(luò)分析能夠發(fā)現(xiàn)用戶如何通過(guò)社交媒體來(lái)傳遞相關(guān)信息，從而深刻地理解突發(fā)事件在事前、事中和事后的信息在社交媒體中的傳播規(guī)律。

社交媒體中的信息轉(zhuǎn)發(fā)行為是信息傳播的主要渠道，通過(guò)社交媒體中的用戶網(wǎng)絡(luò)結(jié)構(gòu)和連接交互模式能夠了解不同信息流以及不同用戶對(duì)于有效信息傳播的貢獻(xiàn)[21]，用戶的關(guān)注數(shù)和推文的轉(zhuǎn)發(fā)數(shù)在社交網(wǎng)絡(luò)中大致符合冪律分布的特點(diǎn)[22]，即中心用戶（擁有大量粉絲的用戶）和關(guān)鍵推文（大量被轉(zhuǎn)發(fā)的推文）主導(dǎo)著在線社交網(wǎng)絡(luò)中的信息傳播過(guò)程，突發(fā)事件的信息傳播主要由關(guān)鍵節(jié)點(diǎn)推動(dòng)[23]。因此，擁有更多關(guān)注者的個(gè)體賬號(hào)所發(fā)布的推文通常具有更高的曝光度，在傳播緊急信息中往往起著更加關(guān)鍵的作用，而官方賬號(hào)發(fā)布的權(quán)威信息也更容易被轉(zhuǎn)發(fā)[22]，在連接不同個(gè)人和網(wǎng)絡(luò)之間尤為重要[24]。

從傳播擴(kuò)散的角度來(lái)說(shuō)，通過(guò)社交媒體網(wǎng)絡(luò)進(jìn)行內(nèi)部傳播的速度要快于這些網(wǎng)絡(luò)中來(lái)自外部來(lái)源的信息，在災(zāi)難期間較早發(fā)布的信息比在災(zāi)難更重要的階段較晚發(fā)布的信息具有更高的傳播速度[25]。此外，推文的內(nèi)容、形式和用戶特征也會(huì)影響信息的轉(zhuǎn)發(fā)率，如包含更長(zhǎng)文本、主題標(biāo)簽和鏈接[26]，并與預(yù)警建議、損失情況和危險(xiǎn)位置等事件關(guān)鍵信息的原創(chuàng)推文更容易被轉(zhuǎn)發(fā)[27]，包含請(qǐng)求和情感的推文也更容易被傳播和擴(kuò)散[28]。在綜合考慮用戶行為特征、網(wǎng)絡(luò)全局信息和影響力衰退機(jī)制的基礎(chǔ)上，動(dòng)態(tài)識(shí)別不同階段的關(guān)鍵節(jié)點(diǎn)動(dòng)態(tài)[29]，并制定相應(yīng)的內(nèi)容編輯策略，有助于把相關(guān)信息快速、準(zhǔn)確地傳播給有需要的人群。

社交媒體的用戶網(wǎng)絡(luò)、轉(zhuǎn)發(fā)網(wǎng)絡(luò)、鏈接網(wǎng)絡(luò)，在一定程度上反映了與突發(fā)事件相關(guān)的信息在社交媒體中的傳播模式，然而，當(dāng)前只是停留在單一網(wǎng)絡(luò)特征的揭示，對(duì)于網(wǎng)絡(luò)動(dòng)態(tài)演變過(guò)程及其因果關(guān)系的探索不足，對(duì)于加入不同類型實(shí)體和時(shí)空關(guān)聯(lián)的異質(zhì)網(wǎng)絡(luò)特征以及突發(fā)事件信息在社交媒體中的傳播機(jī)理仍有待進(jìn)一步探索。

4 突發(fā)事件中社交媒體多模態(tài)信息分析關(guān)鍵方法

4.1 信息獲取方法

社交媒體中包含大量與突發(fā)事件無(wú)關(guān)、冗余或虛假的噪聲數(shù)據(jù)，有用信息分散在不同的社交媒體信息中，存在嚴(yán)重的信息過(guò)載問(wèn)題。需要通過(guò)分類的方式從大規(guī)模的社交媒體數(shù)據(jù)中自動(dòng)識(shí)別與突發(fā)事件相關(guān)的信息，并進(jìn)一步抽取出其中的細(xì)粒度信息。

4.1.1 多模態(tài)信息分類

在突發(fā)事件中，社交媒體多模態(tài)信息分類任務(wù)主要有兩種：一是從大規(guī)模社交媒體信息中識(shí)別與突發(fā)事件相關(guān)并包含豐富信息的內(nèi)容，這是一個(gè)二分類問(wèn)題；二是根據(jù)不同場(chǎng)景將信息分配到更為細(xì)粒度的類目中，以滿足不同的信息需求，這是一個(gè)多分類問(wèn)題。社交媒體多模態(tài)信息分類主要有基于關(guān)鍵詞、基于特征工程和基于深度學(xué)習(xí)這三種方法。

基于關(guān)鍵詞的方法通過(guò)目標(biāo)關(guān)鍵詞檢索和精確匹配以獲取相關(guān)社交媒體信息，為了適應(yīng)事件的動(dòng)態(tài)演變，關(guān)鍵詞需要?jiǎng)討B(tài)生成和實(shí)時(shí)更新[30]，但是在短時(shí)間內(nèi)選取合適的關(guān)鍵詞進(jìn)行精確檢索和過(guò)濾較為困難?；谔卣鞴こ痰姆绞?，通過(guò)提取詞匯、句法、視覺(jué)等外部特征和內(nèi)容特征，將社交媒體信息轉(zhuǎn)化為可用于分類的指標(biāo)，再利用邏輯回歸、決策樹(shù)、支持向量機(jī)等數(shù)學(xué)模型構(gòu)建有監(jiān)督的機(jī)器學(xué)習(xí)分類器，實(shí)現(xiàn)自動(dòng)化的信息分類[31]?；谏疃葘W(xué)習(xí)的方法是利用預(yù)訓(xùn)練模型來(lái)整合和表示社交媒體內(nèi)容，并結(jié)合災(zāi)害事件語(yǔ)料庫(kù)進(jìn)行微調(diào)，最后通過(guò)遷移學(xué)習(xí)來(lái)完成下游的社交媒體內(nèi)容分類任務(wù)，在一定程度上考慮了信息上下文之間的語(yǔ)義關(guān)聯(lián)，通常能夠展現(xiàn)出比傳統(tǒng)機(jī)器學(xué)習(xí)更好的性能[32]。除了單一模態(tài)的信息分類，通過(guò)多模態(tài)融合的方式構(gòu)建多模態(tài)信息的聯(lián)合表示空間，能夠有效提高信息分類的性能[33]。例如，根據(jù)預(yù)定義的層次結(jié)構(gòu)為每個(gè)模態(tài)特征分配不同的權(quán)重，再構(gòu)建深度學(xué)習(xí)模型，將推文分配到不同的災(zāi)害類別及其子類別中[34]。

此外，社交媒體中存在大量被重復(fù)轉(zhuǎn)發(fā)的內(nèi)容，從信息內(nèi)容的角度，這些社交媒體信息中并沒(méi)有提供除原文之外的其他有用信息，需要在數(shù)據(jù)處理的過(guò)程中刪除這些冗余信息，以保證在有效利用信息的情況下減少信息分析的工作量[35]，可以采用余弦相似度、歐氏距離、杰卡德相似、感知哈希等算法計(jì)算文本相似度和圖像相似度，找出數(shù)據(jù)集中相同或相似的信息，并制定一定的規(guī)則來(lái)刪除這些冗余信息。

4.1.2 多模態(tài)信息抽取

與正式的官方消息和新聞相比，突發(fā)事件情境下的社交媒體中存在非正式語(yǔ)言、縮寫(xiě)、拼寫(xiě)錯(cuò)誤、用詞模糊、語(yǔ)法隨意等問(wèn)題，原始信息的有效性和真實(shí)性有待進(jìn)一步驗(yàn)證。這就需要利用命名實(shí)體識(shí)別等方法抽取受影響的人員、時(shí)間、地點(diǎn)及其屬性和關(guān)系，進(jìn)行指代消解和實(shí)體消歧，并將實(shí)體鏈接到現(xiàn)實(shí)世界中，從原始信息中獲得到更為豐富和準(zhǔn)確的語(yǔ)義內(nèi)容[36]。Rexiline Ragini等[37]通過(guò)分析用戶在緊急情況下的用詞風(fēng)格，利用機(jī)器學(xué)習(xí)和預(yù)定義規(guī)則相結(jié)合的方法識(shí)別事件中處于危險(xiǎn)狀態(tài)的人群。此外，也可以引入外部語(yǔ)料庫(kù)和規(guī)范化詞表，利用預(yù)定義規(guī)則來(lái)擴(kuò)展詞間語(yǔ)義關(guān)系和詞法搭配關(guān)系，構(gòu)建損失知識(shí)庫(kù)，以此來(lái)提高信息抽取的精度[38]。社交媒體信息中的圖像和視頻也提供了有關(guān)設(shè)施損壞和人員傷亡等的重要信息，文本上下文可能包含損壞對(duì)象、位置、原因等詳細(xì)描述信息，通過(guò)構(gòu)建多模態(tài)融合的深度學(xué)習(xí)模型，分別從圖像和文本中提取語(yǔ)義特征，從而更加全面地識(shí)別細(xì)粒度信息。

精確的地理位置也是突發(fā)事件應(yīng)急管理中的重要要素，將社交媒體內(nèi)容映射到事件空間地圖中，能夠增強(qiáng)突發(fā)事件的地理態(tài)勢(shì)感知能力。由于互聯(lián)網(wǎng)中的隱私保護(hù)政策，部分用戶在發(fā)帖時(shí)選擇隱藏地理位置，大量與事件相關(guān)的內(nèi)容中缺少位置信息，需要通過(guò)圖像、視頻和用戶等特征來(lái)預(yù)測(cè)和解析社交媒體信息中描述的事件所在位置。社交媒體中地理位置解析方法主要有三種：一是構(gòu)建外部知識(shí)庫(kù)或地理詞典，通過(guò)間接相關(guān)的實(shí)體與外部知識(shí)庫(kù)或現(xiàn)實(shí)世界空間對(duì)象進(jìn)行匹配[39-40]，以此來(lái)預(yù)測(cè)用戶發(fā)布內(nèi)容時(shí)所在的位置；二是根據(jù)用戶的社交個(gè)人資料來(lái)獲取社交媒體用戶或內(nèi)容的位置[41]；三是通過(guò)地理空間區(qū)域的視覺(jué)元素和屬性來(lái)識(shí)別地理位置，通過(guò)領(lǐng)域自適應(yīng)技術(shù)和圖像轉(zhuǎn)換方法可以將損壞的場(chǎng)景與未損壞的場(chǎng)景進(jìn)行匹配[42]，實(shí)現(xiàn)圖像的視覺(jué)內(nèi)容向地理坐標(biāo)的映射[43]。

基于有監(jiān)督機(jī)器學(xué)習(xí)是多模態(tài)信息分類和信息抽取的主要方式，為機(jī)器學(xué)習(xí)提供豐富的訓(xùn)練數(shù)據(jù)來(lái)源，是有效提高和評(píng)價(jià)多模態(tài)信息分類和抽取模型性能的重要方式之一。目前這方面的可用數(shù)據(jù)集較少，其規(guī)模和領(lǐng)域覆蓋范圍也難以滿足模型訓(xùn)練的需求，需要構(gòu)建面向多種突發(fā)事件應(yīng)用場(chǎng)景，涵蓋多種類型、多種模態(tài)信息的標(biāo)準(zhǔn)數(shù)據(jù)集。

4.2 信息整合方法

社交媒體中與突發(fā)事件相關(guān)的信息以獨(dú)立條目的形式存在，存在實(shí)際內(nèi)容冗余、語(yǔ)義不一致等問(wèn)題，其中的信息量超過(guò)人腦的信息處理能力，并且還要進(jìn)一步將不同模態(tài)和類型的信息納入統(tǒng)一的高層語(yǔ)義表示空間中；事件作為一種信息的統(tǒng)一表示和組織方法，能夠準(zhǔn)確清晰地表示發(fā)生的各種事實(shí)型信息，反映特定實(shí)體在特定時(shí)間和地點(diǎn)相互作用的客觀事實(shí)，是整合社交媒體信息的主要方式，對(duì)于突發(fā)事件的深度理解具有重要的作用。

4.2.1 事件檢測(cè)

在突發(fā)事件發(fā)生后，社交媒體在一段時(shí)間和一定地區(qū)內(nèi)的與某一主題相關(guān)的信息數(shù)量會(huì)突然增加，在一定程度上反映了現(xiàn)實(shí)世界中事件的真實(shí)狀態(tài)。通過(guò)匯集大規(guī)模實(shí)時(shí)社交媒體流數(shù)據(jù)，監(jiān)測(cè)一定時(shí)空范圍內(nèi)的主題內(nèi)容，能夠在第一時(shí)間檢測(cè)到正在發(fā)生的異常事件或突發(fā)事件。事件檢測(cè)分為重大突發(fā)事件檢測(cè)和子事件檢測(cè)[44]。前者是從大規(guī)模的社交媒體數(shù)據(jù)流中第一時(shí)間檢測(cè)到實(shí)時(shí)發(fā)生的重大事件，以支持突發(fā)事件的快速響應(yīng)；后者是檢測(cè)伴隨著突發(fā)事件發(fā)生而產(chǎn)生的一些次生或衍生事件，以追蹤突發(fā)事件的演化和發(fā)展過(guò)程。

1）重大突發(fā)事件檢測(cè)

對(duì)于特定災(zāi)害事件的檢測(cè)，通過(guò)統(tǒng)計(jì)和比較當(dāng)前時(shí)刻與前一時(shí)刻或歷史時(shí)刻信息中的主題標(biāo)簽頻率來(lái)發(fā)現(xiàn)周期性或異常事件。例如，在地震檢測(cè)中，隨著信息發(fā)布位置與震中之間距離的增加，與地震相關(guān)的信息數(shù)量會(huì)明顯減少，單位時(shí)間內(nèi)的信息發(fā)布頻率也會(huì)明顯下降。Poblete等[45]和Sakaki等[46]基于此規(guī)律構(gòu)建了社交媒體信息中與“地震”相關(guān)的關(guān)鍵詞頻率的時(shí)序分布模型，用于判斷地震事件的發(fā)生，并進(jìn)一步通過(guò)地理標(biāo)簽過(guò)濾的方式確定地震發(fā)生的位置。對(duì)于未知事件的檢測(cè)，在考慮時(shí)間和地理特征的基礎(chǔ)上，Zhou等[47]利用聚類、主題模型等無(wú)監(jiān)督的語(yǔ)義分析技術(shù)，構(gòu)建基于概率的主題時(shí)空模型，挖掘原始推文集合的潛在主題或事件，并計(jì)算事件發(fā)生概率。社交媒體中的圖像和視頻等多模態(tài)數(shù)據(jù)能夠更加直觀地反映事件狀態(tài)，對(duì)于突發(fā)事件的檢測(cè)更具價(jià)值[48]。Daly等[49]利用圖像識(shí)別的機(jī)器學(xué)習(xí)模型識(shí)別社交媒體中實(shí)時(shí)上傳的火災(zāi)信息，再結(jié)合時(shí)間戳和地理標(biāo)簽確定發(fā)生火災(zāi)的時(shí)間和具體位置，實(shí)現(xiàn)區(qū)域內(nèi)火災(zāi)事件的實(shí)時(shí)監(jiān)測(cè)。

2）子事件檢測(cè)

重大突發(fā)事件的發(fā)生，通常伴隨著衍生事件或子事件的發(fā)生，如“洪水導(dǎo)致人員被困”“地震導(dǎo)致道路損壞”等。所有子事件共同構(gòu)成了突發(fā)事件多側(cè)面的熱點(diǎn)問(wèn)題，反映整個(gè)事件的全貌和細(xì)節(jié)。子事件或衍生事件的檢測(cè)方法與突發(fā)事件的檢測(cè)方法相類似，通過(guò)主事件關(guān)鍵詞來(lái)跟蹤相關(guān)信息，但更注重信息之間的時(shí)序特征。其核心步驟是對(duì)相似的推文進(jìn)行二次聚類或主題建模，得到突發(fā)事件中的子主題，再對(duì)子主題進(jìn)行加權(quán)、排序和合并，并結(jié)合時(shí)間和地理特征，對(duì)子事件進(jìn)行增量更新[50-51]。此外，還可以借助圖模型來(lái)檢測(cè)子事件，Meladianos等[52]以關(guān)鍵詞作為節(jié)點(diǎn)，將較短時(shí)間間隔內(nèi)連續(xù)的推文表示為一個(gè)加權(quán)的詞共現(xiàn)圖，再使用凸優(yōu)化算法來(lái)檢測(cè)圖邊緣權(quán)重的變化，找出與事件最相關(guān)的推文或關(guān)鍵詞來(lái)表示不同子事件。

4.2.2 事件摘要

事件摘要是指將檢測(cè)到的突發(fā)事件及其子事件片段進(jìn)行語(yǔ)義編碼和整合，形成全面而簡(jiǎn)短的事件描述的過(guò)程，分為抽取式摘要和生成式摘要。抽取式摘要是從原始社交媒體信息中識(shí)別出可能表示事件的關(guān)鍵詞語(yǔ)和句子，通過(guò)聚類、圖模型或規(guī)則將這些詞和句子進(jìn)行重新排列和組合，得到有關(guān)事件的描述[53]；生成式摘要是在語(yǔ)義理解的基礎(chǔ)上，凝練核心內(nèi)容，提取社交媒體信息中的主要實(shí)體、關(guān)系和動(dòng)作短語(yǔ)，實(shí)現(xiàn)序列化的語(yǔ)言重構(gòu)。事件摘要的 表 示 通 常 遵 循“5W”模 式（what，where，when，who，why），即包含事件的五要素：內(nèi)容、地點(diǎn)、時(shí)間、涉及人物和發(fā)生原因[54]。

在社交媒體中的圖像對(duì)于突發(fā)事件的展現(xiàn)更為直觀，Kuang等[55]和Xu等[56]將圖像特征融入事件摘要中，利用關(guān)鍵字、地理位置、代表性推文和代表性圖像來(lái)表示每個(gè)子事件，生成關(guān)于突發(fā)事件的多模態(tài)連貫性摘要報(bào)告。為了獲取每個(gè)子事件下最相關(guān)的圖像，李顯鑫利用種子查詢?cè)~不斷擴(kuò)展子事件下的查詢文本，構(gòu)建融合圖文多模態(tài)信息的圖片事件相關(guān)性判定模型，同時(shí)考慮對(duì)各模態(tài)內(nèi)特征和跨模態(tài)間關(guān)聯(lián)特征，以實(shí)現(xiàn)事件相關(guān)圖像的采集[57]。在基于主題模型的多模態(tài)事件摘要中，Bian等[58]和Schinas等[59]通過(guò)基于圖模型的排序算法，從文本、圖像、時(shí)間和社交關(guān)系等方面計(jì)算圖像與主題的相關(guān)性，構(gòu)建跨模態(tài)的概率模型，通過(guò)不同模態(tài)信息與事件之間的相關(guān)性來(lái)發(fā)現(xiàn)事件中的子主題，并進(jìn)一步匯總形成可視化的事件摘要。除了主題建模的方式，Qian等[60]通過(guò)文本-圖像-用戶聚類的方式尋找事件的子節(jié)點(diǎn)，從視覺(jué)相似性、重要性和多樣性等維度為每個(gè)子節(jié)點(diǎn)分配最具相關(guān)性的文本和圖像，形成融合文本和圖像的事件摘要。

4.2.3 事件演化分析

事件摘要把突發(fā)事件當(dāng)作一個(gè)整體來(lái)看待，忽略了事件的動(dòng)態(tài)演化過(guò)程以及子事件之間的關(guān)聯(lián)關(guān)系。從突發(fā)事件的生命周期出發(fā)，建立事件從起始期、爆發(fā)期、蔓延期和衰退期的全生命周期事件主題演化模型和事件脈絡(luò)模型，構(gòu)建融合多源、多模態(tài)數(shù)據(jù)的時(shí)空語(yǔ)義模型，分析突發(fā)事件中更為復(fù)雜的時(shí)間-空間-內(nèi)容的協(xié)同演化過(guò)程，可實(shí)現(xiàn)更細(xì)粒度、更深層次、更全角度以及更多側(cè)面的突發(fā)事件描述。

1）事件主題演化建模

在基于時(shí)序關(guān)系的事件演化分析中，利用社交媒體捕獲事件演化各個(gè)階段的討論數(shù)量、熱度和內(nèi)容等特征，建立基于時(shí)間序列的主題動(dòng)態(tài)演化模型[61-62]，能夠有效呈現(xiàn)不同時(shí)間段內(nèi)事件主題的變化情況。此外，等結(jié)合維基百科、遙感和地理信息等外部數(shù)據(jù)源，利用時(shí)空分析和文本分析相結(jié)合方法，構(gòu)建突發(fā)事件的時(shí)空演化語(yǔ)義模型，分析突發(fā)事件中更為復(fù)雜的時(shí)間-空間-內(nèi)容的協(xié)同演化過(guò)程，實(shí)時(shí)跟蹤事件的時(shí)空演化態(tài)勢(shì)和特征[63-64]，以更簡(jiǎn)潔的方式理解整個(gè)事件的發(fā)展趨勢(shì)。事件畫(huà)像的概念和方法也被應(yīng)用于事件演化分析中，構(gòu)建由基于事件演化的一系列話題主題構(gòu)成的“主線信息鏈”以及基于各個(gè)話題下用戶評(píng)論信息和事件傳播特征的“副線信息鏈”，來(lái)表征事件多個(gè)維度的發(fā)展?fàn)顟B(tài)[65]。

2）事件脈絡(luò)生成

為了更加清晰地理解和掌握社交媒體中有關(guān)突發(fā)事件的構(gòu)成情況，需要從更細(xì)的粒度揭示事件之間、事件要素之間的潛在邏輯和時(shí)空關(guān)聯(lián)，引入事件鏈、事件圖譜等細(xì)粒度的信息組織方法，進(jìn)行突發(fā)事件的數(shù)據(jù)建模。從敘事的角度，進(jìn)一步識(shí)別事件中更細(xì)粒度的實(shí)體、屬性和關(guān)系，將無(wú)序、雜亂的事件組合成有序、有規(guī)律的故事情節(jié)，構(gòu)建事件圖譜，并以可視化的形式展現(xiàn)事件發(fā)展脈絡(luò)[66]，形成一個(gè)連貫且自成體系的敘事結(jié)構(gòu)。其核心任務(wù)是事件之間的關(guān)系刻畫(huà)，通過(guò)圖模型或機(jī)器學(xué)習(xí)的方法識(shí)別事件之間在時(shí)間和邏輯上的關(guān)聯(lián)，以及事件中地理位置、參與者、核心詞之間的關(guān)聯(lián)，形成事件下各個(gè)主題的分支結(jié)構(gòu)，將這些分支利用生成樹(shù)生成事件的脈絡(luò)結(jié)構(gòu)[67]。圖像也被應(yīng)用到事件演化的建模中，理解并抽取圖像的語(yǔ)義特征，將其分配到事件的文本時(shí)間線中，生成融合圖像-文本摘要的全局事件時(shí)間線[68]。

當(dāng)前，對(duì)于社交媒體多模態(tài)信息整合的研究仍主要是以單一模態(tài)的信息或簡(jiǎn)單的圖像和文本融合作為整合的對(duì)象，尚未較好地建立不同模態(tài)信息之間的關(guān)聯(lián)，對(duì)于多模態(tài)融合的研究有待進(jìn)一步深入探索。來(lái)自不同模式的信息通常帶來(lái)關(guān)于概念、對(duì)象、事件等的互補(bǔ)和印證，如何將這些不同模態(tài)信息進(jìn)行深度融合得到更為穩(wěn)健的事件態(tài)勢(shì)演化推理結(jié)果是多模態(tài)信息融合中最主要的研究問(wèn)題。此外，越來(lái)越多的用戶開(kāi)始傾向于在社交媒體中發(fā)布視頻，其中也包含豐富的圖像、文本、聲音等多模態(tài)信息；但是目前對(duì)于視頻分析的手段有限，只是簡(jiǎn)單地將視頻中的關(guān)鍵幀轉(zhuǎn)換為圖片進(jìn)行分析，對(duì)于視頻內(nèi)容的解析和融合也將是有待解決的問(wèn)題之一。

4.3 面向應(yīng)用場(chǎng)景的信息挖掘方法

社交媒體數(shù)據(jù)中除了與突發(fā)事件有關(guān)的顯性信息，還包含大量有待進(jìn)一步挖掘的隱性知識(shí)。根據(jù)特定的應(yīng)用場(chǎng)景，利用特征關(guān)聯(lián)和語(yǔ)義挖掘等手段發(fā)現(xiàn)社交媒體中的有關(guān)用戶情感和事件態(tài)勢(shì)等內(nèi)容，對(duì)于事件的態(tài)勢(shì)評(píng)估和走勢(shì)預(yù)測(cè)均具有重要作用。

4.3.1 觀點(diǎn)挖掘

在突發(fā)事件期間，每個(gè)用戶都可以在社交媒體上自由地表達(dá)自己的觀點(diǎn)、反應(yīng)、情感、態(tài)度和看法，有助于深入了解公眾面對(duì)突發(fā)事件和應(yīng)急響應(yīng)的真實(shí)反應(yīng)[69]，對(duì)于用戶情感識(shí)別、輿情演化分析、需求挖掘以及敏感人群監(jiān)測(cè)都具有重要作用。

1）用戶情感分析

情感分析的目的是識(shí)別社交媒體信息中隱藏的用戶對(duì)于突發(fā)事件的主觀情感傾向，采用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)等方式，建立語(yǔ)法、語(yǔ)義和表情符號(hào)等特征與情感之間的潛在關(guān)系，將用戶發(fā)布內(nèi)容分為正向、負(fù)向或中立情感，或者通過(guò)開(kāi)發(fā)情感詞典，使用更為準(zhǔn)確和細(xì)粒度的情感詞來(lái)標(biāo)記信息。社交媒體信息中的圖像同樣是通過(guò)視覺(jué)、對(duì)象或場(chǎng)景傳遞情感的，可以是圖像中人物本身所表現(xiàn)出來(lái)的情感，也可以是用戶看到圖像所產(chǎn)生的情感，但是圖像中的視覺(jué)特征和主觀情感之間存在語(yǔ)義鴻溝，這就導(dǎo)致了每個(gè)人對(duì)于相同圖像所產(chǎn)生的情感可能會(huì)產(chǎn)生差異。圖像與文本的融合方法也受到了研究者更多的關(guān)注，構(gòu)建基于注意力機(jī)制的網(wǎng)絡(luò)，利用視覺(jué)和文本信息之間的相關(guān)性進(jìn)行情感分析，能夠有效提升情感識(shí)別的性能[70-71]。

2）輿情演化分析

分析社交媒體中不同階段突發(fā)事件的主題與情感演化特征和規(guī)律，幫助應(yīng)急管理部門(mén)了解突發(fā)事件中公眾對(duì)事件的看法和情感傾向，預(yù)測(cè)未來(lái)的輿論趨勢(shì)走向，并妥善應(yīng)對(duì)民眾關(guān)注熱點(diǎn)[72]。從用戶的角度，通過(guò)分析突發(fā)事件中不同利益相關(guān)者的情感狀態(tài)和分布，探尋利益相關(guān)者之間的情感傳播路徑，結(jié)合輿情話題綜合分析利益相關(guān)者的情感演化態(tài)勢(shì)[73]。一般情況下，意見(jiàn)領(lǐng)袖對(duì)網(wǎng)絡(luò)輿情的傳播具有決定性作用，利用主題一致性和情感支持識(shí)別網(wǎng)絡(luò)評(píng)論意見(jiàn)領(lǐng)袖，從而引導(dǎo)正面評(píng)論意見(jiàn)領(lǐng)袖積極發(fā)聲，減少消極情緒，合理回應(yīng)存在的問(wèn)題，避免情緒的極端化和輿情態(tài)勢(shì)的惡化[74]。

3）需求挖掘

社交媒體用戶也會(huì)發(fā)布內(nèi)容來(lái)描述自身或其他人的困難并尋求幫助，需求挖掘是指從社交媒體信息中抽取出受影響人員、資源需求、損失情況等更細(xì)粒度的事件要素信息，從而指導(dǎo)應(yīng)急管理部門(mén)以此為依據(jù)，優(yōu)化物資和人員的調(diào)度策略，提供精準(zhǔn)的救助服務(wù)。利用分類模型識(shí)別出包含用戶需求的社交媒體內(nèi)容和需求類型（如食物、住所、醫(yī)療、救援等），進(jìn)一步抽取需求主體、需求資源、需求時(shí)間和地點(diǎn)等結(jié)構(gòu)化信息，并計(jì)算緊急狀況下受影響人群的各種需求級(jí)別[75]。除了單一的需求挖掘，Purohit等[76]從推文中識(shí)別突發(fā)事件中與捐助、救援等相關(guān)的資源供應(yīng)信息，利用需求和供應(yīng)之間的相似度計(jì)算或?qū)傩耘鋵?duì)進(jìn)行自動(dòng)供需匹配，輔助資源的調(diào)度，從而提高突發(fā)事件應(yīng)急響應(yīng)的速度。

4）敏感人群監(jiān)測(cè)

突發(fā)事件的破壞性和不確定性加劇了公眾的焦慮和恐慌等負(fù)面情緒，事件中受影響的人群更容易出現(xiàn)心理方面的問(wèn)題，如創(chuàng)傷后應(yīng)激障礙。通過(guò)社交媒體信息的情感挖掘，發(fā)現(xiàn)不同用戶在事件發(fā)生前后一系列（包括恐慌、焦慮或悲傷等）負(fù)面情緒[77]，再結(jié)合需求動(dòng)機(jī)模型編制用戶的需求-動(dòng)機(jī)映射表，最終得到不同類型用戶的深層次情感需求特征[78]。而結(jié)合時(shí)空數(shù)據(jù)，將公眾情感映射到時(shí)空地圖中，追蹤公眾情感變化情況，可以及時(shí)發(fā)現(xiàn)心理狀況存在異常的人群，并及時(shí)提供一定的心理援助和情緒引導(dǎo)，從而減少與突發(fā)事件相關(guān)的心理問(wèn)題發(fā)生[79]。

4.3.2 態(tài)勢(shì)分析

在緊急情況下，傳統(tǒng)的依靠專家來(lái)評(píng)估事件發(fā)展態(tài)勢(shì)是一種耗時(shí)費(fèi)力的方式，而隨著與突發(fā)事件相關(guān)的社交媒體多模態(tài)數(shù)據(jù)的不斷匯集，利用社交媒體中多模態(tài)信息的深層次關(guān)聯(lián)挖掘，能夠有效估計(jì)突發(fā)事件的嚴(yán)重程度、宏觀態(tài)勢(shì)等事件的隱藏信息，為應(yīng)急管理提供更加快速可靠的決策支持情報(bào)。

1）事件嚴(yán)重性評(píng)估

社交媒體信息數(shù)量與災(zāi)害破壞和財(cái)產(chǎn)損失之間存在一定的相關(guān)性，可以利用社交媒體信息的數(shù)量分布和內(nèi)容快速推測(cè)和評(píng)估突發(fā)事件的影響和潛在風(fēng)險(xiǎn)[80]。因此，通過(guò)計(jì)算突發(fā)事件后的社交媒體推文密度、轉(zhuǎn)發(fā)量、圖文數(shù)量等指標(biāo)，可以估計(jì)和預(yù)測(cè)事件的影響和破壞程度[81]，如Kropivnitskaya等[82]利用地震發(fā)生后短時(shí)間內(nèi)的社交媒體中與地震相關(guān)的推文數(shù)量來(lái)估計(jì)地震烈度，而Nguyen等和Li等借助深度學(xué)習(xí)方法將事件根據(jù)不同推文特征分為不同的嚴(yán)重等級(jí)[83]或量化為連續(xù)型的損害指數(shù)值[84]。

2）態(tài)勢(shì)估計(jì)

從社交媒體中挖掘得到的信息本身并不能直接揭示當(dāng)前的事件態(tài)勢(shì)，還需要揭示社交媒體信息與事件態(tài)勢(shì)的關(guān)聯(lián)關(guān)系及映射機(jī)制，通過(guò)融合社交媒體和其他來(lái)源數(shù)據(jù)（如傳感數(shù)據(jù)、水文數(shù)據(jù)和數(shù)學(xué)模型）來(lái)實(shí)現(xiàn)事件總體態(tài)勢(shì)的估計(jì)。de Albuquerque等[85]和Arthur等[86]將與洪水相關(guān)的推文通過(guò)地理編碼映射到GIS系統(tǒng)中，通過(guò)推文中圖像和文本描述來(lái)估計(jì)特定區(qū)域中洪水的淹沒(méi)和破壞情況，并形成洪水地圖。為了進(jìn)一步精確估計(jì)和預(yù)測(cè)洪水深度和淹沒(méi)區(qū)域，將推文信息轉(zhuǎn)換為降雨量的值，Brouw‐er等[87]和Li等[88]構(gòu)建地理高程模型來(lái)計(jì)算排水渠上方的水位高度，再?gòu)囊阎蜎](méi)位置與目標(biāo)位置之間的距離和高程差得到水位的概率指數(shù)，能夠有效降低水位估計(jì)和預(yù)測(cè)的不確定性。

當(dāng)前針對(duì)特定的場(chǎng)景和信息需求的社交媒體多模態(tài)信息挖掘研究中，分析數(shù)據(jù)和目標(biāo)都具有較強(qiáng)的領(lǐng)域性，使得其信息挖掘的方法和結(jié)果缺乏多領(lǐng)域的適用性，對(duì)于挖掘方法的評(píng)價(jià)上也存在一定的困難。如何針對(duì)突發(fā)事件中典型場(chǎng)景和任務(wù)，探索具有一定普適性的信息挖掘方法，是值得進(jìn)一步研究的問(wèn)題。此外，目前只有少量研究涉及分析結(jié)果可視化的問(wèn)題，簡(jiǎn)單地將事件要素以統(tǒng)計(jì)圖表或時(shí)空地圖的形式呈現(xiàn)出來(lái)，缺乏有針對(duì)性的對(duì)突發(fā)事件態(tài)勢(shì)可視化理論和方法的研究。

5 總結(jié)與展望

盡管社交媒體信息已經(jīng)被廣泛用于突發(fā)事件的應(yīng)急管理中，但是其研究成果和應(yīng)用效果具有一定的局限性：在當(dāng)前的研究中，通常是利用單一的信息分析方法，對(duì)單一模態(tài)的社交媒體信息進(jìn)行分析，來(lái)滿足應(yīng)急管理中某一環(huán)節(jié)或階段中的信息需求，對(duì)于突發(fā)事件中社交媒體多模態(tài)信息分析的一般流程、方法技術(shù)和應(yīng)用場(chǎng)景缺乏系統(tǒng)全面的探討，不能滿足“情景-應(yīng)對(duì)”模式中的突發(fā)事件應(yīng)急管理模式下對(duì)于社交媒體多模態(tài)信息處理的要求。

面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析目標(biāo)，貫穿于突發(fā)事件應(yīng)急管理中的事前預(yù)警、事中響應(yīng)和事后評(píng)估三個(gè)階段。在事前，通過(guò)對(duì)社交媒體數(shù)據(jù)的動(dòng)態(tài)監(jiān)測(cè)，預(yù)測(cè)將會(huì)發(fā)生的事件和正在發(fā)生的事件，以實(shí)現(xiàn)危機(jī)的預(yù)警；在事中，通過(guò)對(duì)與突發(fā)事件相關(guān)社交媒體多模態(tài)信息的整合和挖掘，進(jìn)行事件的全景式建模和事件推演，以實(shí)現(xiàn)事件的態(tài)勢(shì)感知；在事后，通過(guò)實(shí)際情況與分析結(jié)果的對(duì)比，對(duì)整個(gè)信息處理過(guò)程進(jìn)行總體評(píng)估，優(yōu)化信息處理的流程和分析方法。

為了實(shí)現(xiàn)上述目標(biāo)，本文構(gòu)建了面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析框架，如圖3所示，從信息處理流程出發(fā)，以大規(guī)模社交媒體多模態(tài)信息獲取為前提，以信息整合和挖掘?yàn)槭侄危瑸椴煌瑘?chǎng)景和需求下的應(yīng)急管理提供實(shí)時(shí)可靠的信息支持，最終實(shí)現(xiàn)虛擬社交網(wǎng)絡(luò)中的事件與物理世界中的實(shí)際事件態(tài)勢(shì)的同步呈現(xiàn)。

圖3 面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析框架

然而，通過(guò)梳理可發(fā)現(xiàn)，現(xiàn)有的研究存在信息獲取的邊界不清晰、信息整合的標(biāo)準(zhǔn)多樣、信息挖掘方法的多場(chǎng)景適用性不強(qiáng)、多模態(tài)信息融合的實(shí)際應(yīng)用較少、信息可視化手段較為單一等問(wèn)題，并且在數(shù)據(jù)來(lái)源的多樣性、分析方法的適用性、分析結(jié)果的可信度以及應(yīng)用場(chǎng)景的多樣性等方面存在一定的不足，未能較好地支撐本文提出的面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析框架。在未來(lái)的研究中，可從以下幾個(gè)方面做進(jìn)一步探索。

（1）確立實(shí)時(shí)高效的信息獲取機(jī)制。社交媒體信息通常具有傳播速度快、擴(kuò)散廣等特點(diǎn)，數(shù)據(jù)的使用價(jià)值隨著時(shí)間流逝而急劇衰減，突發(fā)事件的應(yīng)急決策對(duì)于數(shù)據(jù)的時(shí)效性和全面性有較高要求。如果只關(guān)注事件發(fā)生前后某一時(shí)間段或者地域范圍內(nèi)的截面數(shù)據(jù)，那么數(shù)據(jù)獲取的邊界不明確，實(shí)時(shí)的全量數(shù)據(jù)獲取困難，導(dǎo)致分析結(jié)果容易出現(xiàn)偏差。需要在信息過(guò)濾和相關(guān)性識(shí)別的基礎(chǔ)上確定合理的數(shù)據(jù)獲取邊界和實(shí)時(shí)信息獲取策略，提高突發(fā)事件相關(guān)數(shù)據(jù)感知的效率、準(zhǔn)確性和時(shí)效性，既要獲取全面的信息來(lái)滿足用戶的信息需求，又要盡量減少無(wú)關(guān)信息，降低信息處理的難度。

（2）構(gòu)建統(tǒng)一的多模態(tài)信息描述和組織體系。由于突發(fā)事件、信息需求和信息模態(tài)本身具有多樣性，建立統(tǒng)一的突發(fā)事件信息分類體系和描述標(biāo)準(zhǔn)存在巨大的困難。隨著語(yǔ)義網(wǎng)和知識(shí)圖譜技術(shù)的發(fā)展，針對(duì)代表性的事件類型建立分類框架和本體模型更具有可能性和可操作性，利用語(yǔ)義映射方法將公共安全大數(shù)據(jù)資源映射到高層語(yǔ)義空間中，形成統(tǒng)一的內(nèi)容理解和語(yǔ)義關(guān)聯(lián)。這種方式既能提供不同模態(tài)信息的整合框架來(lái)集成突發(fā)事件的相關(guān)信息，也能支持跨事件、跨模態(tài)的分析以及不同機(jī)構(gòu)和研究中的信息交換。

（3）探索可復(fù)用、可解釋的多模態(tài)信息分析方法。大規(guī)模機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法的被應(yīng)用，在提升了分析效率的同時(shí)，其分析結(jié)果在解釋性、可靠性和普適性方面有待進(jìn)一步驗(yàn)證。需要研究可泛化、可擴(kuò)展、可移植的信息分析方法，對(duì)于一般性的場(chǎng)景，研究共性化的分析方法和工具，再通過(guò)遷移學(xué)習(xí)和自適應(yīng)的方式滿足個(gè)性化的應(yīng)用場(chǎng)景需求。同時(shí)，研究數(shù)據(jù)驅(qū)動(dòng)與知識(shí)驅(qū)動(dòng)相結(jié)合的協(xié)同分析方法，利用先驗(yàn)知識(shí)和相關(guān)理論來(lái)指導(dǎo)知識(shí)發(fā)現(xiàn)的過(guò)程，將分析問(wèn)題簡(jiǎn)化為邏輯計(jì)算和算法規(guī)則的過(guò)程，通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)揭示隱藏的和以前未知的模式、趨勢(shì)和變化，從而提升深度學(xué)習(xí)的可解釋性和可靠性。

（4）優(yōu)化多維度、多粒度的信息可視化方法。可視化界面能夠向決策者更為直觀地展示事件的主要結(jié)構(gòu)以及發(fā)展變化情況，如何將突發(fā)事件復(fù)雜變化的態(tài)勢(shì)以簡(jiǎn)潔的方式展現(xiàn)對(duì)于應(yīng)急管理具有重要的意義。需要將復(fù)雜、模糊、多樣的一系列突發(fā)事件納入到時(shí)空參考框架中進(jìn)行可視化研究，建立符合用戶常識(shí)性認(rèn)知的可視化表達(dá)方式。將事件要素間的動(dòng)態(tài)交互關(guān)系客觀地投影到時(shí)間和空間軸上，在可自定義的圖表中顯示相關(guān)指標(biāo)，在地圖上顯示地理位置以及在特定視圖中顯示重要的數(shù)據(jù)、圖像或視頻，并實(shí)時(shí)更新突發(fā)事件的動(dòng)態(tài)演化過(guò)程。

6 結(jié)語(yǔ)

突發(fā)事件的發(fā)生和演化是一個(gè)動(dòng)態(tài)的過(guò)程，所面臨的情境復(fù)雜多變，具有高度的不確定性，又涉及安全、社會(huì)穩(wěn)定等敏感問(wèn)題，需要以及時(shí)可靠的情報(bào)作為依據(jù)來(lái)減少管理決策的不確定性。快速高效地獲取、整合、分析和挖掘社交媒體中不同模態(tài)的碎片化信息，提取出與突發(fā)事件預(yù)警警報(bào)、實(shí)時(shí)態(tài)勢(shì)和發(fā)展趨勢(shì)等相關(guān)的有用情報(bào)，有助于提升應(yīng)急管理部門(mén)對(duì)突發(fā)事件的實(shí)時(shí)預(yù)警、監(jiān)測(cè)和態(tài)勢(shì)感知能力。本文通過(guò)回顧突發(fā)事件中社交媒體多模態(tài)信息分析的相關(guān)文獻(xiàn)，梳理了突發(fā)事件中社交媒體信息多維特征和多模態(tài)分析方法，構(gòu)建了面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析框架，為突發(fā)事件中社交媒體多模態(tài)信息的研究和實(shí)踐提供指引，以期通過(guò)創(chuàng)新社交媒體多模態(tài)信息分析方法促進(jìn)突發(fā)事件應(yīng)急管理模式的創(chuàng)新和突破。