基于WordBERT 和BiLSTM 的政策工具自動分類方法研究

霍朝光 霍帆帆 王婉如 余芊蓉 楊冠燦

1 引言

政策工具（Policy Tools/ Policy Instruments，又稱政府工具、治理工具）是指在國家治理過程中，政府為實現(xiàn)政策目標，將其行政理念轉(zhuǎn)為切實行動的手段和方法，是政府發(fā)揮引導(dǎo)、規(guī)范、提倡、支持、約束、防止、懲罰等作用的具體措施[1]。政策工具集中體現(xiàn)在國家發(fā)布的政策文件中，是政策文本分析和研究的重要維度。例如以“政策工具”為主題詞，在北京大學(xué)核心期刊目錄和南京大學(xué)核心期刊目錄CNKI數(shù)據(jù)庫中檢索，可以發(fā)現(xiàn)自2011年以來共計發(fā)文3,842篇，2020年、2021年發(fā)文均在500篇以上。關(guān)于政策工具的研究呈逐年上升的趨勢，其研究體量和增長趨勢如圖1所示。

圖1 政策工具相關(guān)研究統(tǒng)計Fig.1 The Statistics of Research Related to Policy Tools

任何領(lǐng)域或行業(yè)政策都需要分析其使用的政策工具。關(guān)于政策工具分析的需求，幾乎覆蓋科技、金融[2]、環(huán)境[3]、氣候[4]、衛(wèi)生[5]、醫(yī)藥、生物、教育[6]、養(yǎng)老等所有行業(yè)和領(lǐng)域。例如黃萃等對我國69份少數(shù)民族雙語教育政策進行了手工分類，分析了能力建設(shè)工具、象征和勸誡工具、權(quán)威工具、激勵工具和系統(tǒng)變革等政策工具的使用情況[7]。孫建軍等對我國131份智慧城市政策中的政策工具進行了手工分類，基于R-Z框架對其中的供給型、環(huán)境型、需求型政策工具進行了分析，基于Doelen框架對其中的管制規(guī)制類、激勵誘因類、信息交互類等政策工具進行了分析[8]。盧小賓等對我國278份信息公開核心政策進行政策工具分類，對供給型、環(huán)境型、需求型等下屬的二級政策工具的使用情況進行了分類和分析[9]。張薷等對我國30份應(yīng)急信息管理政策進行政策工具分類和分析[10]。林德明等通過專家咨詢等手工分類的方式，從三份知識產(chǎn)權(quán)戰(zhàn)略綱領(lǐng)性文件和九份國家知識產(chǎn)權(quán)戰(zhàn)略的年度推進計劃中析出政策工具，并將政策工具和戰(zhàn)略目標文本分別進行向量表示，嘗試通過語義相似度計算來實現(xiàn)政策工具與戰(zhàn)略目標的自動匹配[11]。

政策工具是政策量化分析的重要版塊，然而現(xiàn)有的政策工具分類（如圖2所示）仍存在諸多不足。其一，政策工具分類工作仍停留在手工處理階段，以我國核心期刊近5年數(shù)據(jù)為例，在662篇政策工具分類研究中，政策工具的分類工作幾乎全部都是由手工分類完成（統(tǒng)計時間2022年4月22日）。其二，雖然多人協(xié)同手工分類工作通常以Cohen]s kappa系數(shù)[12]、Holsti一致性百分比[13]等為依據(jù)，判斷不同分類者對同一段文本獨立分類的一致性，但是仍然可以發(fā)現(xiàn)不同分類工作信度參差不齊，信度為82%、88.%、92.7%、95.63%等各種情況均有出現(xiàn)，以80%的信度閾值判斷分類工作的合理性仍存在一定爭議。其三，手工分類無法避免認知偏差，即使具有較高專業(yè)素養(yǎng)的人員依然會存在認知偏差，不同人員所分類的結(jié)果定有所不同，即使邀請同一專家對數(shù)據(jù)多次重復(fù)分類，其結(jié)果也會存在一定的偏差。質(zhì)性分析的固有局限，嚴重影響到分類結(jié)果的復(fù)現(xiàn)率，甚至導(dǎo)致很多分析結(jié)果出現(xiàn)偏差、難以復(fù)現(xiàn)。其四，手工分類工作需要耗費大量時間和精力，不僅要求數(shù)據(jù)分類人員對所有政策工具以及子工具有深刻認識，將十幾種政策工具熟記于心，還需要其對相關(guān)行業(yè)和領(lǐng)域的政策有全面的了解，對數(shù)據(jù)分類人員要求較高。尤其針對大量的政策數(shù)據(jù)，工作相當(dāng)枯燥繁瑣，數(shù)據(jù)分類人員很難完成大規(guī)模的政策工具分類，這限制了政策工具的大規(guī)模解析。這也正是以往研究中分類樣本往往非常有限的主要原因。

圖2 政策工具手工分類示例[9]Fig.2 Examples of Manual Classification of Policy Tools

由此可見，政策工具分類迫切需要提升分類速度和效率，需要利用計算機技術(shù)實現(xiàn)政策工具的自動分類。本文提出構(gòu)建政策工具自動分類模型，利用文本表示學(xué)習(xí)對政策單元進行特征學(xué)習(xí)，利用機器學(xué)習(xí)以及深度學(xué)習(xí)等有監(jiān)督分類模型，從文本分類的角度解決政策工具的自動識別問題，并以數(shù)據(jù)治理、數(shù)字經(jīng)濟兩個數(shù)據(jù)集為例，評估模型效果，為政策分析提供一種新的自動化工具，鍛造政策計量新模塊。

2 政策工具分類標準

政策工具自動分類首要是構(gòu)建分類體系框架。政策工具分類不同于普通的二分類，類別一般較多。關(guān)于政策工具分類體系框架，目前主要有以下幾種分類標準，詳細如圖3所示。1981年，Rothwell和Zegveld提出包括公共服務(wù)（public enterprise）、科學(xué)與技術(shù)支持（scientific and technical support）、教育（education）、信息（information）、金融（financial）、稅收（taxation）、法規(guī)管制（legal regulation）、政治規(guī)劃（political）、政策采購（procurement）、公共服務(wù)（public services）、商業(yè)貿(mào)易（commercial）、海外貿(mào)易（overseas agent）十二類的政策工具分類體系[14]；并于1985年將上述分類體系進一步更新，劃分為供給型、需求型、環(huán)境型三個大類[15]。此外，1983年，Christopher Hood提出較為經(jīng)典的NATO政策工具體系，即波節(jié)型政策工具（nodality tools）、權(quán)威型政策工具（authority tools）、財富型政策工具（treasure tools）、組織型政策工具（organization）[16]。但是NATO分類體系沒有強調(diào)具體是為了實現(xiàn)什么樣的政策目標，也沒有解釋判斷最終行為是否合乎規(guī)范的機制[17]。

圖3 國內(nèi)外政策工具分類標準Fig.3 The Classification Standards of Policy Tools at Home and Abroad

鑒于NATO的不足，1990年，Schneider和Ingram提出權(quán)威型政策（authority policy）、激勵型政策（incentive Policy）、能力構(gòu)建型政策（capacity-building policy）、價值觀導(dǎo)向型政策（symbolic/hortatory policy）、學(xué)習(xí)探索型政策（learning policy）五類政策工具分類體系，并強調(diào)分別與之對應(yīng)的強制、激勵、信息影響、價值觀影響、探索學(xué)習(xí)的施政方針[18]。2009年，Howlett等人提出包含命令控制型政策工具（command-control tools）、經(jīng)濟激勵型政策工具（economic incentive tools）、社會自治型政策工具（social autonomy tools）的政策工具分類體系，具體又詳細分為強制管控（mandatory）、直接規(guī)定（direct provision）、財政支出（financial expenditure）、稅費調(diào)整（tax and fee adjustment）、產(chǎn)權(quán)交易（property exchange）、信息勸輔（information and persuasion）、自發(fā)行為（voluntary behavior）、自由市場（private market）八個二級類別[19]。2011年，Bemelmans等人提出“激勵型政策”（carrots-polities）、“懲罰型政策”（sticks-polities）、“說教型政策”（sermons-polities）三類，強調(diào)與之對應(yīng)的激勵、監(jiān)管、信息報道的施政方針[20]。政策工具分類體系框架研究雖歷經(jīng)40余年，但目前國際國內(nèi)沿用較多的仍然是Rothwell和Zegveld提出的類型框架，因此本文將詳細介紹此政策工具分類框架，并依此進行自動分類。

本文沿用Rothwell和Zegveld提出的政策工具分類體系，并結(jié)合國際國內(nèi)對其分類體系的補充和更新，強調(diào)將政策工具分為供給型、需求型、環(huán)境型三個大類。其中，供給型（supply oriented）政策工具主要強調(diào)政府通過專業(yè)人才、技術(shù)、資金和公共服務(wù)等手段推動某一項政治活動，具體包括人才培養(yǎng)（cultivation of talent）、資金投入（funds support）、科技投入（technical support）、公共服務(wù)（public enterprise）、設(shè)施建設(shè)（infrastructure development）五個子類。人才培養(yǎng)/教育是指政府通過開展教育和培訓(xùn)，培養(yǎng)相關(guān)專業(yè)人才，為相關(guān)工作開展提供人才保障；資金支持是指政府通過撥付專項資金，對相關(guān)工作開展提供資金支持；科技支持是指政府通過提供技術(shù)支持推動相關(guān)工作的開展；公共服務(wù)是指政府通過提供相應(yīng)的基本配套服務(wù)，來保障工作順利開展；設(shè)施建設(shè)是指政府通過建設(shè)和完善基礎(chǔ)設(shè)施，為相關(guān)工作開展提供基本物質(zhì)保障。

環(huán)境型（environmental oriented）政策工具主要包括目標規(guī)劃（target planning）、法規(guī)管制（legal regulatory）、金融支持（financial support/taxation）、政策支持（political support）、產(chǎn)權(quán)保護（property rights protection）五個子類。其中，法規(guī)管制是指政府通過制定法規(guī)、制度等強制性措施，加強對相關(guān)工作的規(guī)范和監(jiān)督；目標規(guī)劃是指政府為實現(xiàn)目標通過行政手段或活動對相關(guān)工作開展作出總體規(guī)劃或描述、制定具體實施計劃；金融支持是指政府通過提供必要金融支持為相關(guān)工作營造良好的政策環(huán)境；稅收優(yōu)惠/激勵是指政府通過制定減稅、補貼、延期付款等稅收方面優(yōu)惠，激活市場活力；政策支持是指政府通過提供必要的政策支持來為相關(guān)工作營造良好的政策環(huán)境。

需求型（demand oriented）政策工具主要包括政府采購（government procurement）、公私合作/服務(wù)外包（service outsource）、示范工程（demonstration project）、鼓勵引導(dǎo)（guidance and encouragement）四個子類。其中，政府采購是指中央或地方政府通過財政資金向第三方企業(yè)或營利組織購買物資或服務(wù)等；公私合作/服務(wù)外包是指政府與社會資本合作拉動相關(guān)工作的發(fā)展，或者直接將某項工作外包給相關(guān)企業(yè)和公司；示范工程是指政府通過建設(shè)示范項目等帶動相關(guān)工作的實施和開展；鼓勵引導(dǎo)是指政府采取措施鼓勵、引導(dǎo)（獎勵、表彰）公眾相關(guān)行為的形式來帶動相關(guān)工作的開展。本研究主要針對這14個政策工具子類進行自動分類，各政策工具類型含義如表1所示。

表1 政策工具類型劃分標準Table 1 The Classification Standards of Policy Tool Types

3 研究設(shè)計

本文研究的政策工具自動分類屬于典型的多類別（multiclass）文本分類。多類別分類強調(diào)超過兩個類別的分類任務(wù)，例如根據(jù)目前的政策工具類型框架，則有供給型、環(huán)境型、需求型三大類，有人才培養(yǎng)、資金投入、科技投入等14個子類，其假設(shè)每一個政策單元有且只有一個類型標簽[9]。相反，多標簽（multilabel）文本分類則強調(diào)給每個樣本分配一個或多個標簽，例如一條新聞可以既屬于體育類也屬于文娛類，一份政策文件可能包含多個政策工具。但是經(jīng)過切割后的政策單元主要圍繞一個政策工具展開，因此對于每一個政策單元，假設(shè)其只包含一個標簽，進行多類別文本分類，以實現(xiàn)政策工具自動分類，其研究流程如圖4所示。

圖4 基于WordBERT 和BiLSTM 的政策工具自動分類方法研究流程Fig.4 The Research Process of Automatic Classification Method of Policy Tools Based on WordBERT and BiLSTM

3.1 數(shù)據(jù)收集和標注

本文以國內(nèi)目前相對較為權(quán)威和全面的法律法規(guī)政策庫“北大法寶”為依據(jù)，分別構(gòu)建、標注數(shù)據(jù)治理和數(shù)字經(jīng)濟兩個數(shù)據(jù)集。其一，檢索篩選出數(shù)據(jù)治理相關(guān)政策1,097份（截至2021年12月15日），根據(jù)其效力級別進一步選取法律、行政法規(guī)、部門規(guī)章、國務(wù)院規(guī)范性文件、部門規(guī)范性文件等核心政策440份，進行政策工具編碼。其二，檢索篩選出各地方數(shù)字經(jīng)濟政策290份（截至2021年12月15日），此部分對全部政策進行編碼。在政策單元切分方面，主要依據(jù)段落、小標題以及長段落中的分號來進行，因為如果僅僅以段落來切分政策單元，則一個段落中極可能出現(xiàn)多個政策工具，即變?yōu)槎鄻撕灧诸悊栴}導(dǎo)致偏差。本研究中的政策工具編碼工作分別來源于其他兩項研究，由主導(dǎo)人分別帶領(lǐng)小組進行編碼，各編碼工作平行進行，最后由各自領(lǐng)域的兩位專家進行校驗和篩選，以保證標注數(shù)據(jù)的質(zhì)量，經(jīng)統(tǒng)計，編碼一致性高達98%。最終，分別獲得包含有2433條、6477條政策工具的兩個較高質(zhì)量的數(shù)據(jù)集①https://github.com/ChaoguangHuo/policy_tools_classification。

3.2 模型構(gòu)建

關(guān)于政策工具自動分類模型，本文強調(diào)通過無監(jiān)督文本表示學(xué)習(xí)和有監(jiān)督深度學(xué)習(xí)分類的思路構(gòu)建模型，從而達到完全自動分類的效果。在無監(jiān)督文本表示學(xué)習(xí)方面，考慮到中文的特殊性，如果使用預(yù)訓(xùn)練模型，則只有基于中文預(yù)訓(xùn)練的才可掌握中文表達的規(guī)律，因此本文提出基于在中文語料上訓(xùn)練出的WordBERT-ZH預(yù)訓(xùn)練模型。在深度學(xué)習(xí)分類算法方面，本文提出基于BiLSTM，在WordBERT-ZH訓(xùn)練出的句子向量基礎(chǔ)上，接入全連接層進行分類，具體政策工具自動分類模型架構(gòu)如圖5所示。

圖5 基于WordBERT 和BiLSTM 的政策工具自動分類模型Fig.5 The Automatic Classification Model of Policy Tools Based on WordBERT and BiLSTM

WordBERT-ZH是Bert在中文語料下的一個變體。Bert（Bidirectional Encoder Representation from Transformers）是谷歌AI提出的一種基于Transformer編碼器的語言預(yù)訓(xùn)練向量表示模型，發(fā)布之初在11種自然語言處理測試任務(wù)中均取得最佳的效果，主要有BERT-Base和BERT-Large兩個代表性模型[21]。WordBERT-ZH是由Feng等人于2022年提出的一系列無需拆分單詞的Bert改進版，尤其針對中文語料訓(xùn)練出了WordBERT-ZH預(yù)訓(xùn)練模型，在分類、推理以及關(guān)鍵字識別等任務(wù)方面均超出以往BERT-Base、RoBERTa-base、WoBERT、MarkBERT等預(yù)訓(xùn)練模型[22]?；赪ordBERT的政策工具分類需要以下兩步，第一步，利用大規(guī)模未標注的中文政策文本語料進行自監(jiān)督訓(xùn)練，綜合詞語在各種情境中的表達，充分學(xué)習(xí)政策文本的語言特征，得到文本的深層次向量表示，進而得到預(yù)訓(xùn)練模型，不過鑒于普通算力無法訓(xùn)練出此大規(guī)模的預(yù)訓(xùn)練模型，而學(xué)術(shù)與業(yè)界也尚無基于政策文本的預(yù)訓(xùn)練模型，因此本文選擇基于普通文本的預(yù)訓(xùn)練模型WordBERT-ZH；第二步，結(jié)合具體任務(wù)進行微調(diào)，即將預(yù)訓(xùn)練得到的網(wǎng)絡(luò)參數(shù)作為初始模型，輸入分類任務(wù)所標注的數(shù)據(jù)集，進一步調(diào)整部分參數(shù)，使其在所分類任務(wù)中達到較優(yōu)的結(jié)果[23]。本研究在WordBERT-ZH模型（模型參數(shù)高達3.26億）基礎(chǔ)上，輸入政策工具標注數(shù)據(jù)集進行微調(diào)，設(shè)置樣本輸入最大長度500，以充分學(xué)習(xí)一個政策單元的所有語義關(guān)系信息。

BiLSTM由正向和反向LSTM組成。LSTM是深度學(xué)習(xí)遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）的變體，強調(diào)將時序概念引入到神經(jīng)網(wǎng)絡(luò)中，以增強神經(jīng)網(wǎng)絡(luò)對長期時序數(shù)據(jù)的記憶能力，通過輸入門、輸出門、遺忘門三個門控制機制，處理長距離依賴的時間序列數(shù)據(jù)[24]。LSTM在學(xué)習(xí)時間序列數(shù)據(jù)方面，表現(xiàn)較好，因此從理論上對于處理具有較長語義關(guān)系的文本應(yīng)該也有不錯的結(jié)果[25]。LSTM雖然解決了長期時序數(shù)據(jù)的記憶方面的問題，但是其在處理時序數(shù)據(jù)時是單向的，對于需要雙向考慮的政策單元文本序列數(shù)據(jù)可能會存在一定的不足。因此本文采納BiLSTM算法[26]，強調(diào)從兩個方向?qū)φ邌卧蛄羞M行訓(xùn)練，不僅考慮到詞匯之前的語義信息，還考慮到詞匯之后的語義信息，即充分考慮詞匯所在的上下文信息，實現(xiàn)時序數(shù)據(jù)的雙向記憶。

針對政策工具分類研究任務(wù)，在處理政策文本時，如果依據(jù)常規(guī)停用詞表直接去掉停用詞[27]，勢必會影響政策語義表達的完整度，例如如果直接去掉“為了”停用詞，那么原本是目標規(guī)劃一類的政策工具，可能就會被誤識別為政策支持，甚至被識別為法規(guī)管制。“根據(jù)”“為了”“朝著”“依照”“遵照”“鑒于”“即令”“對于”“按照”等常規(guī)文本處理時的停用詞，對于政策文本來說是理解政策內(nèi)容的重要提示詞，對于政策表達具有重要意義[28]。由此可見常規(guī)文本處理時所用的停用詞表，對于政策文本具有較大弊端，尤其是對于TFIDF這種完全基于詞頻而缺乏語義的文本向量學(xué)習(xí)方法[29]，因此本文在對本文進行向量化表示時，不作停用詞處理，以此保證政策工具表達的完整性，這也是本文提出基于WordBERT構(gòu)建政策工具自動分類模型的主要原因。

3.3 實驗設(shè)置

數(shù)據(jù)治理政策和數(shù)字經(jīng)濟政策是兩個具有不同特征的政策工具標注數(shù)據(jù)集，其中數(shù)據(jù)治理政策工具標注數(shù)據(jù)集全部是中央相關(guān)部門出臺的政策，由法律、行政法規(guī)、部門規(guī)章、國務(wù)院規(guī)范性文件、部門規(guī)范性文件等組成，其文體段落分明、內(nèi)容簡潔，總條目相對較少，本文共計標注有2,433個政策工具樣本；數(shù)字經(jīng)濟政策標注數(shù)據(jù)集則全部是地方政府相關(guān)部門出臺的政策，由地方規(guī)范性文件、地方工作文件、地方性法規(guī)等組成，其文本目錄較多，并且層層嵌套，內(nèi)容更加具體，總條目相對較多，共計有6,477個政策工具樣本。因此，本文對兩個數(shù)據(jù)集分別進行實驗，以檢驗不同表示學(xué)習(xí)和機器學(xué)習(xí)分類算法對不同層面政策文本的學(xué)習(xí)和識別能力，最后再對總數(shù)據(jù)集進行實驗。對于每一個數(shù)據(jù)集，本文均按照6:2:2的比例劃分訓(xùn)練集、驗證集、測試集，依此分別進行三組實驗。

鑒于在政策工具分類方法方面，尚無成熟基線方法，因此本文選擇將構(gòu)建的政策工具自動分類模型，同其他文本表示學(xué)習(xí)和機器學(xué)習(xí)分類算法等組合形成的模型進行對比，例如TF-IDF、Doc2vec等文本表示學(xué)習(xí)算法[30]，以及RandomForest、SVM、LSTM、CNN-LSTM、BiGRU等分類算法進行對比分析。本研究實驗設(shè)備為集成服務(wù)器，最大運行內(nèi)存為94G，存儲硬盤8T，包含5塊Nvidia Titan RTX顯卡，單塊GPU內(nèi)存24G。其中TF-IDF平均用時較短，在幾分鐘內(nèi)即可訓(xùn)練完畢，Doc2vec在幾十分鐘內(nèi)即可訓(xùn)練完畢，WordBERT-ZH每次訓(xùn)練均在24小時以上，甚至更長時間。經(jīng)過近半個月的模型調(diào)參、模型訓(xùn)練，最終確定較優(yōu)參數(shù)設(shè)置，完成三組對比實驗，相關(guān)數(shù)據(jù)以及詳細代碼請見GitHub 。

4 結(jié)果評估

4.1 評估指標

政策工具的自動分類屬于典型的多類別文本分類問題，因此以精確率（Precision）、召回率（Recall）、F1（F1-score）三個指標綜合評估分類模型優(yōu)劣最為直觀，也最具說服力。其中準確率是指分類器對整個樣本的判斷能力，即正確的分類樣本數(shù)與總樣本數(shù)的比例；召回率是指分類器判定為正且判斷正確的樣本數(shù)與真實正樣本數(shù)的比例；F1值是指綜合精確率Precision和召回率Recall的調(diào)和平均數(shù)，各評估指標計算方法如下：

4.2 模型評估

本文對數(shù)據(jù)治理政策數(shù)據(jù)集、數(shù)字經(jīng)濟政策數(shù)據(jù)集以及兩個數(shù)據(jù)的合集，分別進行三組實驗。在每組實驗中，分別檢驗TF-IDF、Doc2vec、WordBERT-ZH等不同表示學(xué)習(xí)算法對不同層面和不同規(guī)模政策文本的特征學(xué)習(xí)能力，分別檢驗Random Forest、SVM等傳統(tǒng)機器學(xué)習(xí)分類算法以及LSTM、BiLSTM、CNNLSTM、BiGRU等深度學(xué)習(xí)分類算法對政策工具類型特征的擬合能力。

第一組實驗，如表2所示，在數(shù)據(jù)治理政策數(shù)據(jù)集上，TF-IDF+RandomForest、TF-IDF+BiLSTM組合模型效果相對較好，其準確率分別達到64.72%和64.77%，召回率分別為66.39%和68.87%，當(dāng)限定TF-IDF表示學(xué)習(xí)算法時，無論是傳統(tǒng)機器學(xué)習(xí)分類算法，還是深度學(xué)習(xí)算法，其差異相對較小。本文提出的WordBERTZH+BiLSTM政策工具自動分類模型，雖然準確率不是最高的，但綜合來看效果也相當(dāng)不錯。

表2 模型分類結(jié)果評估（數(shù)據(jù)治理政策數(shù)據(jù)集）Table 2 The Evaluation Result of Model Classification（Data Governance Policy Dataset）

第二組實驗，如表3所示，在數(shù)字經(jīng)濟政策數(shù)據(jù)集上，WordBERT-ZH+BiGRU、WordBERT-ZH+BiLSTM模型明顯優(yōu)于其他模型，準確率分別為69.29%和73.48%，召回率分別為66.32%和70.55%。當(dāng)限定BiLSTM機器學(xué)習(xí)算法時，TF-IDF和WordBERT-ZH兩種表示學(xué)習(xí)算法的最終準確率相差高達10個百分點，召回率也相差7個百分點。對于此包含6477個樣本的數(shù)據(jù)集，WordBERT-ZH表示學(xué)習(xí)算法是明顯優(yōu)于TFIDF、Doc2vec等算法的，深度學(xué)習(xí)算法也愈加優(yōu)于傳統(tǒng)機器學(xué)習(xí)分類算法。由此可見只有在一定規(guī)模的數(shù)據(jù)集上，大型預(yù)訓(xùn)練模型才更能發(fā)揮其對語義理解和學(xué)習(xí)的優(yōu)勢，例如本文所用的WordBERT-ZH總參數(shù)為3.26億個，微調(diào)參數(shù)118.40萬個，只有輸入足夠多的數(shù)據(jù)使其充分進行參數(shù)微調(diào)，Bert系列模型才能發(fā)揮其優(yōu)勢。

表3 模型分類結(jié)果評估（數(shù)字經(jīng)濟政策數(shù)據(jù)集）Table.3 The Evaluation Result of Model Classification（Digital Economy Policy Dataset）

第三組實驗，如表4所示，在數(shù)據(jù)治理和數(shù)字經(jīng)濟政策兩個數(shù)據(jù)合集上，基于WordBERT-ZH的組合效果最好，TF-IDF次之，Doc2vec較差。由此可見，TFIDF自身雖有不足，但在政策工具自動分類方面，其模型簡單，訓(xùn)練速度快，仍具有一定應(yīng)用空間；本研究對Doc2vec向量維度訓(xùn)練以及各種參數(shù)調(diào)整方面，在目前參數(shù)設(shè)置的基礎(chǔ)上，其結(jié)果相對較差，可見對政策文本進行簡單向量表示的處理方式，在政策工具分類方面具有較大局限性；WordBERT-ZH與深度學(xué)習(xí)算法的組合，明顯優(yōu)于其他方法組合，當(dāng)數(shù)據(jù)樣本達到一定規(guī)模時，Bert的優(yōu)勢就會彰顯，雖然其訓(xùn)練速度較慢、訓(xùn)練成本較高，但是其在準確率和召回率等方面的優(yōu)勢是顯著可見的。并且隨著數(shù)據(jù)樣本的增多，深度學(xué)習(xí)算法較傳統(tǒng)機器學(xué)習(xí)分類算法，也具有明顯優(yōu)勢。綜合所有實驗結(jié)果可以發(fā)現(xiàn)，本文提出的基于WordBERT-ZH和BiLSTM的政策工具自動分類模型，明顯優(yōu)于其他模型組合，準確率達到73.91%，召回率達到71.29%，F(xiàn)1值達到71.46%，相對于其他方法，是目前最為有效的一種政策工具自動分類方法。

表4 模型分類結(jié)果評估（數(shù)據(jù)治理和數(shù)字經(jīng)濟兩個數(shù)據(jù)集）Table.4 The Evaluation Result of Model Classification（Data Governance and Digital Economy Policy Dataset）

5 結(jié)語

政策工具是政府為實現(xiàn)政策目標，將其行政理念轉(zhuǎn)為切實行動的手段和方法，是政策量化分析的重要版塊。鑒于當(dāng)前政策工具分析仍停留在手工分類階段，存在標準不統(tǒng)一、難以復(fù)現(xiàn)、規(guī)模小、成本高等一系列問題，本文提出利用表示學(xué)習(xí)、機器學(xué)習(xí)分類等算法，對政策文件中的政策工具進行自動分類。本文系統(tǒng)梳理了現(xiàn)有的政策工具分類框架，在Rothwell和Zegveld政策工具分類體系基礎(chǔ)上，提出構(gòu)建基于WordBERTZH和BiLSTM的政策工具自動分類模型，并對模型進行檢驗。

以數(shù)據(jù)治理和數(shù)字經(jīng)濟政策數(shù)據(jù)集為例，經(jīng)過三組實驗，本文發(fā)現(xiàn)對于數(shù)據(jù)治理小數(shù)據(jù)集，無論是小型TF-IDF還是大型預(yù)訓(xùn)練WordBERT-ZH模型，其分類結(jié)果差異較小。但是隨著數(shù)據(jù)樣本的增加，在數(shù)字經(jīng)濟政策數(shù)據(jù)集和兩類政策合集時，WordBERT-ZH表示學(xué)習(xí)算法明顯優(yōu)于TF-IDF、Doc2vec等算法，并且深度學(xué)習(xí)算法也愈加優(yōu)于傳統(tǒng)機器學(xué)習(xí)分類算法。由此可見，在數(shù)據(jù)達到一定規(guī)模，大型預(yù)訓(xùn)練模型才能更加充分進行參數(shù)微調(diào)，以更好發(fā)揮其在語義理解和學(xué)習(xí)方面的優(yōu)勢。在三組實驗中，相較于其他組合模型，本文提出的基于WordBERT-ZH和BiLSTM的政策工具自動分類模型效果最好，準確率達到73.91%，召回率達到71.29%，F(xiàn)1值達到71.46%，是目前政策工具自動識別領(lǐng)域較為有效的一種方法。

雖然本文使用了兩個數(shù)據(jù)集，但是樣本量仍然是比較有限的，限制了準確率的進一步提升。目前政策工具標注數(shù)據(jù)開放程度較低，雖幾經(jīng)聯(lián)系以往作者所標注的政策工具，但仍然很難獲取到相關(guān)數(shù)據(jù)，政策工具自動分類領(lǐng)域研究仍需構(gòu)建并開放大規(guī)模高質(zhì)量的標注數(shù)據(jù)，以此才有望實現(xiàn)更高精度的政策工具分類，促成對海量政策文件的全局分析。此外限于目前所用預(yù)訓(xùn)練模型WordBERT-ZH并不是專門針對政策文本進行訓(xùn)練的，未來仍需要專門圍繞政策文本進行預(yù)訓(xùn)練，只有基于更有針對性的模型和更多的標注數(shù)據(jù)，政策工具識別準確率才有望進一步得到提升。

作者貢獻說明

霍朝光：研究設(shè)計，模型構(gòu)建，進行實驗，論文撰寫；

霍帆帆:數(shù)據(jù)標注，論文修改；

王婉如：數(shù)據(jù)標注；

余芊蓉：實驗支持；

楊冠燦：研究設(shè)計。

支撐數(shù)據(jù)

支撐數(shù)據(jù)可開放獲取，獲取地址為：https://github.com/ChaoguangHuo/policy_tools_classification。