基于貝葉斯知識追蹤的網(wǎng)安人才能力智能化評估方法

張方嬌 ,趙建軍 ,劉心宇 ,王曉蕾 ,劉奇旭 ,崔 翔

1 中國科學院信息工程研究所 北京 中國 100093

2 中國科學院大學網(wǎng)絡空間安全學院 北京 中國 100049

3 廣州大學網(wǎng)絡空間先進技術研究院 廣州 中國510006

1 引言

網(wǎng)絡空間已成為人類社會生存和發(fā)展的新空間,被視為繼“陸、海、空、天”之外的國家“第五疆域”。網(wǎng)絡空間的競爭,歸根結底是人才的競爭,網(wǎng)絡安全人才培養(yǎng)已被美國、歐盟、日本、韓國等多個國家納入國家戰(zhàn)略。我國也高度重視網(wǎng)絡空間安全和信息化工作,確立了網(wǎng)絡強國戰(zhàn)略思想,并就網(wǎng)絡空間安全人才(以下簡稱網(wǎng)安人才)發(fā)展做出一系列重要部署,推出多項有力措施[1]。2014 年2 月27 日,中央網(wǎng)絡空間安全和信息化領導小組(現(xiàn)更名為中央網(wǎng)絡安全和信息化委員會)成立,習近平總書記親自擔任組長并主持召開第一次會議；2015 年6 月國務院學位委員會增設“網(wǎng)絡空間安全”一級學科；2016 年6 月12 日,中央網(wǎng)絡安全和信息化、國家發(fā)展和改革領導小組辦公室委員會、教育部等聯(lián)合發(fā)布《關于加強網(wǎng)絡安全學科建設和人才培養(yǎng)的意見》；2016 年12 月27 日,經(jīng)中央網(wǎng)絡安全和信息化委員會批準,國家互聯(lián)網(wǎng)信息辦公室發(fā)布《國家網(wǎng)絡空間安全戰(zhàn)略》；《中華人民共和國網(wǎng)絡安全法》于2017年6 月1 日起施行,其提到了網(wǎng)絡安全人才培養(yǎng)的概念,這是首次以法律條款的形式對網(wǎng)絡空間安全領域的人才問題進行規(guī)定[1]。通過持續(xù)的政策措施引導,網(wǎng)安人才隊伍建設取得了顯著成績。網(wǎng)絡空間安全學院在多所大學落地；網(wǎng)絡空間安全職業(yè)培訓和專業(yè)認證快速推進；網(wǎng)絡安全競賽和攻防實戰(zhàn)演練蓬勃發(fā)展；多地規(guī)劃建設網(wǎng)絡安全人才和創(chuàng)新基地,出臺人才培養(yǎng)和引進政策；各行業(yè)明確并落實網(wǎng)絡安全責任制和人員合規(guī)要求,注重安全人員的教育和技能培訓；國家深入開展網(wǎng)絡空間安全宣傳教育,全社會的網(wǎng)絡空間安全意識顯著提高[1-2]。

近年來,我國已經(jīng)加快網(wǎng)安人才的培養(yǎng)步伐,但人才缺口依然巨大,網(wǎng)安人才的數(shù)量和質量仍然嚴重不足,難以滿足國家網(wǎng)絡空間安全的需求。我國網(wǎng)絡安全人才缺口近百萬[3],高校是我國培養(yǎng)網(wǎng)絡空間安全人才的主陣地,但目前每年網(wǎng)絡空間安全學歷人才培養(yǎng)的數(shù)量不足1.5 萬人；截止到2018 年底,我國241所高校設置有網(wǎng)絡安全相關專業(yè)244個[4],與我國理工科院?？偭肯啾?設置有網(wǎng)絡安全相關專業(yè)的高校占比較少。2019 年7 月26 日,奇安信行業(yè)安全研究中心與智聯(lián)招聘聯(lián)合發(fā)布《2019 網(wǎng)絡安全人才市場狀況研究報告》[4]。該報告顯示,中國網(wǎng)絡安全人才需求規(guī)模依然呈現(xiàn)大幅增長態(tài)勢,2019年6 月網(wǎng)絡安全人才市場需求的規(guī)模達到2016 年1月需求的24.6 倍,相比2018 年7 月也增長了3 倍。2020 年受全球疫情影響,安全人才的需求也大幅下降,但有58%的用人單位認為,網(wǎng)絡安全人才需求會在短期內大幅增長[5]。除了我國面臨網(wǎng)安人才需求缺口巨大的問題之外,人才荒已成為國際問題。國際信息系統(tǒng)安全認證協(xié)會(ISC)2 于2019 年11 月發(fā)布《2019 年(ISC)2網(wǎng)絡安全人力研究報告》[6],首次估算目前的網(wǎng)絡安全從業(yè)人員為280 萬,預計目前網(wǎng)絡安全人才的缺口407 萬。數(shù)據(jù)顯示網(wǎng)絡安全從業(yè)人員數(shù)量仍需增加145%。人才培養(yǎng)已成為網(wǎng)絡空間安全領域的一個重要研究課題,加強網(wǎng)絡空間安全人才培養(yǎng)刻不容緩。

網(wǎng)安人才培養(yǎng)涉及到人才選拔、培訓、評估、認證等多個環(huán)節(jié),其中,如何對網(wǎng)安人才已達到的技能水平進行精準評估至關重要。然而,現(xiàn)有的人才評估手段并不能有效適用于網(wǎng)安人才,尤其不適用于掌握特殊網(wǎng)安技能的人才[7],造成這種局面的原因主要有三方面：其一,我國網(wǎng)安教育起步較晚,高校網(wǎng)安實踐型人才儲備不足,缺乏精通尖端網(wǎng)絡安全技術的教師隊伍；其二,高校普遍缺乏網(wǎng)絡安全實踐和演訓場景,導致學生重理論而輕實戰(zhàn)；其三,現(xiàn)有的以奪旗賽(Capture The Flag,CTF)模式為主的網(wǎng)絡安全競賽及認證模式,雖然在一定程度上能對網(wǎng)安人才進行評價,但卻因其模式固定化和題目靜態(tài)化等原因而廣受爭議。因此,如何對網(wǎng)安人才能力進行精準評估,滿足多行業(yè)、多領域人才需求,并協(xié)助高校等機構完善網(wǎng)安人才培養(yǎng)模式,考察解決實際問題的能力,為企事業(yè)單位輸送實戰(zhàn)型攻防兼?zhèn)淙瞬?有著非常重要的現(xiàn)實意義。

針對上述問題,本文首先是構建網(wǎng)安人才的知識追蹤模型,進而在模型基礎上設計實現(xiàn)針對網(wǎng)安人才的智能化測評系統(tǒng),可根據(jù)網(wǎng)安人才測評過程中題目作答正確與否的情況動態(tài)更新知識追蹤模型中網(wǎng)安人才的知識掌握狀態(tài),從而實現(xiàn)網(wǎng)安人才知識的追蹤及網(wǎng)安人才能力的快速精準評估。

本文的主要貢獻如下。

1) 針對網(wǎng)安人才技能水平精準評估不足問題,提出了一種網(wǎng)安人才能力評估貝葉斯知識追蹤模型CT-BKT；

2) 提出了基于CT-BKT 知識追蹤模型的智能化測評與推薦算法,實現(xiàn)網(wǎng)安人才動態(tài)精準評估；

3) 基于所提出的網(wǎng)安人才知識追蹤模型和測評算法,實現(xiàn)了面向網(wǎng)安人才的技能智能化評估系統(tǒng)—CTIES(Cybersecurity Talents Intelligent Evaluation System)；

4) 以Web 安全方向為實例驗證本文所提出的人才評估方法。梳理了Web 安全方向的知識領域模型并構建了相應題庫。通過對22 名網(wǎng)安人才進行能力測評,結果表明所提出的模型、算法及系統(tǒng)可行、有效。

2 相關工作

傳統(tǒng)的筆試和面試等網(wǎng)安人才能力評估方法主觀因素較大,影響能力評估的準確性和可信性。當前較為主流的網(wǎng)安人才能力評估方法主要有兩種：網(wǎng)絡安全競賽及網(wǎng)絡空間安全認證,本小節(jié)就這兩種評估方法進行論述。

2.1 網(wǎng)絡安全競賽

安全競賽作為人才培養(yǎng)和選拔的主要渠道,一方面彌補了課本理論和動手實踐之間的鴻溝；另一方面,競賽種類繁多,品類各異,不同的競賽面向不同的群體—從入門選手到安全極客(Geek),不同的競賽側重不同的能力維度,從攻擊、防御、智能,不同安全細分領域的從業(yè)人員能夠在不同的競賽中得到針對性鍛煉。以CTF 為代表的安全競賽這幾年發(fā)展得十分火熱。CTFTIME 收錄的CTF 賽事資訊統(tǒng)計如下圖所示(截止到2020 年9 月23 日)[8-9],從圖1和圖2 中可以看出,從2011 年開始,CTF 賽事數(shù)量及參賽隊伍幾乎以線性比例在增加,其中2020 年數(shù)據(jù)不完整。

CTF 起源于1996 年舉辦的DEFCON 全球黑客大會。發(fā)展至今已有21 年的歷史。DEFCON CTF 是目前全球最高技術水平和影響力的CTF 競賽,被認為是CTF 賽場中的“世界杯”。隨著網(wǎng)絡攻防技術發(fā)展,CTF 競賽形式在全球范圍內愈加流行,CTF 比賽的數(shù)量與規(guī)模發(fā)展迅猛,國內外各類高質量的CTF競賽層出不窮,CTF已經(jīng)成為了學習提升信息安全技術,展現(xiàn)安全能力和水平的重要途徑。

CTF 競賽的解題模式包括逆向分析、Web 應用漏洞分析與利用、二進制漏洞挖掘與利用、密碼學、移動安全、取證分析、安全編程等技術挑戰(zhàn)類別,基本上覆蓋了網(wǎng)絡空間安全的基礎知識與技能體系。CTF 競賽的攻防模式更注重Web 應用、二進制文件、嵌入式或工業(yè)控制系統(tǒng)等類型環(huán)境的漏洞挖掘、修補與利用技術,屬于網(wǎng)絡空間安全領域的核心對抗能力。CTF 競賽可以促進團隊合作與互助互學,成為推動網(wǎng)絡安全課外實踐教學體系建設的關鍵一環(huán)。美國、日本、韓國等國家以及歐洲、我國臺灣等地區(qū)已經(jīng)將CTF 對抗競技賽用于網(wǎng)絡空間安全教育和人才培養(yǎng),而相關政府機構也為科研教育機構與私營企業(yè)開展相關競賽活動提供了豐富的資金與資源支持[10]。隨著國內對網(wǎng)絡安全行業(yè)的日益重視,2014年,國家互聯(lián)網(wǎng)應急中心、中央網(wǎng)信辦、西安、上海等政府部門也相繼面向大學生和安全從業(yè)人員舉辦網(wǎng)絡安全技術競賽[11]。近幾年國內高校、知名企業(yè)也開始相繼舉辦網(wǎng)絡安全技術競賽。國內高校中最早開展的安全技術競賽是北京理工大學的信息安全與對抗技術競賽(Information Security and Countermeasures Contest,ISCC)。從 2010 年開始,西安電子科技大學、杭州電子科技大學、浙江大學、上海交通大學等高校開始舉辦面向全國的安全技術競賽。還有一些高校,如中國石油大學、天津理工大學等,相繼開展校內范圍的安全類學科知識競賽。從2013 年起,奇虎360、百度、阿里巴巴、奇安信等企業(yè)為了招攬人才開始舉辦安全技術競賽。

國內外激烈的安全技術競賽,吸引了很多的學生和安全從業(yè)人員,培養(yǎng)了許多國內外網(wǎng)安人才。國外比較著名的CTF 戰(zhàn)隊有來自美國CMU 的超級明星戰(zhàn)隊 PPP 及美國 UCSB 大學的傳統(tǒng)強隊Shellphish、來自俄羅斯的More Smoked Leet Chicken戰(zhàn)隊等；國內比較著名的戰(zhàn)隊有藍蓮花戰(zhàn)隊、0ops戰(zhàn)隊、Nu1L 戰(zhàn)隊、eee 戰(zhàn)隊、A*0*E 聯(lián)合戰(zhàn)隊等[4]。

CTF 比賽在國內外開展得如火如荼,對網(wǎng)安人才的培養(yǎng)和選拔,無疑具有積極的推動作用。但是,當前CTF 競賽在網(wǎng)安人才的培養(yǎng)和評測過程中存在不足。根據(jù)CTFTIME[8]提供的國際CTF 賽事列表,絕大多數(shù)比賽的比賽模式都為解題模式(Jeopardy),只是涵蓋網(wǎng)絡空間安全的基礎知識與技能,缺乏核心對抗能力考查,這與真實的攻防場景還有很大差距?？偨YCTF 比賽有多方面的不足：比賽知識點高度集中,適合有經(jīng)驗的網(wǎng)安人才參賽訓練,不適合網(wǎng)安初學者；比賽環(huán)境僅比賽期間可用,不能用于日常網(wǎng)安人才培養(yǎng)；題目考點脫離現(xiàn)實場景和業(yè)務需求,實戰(zhàn)性不強[12]；CTF 賽事多數(shù)是團隊作戰(zhàn),很難對個人能力進行界定及評估。

2.2 網(wǎng)絡空間安全認證

網(wǎng)絡空間安全認證用于評判從業(yè)人員是否具備可以從事某種網(wǎng)絡空間安全專業(yè)技術工作所需要的知識、技術和能力[13]。網(wǎng)絡空間安全認證是網(wǎng)安人才培養(yǎng)和評價體系的重要組成部分,有利于合理使用專業(yè)技術人才,提高網(wǎng)安人才隊伍的專業(yè)素養(yǎng)和業(yè)務能力標準,加快網(wǎng)安人才的培養(yǎng)。

美國等發(fā)達國家高度重視網(wǎng)絡空間安全認證且認證體系相對較完善,政府制定政策倡導網(wǎng)絡空間安全認證；行業(yè)協(xié)會設定網(wǎng)絡空間安全認證標準,創(chuàng)立更新認證項目；高校及科研院所輔助認證體系建設,開展教育和培訓活動；企業(yè)針對內部員工開展非認證職業(yè)培訓。通過以上舉措形成了規(guī)?；恼J證與培訓產(chǎn)業(yè)[13]。

目前,國際信息系統(tǒng)安全認證聯(lián)盟(ISC)2、信息系統(tǒng)審計與管控協(xié)會(ISACA)、國際電子商務顧問局(EC-Council)和美國計算機行業(yè)協(xié)會(CompTIA)等協(xié)會創(chuàng)立的網(wǎng)絡空間安全認證具有較高的權威性和認可度。具有代表性的認證有以下幾種：

1) (ISC)2[14]：CISSP 認證(注冊信息系統(tǒng)安全師)、CSSLP 認證(注冊軟件生命周期安全師)、CCFP 認證(注冊網(wǎng)絡取證師)、SSCP 認證(系統(tǒng)安全認證從業(yè)者)、CCSP 認證(注冊云安全師)。

2) ISACA[15]：CISA 認證(注冊信息系統(tǒng)審計師)、CISM 認證(注冊信息安全經(jīng)理)、CGEIT 認證(企業(yè)信息科技管治認證)、CRISC 認證(風險及信息系統(tǒng)監(jiān)控認證)。

3) EC-Council[16]：CEH 認證(道德黑客)、ECSA認證(安全分析師)、LPT 認證(授權滲透測試員)、CCISO 認證(首席信息安全官)等。

4) CompTIA[17]：職業(yè)級的安全職業(yè)者CompTIA A+、CompTIA Network+和 CompTIA Security+認證等。

經(jīng)過多年發(fā)展,我國已形成初步的網(wǎng)絡空間安全認證體系。主要由中國信息安全測評中心代表國家具體實施信息安全測評認證,主要包括注冊信息安全專業(yè)人員(CISP)、注冊信息安全員(CISM)、信息安全專業(yè)人員-滲透測試工程師(CISP-PTE)及安全編程等專項培訓、信息安全意識培訓[18]。

網(wǎng)絡空間安全認證可以提升現(xiàn)有網(wǎng)絡空間安全從業(yè)人員的技術水平和實踐能力,是世界各國網(wǎng)絡空間安全人才培養(yǎng)的重要組成部分,網(wǎng)絡空間安全認證與學歷教育一同構成了網(wǎng)絡空間安全人才輸送的兩條主要渠道[13]。雖然網(wǎng)絡空間安全認證對網(wǎng)安人才能力評估起到了積極的作用,加快了網(wǎng)安人才的快速培養(yǎng),但是也存在一些問題,總結如表1 所示。從表1 中可以看出：大部分認證的申請人為信息安全專業(yè)人士,考試題型多為選擇題,解題知識性較強,脫離現(xiàn)實場景和業(yè)務需求,側重對知識點的熟悉程度,為了做題而做題。

目前我國已有的認證項目數(shù)量不多,分級不夠精細,尚未形成層次的、互補的完整認證體系；認證的知識領域重疊比例較高,認證針對性不強,認證和崗位之間的映射粒度大,不能滿足網(wǎng)絡空間安全崗位的技能評估需求。綜合來看,目前我國網(wǎng)絡空間安全認證體系并不完善,不能快速彌補我國當前網(wǎng)安人才巨大的缺口,也難以滿足國家關于“加強網(wǎng)絡空間安全人才建設”的戰(zhàn)略需求。

表1 網(wǎng)絡空間安全認證Table 1 Cybersecurity profession certifications

綜上可得,傳統(tǒng)的筆試、面試等評估方法和當前主流的網(wǎng)絡安全競賽和認證的網(wǎng)安人才評估方法存在一些不足,無法滿足不同層次網(wǎng)安人才的需求；缺乏實戰(zhàn)應用,無法貼合現(xiàn)實場景；無法滿足各類網(wǎng)安崗位人才的需求,無法全面高效精準評估網(wǎng)安人才的專業(yè)能力。

為了實現(xiàn)網(wǎng)安人才能力的精準評估,本文利用改進后的貝葉斯知識追蹤模型實現(xiàn)網(wǎng)安人才知識狀態(tài)的追蹤。當前利用貝葉斯網(wǎng)絡進行人才能力評估的文獻很少,已有的方法為利用貝葉斯網(wǎng)絡對簡歷進行分析處理輔助HR 進行人才評估,但該評估方法未包含人才的行為,不能對人才個人真實專業(yè)能力進行評估。以Web 安全方向為例,在Web 安全方向知識領域模型基礎上,本文提出了基于知識追蹤模型的動態(tài)測評與推薦算法,并設計實現(xiàn)了Web 安全方向的網(wǎng)安人才技能智能化測評系統(tǒng),以達到對網(wǎng)安人才知識狀態(tài)更精準評估的目的。

3 CT-BKT 知識追蹤模型

人工智能技術推動教育信息化快速發(fā)展,通過人工智能技術在教育領域的運用實現(xiàn)其輔助甚至替代作用。在人工智能技術輔助教學過程中,智適應學習系統(tǒng)是其中一個重要環(huán)節(jié)。智適應學習系統(tǒng)驅動個性化教育,可以精確地對學習者的知識狀態(tài)進行評測,能檢測出學習者的薄弱知識點,并針對薄弱知識點推薦學習資源輔導學習者學習和練習[23]。本文借鑒智適應學習系統(tǒng)中的知識追蹤方法對網(wǎng)安人才的知識掌握狀態(tài)進行追蹤,最終實現(xiàn)網(wǎng)安人才能力的評估。

知識追蹤模型能夠將學生在解決問題中的行為表現(xiàn)解釋為學生知識的掌握情況,是一種學生學習效果評估與學習狀態(tài)預測模型,其有利于實現(xiàn)學生的個性化評價,在智適應學習系統(tǒng)中發(fā)揮著重要的作用[19]。而貝葉斯知識追蹤模型(Bayesian Knowledge Tracing,BKT)在20世紀90年代由卡耐基梅隆大學教授Corbett 和Anderson 提出[20],由于其簡捷、預測準確且易解釋的特點被廣泛采用,在智適應學習系統(tǒng)中對學生的知識水平進行評估和預測,取得了較好的效果。貝葉斯知識追蹤模型通過將學生的知識狀態(tài)假設為一組二元變量來對學生知識點的變化進行追蹤[19],即掌握或者沒有掌握知識點。通過學生連續(xù)回答一系列考察知識點的問題判斷學生是否掌握該知識點。該模型是隱馬爾可夫模型的典型應用[21],將學生知識狀態(tài)作為一種潛在變量,學生回答問題對錯的情況等可觀測變量來對其進行更新。

本文利用改進后的貝葉斯知識追蹤模型對網(wǎng)安人才掌握的知識狀態(tài)進行評估。改進后的模型CT-BKT(Cybersecurity Talents Bayesian Knowledge Tracing Model)考慮網(wǎng)安人才對知識點的初始化掌握程度以及測試題目難度對測試人員的影響,以提高模型知識追蹤的準確率。改進的模型如圖3 所示。

3.1 CT-BKT 模型結構

CT-BKT 為每個知識點使用一個隱馬爾可夫模型進行知識點的知識狀態(tài)進行建模,圖3 體現(xiàn)了一個知識點的建模情況。CT-BKT 模型中變量的定義如下所示：

Ki：隱藏變量,表示做第i 道題目之前網(wǎng)安人才該知識點的知識狀態(tài),0 ≤i ≤n,n+1 為測評的題目數(shù)量。Ki具有離散的兩種狀態(tài)：未掌握(0 狀態(tài))和已掌握(1 狀態(tài))。當 i ＞0 時,Ki反映了在前一次做題結束后,被測評的網(wǎng)安人才對該知識點的掌握情況。

iC ：觀測變量,表示第i 道題目網(wǎng)安人才的答題狀態(tài),0 ≤i ≤n 。iC 具有離散的兩種狀態(tài)：正確(1狀態(tài))和錯誤(0 狀態(tài))。將已知的網(wǎng)安人才答題表現(xiàn)作為輸入,預測其對知識點的掌握情況以及未來再次遇到該知識點時的表現(xiàn)。

IDi：題目難度(Item Difficulty)變量,表示第i 道題目的難度狀態(tài),0 ≤i ≤n 。在傳統(tǒng)BKT 模型的基礎上,本文提出的CT-BKT 模型考慮到了題目難度對網(wǎng)安人才答題狀態(tài)的影響。題目難度大,答對題目的概率比較小；題目難度小,答對題目的概率比較大。

P (L)：知識點掌握概率,P (L0)為初始掌握概率,表示答題之前網(wǎng)安人才已經(jīng)掌握該知識點的概率。本文的初始概率由網(wǎng)安人才在自身專業(yè)領域的知識積累決定,可以從多個維度進行刻畫,如公式(1)所示。本文從m 個維度刻畫網(wǎng)安人才知識點的初始掌握概率,每個維度所占的比重為 e( j),該值為固定值。每個維度的權重系數(shù)為jθ,該值和網(wǎng)安人才個人相關。如果網(wǎng)安人才在該維度方面專業(yè)領域能力較強,則該系數(shù)的取值較大。

P (T )：知識轉移概率,即經(jīng)過測評后,網(wǎng)安人才對于該知識點由未掌握狀態(tài)到掌握狀態(tài)的轉移概率。

P (G )：猜對概率。網(wǎng)安人才即使未掌握知識點

P (S)：失誤概率。網(wǎng)安人才盡管掌握該知識點,仍能正確回答問題的概率。本文設計的測試題目類型主要包括理論題(非CTF 類型)和實操題(CTF 類型)兩種類型。本文在文章后面的論述中以CTF 題目來統(tǒng)稱實操題。對于CTF 題目而言,題目難度ID 無論大小,因其輸出空間一般不可枚舉,所以被測人員猜對(或者說成功暴力枚舉)的概率極小。這里我們直接假設,CTF 題猜對的概率為0。但仍回答錯誤的概率。

CT-BKT 模型使用了貝葉斯算法,每一個知識狀態(tài)節(jié)點都是通過一個條件概率表CPT(Conditional Probability Table)來量化父節(jié)點對自身節(jié)點的影響,即前一道題目的答題表現(xiàn)狀態(tài)對當前題目知識狀態(tài)及表現(xiàn)狀態(tài)可能的影響。由上述參數(shù)的定義,我們得到知識狀態(tài)節(jié)點與表現(xiàn)節(jié)點的CPT 如表2 所示,CPT由初始知識狀態(tài)概率矩陣、知識狀態(tài)轉移概率矩陣和答題狀態(tài)概率矩陣組成。

表2 條件概率表CPTTable 2 Conditional probability table

3.2 CT-BKT 模型應用

根據(jù)條件概率表CPT,我們可以看出,網(wǎng)安人才知識狀態(tài)由未掌握狀態(tài)轉移到掌握狀態(tài)的概率為P (T ),仍然為未掌握狀態(tài)的概率為1 -P (T)。當網(wǎng)安人才答題時,若已經(jīng)掌握相應知識點,卻答題錯誤的概率為 P (S),相應地答題正確的概率為1-P (S)；在不掌握某個知識點的情況下,答題正確的概率為P (G),答題錯誤的概率為1-P (G)。上述為一個知識點的掌握狀態(tài)追蹤過程,針對網(wǎng)安人才的能力測評需要對專業(yè)知識領域的多個知識點進行考核而且不同知識點的難度是不同的,因此對應著上述模型的各個參數(shù)都會有所不同,需要對不同的知識點分別訓練對應的四個參數(shù),可以基于EM 算法的鮑姆-韋爾奇算法實現(xiàn)對CT-BKT 模型相關參數(shù)的估計[25]。

根據(jù)對CT-BKT 模型的分析,我們能得到網(wǎng)安人才答題正確與否及其知識掌握情況概率。具體說明如下：

1) 正確回答第m-1道題目的情況下,網(wǎng)安人才對于知識點的掌握概率P (Lm|Correctm-1)如公式(2)所示,這里1 ≤ m ≤ n。網(wǎng)安人才題目回答正確的概率包括掌握知識點的情況下沒有失誤的概率和沒有掌握知識點的情況下猜對的概率。

2) 錯誤回答第m-1 道題目的情況下,網(wǎng)安人才對于知識點的掌握概率P (Lm|Incorrectm-1)如公式(3)所示,這里1 ≤ m ≤ n。網(wǎng)安人才題目回答錯誤的概率包括掌握知識點的情況下失誤的概率和沒有掌握知識點的情況下且沒有猜對的概率。

3) 網(wǎng)安人才回答第m 道題目時對于知識點掌握程度的概率 P (Lm)如公式(4)所示,這里1 ≤ m ≤ n 。該概率由兩部分組成,包括網(wǎng)安人才回答完第m-1道題目時對于題目涉及知識點的掌握概率和回答第m 道題目時知識狀態(tài)由未掌握狀態(tài)轉移為掌握狀態(tài)的概率之和。

其中,P (Lm-1|Evidencem-1)表示根據(jù)網(wǎng)安人才的第m-1道題目的回答情況對相關知識點更新后該知識點的掌握概率。

4) 網(wǎng)安人才回答第m 道題目時回答正確的概率P (Correctm)如公式(5)所示,這里1 ≤ m ≤ n 。該概率也由兩部分組成,包括網(wǎng)安人才掌握該知識點而且回答題目時沒有發(fā)生失誤的概率和網(wǎng)安人才沒有掌握該知識點但卻猜對題目的概率。

每當網(wǎng)安人才完成一道題目的測試時,CT-BKT模型基于網(wǎng)安人才回答題目的正確與錯誤的序列實時迭代更新網(wǎng)安人才對于知識點的掌握情況信息,并能預測網(wǎng)安人才再次遇到該知識點時的未來答題表現(xiàn)。

4 系統(tǒng)設計與實現(xiàn)

圍繞針對網(wǎng)安人才的CT-BKT 知識追蹤模型,本文設計實現(xiàn)了一種面向網(wǎng)安人才技能智能化評估系統(tǒng)—CTIES 系統(tǒng)。系統(tǒng)以網(wǎng)安人才自身專業(yè)積累及回答題目正確與否的動態(tài)信息為輸入,以網(wǎng)安人才的知識掌握程度為輸出。在詳細介紹CTIES系統(tǒng)之前,本章我們首先討論網(wǎng)絡空間安全領域內的知識領域模型,知識領域模型是CTIES 系統(tǒng)的基礎。

4.1 知識領域模型

在智適應學習系統(tǒng)里,知識領域模型主要描述所學習的知識結構,建立詳細的專業(yè)領域內的知識點結構圖譜并把細分后的知識點智能化表達出來[22-23]。本文的知識領域模型主要是指網(wǎng)絡空間安全領域的專業(yè)知識結構。知識領域模型構建是CTIES系統(tǒng)的關鍵基礎,直接決定了被測試的網(wǎng)安人才對知識點的定位是否精準,其構建方式及內容與CTIES 系統(tǒng)的評測效果密切相關。知識領域模型一般需要具有豐富教研經(jīng)驗的優(yōu)質教師對領域知識內容進行把握和細分。為方便闡述論文的核心思想,本文以Web 安全技能精準評估為例,討論Web 安全方向的知識領域模型及相應的CTIES 系統(tǒng)。顯然,所設計的模型、系統(tǒng)和方法,也可以擴展到二進制、密碼學、移動安全、取證分析等技能評估。

借鑒Web 應用開發(fā)采用的前端和后端的分工方式,我們從攻防角度出發(fā)基于前端瀏覽器安全和后端服務器安全兩個維度構建Web 安全方向的知識領域模型并使用思維導圖的樹狀圖形式描述Web 安全方向的知識間的層級關系,使得知識領域模型更好理解。我們引用中國網(wǎng)絡空間安全人才教育聯(lián)盟發(fā)布的《網(wǎng)絡空間安全工程技術人才培養(yǎng)體系指南》[24](以下簡稱人才培養(yǎng)體系指南)中Web 安全知識技能體系,將其作為Web 安全方向的知識領域模型,并在其基礎上進行少許改動。主要區(qū)別包括：

1) 將人才培養(yǎng)體系指南中“劫持攻擊”知識點修改為“客戶端劫持攻擊”,并將該知識點下的子知識點“DNS 劫持”刪除。

2) 在人才培養(yǎng)體系指南中添加新的知識點—“Web 服務器運維”?！癢eb 服務器運維”是針對承載著Web 應用的服務器進行安全配置和檢查,能提前檢測并發(fā)現(xiàn)Web 服務器中存在的安全問題進行及時處置,防止發(fā)生數(shù)據(jù)泄露等重大安全事件。該知識點偏向安全防御,在日常信息系統(tǒng)安全運維中非常重要,這里我們將其列入到Web 安全方向的知識領域模型里?！癢eb 服務器運維”知識點涉及的技術主要包括Web 服務器配置、日志審計、代碼審計、WAF配置、殺軟配置、系統(tǒng)加固及其他類型Web 服務器運維。

Web安全方向的知識領域模型如圖4所示,總共3 層,第一層為Web 安全方向,第二層為Web 安全方向下的所有知識點,第三層為單個知識點下的子知識點,第三層是第二層知識點更細化的內容。因篇幅有限,第三層子知識點未全部展開描述。從圖4 可以看出,Web安全方向共包含18個知識點,具體包括跨站腳本攻擊(XSS)、跨站請求偽造(CSRF)、客戶端信息泄露、客戶端劫持攻擊、CMS/Web 框架安全、瀏覽器安全、數(shù)據(jù)庫安全、Web 安全工具使用、Web服務器運維、其他Web 安全問題、Webshell、反序列化、身份認證與訪問控制、文件上傳、文件包含、SQL 注入、服務器端信息泄露、Web 安全基礎。圖4中知識點下圓圈中數(shù)字即為該知識點包含的子知識點的數(shù)量。Web 安全方向的知識點之間及子知識點之間劃分原則為：盡量獨立無關聯(lián)。

CTIES 系統(tǒng)將根據(jù)Web 安全知識領域模型中知識點及子知識點的內容進行題目設計,同時,根據(jù)網(wǎng)安人才的知識狀態(tài)情況推薦相關題目給網(wǎng)安人才進行測評,從而實現(xiàn)Web 安全方向的網(wǎng)安人才能力評估。

4.2 系統(tǒng)實現(xiàn)

CTIES 系統(tǒng)由預處理子系統(tǒng)、智能化測評子系統(tǒng)和能力評估子系統(tǒng)組成,系統(tǒng)架構圖如圖5 所示。其中,預處理子系統(tǒng)的任務是根據(jù)網(wǎng)安人才個人基本信息進行知識掌握情況的預評估；智能化測評子系統(tǒng)的任務是根據(jù)網(wǎng)安人才能力測評過程中答題情況進行智能化動態(tài)出題,并實時更新網(wǎng)安人才知識掌握狀態(tài)；能力評估子系統(tǒng)的任務是通過對網(wǎng)安人才的答題情況進行對比分析,判斷網(wǎng)安人才的知識點掌握情況,并輸出最終的能力評估結果。

4.2.1 預處理子系統(tǒng)

預處理子系統(tǒng)以網(wǎng)安人才的個人基本信息為輸入,輸出其對Web 安全方向的知識初始掌握情況,該輸出即為智能化測評子系統(tǒng)的輸入。預處理子系統(tǒng)主要完成網(wǎng)安人才能力的預評估。

為了更準確地對網(wǎng)安人才進行初始評估,在個人基本信息方面,我們從多個維度對網(wǎng)安人才的個人信息進行收集,盡可能設置了體現(xiàn)網(wǎng)安人才自身專業(yè)領域知識積累的多個內容項,主要包括五大類：網(wǎng)安人才的專業(yè)或者研究方向、工作崗位名稱(如已經(jīng)參加工作)、Web 安全認證證書獲得情況、參加CTF比賽及是否獲獎情況、參加網(wǎng)絡安全攻防演練大賽及是否獲獎情況。我們假設如果網(wǎng)安人才的專業(yè)、研究方向或工作崗位為Web 安全、信息安全、網(wǎng)絡空間安全相關的專業(yè),則Web 安全的知識掌握概率應該更高；如果網(wǎng)安人才擁有Web 安全相關的認證證書、參加過CTF 比賽或者網(wǎng)絡安全攻防演練大賽,其Web 安全的知識掌握概率應該更高,而且參加大賽獲獎的名次越好,Web 安全知識掌握的概率越大。

我們?yōu)椴煌膫€人基本信息項及每項信息項的不同層次設置不同的權重值,最終根據(jù)公式(1)計算網(wǎng)安人才的Web 安全知識初始掌握概率P (0L),表示答題之前網(wǎng)安人才已經(jīng)掌握該知識點的概率。如果網(wǎng)安人才在Web 安全領域有著較為豐富的經(jīng)歷,則其初始掌握概率較大。本文我們將該值統(tǒng)一設定為網(wǎng)安人才針對18 個知識點及相關子知識點的初始掌握概率值,不再做區(qū)分處理。

4.2.2 智能化測評子系統(tǒng)

智能化測評子系統(tǒng)以預處理子系統(tǒng)計算出的網(wǎng)安人才的初始知識掌握概率為輸入,并將其作為CT-BKT 知識追蹤模型的參數(shù) P (L) 的初始值P (0L) 。隨后CTIES 系統(tǒng)根據(jù)網(wǎng)安人才的答題情況動態(tài)出題進行測評,直到測評結束。該子系統(tǒng)具體包括三項功能：第一,構建Web 安全方向相關的知識點題庫；第二,設計題庫中題目與Web 安全知識點的關聯(lián)規(guī)則；第三,對網(wǎng)安人才進行智能化測評。

1) Web安全方向相關知識點題庫構建。根據(jù)Web安全方向的知識領域模型的子知識點進行題目設計,具體地,針對知識領域模型中第三層子知識點進行題目設計。本文我們共對Web 安全方向下的99 個第三層子知識點進行出題,題目類型包括理論題(單選題)和CTF 題。這里的子知識點不包括含“其他……”字樣的子知識點。理論題目的考核內容針對單個子知識點進行題目設置,針對Web 安全方向下的每個知識點設置若干道與該知識點下的每個子知識點內容相關的題目。CTF 題考核的內容一般不僅僅涉及單個子知識點,更多地是涉及多個子知識點。CTIES的系統(tǒng)設置若干道CTF 題目,CTF 題的考核內容的設置需要覆蓋Web 安全方向的所有子知識點。

2) 題目與Web 安全知識點的關聯(lián)規(guī)則設計。在構建好Web 安全方向的知識領域模型并構建完Web安全方向相關子知識點的題庫后,需要對子知識點及包含該子知識點的題目進行關聯(lián)解析。當網(wǎng)安人才通過CTIES 系統(tǒng)進行能力測評時,系統(tǒng)能即時從題庫中挑選出相關考核子知識點的題目推薦給網(wǎng)安人才進行作答。

3) 智能化測評與推薦。為了對網(wǎng)安人才的知識狀態(tài)進行追蹤,CTIES 系統(tǒng)需要基于要考核的不同的知識點進行題目的推送,并根據(jù)網(wǎng)安人才的答題情況進行推測,動態(tài)更新網(wǎng)安人才的知識掌握概率。網(wǎng)安人才每完成一道習題后都需要立刻更新CT-BKT模型中網(wǎng)安人才對于相關子知識點的掌握情況信息,具體如圖6 所示。這里需要注意的是,CT-BKT 模型中網(wǎng)安人才的Web 安全方向各個子知識的初始掌握概率由預處理子系統(tǒng)給出。

如何利用較少的題目有效獲得對Web 安全方向知識領域模型中全部知識點及子知識點的合理評估是智能化測評與推薦算法要重點解決的問題。在該算法與網(wǎng)安人才測評答題互動的過程中,網(wǎng)安人才每測評完成一道題目,都只有正確、錯誤兩個選項,這意味著網(wǎng)安人才是否掌握題目相關子知識點及知識點的概率。Web 安全方向知識領域模型中各個知識點及子知識點之間相對獨立,所以當網(wǎng)安人才完成題目回答時,只需要更題目相關子知識點的掌握概率即可,而不需要更新與該子知識點或知識點相關的其他知識點的掌握概率信息。

CTIES 系統(tǒng)測評的題目主要有兩種類型：理論題和CTF 題。CTIES 系統(tǒng)先對網(wǎng)安人才進行理論題的測評,待理論題測評結束后,系統(tǒng)繼續(xù)進行CTF題的測評。理論題和CTF 題的測評規(guī)則說明如下：

a) 理論題：系統(tǒng)隨機選擇要測評的知識點,然后順序測評該知識點包含的子知識點,直到Web 安全方向的知識點全部測評結束。關于子知識點的測評,系統(tǒng)會隨機選擇正在測評的知識點下的子知識點進行測評,并依據(jù)題目與Web 安全知識點的關聯(lián)規(guī)則選取題庫中相關子知識點的題目進行推薦測評。當子知識點的掌握概率大于某個閾值時,則停止該子知識點的測評并繼續(xù)下一個子知識點的測評。閾值用于判斷網(wǎng)安人才是否真正掌握了相應Web 安全方向的的子知識點。當網(wǎng)安人才連續(xù)答錯系統(tǒng)推薦的三道題目時,我們認為其沒有掌握該子知識點,不再繼續(xù)出題測評該子知識點。當子知識點測評結束后,進入下一個知識點的測評；如果Web 安全方向所有的知識點都已測評結束,則系統(tǒng)進入到CTF題目測評的階段。

b) CTF 題：系統(tǒng)隨機選擇覆蓋要考核知識點的CTF 題目推薦給網(wǎng)安人才進行測評。當正確解答出CTF 題目時,網(wǎng)安人才對于CTF 題目關聯(lián)的知識點的知識掌握概率提高；否則,網(wǎng)安人才對于CTF 題目關聯(lián)的知識點的知識掌握概率降低。當網(wǎng)安人才結束當前的CTF 題目測評時,系統(tǒng)會根據(jù)網(wǎng)安人才的答題正確與否的情況自動更新CT-BKT 知識追蹤模型中相關知識點的掌握概率。同時,系統(tǒng)會進入到下一道CTF 題目的測評,直到系統(tǒng)推薦的所有的CTF 題目測評結束。

當CTIES 系統(tǒng)對網(wǎng)安人才完成上述理論題和CTF 題的推薦測評時,系統(tǒng)得到了網(wǎng)安人才所有Web 安全方向的知識點的掌握概率測評值。根據(jù)上述對CTIES 系統(tǒng)智能化測評與推薦過程的講述,算法1 給出了這部分功能的偽代碼描述。

算法1.基于CT-BKT 知識追蹤模型和Web 安全方向知識領域模型的智能化測評與推薦算法.

輸入：CT-BKT 知識追蹤模型、Web 安全方向知識領域模型、Web 安全方向知識點題庫、題目與Web安全知識點的關聯(lián)規(guī)則

輸出：所有Web 安全方向知識點及子知識點的掌握概率測評值、CTIES 系統(tǒng)推薦的理論題和CTF 題

22：RETURN 所有Web 安全方向知識點及子知識點的掌握概率測評值和CTIES 系統(tǒng)推薦給網(wǎng)安人才測評的CTF 題

智能化測評子系統(tǒng)通過構建Web 安全知識點題庫,并結合Web 安全方向的知識領域模型,建立Web 安全知識點及子知識點與題目之間的關聯(lián),并根據(jù)網(wǎng)安人員測評情況動態(tài)推薦題目,最終完成對網(wǎng)安人才的能力測評,獲得網(wǎng)安人才Web 安全方向所有知識點的掌握概率測評值,即利用CT-BKT 知識追蹤模型進行追蹤后的測評結果。通過對這些掌握概率測評值進行分析就能推斷網(wǎng)安人才對Web 安全方向的知識點的具體掌握情況,實現(xiàn)對網(wǎng)安人才進行能力評估并選拔所需要的網(wǎng)安人才。

4.2.3 能力評估子系統(tǒng)

能力評估子系統(tǒng)以智能化測評子系統(tǒng)測評過程中產(chǎn)生的數(shù)據(jù)為輸入,包括Web 安全方向知識點題庫、網(wǎng)安人才的答題記錄和網(wǎng)安人才所有Web 安全方向知識點的掌握概率測評值,通過對上述數(shù)據(jù)進行分析,最終輸出網(wǎng)安人才的Web 安全方向的能力評估情況。該子系統(tǒng)的主要的功能是對網(wǎng)安人才能力進行評估及結果可視化,具體包括測評數(shù)據(jù)采集及存儲、測評行為數(shù)據(jù)分析和測評數(shù)據(jù)可視化。

測評數(shù)據(jù)采集及存儲主要是收集記錄網(wǎng)安人才測評過程中CTIES 系統(tǒng)推薦的測評題目、網(wǎng)安人才解答題目正確與否情況以及CT-BKT 模型追蹤的網(wǎng)安人才知識的掌握概率,并完成數(shù)據(jù)的匯總、存儲、備份及安全等基本功能。

測評行為數(shù)據(jù)分析主要是讀取存儲的網(wǎng)安人才的測評數(shù)據(jù),并對這些數(shù)據(jù)進行進一步的數(shù)據(jù)挖掘,計算和驗證相關的統(tǒng)計規(guī)律,最終能夠追蹤和評價每位測評的網(wǎng)安人才在Web 安全方向的知識掌握程度,實現(xiàn)網(wǎng)安人才的能力評估和預測。同時,通過對不同網(wǎng)安人才的歷史測評記錄進行分析,可驗證測評系統(tǒng)CTIES 的有效性并能及時調整題目推薦策略及推薦題庫,以便系統(tǒng)能更好地對網(wǎng)安人才進行能力評估。

測評數(shù)據(jù)可視化主要是處理測評行為數(shù)據(jù)分析產(chǎn)生的分析結果,以可視化的方式展示網(wǎng)安人才的知識追蹤過程以及能力評估結果。我們將Web 安全方向的知識領域模型中的18 個知識點歸納總結為六種專業(yè)技能以便更直觀了解網(wǎng)安人才的能力水平,六種專業(yè)技能分別為基礎知識、前端安全、組件安全、后端安全、運維安全。各專業(yè)技能包含的Web安全知識點的情況如表4 所示。

表4 專業(yè)技能說明Table 4 Professional skills

5 實驗與分析

本章對22 名網(wǎng)安人才進行了能力測評,驗證了本文提出的貝葉斯知識追蹤模型CT-BKT、基于CT-BKT 知識追蹤模型的智能化測評與推薦算法及網(wǎng)安人才技能智能化評估系統(tǒng)—CTIES 系統(tǒng)的可行性和有效性。此外,本章還討論了CTIES 系統(tǒng)存在的缺陷并提出下一步的改進方向。

5.1 實驗設計

5.1.1 實驗對象及數(shù)據(jù)集

本次實驗共邀請22 名網(wǎng)安人才使用CTIES 系統(tǒng)答題,通過網(wǎng)安人才對CTIES 系統(tǒng)中設置的題目作答評估其Web 安全方向的專業(yè)技能水平。實驗收集系統(tǒng)記錄的每名網(wǎng)安人才的答題情況作為要分析的數(shù)據(jù)集,該數(shù)據(jù)集信息包括網(wǎng)安人才ID、題目信息、題目類型、回答正確與錯誤情況、題目關聯(lián)的知識點及子知識點等內容。具體的數(shù)據(jù)集結構如圖7 所示。其中,k 值為網(wǎng)安人才測評過程中針對某一子知識點進行作答的題目數(shù)量。CTIES 系統(tǒng)規(guī)定：針對理論題,k 的取值為3≤ k≤5,即每名網(wǎng)安人才每個子知識點的答題數(shù)量最多5 道,最少3 道,其中1 道題目用于測試來驗證CT-BKT 知識追蹤模型預測網(wǎng)安人才答題情況,其他題目作為訓練集。

5.1.2 題目設置

Web 安全方向的知識領域模型涉及的子知識點較多,如果為每個子知識點設置5 道理論題目,題目數(shù)量較多；且要設計出覆蓋Web 安全方向的所有知識點及子知識點的CTF 題目,需耗費大量的時間和精力。綜合考慮測評時長、題目設置等多種因素,為了驗證本文提出的模型及算法,CTIES 系統(tǒng)的題目設置只針對部分子知識點詳細設置題目。本次實驗共設置140 道題目,題目設置情況說明如下：

1) 理論題：針對第18 個知識點“Web 安全基礎”下的子知識點[24],我們對每個子知識點設置了5 道題目；其余17 個知識點的子知識點各設置1 道理論題。這里的子知識點不包括含“其他……”字樣的子知識點?！癢eb 安全基礎”下的子知識點情況詳見表5 所示。本次實驗設置共計135 道理論題。5.2 小節(jié)測評結果分析中主要針對“Web 安全基礎”知識點及其子知識點進行分析。

表5 Web 安全基礎Table 5 Knowledge base of Web security

2) CTF 題：針對部分子知識點設置CTF 題目,每道CTF 題目包含1 個或者至多3 個子知識點。本次實驗共設置5 道CTF 題。CTF 題目設置情況如表5 所示。

5.2 測評結果分析

本小節(jié)通過對評估系統(tǒng)收集的網(wǎng)安人才答題情況的數(shù)據(jù)集進行分析,從知識追蹤模型結果比較、網(wǎng)安人才知識掌握情況及網(wǎng)安人才能力評估等方面對本文提出的模型、算法及系統(tǒng)進行分析與效果驗證。

5.2.1 知識追蹤模型結果比較

我們將本文提出的CT-BKT 知識追蹤模型與標準貝葉斯知識追蹤模型BKT 進行模型結果比較。CTIES 系統(tǒng)以網(wǎng)安人才理論題停止答題后的1 道理論題目的答題情況作為測試,其余題目的答題情況用作訓練知識追蹤模型。根據(jù)訓練好的知識追蹤模型計算出網(wǎng)安人才測試題目做對的概率,然后進行二值映射,將預測值與真實數(shù)據(jù)進行對比驗證模型的有效性。實驗選取準確率、AUC(Area Under Curve)、F1-Score 這三個常用的模型評價指標對模型進行對比分析。

1) 準確率：準確率是指數(shù)據(jù)集中正確預測的樣本數(shù)與總樣本數(shù)之比,準確率取值范圍為0 -1 。準確率的值越高,表明模型的效果越好?！癢eb 安全基礎”知識點下的9 個子知識點的兩種模型的準確率情況如圖8 所示。

從圖8 可以看出,本文提出的CT-BKT 知識追蹤模型的各個子知識點的準確率不低于BKT 的準確率,第2、3、5 個子知識點的準確率有了較高的提升,總體上來說,CT-BKT 模型的效果更優(yōu)。因此,我們可以使用貝葉斯知識追蹤來評估網(wǎng)安人才的知識掌握水平,而且本文在標準BKT 模型基礎上提出的CT-BKT 模型效果更佳。

2) AUC：AUC 用于直觀地評價模型中分類器的效果,在CT-BKT 模型中體現(xiàn)在對于用戶答題情況的預測效果。AUC 是ROC 曲線(橫坐標為偽陽性率FPR、縱坐標為真陽性率TPR)下與坐標軸圍成的面積大小。AUC 的取值范圍為0.5 和1 之間,當AUC值為0.5 時,說明模型的分類效果與隨機分類器的效果相同,也就是說,模型是沒有意義的；當AUC 的值越接近1 時,說明模型的分類效果越優(yōu)。兩種模型的AUC 值情況如圖9 所示。

從圖9 可以看出,CT-BKT 模型和BKT 模型在訓練過程中,CS-BKT 模型的AUC 值總體高于標準貝葉斯追蹤模型的值,因此,本文提出的CT-BKT 模型的預測能力更好,效果更優(yōu)。

3) F1-Score：F1-Score 綜合考慮了模型的精確率(查準率)和召回率(查全率),通過對兩者加權調和平均,在盡可能的提高兩者取值的同時,也使得兩者之間的差異盡可能小。F1-Score 的值越大說明模型質量更高。兩種模型的F1-Score 情況如圖10 所示。

由圖10 可以看出,CT-BKT 模型和BKT 模型在訓練過程中,CS-BKT 模型的F1-Score 值總體高于BKT模型,因此CS-BKT模型的擬合程度更優(yōu),模型訓練效果更好。

5.2.2 網(wǎng)安人才技能評估

通過使用CT-BKT 知識追蹤模型,CTIES 系統(tǒng)可以根據(jù)網(wǎng)安人才的題目作答情況來追蹤網(wǎng)安人才Web 安全方向的知識點的掌握情況。本小節(jié)通過選取其中一名網(wǎng)安人才的測評結果進行分析,一方面用于闡述本文的核心思想及CTIES 系統(tǒng)的測評過程,另外一方面展現(xiàn)該系統(tǒng)的人才能力評估效果,包括網(wǎng)安人才的知識掌握情況以及人才技能評估情況。選取的該名網(wǎng)安人才的初始知識掌握概率P (0L) 為0.0731707,其本人專業(yè)方向為Web 安全,沒有獲得信息安全相關證書、也未參加過CTF 競賽和網(wǎng)絡安全攻防演練,該名網(wǎng)安人才的專業(yè)領域的知識積累較少,所以初始知識掌握概率較低。完成CTIES 系統(tǒng)測評后,我們可以看到該名網(wǎng)安人才針對“Web 安全基礎”知識點理論題的答題情況如果表7 所示。表7 中測試題為理論題停止答題后的1 道理論題。

從表7 可以看到,該名網(wǎng)安人才共答題33 道,其中子知識點“HTTP/HTTPS 協(xié)議”、“Web 編解碼”“數(shù)據(jù)庫基礎”分別答題3 道,當該名網(wǎng)安人才這3個子知識點的掌握概率較高時,系統(tǒng)認為該名網(wǎng)安人才已掌握相關的子知識點,系統(tǒng)便停止出題(這里,我們設置知識掌握概率的閾值為0.7)；而其他子知識點答題4 道。我們可以看到,針對該名網(wǎng)安人才當前題目的答題情況,CTIES 系統(tǒng)可進行智能化動態(tài)出題,而且系統(tǒng)可以以較少的題目更精準評估網(wǎng)安人才的知識掌握水平,實現(xiàn)網(wǎng)安人才技能的智能化評估。關于測試題目,系統(tǒng)共預測該名網(wǎng)安人才答對題目7 道(共9 道),準確率較高。

表7 某名網(wǎng)安人才“Web 安全基礎”答題情況Table 7 Cybersecurity talent’s performance of knowledge base of Web security

同時,我們可以更直觀地了解到該名網(wǎng)安人才“Web 安全基礎”方向的知識點的掌握概率情況,如圖11 所示。

從圖11 可以看出,除了子知識點7“操作系統(tǒng)基礎”外,該名網(wǎng)安人才的其他“Web 安全基礎”子知識點的掌握概率較高,特別是“同源策略”、“社會工程學”兩個子知識點的掌握良好；而在“操作系統(tǒng)基礎”方面的知識點掌握水平一般。具體地,我們將網(wǎng)安人才的知識掌握情況按照基礎知識、前端安全、組件安全、后端安全、運維安全六種專業(yè)技能(4.2.3章節(jié)提及)來進行歸類展現(xiàn),以更直觀地了解網(wǎng)安人才的技能水平。具體如圖12 所示。

從圖12 可以看出,該名網(wǎng)安人才在Web 安全基礎知識方面技能較好,也就是說在Web 安全基礎和Web 安全工具的使用兩個方面的知識掌握程度較好。其他知識點的效果展現(xiàn)不是很好。除第18 個知識點“Web 安全基礎”外,其余知識點的設置題目較少。本文將一道題的答題正確與否來代表子知識點的掌握程度,效果顯然是不好的。

通過網(wǎng)安人才能力智能化評估系統(tǒng)CTIES 系統(tǒng),可以更加細致地了解網(wǎng)安人才的Web 安全方向的知識掌握情況,為網(wǎng)安人才的培養(yǎng)和選拔提供依據(jù)。

5.3 缺陷分析

本文研究探討了基于貝葉斯知識追蹤的網(wǎng)安人才能力智能化評估方法,構建了可實現(xiàn)網(wǎng)安人才知識狀態(tài)追蹤的CT-BKT 知識追蹤模型,并在此基礎上實現(xiàn)了網(wǎng)安人才技能智能化評估系統(tǒng)—CTIES 系統(tǒng)。雖然本文實驗驗證了模型的有效性及系統(tǒng)的可行性,但是本文的工作仍然有較大的改進空間,具體體現(xiàn)在：題目設置方面,CTF 題目的設置未全部覆蓋“Web 安全基礎”知識點的子知識點,不能充分訓練模型并完全體現(xiàn)網(wǎng)安人才“Web 安全基礎”的知識掌握狀態(tài)；系統(tǒng)設置涉及多個知識點的CTF 題目,CTF 題目的答題情況將同步更新所有子知識點的掌握概率,這與真實情況存在一定偏差,網(wǎng)安人才可能掌握部分子知識點,但因未掌握部分子知識點導致CTF 題目回答錯誤；實操題目前主要是CTF 的解題模式題目,在培養(yǎng)和選拔實戰(zhàn)型網(wǎng)安人才方面有一定局限性；題目設置的數(shù)量和質量對模型的效果有一定的影響。針對上述缺陷,本文未來將對提出的CT-BKT 模型、智能化評測與推薦算法及相應的CTIES 系統(tǒng)做進一步的優(yōu)化完善,提高評估方法對網(wǎng)安人才能力評估的準確性。

6 結束語

網(wǎng)絡空間安全形勢日趨嚴峻,網(wǎng)安人才缺口大,而網(wǎng)安人才評價手段有限,如何對網(wǎng)安人才能力進行評估實現(xiàn)網(wǎng)安人才的培養(yǎng)和選拔,以滿足當前網(wǎng)安人才的迫切需求成為當務之急。本文對網(wǎng)安人才能力的評估方法進行了深入研究,借鑒智適應學習系統(tǒng)中的知識追蹤方法對網(wǎng)安人才的知識掌握狀態(tài)進行追蹤,對較為流行的貝葉斯知識追蹤模型進行改進,構建了面向網(wǎng)安人才的CT-BKT 知識追蹤模型用來對網(wǎng)安人才的知識掌握狀態(tài)進行追蹤。同時,本文提出了智能化測評與推薦算法,以期用更少的題目考核獲得網(wǎng)安人才知識的掌握情況?；谒岢龅闹R追蹤模型和測評算法,本文實現(xiàn)了面向網(wǎng)安人才的技能智能化評估系統(tǒng)—CTIES 系統(tǒng)。本文梳理了Web 安全方向的知識領域模型并構建了相應題庫,并邀請22 名網(wǎng)安人才進行答題測評。結果表明,改進后的CT-BKT 知識追蹤模型能較好地體現(xiàn)網(wǎng)安人才在Web 安全方向的知識掌握狀態(tài),而且相比較于標準貝葉斯知識追蹤模型,本文提出的CT-BKT 模型效果更優(yōu)。同時,我們選取一名網(wǎng)安人才的評測結果進行具體分析,可以看出CTIES 系統(tǒng)能實現(xiàn)網(wǎng)安人才的智能化評估,而且能直觀地展現(xiàn)網(wǎng)安人才Web 安全方向各知識點的知識掌握及專業(yè)技能情況。實驗部分驗證了本文所提出的網(wǎng)安人才能力評估方法的可行性和有效性。

本文提出了一種網(wǎng)安人才能力評估方法,為網(wǎng)安人才的培養(yǎng)和選拔提供了一種評價手段。雖然本文只是針對Web 安全方向的網(wǎng)安人才能力進行評估,但所設計的模型、系統(tǒng)和方法,也可以擴展到二進制、密碼學、移動安全、取證分析等技能評估。

通過本文提出的網(wǎng)安人才能力評估方法,可以更加細致地了解網(wǎng)安人才的知識掌握情況,為網(wǎng)安人才的培養(yǎng)和選拔提供參考,該方法可以用于多個場景：

1) 網(wǎng)安人才日常培養(yǎng)：網(wǎng)安人才可以通過該方法了解到自身的學科專業(yè)的知識掌握情況,從而及時查缺補漏,提高學習效率；教師可以更好地掌握學生的知識學習狀態(tài),及時根據(jù)學生的知識掌握情況調整教學內容,并對沒有達到學習要求的學生進行針對性地指導。

2) 網(wǎng)安人才選拔：該方法可用于Web 安全或其他技能的專業(yè)認證,也可用于企事業(yè)等用人單位考核選拔適合相關崗位的網(wǎng)安人才。根據(jù)不同的技能及崗位需求考察的側重點不同,構建相應的知識領域模型,在此基礎上設置相關專業(yè)知識的題庫,更好地完成相關專業(yè)方向認證或崗位網(wǎng)安人才選拔,彌補已有網(wǎng)安人才能力評估方法的不足。