尚衍亮

摘 要：隨著中國經(jīng)濟的騰飛，互聯(lián)網(wǎng)行業(yè)進入發(fā)展的快車道，招聘網(wǎng)站如雨后春筍般出現(xiàn)，一時間互聯(lián)網(wǎng)上充斥著大量的招聘信息。為解決當前環(huán)境下招聘信息數(shù)量龐大，數(shù)據(jù)分散，學生無法及時獲取到適合的招聘崗位的問題，提出了基于語義分析的就業(yè)推薦系統(tǒng)。利用python網(wǎng)絡爬蟲抓取各大網(wǎng)站的招聘信息，將招聘信息匯總，避免了招聘信息的分散。使用分詞技術，將爬取到崗位信息進行分詞，結構化處理，計算招聘崗位之間的相似度，提高崗位推薦的準確率。通過對現(xiàn)抓取的所有數(shù)據(jù)進行評測，實驗結果表明，該方法可以準確的找出相近的崗位。

關鍵詞：推薦系統(tǒng)數(shù)據(jù)挖掘高校就業(yè)

一、研究背景

近年來我國招聘行業(yè)發(fā)展迅速，然而，如何使求職者全面充分了解真實的用人單位需求，如何讓用人單位能更加便捷高效的匹配到所需的人才，一直都是社會多方人士所考慮的問題。與此同時，大學生在求職過程中始終存在著技能與崗位不匹配的問題，雙方信息的不對稱，也大大增加了招聘的成本。招聘行業(yè)的轉型，已經(jīng)成為了一個亟待解決的問題。

國家統(tǒng)計局數(shù)據(jù)顯示，全國目前共有在校大學生2695.8萬，用戶規(guī)模大，這使得技能共享的市場十分廣闊，同時，據(jù)央視報道，到2020年，高端技術人才缺口將會達到2200萬，這表明社會對于技能型人才的需求也在日益增長。那么，構建一個完備的，針對大學生技能共享提升、智能求職的平臺，是尤為重要的。

就業(yè)推薦，是指根據(jù)用戶的信息和企業(yè)的信息，借助相關技術，給用戶推薦合適的企業(yè)，給企業(yè)推薦合適的員工。用戶在瀏覽就業(yè)信息網(wǎng)站的時候，面臨的企業(yè)如此之多，如何在眾多的企業(yè)中找到自己合適的崗位，要花很長的時間去尋找，同樣，企業(yè)也面臨同樣的問題，如何在眾多的應聘者中找到自己合適的人選，要花很長的時間去尋找。網(wǎng)站提供了數(shù)千萬個企業(yè)，用戶卻只能使用分類瀏覽、分類導航、搜索等此類通用的網(wǎng)站工具來搜索信息。這就要求用戶對所要搜索的企業(yè)有相當清楚的了解和把握。然而面對如此眾多的企業(yè)，絕大多數(shù)的用戶基本不會有效整合網(wǎng)站信息資源的，這就很容易出現(xiàn)所謂的“信息迷航”。諸如此類現(xiàn)象：網(wǎng)站存在有用戶需要的企業(yè)，然而用戶卻沒有找到，或找到的企業(yè)不是最適合自己的。

二、主要技術

1.推薦系統(tǒng)

推薦系統(tǒng)產(chǎn)生推薦列表的方式通常有兩種：協(xié)同過濾以及基于內(nèi)容推薦，或者基于個性化推薦。協(xié)同過濾方法根據(jù)用戶歷史行為（例如其購買的、選擇的、評價過的物品等）結合其他用戶的相似決策建立模型。這種模型可用于預測用戶對哪些物品可能感興趣（或用戶對物品的感興趣程度）?；趦?nèi)容推薦利用一些列有關物品的離散特征，推薦出具有類似性質的相似物品。

2.結巴分詞

結巴分詞開源的中文分詞工具，主要使用三種算法進行分詞：1.基于前綴詞典實現(xiàn)高效的詞圖掃描，生成句子中漢子所有可能成詞情況所構成的有限無環(huán)圖（DAG）;2.采用了動態(tài)規(guī)劃查找最大概率路徑找出基于詞頻的最大切分組合;3.對于為登錄詞，采用了基于漢字成詞能力的 HMM 模型，使用了 Viterbi 算法。

三、語義文本的獲取

1.目前主流的招聘網(wǎng)站有十多家，每天的招聘崗數(shù)量有幾十萬條，如果采用手工抓取的話，既耗時又耗力。于是采用了python爬蟲技術，利用自建的爬蟲框架，構建自動崗位信息抓取工具，這樣既省時又省力，并且將抓取到的數(shù)據(jù)存放于數(shù)據(jù)庫中，方便隨時使用。同時在抓取的時候，按照職位種類抓取，這樣可以以保證抓取的數(shù)據(jù)已經(jīng)存在于一個較大的聚類中了。

2.主要抓取的數(shù)據(jù)包括 ：崗位名稱，公司，工作地點，學歷要求，工作經(jīng)驗，性別，最低薪資，最高薪資，職位種類，崗位職責等。

3.系統(tǒng)架構

四、語義文本的建立

根據(jù)已經(jīng)抓取到的招聘信息，我們可以發(fā)現(xiàn)，抓取回來的信息主要可以分為兩類，一種是具體的屬性，比如學歷要求，工作經(jīng)驗等信息，另一種是崗位職責。由此我們在建立語義文本的時候分為兩類建立。

1.一級語義文本的建立及處理

1.1建立

在進行一級語義文本建立時，我們采用了自頂而下的構建方式，并將部分信息剔除。我們將崗位名稱，工作地點，學歷要求，工作經(jīng)驗，性別，薪資定義為頂級屬性，而后在進行二級定義，而例如學歷就擁有二級屬性：?？?，本科，碩士，博士。最終建立所需的的語義文本如下圖（4.1）

1.2 處理處理過程將按照表格中的數(shù)據(jù)選擇性的列舉：

1.2.1 崗位名：例如初級java工程師;中級java工程師;高級java工程師，這三個崗位雖然屬于java類崗位，但是對于java的水平要求卻不一樣。因此需要對崗位名稱進行分詞。提取出關鍵的信息，這樣在進行崗位相似度比較的時候，更準確。下表是結巴分詞的效果：

1.2.2 經(jīng)驗要求：公司對于求職者的經(jīng)驗要求一般以年計算，其中應屆生的經(jīng)驗看為0，最后將其映射為整形數(shù)據(jù)：0，1，2，3，4……

1.2.3學歷要求：公司對于求職者的學歷要求大致分為：大專，本科，研究生，博士生，將其映射為整形數(shù)據(jù)：大專=0;本科=1;研究生=2;博士生=3。

1.2.4最低薪資和最高薪資：本身就是具體的整型數(shù)據(jù)。

1.2.5性別：性別只有男，女兩種類型，將其映射為整形為：男-0;女-1。

2.二級語義文本的建立二級語義文本的建立主要依賴于崗位職責，而對于崗位職位，一般是文本的形式，如下示例：

任職要求

1、熟練掌握Java及面向對象設計開發(fā)，對部分Java技術有深入研究，研究過優(yōu)秀開源軟件的源碼并有心得者優(yōu)先;

2、了解SOA架構理念、實現(xiàn)技術;熟悉常見設計模式，熟練掌握Spring、myBatis等框架;

3、熟練掌握MySQL應用開發(fā)、數(shù)據(jù)庫原理和常用性能優(yōu)化和擴展技術，以及NoSQL，Queue的原理、使用場景以及限制;

4、研究過http協(xié)議、搜索引擎、緩存、jvm調優(yōu)、序列化、nio、RPC調用框架等，有相應實踐經(jīng)驗者優(yōu)先;

5、參與過大型復雜分布式互聯(lián)網(wǎng)（特別是電商）用戶端WEB/API系統(tǒng)的設計開發(fā)者優(yōu)先。在建立二級語義文本的時候需要提取其中的專業(yè)技能要求，在這里利用的是結巴分詞。具體細節(jié)如下：

Step1： 將所有崗位的崗位職責從數(shù)據(jù)庫中提取出來

Step2： 利用結巴分詞從所有的所屬相同職位種類的崗位職責中盡可能提取多的專業(yè)技能要求，并形成部分限定詞庫，又因為分詞效果不能完全的找出所有的專業(yè)技能要求，需要手工添加和剔除。

Step3： 利用限定詞庫，找出每個崗位的崗位職責中的專業(yè)技能要求。并保存到數(shù)據(jù)庫中。

Step4：以java這個崗位為例，最終找出的語技能要求如圖所示

五、相似度計算

1.這里根據(jù)一級語義文本計算崗位間的相似度使用歐式距離相似度。

又名歐幾里得度量是一個通常采用的距離定義，指在m維空間中兩個點之間的真實距離，或者向量的自然長度（即該點到原點的距離）。可以看出，當n=2時，歐幾里得距離是平面上的兩點的距離。

2.計算步驟

2.1.設定目標找出10個不同分類的崗位，來找出這10個崗位的10個相似度最高的崗位。示例如下：

2.2.根據(jù)一級語義文本計算物品間的相似度從數(shù)據(jù)庫中找出與之對應分類的所有崗位，這樣保證了同屬于同一個聚類中，然后計算崗位名稱的文本相似度，然后計算其余屬性的歐幾里得距離

2.3.根據(jù)二級語義文本計算物品間的相似度從數(shù)據(jù)庫中找出與之對應分類的所有崗位的崗位職責，計算出文本相似度，這里仍然采用歐幾里得距離。

2.4.根據(jù)兩次計算出的歐幾里得距離，計算平均值，并選出top10.

六、實驗結果

從實驗結果中可以看出，該系統(tǒng)推薦精度較為滿意。兩個崗位間的相似度較高，由此可以得出，該推薦結果符合推薦預期。

[參考文獻]

[1]隋占麗， 李文， 李影， et al. 面向大學生就業(yè)的協(xié)同過濾推薦算法與推薦系統(tǒng)研究[J]. 山東農(nóng)業(yè)工程學院學報， 2017， 34（4）：3-4.

[2]張駿. 推薦系統(tǒng)多樣性研究及其在就業(yè)推薦中的應用[D].山東師范大學，2017.

[3]陳朝沖. 基于高校畢業(yè)生與招聘企業(yè)雙選的推薦系統(tǒng)[D].西南科技大學，2017.

[4]黃貴斌，孫柳，黃佳玲，余發(fā)明，賈禮平.基于爬蟲技市的就業(yè)推薦系統(tǒng)設計與實現(xiàn)[J].內(nèi)江科技，2018，39（01）：59-61.

[5]揭正梅. 基于協(xié)同過濾的高校個性化就業(yè)推薦系統(tǒng)研究[D].昆明理工大學，2015.

[6]劉玉華，陳建國，張春燕.基于數(shù)據(jù)挖掘的國內(nèi)大學生就業(yè)信息雙向推薦系統(tǒng)[J].沈陽大學學報（自然科學版），2015，27（03）：226-232.

[7]吳瓊. 基于改進K-Means聚類方法的高校就業(yè)推薦系統(tǒng)研究[D].大連海事大學，2015.

（作者單位：江蘇師范大學智慧教育學院，江蘇 徐州 221000）