融合注意力機制的深度交叉網絡作物推薦模型

魏博識，陳希彤

（1.智能機器人湖北省重點實驗室；2.武漢工程大學計算機科學與工程學院，湖北武漢 430205）

0 引言

傳統(tǒng)農業(yè)種植很多方面依靠感覺和經驗，缺少量化的數據平臺，依據經驗進行種植決策，難以綜合考量多個領域、復雜種植場景、大量數據基礎等因素。隨著信息時代的發(fā)展，傳統(tǒng)的農業(yè)模式弊端日益顯現，制約了我國農業(yè)的發(fā)展。

中共中央印發(fā)的《數字鄉(xiāng)村發(fā)展戰(zhàn)略綱要》，結合國家農業(yè)現代化和農業(yè)信息化發(fā)展戰(zhàn)略，提出搶占大數據技術制高點戰(zhàn)略，推動智慧農業(yè)不斷發(fā)展。農業(yè)大數據運用大數據理念、技術和方法，解決農業(yè)或涉農領域數據的采集、存儲、計算與應用等一系列問題，是大數據理論和技術在農業(yè)上的應用和實踐。近年深度學習方法在農業(yè)領域的應用取得巨大成就，廣泛應用于科學施肥、產量預測和經濟效益預估。根據土壤信息進行數據挖掘并在此基礎上提出區(qū)域性作物種植建議，不僅可以促進農作物生長，還可改善土壤肥力，促進可持續(xù)發(fā)展。

以土壤數據中土壤種類（Soil type）、土地類型（Land type）以及土壤養(yǎng)分元素的氮（N）、磷（P）、鉀（K）、有機質（OM）的含量為變量建立模型，分析并且給出精準預測，可以優(yōu)化傳統(tǒng)經驗意識的生產決策，實行科學種植。研究表明，氮、磷、鉀在植物根莖的重吸收率分別占63.6%，56.8%，50.7%，現有作物推薦算法大多依據土壤養(yǎng)分元素中氮、磷、鉀、有機質等數值域數據進行推薦。但是土壤類型如黃綿土、潮土、水稻土，地塊類型如坡地、平地、梯田等是土壤的文本域數據，反應土壤中不同大小直徑成土顆粒組成狀況，不同質地土壤間養(yǎng)分含量、蓄水導水、保肥供肥、保溫導熱、耕性、微生物種類及其活動等性能差異則對作物生長產生影響。

1 相關工作

近年傳統(tǒng)推薦算法與深度學習推薦算法逐步在土壤數據推薦中應用，取到了一定效果，但仍存在忽略土壤文本域特征、不同特征交叉對結果影響程度不同等問題。

互聯網發(fā)展迅速，帶動推薦算法快速發(fā)展。協同過濾（Collaborative Fiter，CF）利用相似性推薦思想取得了巨大成功；邏輯回歸（Logistic Regression，LR）因為簡單、可擴展和易解釋優(yōu)點，在推薦和排序算法中廣泛應用，但其不具有特征組合能力，表達能力較差；2010年因子分解機（Factorization Machine，FM）被提出，特征交叉概念引入推薦模型，解決了邏輯回歸不具有特征組合的能力；2012年提出的AlexNet引爆了深度學習浪潮，將深度學習快速的從圖像擴展到語音，再到自然語言處理和推薦系統(tǒng)；為了解決構建重建函數問題，2015年Sedhain等提出AutoRec，將自編碼器思想與協同過濾結合為一種單隱層網絡推薦模型；針對AutoRec等過于簡單的網絡帶來模型表達能力不足問題，2016年微軟推出Deep Crossing模型，完整解決了特征工程、稀疏向量稠密化、多層神經網絡優(yōu)化目標擬合等一系列深度學習在推薦算法中的應用問題，但其全連接隱層的特征交叉針對性不強；Google提出了Wide&Deep模型，使用廣度與深度聯合訓練的方法解決了推薦算法中難以同時保留模型記憶能力與泛化能力問題，但該模型仍然沒有解決人工特征組合工作量大效果差的缺點；2017年微軟和斯坦福提出的Deep&Cross Network（DCN），用Cross Net代 替Wide&Deep模型 的Wide部分，增加了特征之間的交互力度，解決了人工組合特征問題。

注意力機制最早在視覺圖像領域提出，2014年，Google mind團隊在RNN模型上使用注意力機制進行圖像分類；Bahdanau等使用注意力機制在機器翻譯任務上將翻譯和對齊同時進行，第一個將注意力機制應用到自然語言處理領域。之后注意力模型逐漸在圖像處理、自然語言處理、推薦領域等方面廣泛應用；2017年，Xiao等將注意力機制引入因子分解機，在二階隱向量交叉的基礎上對每個交叉結果進行注意力加分；2017年，Zhou等在傳統(tǒng)深度學習推薦模型基礎上引入注意力機制，根據不同目標進行更有針對性的推薦。

上述方法都在各自數據集上有良好表現，但是在本文數據集上表現并不理想。本文土壤數據包含數值域與文本域信息，土壤數據中包含了氮、磷、鉀等養(yǎng)分信息以及土壤有機質、類型和地塊等信息，因而具有不同的維度和稀疏性。傳統(tǒng)推薦算法LR可以融合土壤的文本域數據特征和數值域數據特征，但不具備特征組合能力；Wide&Deep模型可以進行特征組合，但是十分依賴人工特征工程；Deep&Cross Network由多個交叉層組成Cross網絡，在Wide&Deep模型中Wide基礎上進行特征自動化交叉，避免了更多基于業(yè)務理解的人工特征組合。但是，它相當于“一視同仁”地對待所有交叉特征，未考慮不同特征對結果的影響程度，事實上消解了大量有價值的信息。在梯田下推薦小麥種植場景，“地塊類型=梯田且歷史種植稻麥輪作”這一交叉特征，很可能比“地塊類型=梯田且歷史種植黃豆”這一交叉特征更為重要。

針對以上問題，本文提出一種基于土壤數據注意力機制深度交叉網絡（Attention Deep Cross Network，ADCN）的作物推薦模型。首先將高維稀疏的文本域土壤數據特征通過嵌入向量的方式轉化為低維稠密特征，并且作為提取交互特征的前置；其次將土壤類型、地塊類型與歷史種植作物種類進行關聯，通過注意力機制訓練土壤類型、地塊類型與歷史種植作物交互特征的權重，并且級聯數值域土壤數據作為深度交互網絡層輸入；最后通過深度交叉特征網絡層輸出精準的推薦作物。實驗證明本文模型在性能上優(yōu)于目前常用的推薦模型。

2 融合注意力機制的深度交叉網絡

本文融合注意力機制的深度交叉網絡作物推薦模型主要包含數據編碼層、注意力機制層、深度網絡層、Cross網絡層和合并輸出層5層，如圖1所示。

Fig.1 Network structure圖1 網絡結構

圖1中，N、P、K、OM分別表示土壤養(yǎng)分中氮、磷、鉀、有機質的含量等數值域特征。數值域特征是連續(xù)的，為了使連續(xù)特征更容易被模型學習，在數據編碼階段采用分布損失函數（Cumulative Distribution Function，CDF）映射到（0，1），然后進行分桶離散化；LT、ST、PT分別表示土地類型、土壤類型以及歷史種植作物類型，稱為文本域信息，這類信息在編碼時大量使用獨熱編碼，導致樣本特征向量極度稀疏，這類文本域特征也稱為稀疏特征。深度學習的結構特點不利于稀疏特征向量的處理，在數據編碼層需采用向量嵌入的方法將數值域特征和文本域特征轉化成稠密向量。注意力機制層主要為不同程度的交叉特征賦予不同的學習權重，也就是注意力得分。將融合注意力機制的文本域特征和稠密特征輸入深度交叉網絡全連接層。深度網絡層中h表示深度為L2的全連接層，Cross網絡層中

X

表示Cross網絡的層數。經過Cross層進行特征自動化交叉，深度網絡層學習高維非線性特征交叉組合。合并輸出層中主要拼接Cross網絡層和深度網絡層輸出，經過加權求和后得到logits，經過softmax函數得到最終的預測概率。

2.1 問題描述

作物模型的輸入為土壤養(yǎng)分中氮、磷、鉀、有機質含量，為數值域數據；土壤中的土壤類型、地塊類型、歷史種植作物，為文本域數據。以當前作物標簽作為目標推薦作物，輸出為推薦當前作物的準確率，對模型預測推薦的作物與目標作物標簽進行準確率計算，在模型輸出時首先經過Softmax激活函數進行作物樣本多分類分片，然后使用邏輯回歸在分片中進行準確率預測。

2.2 注意力機制層

注意力機制層設計是為了挖掘土壤類型與地塊類型（統(tǒng)稱為土質組特征）和作物種植之間的關系，提取土質組—作物組之間的關聯信息，其網絡結構如圖2所示。

Fig.2 Attention Net圖2 注意力網絡

在圖2中，Activation Unit表示激活單元，其作用是將作物與土質組之間交叉，并且連接作物與土質組，一起輸入全連接層FCs，學習其交叉特征的權重，最后通過預測作物（Candidate plant）激活，獲取相應的注意力得分，也就是

ω

。然后通過與土壤特征組Embedding加權求和作為深度網絡與Cross網絡的全連接層輸入。

每塊土質與作物各個特性之間的關聯程度都可使用一個權重表示，如公式（1）所示：

該權重公式作為土質組特征與作物組特征之間的關聯程度計算，將計算結果作為DCN模型的特征作為訓練輸入，其關聯程度的權重矩陣如下：

式（5）表示特征交叉的輸出，將得出的嵌入特征向量組作為全連接層輸入，如式（6）所示：

在全連接層采用RELU作為激活函數，輸出層選用Softmax函數，最后輸出土質組與作物組的激活權重并且與向量嵌入的土壤數據進行加權求和，作為深度網絡與Cross網絡的全連接層輸入。

2.3 DCN網絡層

DCN網絡層是一個可以同時高效學習低維特征交叉和高維非線性特征的深度模型，在避免人工業(yè)務理解特征組合的同時又可自動交叉特征，其分為4個部分：

（1）輸入層。輸入為帶有權重的土壤特征與交叉特征的級聯，如式（7）所示：

（2）Cross層。Cross層可以用一種高效可控的方式增加特征之間的交互力度，使用多層交叉層對輸入向量進行特征交叉，如式（8）所示：

Cross層類似外積操作，并且增加了外積操作的權重向量

w

以及原輸入向量

x

和偏置向量

b

，但是在參數方面每一層僅增加了n維權重向量

ω

。輸入向量在每一層都保留，因而輸入與輸出之間的變化不會特別明顯。同時，Cross層具有參數共享特點，該特點使得注意力機制可以間接地動態(tài)更新高階交叉特征的權重。假設Cross有兩層，初始特征

x

=[

x

，

x

]，

b

=0，則：

x

=

x

x

w

+

x

，

x

=

x

x

w

+

x

，最終Cross層的輸出為

y

=

x

*

w

?？梢钥闯觯?p>x

包含了原始特征

x

，

x

從一階到二階所有可能叉乘，而

x

包含了其從一階到三階的所有可能叉乘，同時Cross層不同的高階交叉特征的權重

w

不同。但并非每個交叉特征對應獨立的權重，因為后一層Cross交叉特征的權重取決于前一層交叉特征權重的更新，所以本文并沒有將注意力機制層加入到Cross網絡層中，而是放在第一層Crosss網絡前，這樣就可動態(tài)更新所有高階交叉特征權重。如果放在Cross網絡層中某一層前面，則會導致注意力機制層之前的Cross網絡層無法動態(tài)更新交叉特征的權重。

（3）深度網絡層。即傳統(tǒng)的全連接前饋神經網絡，用來學習高維非線性特征交叉組合，如式（9）所示：

（4）合并輸出層。將Cross與Deep網絡的輸出拼接，經過sigmoid函數得到最終的預測概率，其形式如下：

其中，

p

是推薦的作物；x是d維的，表示Cross Network的最終輸出；

h

是m維的，表示Deep Network的最終輸出；logits是Combination Layer的權重；最后經過sigmoid函數得到預測概率。損失函數使用Logloss：

3 實驗結果與分析

為驗證本文方法在網絡結構、特征結合、權重訓練上的優(yōu)勢，本文在中華土壤數據集上采集數據進行模型測試，并設計比較實驗來驗證本文方法性能。

3.1 數據集與測試標準

實驗數據來源于中國主要農田生態(tài)系統(tǒng)養(yǎng)分循環(huán)試驗數據庫，源于中國科學院的中國生態(tài)系統(tǒng)規(guī)律研究，該研究對農田生態(tài)系統(tǒng)進行長期養(yǎng)分循環(huán)實驗收集并整理出土壤信息數據庫，包括2 512條土壤數據，8種中國中部地區(qū)以及東部常見耕地作物小麥、水稻、玉米、稻麥輪作、黃豆、花生、蕎麥、谷子，每種作物有314條。每條土壤數據包含數值域數據有液態(tài)氮、速效磷、速效鉀、有機質含量等；文本域數據有土壤類型如黃綿土、潮土、水稻土等，地塊類型如坡地、平地、梯田等。因為土壤數據具有收集難度大、信息易丟失、重復、數據分布不均等特點，因此本文采用smote方法對土壤數據進行數據增強，增強后的數據包括10 400條，其中每種作物的數據為1 300條，按照6：2：2的比例將數據集隨機分為7 800：2 600：2 600，分別作為訓練集、驗證集以及測試集。批量大小（batch Size）設置為32，最初學習率為0.1。

本文推薦算法的評價指標有精確率

P

、召回率

R

和

F

值。其中

T

為準確預測的土壤數據個數，

F

為模型識別到的不相關土壤數據個數，

F

為模型沒有檢測到的土壤數據個數，如式（12）所示：

3.2 實驗設置

實驗采用NVIDIA 1080Ti GPU訓練網絡，操作系統(tǒng)為Ubuntu16.04，內存為32GB，CUP型號為Intel（R）Core（TM）i7-7700。Python 3.6版本，Tensorflow深度學習框架。

比較模型選用目前常見的LR、DNN、FM、PNN、Wide&Deep、DCN，與本文算法進行對比并且驗證模型性能。下面分別將比較算法進行簡要介紹。

（1）LR模型。邏輯回歸算法，其回歸模型由線性回歸模型與Sigmoid函數共同組成，為推薦三大基礎模型之一，優(yōu)點是簡單可解釋。

（2）DNN模型。DNN是深度神經網絡，是基于感知機的擴展內部神經網絡層，分為輸入層、隱藏層、輸出層。

（3）FM模型。通過引入交叉特征項進行特征之間的組合，增強特征之間的聯系，并且引入隱向量，解決高維稀疏數據情況下的大量計算問題。

（4）PNN模型。針對不同特征域之間的交叉操作，定義“內積”“外積”等操作，使模型更好地提取交叉特征之間的關聯。

（5）RFSVM模型?，F有數值型作物推薦算法采用隨機森林和支持向量機結合方法，根據土壤數據進行作物推薦，具有良好性能。

（6）Wide&Deep模型。Wide部分讓模型具有較強的“記憶能力”，將推薦的特征與特征之間的交叉提取權重，并且采用邏輯函數進行分類；Deep部分讓模型具有“泛化能力”，將高維稀疏的文本域數據通過嵌入的方式轉化成低維稠密向量，與數值域數據串聯輸入全連接層。Wide&Deep將兩部分模型融合。

（7）DCN模型。用Cross網絡代替Wide&Deep模型中的Wide部分，對特征進行自動交叉，增加了特征交互力度。

（8）ADCN模型（本文算法）。在DCN基礎上引入注意力機制，解決了不同特征對結果的影響程度不同而消解了大量有價值信息的問題。

為驗證本文算法性能，主要設計了兩組實驗：①為驗證融合土壤文本域特征與數值域特征方法的有效性，將現有數值型作物推薦算法（RFSVM）與LR、DNN模型以及本文方法分別以融合土壤文本域特征與數值域特征的數據集1（Sdata1）和未加入文本域特征的數據集2（Sdata2）進行對比實驗；②為驗證本文引入注意力機制的深度交叉網絡作物推薦模型性能，在中華土壤數據集上對目前常見的經典推薦模型FM、PNN、Wide&Deep、DCN、ADCN進行對比實驗。

3.3 融合土壤多域數據特征對比實驗

使用中華土壤數據集采集的2 512條土壤數據，經過Smote算法增強的10 400條土壤數據（Sdata1），在此基礎上提出數值域數據，設計10 400條土壤數值域數據集（Sdata2），將這2個數據集分別進行實驗。在Sdata2上對單一數值域推薦算法LR、RFSVM、DNN進行的實驗結果如表1所示，在Sdata1上對多域土壤數據進行LR、DNN、ADCN處理的比較實驗結果如表2所示。

Table 1 Comparison of soil numerical domain characteristics experiment表1 土壤數值域特征實驗比較 （%）

Table2 Comparison of fusion soil multi-domain data characteristics experimental表2 土壤多域數據特征實驗比較 （%）

從表1和表2可以看出，LR和DNN相較于融合文本域數據前提升了3.0%和4.2%，說明融合土壤多域數據特征模型的效果優(yōu)于單一數值數據特征模型。另外，本文方法與現有數值型作物推薦算法（RFSVM）相比，F值提升了6.7%，原因是ADCN不僅在數值域數據的基礎上引入了文本域數據進行推薦，并且在經典推薦模型上引入了注意力機制來學習不同土壤文本數據之間的內在權重關聯，使模型精度得到提升。因此，文本特征的引入和特征交叉的工程使得本文模型的精確度高于現有數值型作物推薦算法。

3.4 引入注意力機制的深度交叉網絡比較實驗

使用中華土壤數據集采集的2 512條土壤數據，與經過Smote算法增強的10 400條土壤數據（Sdata1）進行比較實驗，并與目前常見的推薦模型FM、PNN、Wide&Deep、DCN和ADCN進行比較，實驗結果如表3所示。

從實驗結果可以看出，本文方法在效果上優(yōu)于目前常用的推薦模型。對比DCN和Wide&Deep模型可以看出，DCN比Wide&Deep的F值提高了0.9%，說明用Cross代替Wide可以加強交叉特征的學習能力。對比ADCN和DCN模型，ADCN模型的F值比DCN模型提高了1.3%。加入了Attention機制，不僅可以根據地塊類型、土壤類型與歷史種植作物的關聯程度進行交叉特征提取，還可以對得到的交互特征的學習權重、對不同關聯的交互特征設置不同權重，從而增強模型性能。為了比較各個模型的收斂速度，本文對各個模型的Loss進行比較，結果如圖3所示（彩圖掃OSID可見，下同）。

Table 3 Comparison experimen of introducing the attention mechanism to deep crossnetwork表3 引入注意力機制深度交叉網絡比較實驗 （%）

Fig 3 Loss curves of five models圖3 5種模型的Loss曲線

從圖3可以看出，5個模型的損失變化整體呈下降趨勢，但是在100次迭代次數之后趨于穩(wěn)定。在DCN中加入注意力機制之后的模型Logloss進一步下降，并且F值提高，表明改進后的模型性能優(yōu)于原有基礎模型。在引入注意力機制思想提取了作物與地塊類型、土壤類型交叉特征的權重后，較原有模型性能提高了1.3%。表明改進后的模型性能優(yōu)于原有基礎模型。

4 結語

本文提出了一種土壤數據融合注意力機制深度交叉網絡結構的作物推薦模型。通過引入文本域信息和注意力機制，解決了一般推薦模型忽略土壤文本域信息和其特征交叉時沒有挖掘土壤類型、地塊類型與種植作物之間不同的相關性以及無差別對待所有特征的問題。在中華土壤數據庫上的實驗結果表明，本文方法融合了文本域土壤數據和采用注意力機制訓練文本域特征交叉的權重方法，比目前常用的推薦模型性能有較大提升。但是土壤數據存在殘缺和重復，而且交叉網絡層復雜度較高，后續(xù)將對土壤數據的預處理和深度交叉網絡的優(yōu)化進行深入研究。