透射光譜的水體亞硝酸鹽含量模擬估算

王彩玲，王 波，紀(jì) 童，徐 君，劇 鋒，王洪偉

1. 西安石油大學(xué)計算機學(xué)院，陜西 西安 710065 2. 鹽池縣草原實驗站，寧夏 鹽池 751506 3. 甘肅農(nóng)業(yè)大學(xué)草業(yè)學(xué)院，甘肅 蘭州 730070 4. 西安航空學(xué)院，陜西 西安 710077 5. 中華人民共和國銀川海關(guān)，寧夏 銀川 750000 6. 西北工業(yè)大學(xué)光電與智能研究院，陜西 西安 710072

引 言

隨著人類物質(zhì)生活水平的提高和工業(yè)化的發(fā)展，水污染已經(jīng)成為當(dāng)今社會普遍存在的問題，其監(jiān)測與治理也備受關(guān)注。 在pH<6.5時亞硝酸鹽會與仲氨反映生成具有強致癌性的亞硝胺基，是水質(zhì)監(jiān)測的必測指標(biāo)之一[1]。 “分光光度計法”、 紫外-分光光度法為現(xiàn)下普遍接受的測定亞硝酸鹽指標(biāo)的方法，但測定時間長、 不能及時反映水質(zhì)變化，不適合現(xiàn)場監(jiān)測[2]。

原始光譜反射數(shù)據(jù)有著數(shù)據(jù)量大，指標(biāo)彼此高度相關(guān)的特性，原始指標(biāo)高度相關(guān)的特性經(jīng)常會導(dǎo)致多重共線性問題的產(chǎn)生，從而導(dǎo)致模型失真[3]； 因此如何對大量光譜數(shù)據(jù)進(jìn)行處理和挑選一直是光譜反演的重點。 隨機森林(random forest, RF)作為常用機器學(xué)習(xí)算法在分類、 指標(biāo)反演、 篩選指標(biāo)上應(yīng)用廣泛[4]，國內(nèi)許多學(xué)者將隨機森林等機器學(xué)習(xí)新方法作為典型計量模型的代表廣泛應(yīng)用到水質(zhì)預(yù)測領(lǐng)域，促進(jìn)水質(zhì)分析向多參數(shù)測試趨勢發(fā)展。 張穎等[5]利用隨機森林分類算法對巢湖區(qū)域水質(zhì)進(jìn)行類別判定, 監(jiān)測斷面水質(zhì)分類準(zhǔn)確率可達(dá)96.15%； 吳志明等[6]基于隨機森林對太湖湖泊水體有色可溶性有機物(CDOM)濃度進(jìn)行遙感估算，根據(jù)隨機森林算法的特征重要性參數(shù)提供的各自變量影響力結(jié)果，發(fā)現(xiàn)709和560 nm波段貢獻(xiàn)率最大，是反演CDOM的敏感波段，并建立了精度較高的隨機森林反演模型；

現(xiàn)有文獻(xiàn)報道中，利用透射光譜估測水質(zhì)參數(shù)亞硝酸鹽指標(biāo)的報道較少； 基于此，試驗利用光譜數(shù)據(jù)進(jìn)行水體指標(biāo)亞硝酸鹽的反演，測定水體樣本的光譜數(shù)據(jù)，將采集到的光譜數(shù)據(jù)與標(biāo)液亞硝酸鹽含量建立亞硝酸鹽隨機森林反演模型，由于光譜指標(biāo)之間的高度相關(guān)，為避免模型失真，在建立反演模型之前，利用隨機森林變量重要性法挑選敏感光譜指標(biāo)，并將篩選指標(biāo)利用留一交叉法進(jìn)一步篩選，最終利用篩選的變量組合建立亞硝酸鹽隨機森林反演模型，比較全波段(未篩選)與優(yōu)化(篩選變量)隨機森林模型精度，選出更加適合反演亞硝酸鹽指標(biāo)的建模方法。 探索利用高光譜估測水體亞硝酸鹽含量的可行性與最優(yōu)方法，為實時診斷水體狀況提供關(guān)鍵技術(shù)與可行的途徑。

1 實驗部分

1.1 供試亞硝酸鹽標(biāo)液

稱取在105～110 ℃下烘干約4 h的亞硝酸鈉(NaNO2)0.492 8 g溶于水，準(zhǔn)確定容至1 000 mL，此溶液含NO2-N 100 mg·L-1。 實驗前，用移液管吸取此溶液20.00 mL用水稀釋至1 000 mL，此溶液含NO2-N 0.2 mg·L-1。 用此方法配制0.02, 0.04, 0.06, 0.08, 0.10, 0.12, 0.14, 0.16, 0.18和0.20 mg·L-1的亞硝酸鹽標(biāo)液[7]。

1.2 光譜儀參數(shù)

試驗用儀器為Ocean Optics公司出品的OCEAN-HDX-XR微型光纖光譜儀，該光譜儀采用高清晰度光學(xué)系統(tǒng)，具有高通量、 低雜散光和高熱穩(wěn)定性的特點，適用于精確測量溶液中的分析物，具有體積小，容易集成到許多工業(yè)應(yīng)用的生產(chǎn)過程環(huán)境的優(yōu)勢。 儀器參數(shù)見表1。

表1 光譜儀參數(shù)Table 1 Spectrometer parameters

1.3 光譜數(shù)據(jù)獲取

樣品為0.02, 0.04, 0.06, 0.08, 0.10, 0.12, 0.14, 0.16, 0.18和0.20 mg·L-1的亞硝酸鹽標(biāo)液，光譜儀狹縫為10 μm，相同時間間隔重復(fù)采集十次上述標(biāo)液181.1～1 030.1 nm范圍內(nèi)的高光譜透射率數(shù)據(jù)，共計得到100條光譜數(shù)據(jù)。

采用白板校正分別得到所采集的高光譜數(shù)據(jù)的光譜透射率值[8]，如式(1)所示

TC=TO/TW

(1)

式(1)中：TC為光譜透射率，TO為原始光譜數(shù)據(jù)，TW為白板數(shù)據(jù)。

1.4 數(shù)據(jù)處理

隨機森林(RF)算法[9]結(jié)構(gòu)清晰、 易于解釋、 運行效率高，對于數(shù)據(jù)要求低，且具有很好的抗噪聲能力，能夠處理高維度數(shù)據(jù)，訓(xùn)練速度快，泛化能力強，比較容易實現(xiàn)并行計算，不易出現(xiàn)過擬合問題。 隨機森林模型的建立通過調(diào)用R語言中“randomForest”程序包[10]來實現(xiàn)。 該方法首先完成兩個隨機采樣過程，即通過自助法重采樣技術(shù)有放回的在100組訓(xùn)練數(shù)據(jù)中重復(fù)隨機抽取67個訓(xùn)練樣本(總樣本容量的三分之二)，未被抽取到的數(shù)據(jù)被稱為“袋外”(outofbag)數(shù)據(jù)。

隨機森林模型建立時有兩個重要參量[11]，分別為隨機森林決策樹數(shù)目(mtry)與指定節(jié)點中用于二叉樹的變量個數(shù)(ntree)，其中mtry一般取值為變量的二次方根，ntree的取值需要逐一嘗試，當(dāng)模型內(nèi)誤差穩(wěn)定時，即為ntree數(shù)值。

模型評價方面，通過計算解釋方差百分比(%Var explained)與模型擬合精度(R2)來評定模型穩(wěn)定能力與預(yù)測能力。

2 結(jié)果與討論

2.1 亞硝酸鹽原始透射光譜

圖1為10種濃度亞硝酸鹽原始透射光譜，從圖中可以看出不同濃度溶液的亞硝酸鹽光譜曲線的趨勢類似，在紫外波段180.1～400 nm亞硝酸鹽光譜曲線呈先下降后上升的趨

圖1 原始透射光譜圖Fig.1 Original transmission spectra

勢，光譜曲線波谷分布于185～197 nm范圍內(nèi)，且譜線均在在紫外短波段有強吸收，圖中在210 nm波長周圍處有極大的吸收峰，濃度不同峰的高度也有所不同，主要表現(xiàn)為隨著亞硝酸鹽含量的增加，亞硝酸鹽在各波段的光譜透射率逐漸降低。

2.2 隨機森林反演模型

原始光譜共有2 049個變量，對所有光譜變量進(jìn)行隨機森林建模，其中參數(shù)ntree設(shè)定為500，mytry設(shè)定為40，隨機森林反演模型參數(shù)見表2，其中殘差平方均值為0.000 69，變量解釋率為76.49%。 擬合結(jié)果見圖2訓(xùn)練集(train)，其中擬合精度(R2)為0.820 3，均方根誤差為0.03，說明隨機森林模型對于水體亞硝酸鹽含量能夠做出很好的預(yù)測。

利用測試集test，對建立的隨機森林模型進(jìn)行模型檢驗，檢驗結(jié)果見圖2，通過對預(yù)測值與真實值進(jìn)行線性擬合，進(jìn)行模型檢驗，R2=0.979 3，RMSE=0.01，說明建立的隨機森林模型有著很強的預(yù)測能力。

表2 隨機森林模型參數(shù)Table 2 Spectrometer parameters

圖2 全波段隨機森林模型在測試集與訓(xùn)練集的預(yù)測結(jié)果Fig.2 The prediction results of the test set and training set using the full-band random forest model

2.3 隨機森林變量重要性

原始光譜數(shù)據(jù)量繁雜，變量間存在多重共線性問題，研究亞硝酸鹽光譜敏感波段，對于分析水體亞硝酸鹽光譜特征，降低光譜冗余，以及提升模型精度有著重要意義。 隨機森林算法中變量重要性算法，可以分析各個自變量對因變量的影響程度，以方差增量(IncMSE)指標(biāo)來定性表征[12]。 方差增量指將某一變量替換成隨機變量后對預(yù)測結(jié)果造成的影響，若用于替換的隨機變量顯著改變了方差，則認(rèn)為原變量重要性很高。 在建立全波段隨機森林模型過程中得出的隨機森林變量重要性結(jié)果如圖3所示； 25個光譜變量(IncMSE≥3)中195.1 nm變量重要性最高，IncMSE值為4.6，說明195.1 nm波段對反演水體亞硝酸鹽含量有著重要作用。

2.4 優(yōu)化隨機森林模型

按照變量重要性大小，將指標(biāo)由大到小依次輸入隨機森林模型，并采用交叉驗證方法比較輸入不同變量時模型均方誤差的大小，結(jié)果如圖4所示，發(fā)現(xiàn)模型輸入變量為19個時，模型均方誤差值最低(RMSE=0.02)，且隨變量數(shù)增多，模型均方誤差趨于穩(wěn)定，故選用篩選出的19個光譜變量作為優(yōu)化隨機森林模型的初始變量。

圖3 隨機森林變量重要性(IncMSE)圖Fig.3 Random forest variable importance (IncMSE) graph

圖4 交叉驗證Fig.4 Cross-validation

利用篩選出的19個光譜變量進(jìn)行隨機森林建模，其中參數(shù)ntree設(shè)定為500，因參與建模的光譜變量僅有19個，因此mytry設(shè)定為4，隨機森林反演模型參數(shù)見表3，其中殘差平方均值為0.000 55，變量解釋率為83.45%，擬合結(jié)果見圖5訓(xùn)練集(training set)，其中擬合精度(R2)為0.873 4，均方根誤差(RMSE)為0.022，說明優(yōu)化隨機森林模型對于水體亞硝酸鹽含量能夠做出很好的預(yù)測。

表3 優(yōu)化隨機森林模型參數(shù)Table 3 Optimize random forest model parameters

利用袋測試集test，對建立的隨機森林模型進(jìn)行模型檢驗，檢驗結(jié)果見圖5，通過對預(yù)測值與真實值進(jìn)行線性擬合，進(jìn)行模型檢驗，R2=0.9798，RMSE=0.008，說明建立的隨機森林模型有著很強的預(yù)測能力。

圖5 優(yōu)化隨機森林模型在測試集與訓(xùn)練集的預(yù)測結(jié)果Fig.5 The prediction results of the test set and training set of the random forest model

2.5 模型精度對比

通過對比全波段隨機森林模型與優(yōu)化隨機森林模型參數(shù)，挑選最為適合監(jiān)測水體亞硝酸鹽的光譜反演方法，模型參數(shù)結(jié)果見表4。

表4 模型參數(shù)對比Table 5 Model accuracy test

從表4可以看出，優(yōu)化隨機森林模型在各項指標(biāo)上均優(yōu)于全波段隨機森林模型，方差解釋率增加了7個百分點，且優(yōu)化隨機森林模型建模變量要遠(yuǎn)低于全波段建模變量，大大提高了機器學(xué)習(xí)的運算速率，降低了數(shù)據(jù)的冗余度，說明提取特征波段對水體中亞硝酸鹽含量進(jìn)行預(yù)測可以大大減少干擾信息的影響，提高預(yù)測模型的性能，可適用于水體亞硝酸鹽含量的反演。

3 結(jié) 論

物質(zhì)的光譜強度與物質(zhì)的組成成分和性質(zhì)之間存在一定的聯(lián)系，從而可以建立光譜強度與樣品含量之間的關(guān)系模型。 基于透射光譜研究水體亞硝酸鹽含量的研究較少，多在紫外吸收光譜中研究，其中硝酸鹽氮(NO3-N)的紫外吸收峰在202.0 nm左右，而亞硝酸鹽氮(NO2-N)的紫外吸收峰在210 nm左右[7]。 在建立全波段隨機森林模型時，利用隨機森林變量重要性得出191.5，968.1和221.2 nm等19個重要性較高變量，得出的波段與亞硝酸鹽氮(NO2-N)的紫外吸收峰210nm結(jié)果相近。

利用一種優(yōu)化后的隨機森林模型方法進(jìn)行水體亞硝酸鹽指標(biāo)的反演，通過隨機森林變量重要性法篩選的光譜指標(biāo)，并利用交叉驗證法進(jìn)一步縮小了變量個數(shù)，建立了優(yōu)化隨機森林模型，優(yōu)化后隨機森林模型具有以下優(yōu)點： (1)通過波長或波長區(qū)間選擇，可以有效減少參與建模的自變量數(shù)量，從而簡化模型，降低建模預(yù)測時的計算量； (2)對待測組分具有光譜特征的波段處的信息進(jìn)行提取強化，同時弱化待測組分吸收不明顯或干擾物質(zhì)影響顯著的波段，以此提升模型的預(yù)測精度； (3)消除或減弱由于儀器和環(huán)境帶來的噪聲以及譜線中存在的冗余信息對回歸建模的影響。

優(yōu)化隨機森林模型不僅模型精度，穩(wěn)定性、 預(yù)測能力顯著高于全波段隨機森林模型，而且有效降低了光譜數(shù)據(jù)維度，綜合了有效波段的光譜特性。 結(jié)果表明本優(yōu)化方法，模型精度較高，可適用于反演水體亞硝酸鹽含量反演。

以上試驗結(jié)果為水質(zhì)亞硝酸鹽指標(biāo)的快速估算提供了理論基礎(chǔ)，為水體質(zhì)量評估提供更便利的方案。