張素智，陳小妮，楊 芮，李鵬輝，蔡 強(qiáng)

(1.鄭州輕工業(yè)大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，河南 鄭州 450002；2.北京工商大學(xué) 食品安全大數(shù)據(jù)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100048)

0 引 言

近年來(lái)，隨著信息技術(shù)的不斷發(fā)展，數(shù)據(jù)信息爆炸式增長(zhǎng)，導(dǎo)致數(shù)據(jù)的復(fù)雜度越來(lái)越大，數(shù)據(jù)類(lèi)型多種多樣，進(jìn)而引發(fā)了數(shù)據(jù)的“維數(shù)災(zāi)難”。傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)在處理這樣的高維數(shù)據(jù)中面臨著巨大挑戰(zhàn)，無(wú)論從資源上還是時(shí)效上，都需要更高的要求[1]。大數(shù)據(jù)降維算法就是要研究一種有效、簡(jiǎn)單的數(shù)據(jù)表示，將數(shù)據(jù)的維數(shù)降到適合處理的大小，從而消除數(shù)據(jù)冗余，使數(shù)據(jù)分析處理和存儲(chǔ)變得高效低耗。通過(guò)數(shù)據(jù)降維得到高維數(shù)據(jù)的低維表示，是大數(shù)據(jù)分析的關(guān)鍵問(wèn)題。

數(shù)據(jù)降維算法廣泛應(yīng)用于遺傳學(xué)、醫(yī)學(xué)和生物信息學(xué)等領(lǐng)域[2]。目前，國(guó)內(nèi)外研究人員針對(duì)數(shù)據(jù)降維算法已經(jīng)進(jìn)行了大量的研究。文獻(xiàn)[3]詳細(xì)介紹了PCA算法的基本思想以及具體算法實(shí)現(xiàn)。由于傳統(tǒng)的PCA算法存在占內(nèi)存較大的問(wèn)題，文獻(xiàn)[4]引入了信息熵的思想，提出了基于信息熵的主成分分析(E-PCA)算法。在數(shù)據(jù)采用PCA算法降維之前，先利用信息熵先對(duì)數(shù)據(jù)進(jìn)行特征篩選，不僅提高了降維結(jié)果，同時(shí)降低了內(nèi)存占用，減少了運(yùn)行時(shí)間。E-PCA算法雖然在某種程度上對(duì)PCA算法進(jìn)行了改進(jìn)，但其降維后數(shù)據(jù)的判別性能較低。對(duì)此，文獻(xiàn)[5]針對(duì)超光譜圖像高維和計(jì)算復(fù)雜兩個(gè)特點(diǎn)，提出了一種基于超光譜圖像的帶監(jiān)督提取技術(shù)，該方法具有較好的分類(lèi)精度和Kappa系數(shù)；文獻(xiàn)[6]提出了一種邊界判別MDP算法，通過(guò)最大化類(lèi)間最大距離，最小化類(lèi)內(nèi)最小距離，從而提升了數(shù)據(jù)低維表示的判別能力，但其對(duì)于高維數(shù)據(jù)的降維效果不太理想。因此，如何在保證降維效果的前提下，同時(shí)提高數(shù)據(jù)低維表示的判別能力是值得進(jìn)一步研究的。針對(duì)以上問(wèn)題，本文將類(lèi)內(nèi)和類(lèi)間距離的思想引入E-PCA算法中，提出了一種基于類(lèi)內(nèi)和類(lèi)間距離的主成分分析算法—IOPCA。

1 相關(guān)工作

1.1 主成分分析

主成分分析(PCA)算法是一種常用的數(shù)據(jù)降維方法[7]。該方法的基本思想是將n維特征映射到k維。這k維特征被稱(chēng)為主成分，是在原有n維特征基礎(chǔ)上重新構(gòu)造出來(lái)的特征，而且所包含信息與原n維特征所包含的信息基本一致。

假設(shè)樣本數(shù)據(jù)集X∈Rn，其中X={x1，x2，…，xn}，每一個(gè)樣本數(shù)據(jù)xi(i=1，2，…，n)包含m個(gè)特征屬性，即(l1，l2，…，lm)。經(jīng)過(guò)PCA線性變換后，轉(zhuǎn)換到主成分空間的數(shù)據(jù)Y由k維的主成分組成。其中Y和X的關(guān)系可以用式(1)表示

Y=A′X

(1)

PCA算法的基本原理：首先將原始數(shù)據(jù)轉(zhuǎn)換為矩陣，并實(shí)現(xiàn)矩陣的零均值化；之后計(jì)算矩陣的協(xié)方差矩陣，求出協(xié)方差矩陣的特征值和特征向量；然后將特征向量按對(duì)應(yīng)的特征值大小從上到下排列成矩陣，選取矩陣的前k行組成的新矩陣即為算法的投影矩陣；最后利用式(1)求解出的矩陣就是降維后矩陣[8]。

1.2 信息熵

信息熵表示對(duì)信源考慮所有可能情況的平均不確定性。例如：一個(gè)信源發(fā)出n種取值的信號(hào)，記為W={w1，w2，…，wn}，n種信號(hào)對(duì)應(yīng)的概率分別為P={p1，p2，…，pn}，并且所有概率之和為1。那么，信源的平均不確定性為單個(gè)信號(hào)的不確定性的統(tǒng)計(jì)平均值，稱(chēng)為信息熵，如式(2)所示

(2)

信息熵在不同的領(lǐng)域具有不同的含義，對(duì)于一個(gè)系統(tǒng)來(lái)說(shuō)，信息熵的大小可以用來(lái)衡量該系統(tǒng)的有序或混亂程度，具體來(lái)說(shuō)，一個(gè)系統(tǒng)越有序，則該系統(tǒng)的信息熵越低；相反，一個(gè)系統(tǒng)越混亂，則信息熵越高[9]。對(duì)于數(shù)據(jù)特征來(lái)說(shuō)，信息熵的大小可以用來(lái)表示該屬性所提供的信息量的大小。如果一個(gè)屬性的信息熵越大，則該屬性所包含的信息量越大；反之，則包含的信息量越小[10]?；谝陨纤?，可以將信息熵引入主成分分析(PCA)算法中，通過(guò)與信息熵閾值a比較，來(lái)判斷該屬性是否剔除。從而減小算法的計(jì)算量以及數(shù)據(jù)內(nèi)存空間占用量。

1.3 類(lèi)內(nèi)和類(lèi)間距離

為了增強(qiáng)原始數(shù)據(jù)低維表示的判別能力，本文在PCA算法的基礎(chǔ)上引入了類(lèi)內(nèi)和類(lèi)間距離[11]。通過(guò)實(shí)現(xiàn)類(lèi)間距離最大化，類(lèi)內(nèi)距離最小化，來(lái)提高低維數(shù)據(jù)對(duì)分類(lèi)的貢獻(xiàn)。樣本間的類(lèi)內(nèi)距離和類(lèi)間距離一般指的是歐式距離，具體定義如下。

定義1 假設(shè)有兩個(gè)任意給定的樣本，記為x1和x2，則該樣本之間的距離d(x1，x2)為式(3)所示

(3)

定義2 假設(shè)有兩個(gè)不同類(lèi)別的樣本集合，分別記為cm和cn，分別在兩個(gè)類(lèi)別中選取兩個(gè)樣本點(diǎn)xi(?xi∈cm)和xj(?xj∈cn)，則d(cm，cn)為兩個(gè)類(lèi)別間的距離，又稱(chēng)類(lèi)間距離，如式(4)所示

(4)

定義3 給定同一個(gè)類(lèi)別ci的任意兩個(gè)樣本點(diǎn)，分別記為xa(?xa∈ci)和xb(?xb∈ci)，則d(ci)為類(lèi)別內(nèi)的距離，又稱(chēng)類(lèi)內(nèi)距離，如式(5)所示

(5)

(6)

(7)

根據(jù)式(4)和式(5)可以求得樣本數(shù)據(jù)X的邊界，如式(8)所示

(8)

其中，J代表樣本數(shù)據(jù)邊界，m表示樣本的類(lèi)別數(shù)，ci和cj屬于不同的類(lèi)別。

一般通過(guò)最大化不同類(lèi)樣本邊界距離和最小化同類(lèi)樣本邊界距離，來(lái)實(shí)現(xiàn)數(shù)據(jù)低維表示的類(lèi)間距離最大化和類(lèi)內(nèi)距離最小化。具體思想如圖1所示。

圖1 類(lèi)內(nèi)距離最小化和類(lèi)間距離最大化的基本思想

其中，圖1中圓形表示一個(gè)類(lèi)別，方形表示不同于圓形的另一個(gè)類(lèi)別。實(shí)線表示類(lèi)間距離，虛線表示類(lèi)內(nèi)距離，虛線和實(shí)線連接的樣本點(diǎn)統(tǒng)稱(chēng)為邊界樣本點(diǎn)。從圖1中可以看出，變換后實(shí)線變長(zhǎng)，虛線變短，邊界距離增強(qiáng)。因此可以分析出，變換后的樣本數(shù)據(jù)具有較強(qiáng)的可分性。

根據(jù)式(8)，可以得出，實(shí)現(xiàn)類(lèi)內(nèi)距離最小化和類(lèi)間距離最大化就是實(shí)現(xiàn)低維空間的樣本數(shù)據(jù)邊界最大，如式(9)

(9)

其中，?(ci,cj)、?(ci)分別是低維空間的類(lèi)間距離和類(lèi)內(nèi)距離。

在此引入正交約束，如式(10)，根據(jù)定義4和定義5，可以將?(ci,cj)，?(ci)分別展開(kāi)，如式(11)和(12)所示

VTV=I

(10)

(11)

(12)

結(jié)合式(10)，將式(11)和式(12)代入到式(9)得到式(13)。通過(guò)求解式(13)，找到滿足低維空間類(lèi)內(nèi)距離最小化、類(lèi)間距離最大化的投影矩陣V

(13)

邊界判別投影(MDP)數(shù)據(jù)降維算法較好實(shí)現(xiàn)了最小化同類(lèi)樣本間的最大距離，最大化不同類(lèi)樣本間的最小距離。借助MDP算法的優(yōu)化目標(biāo)函數(shù)[12]，如式(14)所示。通過(guò)求解目標(biāo)函數(shù)中的投影矩陣V，即可實(shí)現(xiàn)投影后矩陣邊界最大化

maxtr(VT(S(b)-S(w))V)

(14)

其中，S(b)=XL(b)XT，S(w)=XL(w)XT，L(b)和L(w)是Laplacian矩陣，分別代表樣本數(shù)據(jù)同類(lèi)樣本間的近鄰關(guān)系和異類(lèi)樣本間的近鄰關(guān)系。

2 基于類(lèi)內(nèi)和類(lèi)間距離的主成分分析算法

2.1 算法基本思想

數(shù)據(jù)維數(shù)的不斷提高，形式也越來(lái)越復(fù)雜。從而使對(duì)高維數(shù)據(jù)進(jìn)行分析處理越來(lái)越難。為了在盡量保留數(shù)據(jù)信息的情況下降低數(shù)據(jù)的維度，同時(shí)增強(qiáng)數(shù)據(jù)低維表示的判別能力，使低維表示的數(shù)據(jù)更有利于分類(lèi)。因此，本文引入信息熵、類(lèi)間距離和類(lèi)內(nèi)距離的思想。提出了基于類(lèi)間和類(lèi)內(nèi)距離的數(shù)據(jù)降維(IOPCA)算法。該算法思想如圖2所示，圖中左側(cè)是原始數(shù)據(jù)分布，右側(cè)是降維后的數(shù)據(jù)分布。圖中的不同形狀代表不同的類(lèi)別，實(shí)線代表同類(lèi)間樣本點(diǎn)的距離，虛線代表異類(lèi)間樣本點(diǎn)的距離。從圖中可以看出，數(shù)據(jù)經(jīng)過(guò)降維處理后，從高維變?yōu)榈途S，同時(shí)類(lèi)內(nèi)距離變小，類(lèi)間距離變大。

圖2 IOPCA數(shù)據(jù)降維算法的基本思想

2.2 算法主要內(nèi)容

2.2.1 算法流程

基于類(lèi)間和類(lèi)內(nèi)距離的數(shù)據(jù)降維(IOPCA)算法的基本處理流程如圖3所示。首先，在對(duì)高維數(shù)據(jù)降維前，通過(guò)采用信息熵進(jìn)行屬性篩選，降低算法的計(jì)算量，減小數(shù)據(jù)的占內(nèi)存空間；然后，用基于類(lèi)間和類(lèi)內(nèi)距離思想的數(shù)據(jù)降維目標(biāo)函數(shù)求解投影矩陣，代替PCA算法利用協(xié)方差矩陣求解主成分，從而得到PCA算法的優(yōu)化算法；最后，將屬性篩選后的矩陣用PCA算法的優(yōu)化算法進(jìn)行降維。

圖3 基于類(lèi)內(nèi)和類(lèi)間距離的主成分分析算法流程

2.2.2 算法介紹

基于類(lèi)內(nèi)和類(lèi)間距離的PCA數(shù)據(jù)降維(IOPCA)算法與E-PCA算法，相同之處在于對(duì)數(shù)據(jù)進(jìn)行降維之前都將屬性的信息熵與信息熵閾值a對(duì)比，進(jìn)行了一次特征篩選；不同之處在于IOPCA算法在對(duì)篩選后數(shù)據(jù)的降維過(guò)程中充分考慮了類(lèi)間距離和類(lèi)內(nèi)距離，從而實(shí)現(xiàn)了投影到低維空間數(shù)據(jù)的類(lèi)間距離最大化，類(lèi)內(nèi)距離最小化。具體算法步驟如下。

輸入：數(shù)據(jù)矩陣Pd×n，n表示樣本數(shù)目，d代表樣本維度，每個(gè)樣本對(duì)應(yīng)的類(lèi)別為label(xi)∈C，其中C={c1,c2,…,ck}，信息熵閾值a，貢獻(xiàn)率f。

輸出：降維結(jié)果。

(1)計(jì)算每個(gè)屬性的信息熵值，通過(guò)與閾值a比較，進(jìn)行特征篩選。

(2)進(jìn)行樣本矩陣中心化，計(jì)算得矩陣Xd×n

X=A-repmat(mean(A,2),1,n)

(15)

(3)計(jì)算Laplacian矩陣L

L=L(b)-L(w)

(16)

(4)采用不完全Cholesky分解技術(shù)對(duì)數(shù)據(jù)矩陣X進(jìn)行QR分解，分解結(jié)果如式(17)所示

X=QR

(17)

(5)求解矩陣Z=RLRT，計(jì)算Z的特征值(eigenVa-lue)和特征向量(eigenVector)。

(6)對(duì)矩陣Z特征分解，求得矩陣U=[u1,u2,…,ur]，其中，ui是矩陣Z的第r個(gè)最大特征值λi對(duì)應(yīng)的特征向量。

(7)選定投影矩陣V。投影矩陣如下公式所示

V=QU

(18)

(8)計(jì)算降維結(jié)果Y

Y=VTX=(QU)TQR=UTR

(19)

(9)算法結(jié)束。

IOPCA算法中的r值不作為參數(shù)輸入，r值的確定與特征值的貢獻(xiàn)率f有關(guān)，IOPCA算法中貢獻(xiàn)率計(jì)算與PCA算法中一樣，指的是選取屬性值與樣本中的所有屬性值的和的比值。計(jì)算公式如下所示

(20)

3 實(shí) 驗(yàn)

為了驗(yàn)證IOPCA算法的有效性，本文將IOPCA算法與PCA、E-PCA、LDA算法，從降維結(jié)果以及降維后數(shù)據(jù)經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度上進(jìn)行比較。

3.1 環(huán)境和數(shù)據(jù)集

實(shí)驗(yàn)環(huán)境：本文在MATLAB R2014a下對(duì)PCA、E-PCA、LDA和IOPCA進(jìn)行模擬仿真，配置環(huán)境為Pen-tium4，2.8 GHz CPU，內(nèi)存1 GB，Windows XP系統(tǒng)。

數(shù)據(jù)集：為了更全面分析4種降維算法的性能，本文從UCI標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)[13]中選取4種數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，包括：Iris數(shù)據(jù)集，150個(gè)樣本，4個(gè)屬性，3個(gè)類(lèi)；Soybean(large)數(shù)據(jù)集，307個(gè)樣本，35個(gè)屬性，18個(gè)類(lèi)；Sonar數(shù)據(jù)集，208個(gè)樣本，2個(gè)類(lèi)，60個(gè)特征；SPECTF incorrect數(shù)據(jù)集，269個(gè)樣本，2個(gè)類(lèi)，44個(gè)特征。

3.2 結(jié)果及分析

(1)降維結(jié)果

通過(guò)對(duì)4種數(shù)據(jù)集采用PCA、E-PCA、LDA和IOPCA降維方法在MATLAB進(jìn)行實(shí)驗(yàn)，設(shè)置PCA、E-PCA、IOPCA的貢獻(xiàn)率f=0.95，在實(shí)驗(yàn)過(guò)程中信息熵閾值根據(jù)數(shù)據(jù)集的屬性信息熵來(lái)選取。實(shí)驗(yàn)得到的降維結(jié)果見(jiàn)表1。從表1可以看出，當(dāng)E-PCA算法中的信息熵閾值為0時(shí)，E-PCA等價(jià)于PCA。另外，對(duì)于Iris數(shù)據(jù)集，本文方法和PCA、E-PCA方法的降維結(jié)果一樣，優(yōu)于LDA方法；然而，對(duì)于其它3種數(shù)據(jù)集，本文方法的降維結(jié)果均優(yōu)于PCA、E-PCA和LDA方法。

表1 4種數(shù)據(jù)集在不同降維方法下的降維結(jié)果

(2)分類(lèi)精確度

分別將4種數(shù)據(jù)集通過(guò)PCA、E-PCA、LDA和IOPCA進(jìn)行降維處理，按照表2所示的測(cè)試集樣本數(shù)和訓(xùn)練集樣本數(shù)來(lái)分配，采用KNN和SVM算法進(jìn)行分類(lèi)，并與4種原始數(shù)據(jù)采用KNN和SVM進(jìn)行分類(lèi)的分類(lèi)精確度進(jìn)行對(duì)比。分類(lèi)實(shí)驗(yàn)均重復(fù)10次取精確度平均值。實(shí)驗(yàn)結(jié)果見(jiàn)表3～表6。

表2 4種數(shù)據(jù)集的樣本數(shù)量

Iris數(shù)據(jù)集降維前后經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度見(jiàn)表3。通過(guò)表3可以看出，將Iris數(shù)據(jù)集經(jīng)過(guò)PCA、E-PCA算法降維后的數(shù)據(jù)，作為KNN、SVM算法的輸入，分類(lèi)精確度略有降低；而將Iris數(shù)據(jù)集經(jīng)過(guò)LDA算法降維后的數(shù)據(jù)，作為KNN、SVM算法的輸入，分類(lèi)精確度分別提高約1.6和0.67個(gè)百分點(diǎn)，同樣采用IOPCA算法降維，分類(lèi)精確度分別提高約5.41和1.89個(gè)百分點(diǎn)。

表3 Iris數(shù)據(jù)集降維后經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度/%

Soybean(large)數(shù)據(jù)集降維前后經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度見(jiàn)表4。分析表4可以得出，該數(shù)據(jù)集采用PCA、E-PCA降維后的數(shù)據(jù)經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度均降低約0.5～1.0個(gè)百分點(diǎn)，采用LDA降維后的數(shù)據(jù)經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度分別提高約11.43和0.57個(gè)百分點(diǎn)，同樣的采用IOPCA算法，分類(lèi)精確度分別提高約13.14和1.86個(gè)百分點(diǎn)。

表4 Soybean(large)數(shù)據(jù)集降維后經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度/%

Sonar數(shù)據(jù)集降維前后經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度見(jiàn)表5。從表5中可以看出，Sonar數(shù)據(jù)集相比于SVM更加適合使用KNN算法進(jìn)行分類(lèi)。另外，該數(shù)據(jù)集采用PCA、E-PCA降維后的數(shù)據(jù)經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度均降低約0.5～1.0個(gè)百分點(diǎn)，采用LDA算法降維后的數(shù)據(jù)經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度分別提高約10.25和2.5個(gè)百分點(diǎn)，同樣的采用IOPCA算法，分類(lèi)精確度分別提高約14.46和5.44個(gè)百分點(diǎn)。

SPECTF incorrect數(shù)據(jù)集降維前后經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度見(jiàn)表6。從表6中可以看出，該數(shù)據(jù)集采用PCA、E-PCA降維后的數(shù)據(jù)經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度均降低約2個(gè)百分點(diǎn)，采用LDA算法降維后的數(shù)據(jù)經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度分別提高約0.8和1.66個(gè)百分點(diǎn)，同樣采用IOPCA算法，分類(lèi)精確度分別提高約2.94和3.58個(gè)百分點(diǎn)。

表5 Sonar數(shù)據(jù)集降維后經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度/%

表6 SPECTF incorrect數(shù)據(jù)集降維后經(jīng)過(guò)KNN、SVM算法的分類(lèi)精確度/%

為了更直觀衡量算法的有效性，單獨(dú)比較數(shù)據(jù)集降維處理前以及采用4種方法降維處理后分別經(jīng)過(guò)KNN和SVM算法的分類(lèi)精確度。結(jié)果如圖4和圖5所示。

圖4 4種數(shù)據(jù)集采用KNN算法的分類(lèi)精確度

圖5 4種數(shù)據(jù)集采用SVM算法的分類(lèi)精確度

綜合分析表3～表6和柱狀圖4、圖5可得，PCA和E-PCA算法雖然實(shí)現(xiàn)了數(shù)據(jù)維度減少的結(jié)果，但是同時(shí)也降低了數(shù)據(jù)的分類(lèi)能力，原因在于將數(shù)據(jù)從高維空間向低維空間映射時(shí)，沒(méi)有對(duì)類(lèi)間距離做太多的考慮。而LDA和IOPCA算法在有效降低數(shù)據(jù)維度的同時(shí)，提高了數(shù)據(jù)的分類(lèi)能力。因此，從降維后數(shù)據(jù)的分類(lèi)判別能力上來(lái)說(shuō)，本文所提出的IOPCA算法相對(duì)其它3類(lèi)降維算法較好。

4 結(jié)束語(yǔ)

由于傳統(tǒng)的主成分分析數(shù)據(jù)降維方法提取的低維表示的判別性能較低，本文給出了基于類(lèi)內(nèi)和類(lèi)間距離的主成分分析數(shù)據(jù)降維方法，該方法將類(lèi)內(nèi)和類(lèi)間距離的思想引入到PCA算法中，通過(guò)最大化不同類(lèi)別間的最小距離，同時(shí)最小化同類(lèi)別間的最大距離，來(lái)增強(qiáng)數(shù)據(jù)低維表示的判別性能。在MATLAB環(huán)境中，通過(guò)與PCA、E-PCA、LDA方法進(jìn)行對(duì)比,結(jié)果表明IOPCA算法不僅提高了數(shù)據(jù)的降維效果，同時(shí)提高了降維后低維數(shù)據(jù)的判別性能。但是在實(shí)驗(yàn)過(guò)程中，只將該方法與數(shù)據(jù)降維的其它幾種線性方法進(jìn)行了比較，而且實(shí)驗(yàn)所用數(shù)據(jù)集類(lèi)型覆蓋面不夠廣。因此，下一步工作，將本文提出的IOPCA方法與幾種非線性數(shù)據(jù)降維方法進(jìn)行比較，如：Laplacian Eigenmaps(LE)、局部線性嵌入(LLE)等，從而對(duì)本文所提算法更加全面地做出評(píng)價(jià)，并做出進(jìn)一步改進(jìn)。