矩陣剖析與PCA實(shí)例

萬(wàn)子峰，蔡澤雄，帥晨珊，陳夢(mèng)琪

(南昌航空大學(xué) a.信息工程學(xué)院； b.國(guó)際教育學(xué)院，南昌 330001)

1 矩陣變換

f(0,1)=(3,5,9)=3(1,0,0)+5(0,1,0)+9(0,0,1)

f(1,0)=(1,2,7)=1(1,0,0)+2(0,1,0)+7(0,0,1)

簡(jiǎn)而言之，B在f(A)上的投影為T(mén)(映射)。故有定義“矩陣表達(dá)的就是對(duì)線性運(yùn)動(dòng)的一種描述[1]”。

…

顯然，舊基能線性表達(dá)新基且矩陣T為過(guò)渡矩陣。

同時(shí)過(guò)渡矩陣T為滿秩矩陣，是非奇異矩陣，由“非奇異矩陣行列式不為0”的性質(zhì)可推T可逆得證。

圖1 向量變換立體圖Fig.1 Stereogram of vector transformation

注意：原向量只能對(duì)應(yīng)新向量在新坐標(biāo)系中的所占權(quán)重，因?yàn)榛g并不能保證相互正交且長(zhǎng)度為單位長(zhǎng)度。

2 相似

教科書(shū)上對(duì)“相似”的定義：存在可逆矩陣p，使B=p-1Ap成立，那么說(shuō)明A相似于B[2]。證明這個(gè)定義需要之前證明過(guò)的兩個(gè)推理：

3.若第1條推理成立，則存在舊基坐標(biāo)x與新基坐標(biāo)y的轉(zhuǎn)換關(guān)系y=T-1x，設(shè)有關(guān)系圖表S，

圖2 關(guān)系圖表SFig.2 Relationship Chart S

通過(guò)圖2，有：

①λ=T-1u(推理2)。

②λ=M2η(第2節(jié)的左乘推理)。

聯(lián)立①②，得到③M2η=T-1u。

④由η=T-1j,兩側(cè)左乘T,得到Tη=j。

⑤u=M1j(左乘推理)。

聯(lián)立③④，得到⑥M2T-1j=T-1u。

聯(lián)立⑤⑥，得到⑦M(jìn)2T-1j=T-1M1j。

⑦化簡(jiǎn)，得到結(jié)果M2=T-1M1T。

證畢。

所以相似矩陣也是一種對(duì)同一個(gè)線性運(yùn)動(dòng)在不同基的矩陣描述。縱使對(duì)矩陣進(jìn)行了各種線性變化后，只要保證結(jié)果矩陣與原矩陣維持相似狀態(tài)，則運(yùn)動(dòng)的本質(zhì)就不會(huì)發(fā)生改變。

3 特征值與特征向量

AAT=U∑VT·V∑UT=U∑2U-1奇異值分解(SVD)定義：一個(gè)矩陣B可以分解成B=U∑VT，其中U的列向量?jī)蓛烧磺夷?，V列向量?jī)蓛烧磺夷?，即UT=U-1，VT=V-1,∑矩陣的主對(duì)角線為奇異值，其他元素為0。特征值是相對(duì)于方陣來(lái)說(shuō)的，而奇異值分解則解除了這一限制，它適用于任意的矩陣。特征值與奇異值分解的關(guān)系：對(duì)任意矩陣A作svd，再對(duì)AAT作svd，AAT=U′∑V′T。又有U′=U,U-1=UT=V′T∴U′=V′=U，∑′=∑2。因此，對(duì)AAT作SVD，U′為其特征向量(為A中的U)。同理，對(duì)ATA作SVD，U′為其特征向量(為A中的V)，∑′為特征值對(duì)角矩陣。

4 協(xié)方差矩陣

通常處理的數(shù)據(jù)都是多維的，“協(xié)方差”就是這樣用來(lái)度量2個(gè)變量的關(guān)系，如果維數(shù)多于2，就用協(xié)方差矩陣。協(xié)方差定義：

舉例，假設(shè)有1組數(shù)據(jù)，用矩陣表示為：

根據(jù)協(xié)方差定義：

cov(x,y)=E[(1-E(x))(2-E(y))+(35-E(x))(25-E(y))+…]

cov(x,z)=E[(1-E(x))(3-E(z))+(35-E(x))(55-E(z))+…]

……

通過(guò)數(shù)據(jù)初始化，使E(x)=E(y)=E(z)=0，則X的協(xié)方差可表示為：

我們發(fā)現(xiàn)，對(duì)角線的元素就是各個(gè)變量的方差，即：

5 PCA過(guò)程