香農信息定義解讀

魏艷紅

渭南師范學院數(shù)理學院

香農信息定義解讀

魏艷紅

渭南師范學院數(shù)理學院

“信息”是當今這個時代最核心的詞匯，有關信息的定義已被列為21世紀100個交叉科學難題之一。不同的領域對信息有不同的解讀，作為信息科學的鼻祖，香農對于信息的定義具有絕對的說服力，在對該經(jīng)典定義方式深刻解讀的基礎上，對其優(yōu)缺點進行了詳細的論述。

信息 通信系統(tǒng) 全信息

1 前言

計算機的出現(xiàn)和普及，把信息對整個社會的影響提高到絕對重要的地位。信息量、信息傳播的速度、信息處理的速度以及信息應用的程度都以幾何級數(shù)的方式增長。“信息”成為21世紀重要的代名詞。“信息是什么”卻在中國科學院編寫的《21世紀100個交叉科學難題》一書中被列為100個難題之一。有關信息的定義,最早可追溯至1948年美國科學家維納(N.Wiener)的《控制論—動物和機器中的通信與控制問題》一書中提出的:“信息就是信息，不是物質，也不是能量”。后來，人們從不同領域、不同角度給出的信息定義論述不下百種，這些定義之間存在很大差異甚至相互矛盾。

2 已有的對信息的定義

2.1 信息的哲學定義

從哲學的角度，人們給出了“物質、能量和信息是構成客觀世界的三大要素”、“信息是物質和能量在空間和時間中分布的不均勻程度”、“有物質的地方就有信息，信息是物質存在和運動形式的一般描述”等定義，從宏觀上將信息上升到同物質和能量一起，作為21世紀的三大支柱性資源，并且認為物質和能量是信息的承載者。

2.2 信息的通俗概念

牛津英語詞典中將信息定義為：通過各種方式可以被傳遞、傳播、傳達、感受的，以聲音、圖像、文件所表征，并與某些特定事實、主題或事件相聯(lián)系的消息、情報、知識都可統(tǒng)稱為信息。這種定義方式接近于人們對信息的日常理解，消息、情報、知識和信息都有非常緊密的聯(lián)系，卻不能概括信息的全貌。消息是文字、符號、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，是具體的，而信息確是抽象的。消息中隱含著信息，是信息的載體。情報是人們對于某個特定對象的所見所聞所理解而產(chǎn)生的知識，是一種特定的信息。知識是一種具有普遍和概括性質的高層次信息。情報和知識都只能作為一種特殊的信息。

3 香農關于信息的定義

1948年，信息論奠基人，美國科學家香農(C.E.Shannon)，在“通信的數(shù)學理論”一文中，把信息定義為“事物運動狀態(tài)和存在方式的不確定性描述”。并且對通信系統(tǒng)的基本模型以及信息熵，信息量等概念進行了闡述。

3.1 信息的定義

“事物運動狀態(tài)和存在方式的不確定性描述”，這是香農從概率論的角度給出的信息的定義，為將信息的研究納入科學領域找到了適合工具。萬事萬物，只要存在著不確定性，就一定蘊含著信息，這是作為信息的客觀存在，只與自身的不確定有關，不確定性又涉及到事物的方方面面。每一方面又以不同的不確定性存在，不確定性越大，自身所蘊含的信息量也越大。信息量可以由下式給出：

（1）式是自信息量的定義式，xi代表事物發(fā)生的某一狀態(tài)，代表該狀態(tài)發(fā)生的概率，由公式可知，事物某種狀態(tài)發(fā)生的概率越大，它本身所能提供的信息量越小。

（2）式是（1）式加權平均的結果，它代表平均情況下事物每種狀態(tài)能提供的信息量，被稱為信息熵，q表示事物所具有的狀態(tài)數(shù)。

3.2 通信系統(tǒng)的基本模型

為了說明信息這一抽象的概念，香農給出了信息主觀獲得的途徑——通信系統(tǒng)的基本模型(如圖1)。作為事物本質屬性的信息是客觀存在的，然而是抽象的，必須通過通信系統(tǒng)這一具體形式被人們所獲得。

圖1 通信系統(tǒng)的基本模型

消息作為信息的載體，是通信系統(tǒng)傳遞的具體形式。消息中包含著信息，得到消息，從而獲得信息。信源是消息的源頭，信源發(fā)出消息并不都是主動的行為，不能片面的和現(xiàn)實的通信系統(tǒng)等同，是抽象的通信系統(tǒng)模型。例如我們觀察一朵花，花朵的顏色、香味都是不同形式的消息，并不因為是否被人觀察而客觀存在著。信道是消息傳輸?shù)拿浇椤Ｐ潘奘窍⒌慕邮照?。干擾源是干擾的發(fā)出者，它影響著信宿對信息的獲得，干擾也可分為客觀和主觀兩類，客觀的干擾包括氣候、環(huán)境以及認識的技術水平；主觀的干擾包括觀察者的生理、心理狀態(tài)以及自身的知識結構和認知能力。

3.3 信息的獲得

信源、信道、信宿是信息獲得的三個要素。香農將獲得的信息量定義為信源不確定性的減少量，可以由下式給出：

（3）式中信源熵H(X)代表事物自身的信息量，刻畫初始不確定度。H(X|Y)被稱為損失熵，代表通信之后事物仍然保留的不確定度，它們的差值即被信宿所獲得的信息量，損失熵也可理解為因為干擾的存在而沒有獲得的部分。理想狀態(tài)下，損失熵為零，獲得的信息量即是信源熵H(X)。

4 香農信息定義的不足

香農關于信息的定義在工程應用方面具有極高的指導價值，也能用來解釋客觀世界許多關于信息的形式，但仍然有自身的不足和片面性。用鐘義信老師提出的“全信息”的概念來分析香農的信息定義，可以發(fā)現(xiàn)香農對于信息的定義多停留在語法信息的層面，即信息的內部結構，而不關心語義和語用信息。例如概率為的晴天的雨雪的天氣狀況和概率為的晴天，的雨雪的天氣狀況對人們生產(chǎn)生活的影響肯定是不同的，但根據(jù)香農信息定義兩種情況下所具有的信息熵卻是相同的。

5 結論

“信息”已經(jīng)成為一個跨學科、跨領域、包羅范圍廣泛的概念。它可以表現(xiàn)為消息、情報、知識、編碼、數(shù)據(jù)、信號等各種不同的具體形式，但任何一種具體的信息形式以及這些形式的總和，都不足以說明信息的本質。香農信息定義雖然也有其內在的片面性，但在工程應用方面仍然具有無法匹敵的價值。

[1]李國武．關于信息概念的研究評述[J]．重慶郵電大學學報（社會科學版），2012，24（1）：58-63

[2]朱月明．關于信息定義的討論[J]．遼寧工程技術大學學報（社會科學版），2003，5（3）：4-6

[3] 周蔭清.信息理論基礎（第四版）[M].北京航空航天大學出版社,2012

[4] 鐘義信．全信息理論：定義與測度[J]．北京郵電大學學報，1991，14（3）：1-14

陜西省教育廳自然科學基金項目：基于三維模型的計算機輔助考古繪圖技術研究 15JK1247；渭南師范學院項目：特殊結構矩陣的快速算法研究（16YKS5）。