信息論

信息論

所屬分類： 信息論 基本物理概念 學科名 心理學 心理學術語 數學術語 術語 物理學 電子 電子工程 電子術語 神經科學 語言學 通信技術

信息論的創始人是美貝爾電話研究所的數學家申農（C.E.Shannon1916——），他為解決通訊技術中的信息編碼問題，突破發老框框，把發射信息和接收信息作為一個整體的通訊過程來研究，提出發通訊系統的一般模型；同時建立了信息量的統計公式，奠定了信息論的理論基礎。1948年申農發表的《通訊的數學理論》一文，成為信息論誕生的標志。申農創立信息論，是在前人研究的基礎上完成的。1922年卡松提出邊帶理論，指明信號在調制（編碼）與傳送過程中與頻譜寬度的關系。1922年哈特萊發表《信息傳輸》的文章，首先提出消息是代碼、符號而不是信息內容本身，使信息與消息區分開來，并提出用消息可能數目的對數來度量消息中所含有的信息量，為信息論的創立提供了思路。美國統計學家費希爾從古典統計理論角度研究了信息理論，蘇聯數學家哥爾莫戈洛夫也對信息論作過研究。控制論創始人維納建立了維納濾波理論和信號預測理論，也提出了信息量的統計數學公式，甚至有人認為維納也是信息論創始人之一。 在信息論的發展中，還有許多科學家對它做出了卓越的貢獻。法國物理學家L.布里淵（L.Brillouin）1956年發表《科學與信息論》專著，從熱力學和生命等許多方面探討信息論，把熱力學熵與信息熵直接聯系起來，使熱力學中爭論了一個世紀之久的“麥克斯韋爾妖”的佯謬問題得到了滿意的解釋。英國神經生理學家（W.B.Ashby）1964年發表的《系統與信息》等文章，還把信息論推廣應用芋生物學和神經生理學領域，也成為信息論的重要著作。這些科學家們的研究，以及后來從經濟、管理和社會的各個部門對信息論的研究，使信息論遠遠地超越了通訊的范圍。

目錄 [隱藏]

• 1 信息概念
• 2 信息的定義
• 3 信息量
• 4 信息特征
• 5 信息論

信息論-信息概念

 

信息科學是以信息為主要研究對象，以信息的運動規律和應用方法為主要研究內容，以計算機等技術為主要研究工具，以擴展人類的信息功能為主要目標的一門新興的綜合性學科。信息科學由信息論、控制論、計算機科學、仿生學、系統工程與人工智能等學科互相滲透、互相結合而形成的。60年代中，由于出現復雜的工程大系統需要用計算機來控制生產過程，系統辨識成為重要研究課題。從信息科學的觀點來看，系統辨識就是通過輸入輸出信息來研究控制系統的行為和內部結構，并用簡明的數學模型來加以表示。控制就是根據系統結構和要求對信息加工、變換和利用。

“信息”使用的廣泛性使得我們難以給“信息”下一個確切的定義，但是，一般說來，信息可以界定為由信息源（如自然界、人類社會等）發出的被使用者接受和理解的各種信號。作為一個社會概念，信息可以理解為人類共享的一切知識，或社會發展趨勢以及從客觀現象中提煉出來的各種消息之和。信息并非事物本身，而是表征事物之間聯系的消息、情報、指令、數據或信號。一切事物，包括自然界和人類社會，都在發出信息。我們每個人每時每刻都在接收信息。在人類社會中，信息往往以文字、圖象、圖形、語言、聲音等形式出現。就本體論意義而言，信息是標志事物存在及其關系的屬性。但這樣的描述難以將信息定量化，就認識論意義

信息論-信息的定義

 

就本體論意義而言，信息是事物現象及其屬性標識的集合;信息就是信息，信息是物質、能量、信息及其屬性的標示----Wiener信息定義的逆.信息特性是標志事物存在及其關系的屬性。但這樣的描述難以將信息定量化，因此申農是從就認識論意義而言定義信息的，即信息是認識主體接收到的、可以消除對事物認識不確定性的新內容和新知識。信息是確定性的增加----逆仙農（Shannon）信息定義。根據這一點給出了信息量的數學形式。

信息熵的補

信息論-信息量

 

信息量是信息論中量度信息多少的一個物理量。它從量上反映具有確定概率的事件發生時所傳遞的信息。

用H（x）表示為信息熵，是信源整體的平均不定度。而用I（p）表示為信息，是從信宿角度代表收到信息后消除不定性的程度，也就是獲得新知識的量，所以它只不在信源發出的信息熵被信宿收到后才有意義。在排除干擾的理想情況下，信源發出的信號與信宿接收的信號一一對應，H（x）與I（p）二者相等。

信息的量度與它所代表的事件的隨機性或各外事件發生的概率有關，當事件發生的概率大，事先容易判斷，有關此事件的消息排隊事件發生的不確定程度小，則包含的信息量就小；反之則大。從這一點出發，信息論利用統計熱力學中熵的概念，建立了對信息的量度方法。在統計熱力學中，熵是系統的無序狀態的量度，即系統的不確定性的量度。

申農的信息量公式：H(x) =ΣP(x_i)h(x_i)= —ΣP(x_i)·log₂P(x_i)

其中：h(x_i) = —log₂P(x_i)，表示某狀態x_i的不定性數量或所含的信息量。若P(x_i)=1，則h(x_i) =0；若P(x_i)=0，則h(x_i) =∞；當ｎ=2，且P1=P2=1/2時，H(x)=1比特。因此可見一個等幾率的二中擇一的事件具有1比特的不定性或信息量。

共同信息(Mutual Information)是另一有用的信息度量，它是指兩個事件集合之間的相關性。兩個事件X和Y的共同信息定義為：

I(X,Y) = H(X) + H(Y) - H(X,Y)

其中 H(X,Y) 是共有熵(Joint Entropy)，其定義為：H(X,Y) = -∑p(x,y)logp(x,y)

信息量所表示的是體系的有序度、組織結構程度、復雜性、特異性或進化發展程度。這是熵（無序度、不定度、混亂度）的矛盾對立面，即負熵。

關于信息論的熵與熱力學熵的關系，布里淵（L.Brillouin）、林啟茨（H.Linschitz）和奧根斯坦（L.Augensine）等曾進行過初步討論。在數學式中的表示方面，比較熵的公式S=KlnP，于是我們有：

Ｉ＝－log₂e·S／Ｋ

信息論-信息特征

 

信息一般具有如下一些特征：

1、可識別；

2、可轉換；

3、可傳遞；

4、可加工處理；

5、可多次利用（無損耗性）；

6、在流通中擴充；

7、主客體二重性。信息是物質相互作用的一種屬性，涉及主客體雙方；信息表征信源客體存在方式和運動狀態的特性，所以它具有客體性，絕對性；但接收者所獲得的信息量和價值的大小，與信宿主體的背景有關表現了信息的主體性和相對性。

8、信息的能動性。

9、可共享性。這是信息與物質和能量的主要區別。

信息的產生、存在和流通，依賴于物質和能量，沒有物質和能量就沒有能動作用。信息可以控制和支配物質與能量的流動。

信息論-信息論

 

信息論是研究信息的產生、獲取、變換、傳輸、存貯、處理識別及利用的學科。信息論還研究信道的容量、消息的編碼與調制的問題以及噪聲與濾波的理論等方面的內容。信息論還研究語義信息、有效信息和模糊信息等方面的問題。信息論有狹義和廣義之分。狹義信息論即申農早期的研究成果，它以編碼理論為中心，主要研究信息系統模型、信息的度量、信息容量、編碼理論及噪聲理論等。廣義信息論又稱信息科學，主要研究以計算機處理為中心的信息處理的基本理論，包括評議、文字的處理、圖像識別、學習理論及其各種應用。廣義信息論則把信息定義為物質在相互作用中表征外部情況的一種普遍屬性，它是一種物質系統的特性以一定形式在另一種物質系統中的再現。廣義信息論包括了狹義信息論的內容，但其研究范圍卻比通訊領域廣泛得多，是狹義信息論在各個領域的應用和推廣，因此，它的規律也更一般化，適用于各個領域，所以它是一門橫斷學科。廣義信息論，人們也稱它為信息科學。

信息和控制是信息科學的基礎和核心。70年代以來，電視、數據通信、遙感和生物醫學工程的發展，向信息科學提出大量的研究課題，如信息的壓縮、增強、恢復等圖像處理和傳輸技術，信息特征的抽取、分類和識別的模式、識別理論和方法，出現了實用的圖像處理和模式識別系統。

申農最初的信息論只對信息作了定量的描述，而沒有考慮信息的其他方面，如信息的語義和信息的效用等問題。而這時的信息論已從原來的通信領域廣泛地滲入到自動控制、信息處理、系統工程、人工智能等領域，這就要求對信息的本質、信息的語義和效用等問題進行更深入的研究，建立更一般的理論，從而產生了信息科學。

迄今為止，人類社會已經發生過四次信息技術革命。

第一次革命是人類創造了語言和文字，接著現出了文獻。語言、文獻是當時信息存在的形式，也是信息交流的工具。

第二次革命是造紙和印刷技術的出現。這次革命結束了人們單純依靠手抄、撰刻文獻的時代，使得知識可以大量生產、存貯和流通，進一步擴大了信息交流的范圍。

第三次革命是電報、電話、電視及其它通訊技術的發明和應用。這次革命是信息傳遞手段的歷史性變革，它結束了人們單純依靠烽火和驛站傳遞信息的歷史，大大加快了信息傳遞速度。

第四次革命是電子計算機和現代通訊技術在信息工作中的應用。電子計算機和現代通訊技術的有效結合，使信息的處理速度、傳遞速度得到了驚人的提高；人類處理信息利用信息的能力達到了空前的高度。今天，人類社會已經進入了所謂的信息社會。