|
仙農 張奠宙 (華東師范大學) 仙農，C．E．(Shannon， Claude Elwood)1916年4月30日生于美國密歇根州蓋洛德(Gaylord)．數學、信息論． 1916年4月30日，仙農出生于美國密歇根州的蓋洛德，他于1932年入密歇根大學就讀，1936年畢業后去麻省理工學院任電機工程和數學助教．1939年獲得麻省理工學院的波勒斯研究席位(Boweles Fellow)，全力從事中繼和轉換網絡理論的研究．一年后，以優異的研究成果在該院取得電機工程技術碩士和數學博士學位．1940—1941年間，由美國國家研究委員會資助去普林斯頓大學從事研究工作．此后即以數學家身分加入貝爾電話實驗室．仙農的主要科學工作都是在這里完成的．1956年回到麻省理工學院任訪問教授，但仍兼任貝爾電話實驗室的顧問直至1972年．從1958年起，仙農就任麻省理工學院的冬納(Donner)科學教授．1980年退休． 仙農有許多學術榮譽．1956年當選為美國國家科學院院士，以及美國藝術和科學學院的院士．他曾獲得佛蘭克林研究所的巴蘭亭獎章(Ballantine Medal，1955)，美國工業電子工程協會頒發的凱萊獎(Mervin J．Kelly Award，1955)，美國全國科學研究合作獎 (National Research Corporation Award，1956)，萊伯曼紀念獎(Morris Leibmann Memory Award，1958)，美國電機和電子工程協會的榮譽獎章(Medal of Honor，IEEE，1966)，美國技術協會的哈維獎(Harvey Prize)，仙農被選為比利時皇家科學院和荷蘭皇家藝術科學學院的院士．他還是牛津大學等許多高等學府的榮譽博士． 仙農早在30年代末就作出了重要的工作．1938年他還是研究生，就發表了經典性論文“中繼與開關電路的符號分析”(Sym-bolic analysis of relay and switching circuits)，在該文中他指出了符號邏輯的真值表和電路的0，1二進位制運算表是一致的，以及如何按布爾代數的命題，用開關電路構造一個與之相應的“邏輯機”．后來的“邏輯代數”、“開關代數”、“布爾代數與自動機”等研究，都可溯源于這項工作．有關的工作后來都反映在他和J．麥克卡賽(McCarthy)合編的文集(文獻)中．大約也是在這時，仙農造了一個新名詞“比特(bit)”，后來被人們廣泛地用作度量“信息”的單位． 仙農的主要貢獻是創立了經典信息論．他在貝爾電話實驗室從數學上和技術上研究“通信”、“信息”、“消息”等概念，其頂點則是1948年在《貝爾系統技術雜志》上發表“通信的數學理論”．這篇分兩期刊出、長達80余頁的文章成了信息論的開端．論文很難讀．1949年，由W．韋佛(Weaver)注釋后出版了單行本． 信息論在1984年取得成功并不是偶然的．這時，數學上的概率論、數理統計、數理邏輯、運籌學，工程上的通信技術、電子技術、自動控制技術等都在逐漸成熟．計算機出現了，統計力學、量子力學、生物學提供了重要的科學方法．仙農正是站在前人的肩膀上看到了曙光． 仙農首先采用嚴密的數學方法，對信源、信息、信息量、信道、編碼、解碼、傳輸、接收、濾波等一系列基本概念，進行嚴格的數學描述和定量度量，使得信息研究由粗糙的定性分析階段進入精密的定量階段，并因此而發展成一門真正的科學學科． 對莫爾斯電報編碼的研究將會導致用概率觀念考察信息．比如，在英文電報中，“字母E的出現概率比Q大得多，序列TH出現的概率比XP大得多．”由此仙農進一步注意到：“通信的基本問題是在消息的接收端精確地或近似地復現發送端所挑選的消息．通常的消息是有意義的，……而通信的語義方面問題和工程問題是沒有關系的．”“重要的是，一個實際信息總是從可能消息的集合中選擇出來的．”這就是說，仙農認識到兩個要點：(1)通訊工程與語義無關；(2)通信系統所處理的信息本質上是隨機的．于是他想到“信息是可用來消除不肯定的東西”，并嘗試采用概率方法給信息量下精確定義．設信息源有n個不同的符號。x1，x2…xn，它們出現的概率分別為p1(x1)，p2(x2)…pn(xn)．仙農引入信息熵的概念： 其中K是某一常數，它表示信息源的某種不確定程度，成為信息量的一種量度．信息熵借用了19世紀熱力學第二定律中熱力熵的想法．這里，仙農不把信息看作有意義的消息，而是當作信息源中各元素符號組合成消息時的自由度，即各元素符號相繼出現的不肯定程度．顯然，自由度越大，信息量也越大．比如，如果a的后面只能出現b，沒有自由選擇的機會，那么消息a和ab的信息量是一樣的．所以，用不肯定度(或自由度，或混亂程度)來刻畫信息量，是很自然的事．正是這一革命性的思想，成了經典信息論的基石．信息量的定義中的對數若以2為底，其單位被仙農稱為比特，而當取10或e為底時，相應的單位稱為迪西特(decit)與奈特(nat)． 仙農用隨機觀念考察通信理論，確實是一項重大的突破．20世紀初蓬勃發展的概率論和數理統計為信息論提供了合適的數學工具．他指出：“離散信源是一個一個符號地產生消息的．相繼符號的選擇是根據某些概率，而通常這些概率取決于前面符號的選擇及待選的符號．任何一個能產生由一組概率控制的符號序列的物理系統，或物理系統的數學模型都可稱為隨機過程．”這樣一來，平穩隨機過程、統計相關理論等數學成果迅速轉移到通信過程的研究領域中來．仙農描述的通信系統是： 信源：由一個消息符號表X和X上的概率分布p(x)表示． 編碼：把信源消息變為可向信道輸入的信號的運算．數學上指函數fn：Xn→Un。 信道：由輸入(拍發)信號集合U，輸出(接收)信號集合V，轉移概率分布矩陣p(u v)構成．其中p(u v)為拍發u條件下接收為v的概率． 譯碼：把信道接收信號還原為信源消息的運算，即gn：Vn→Xn。 仙農對信息論的又一貢獻，是對信道最大容量的描述和研究．信道容量是指每秒在信道中可通過C個單位．今有每秒輸出H個單位的信源，他提出的一個結論是：在沒有噪聲干擾的情況下，符號傳輸的平均速率有一個上限C/H，它可以逼近，但不能超越．為了將這一定理推廣到具有噪聲干擾的實際情形，仙農將兩種不肯定性加以區別．一種是由誤發和噪聲干擾產生的“不需要的”不肯定性，另一種是信源本身所具有的“需要的”不肯定性．于是，有用的信息應為信源的不肯定性減去噪聲帶來的模糊性．仙農指出：當C＞H時，傳輸誤差可以變得很小；而當C小于H時，誤差就難以控制了．因此，“不需要的”不肯定性必須大于或等于H－C．最后，至少有一種編碼能降低噪聲引起的模糊程度，使之非常接近H－C．仙農給出了這一重要定理的嚴格表述： 信息論基本定理．已知一個具有容量C＞0的平穩無記憶通道，以及取自一個遍歷信源的任意信號(數據)，則對任一ε＞0和正數R(0＜R＜C)，必存在充分長的編碼信號(a1，a2…an)，它以傳輸速率R傳遞數據，同時譯碼錯誤的概率小于ε． 仙農的信息論研究先處理離散的隨機變量，而后很容易地推廣到連續的情形，幾乎無需作重大修改． 仙農在1948年發表的原始論文，并未期望對通信系統會有廣泛的工程技術應用．然而人們很快就意識到仙農所提供的工具對實際通信十分有效．例如，通信中常有一些信息是多余的．我們在打電報時，總是努力壓縮字數以減少多余．但是仙農指出，信息的多余往往是有用的，消滅多余倒未必有利．英語中的多余度約為百分之五十．例如，一條消息“To err is human”(人孰無過)經傳輸后接收為“Too err is fuman”，一般有些知識的人都能讀懂，可是如果拍發“Yanks beat reds”而接收成“Yanks beat rebs”，雖然只錯一個字母(d變成b)，意思卻沒法猜了．這是因為兩條消息的多余度不同． 仙農在1948年發表的原始論文，“猶如一顆重磅炸彈起爆，震憾了科學界”．全新的思想，獨創的方法，一時成為人們爭相仿效的典范．它不僅在理論上十分精致和漂亮，而且為許多工程技術問題的解決提供了新工具，帶來了新的希望，具有很高的實用價值．然而，也有一些情況不大正常．1956年，仙農曾這樣說：“近幾年來，信息論簡直成了最時髦的學科．它本來只是通信工程師所采用的一種技術手段，但現今竟然在普通雜志和科學刊物上都會占有重要地位．……它已名過其實．許多不同學科的同事們，或因慕其名，或希望尋求科學分析的新途徑，都把新興理論引入各自的領域．總之，現在信息論已經名聲在外．這種聲譽固然使我們本學科的人感到愉快和興奮，但也孕育著一種危險……信息論決不是通信工作的萬靈藥方，而對其他人則更是如此．要知道，一次就能打開全部自然奧秘的事情，是十分罕見的．否則，人們一旦知道僅僅用幾個像信息、熵、多余度這樣一些動人字眼并不能解決全部問題的時候，就會大失所望．那種人為的繁榮就會在一夜之間突然崩潰．” 仙農的忠告在50年代后半期受到重視，使信息論的發展走上更健康的軌道．過去的幾十年，現代的信息技術在仙農的基礎上迅猛發展，諸如信號的數學化、微波技術、衛星通信都成為巨大的產業．由于電子計算機的長足發展和迅速普及，信息科學正向醫學、生物學、遺傳工程、語言學、心理學、管理科學、經濟學等幾乎所有的社會科學和自然科學的各個學科滲透、溶合，甚至滲入到人們的日常生活之中，這種情形，在數學史乃至整個科學史上都是十分罕見的． 仙農在40—50年代達到科學事業的高峰，以后仍繼續有科學成果發表，也有一些較重要工作．例如，1959年的論文提出了保真度準則下的離散信源編碼定理，以后發展成“信息率失真論”，成為頻帶壓縮和數據壓縮的理論基礎．1967年還看到他和別人合作發表文章．此后他漸漸退出歷史舞臺．1980年退休之后，住在波士頓安度晚年． |
|
|
