南加州大學(University of Southern California)電子工程系教授巴特·磕死磕(Bart Kosko)說:“愛因斯坦相對論之革命性在於它顛覆了之前的牛頓力學,而香農信息論之革命性在於它前無古人。”
香農當年創建信息論的時候是為了探討信息的本質和通信的理論極限問題,比如什麽是信息,怎樣從數學上定義衡量信息,數據壓縮和數據傳輸可達到的極限在哪裡,等等。
但信息論的應用遠不止於通信領域。在香農之後,信息論被當作一套通用的數學工具,在很多信息科學領域都有應用。
比如信息論可以用來做統計分析,可以用來開發人工智能,可以用來優化投資策略等。