但在通信的范疇，熵是人類第一次對信息有了數學的認識。人類剛剛開始研究數字通信的時候基本就是瞎子摸象，直到1948年香農在貝爾實驗室發表了那篇著名的文章，“通信的數學理論”。倚天劍一出，天下皆驚。香農一針見血地指出，通信的問題可以分解成兩個的問題，即信源編碼和信道編碼。信源編碼的目的是盡可能高效的表示信息源，即數據壓縮;信道編碼的目的則是盡可能高效的讓數據可靠無誤地通過信道。在他1948年的文章裡，香農證明了信源編碼的極限是信源的熵，而信道編碼的極限則是個叫信道容量的東東，標注著信道可以支持的最大通信速率。(信道容量的概念是在熵的基礎上的對信息論的進一步發展，故事更長，更精彩，不過俺還是不講了吧。)香農說，只有當信源的熵低於信道的容量的時候，可靠的通信才可能實現;而且只要在這個條件下，可靠的通信就一定可以實現！香農的證明是存在性證明，就是說，他告訴俺們:反正這事兒一定可以實現，至於怎麽實現，你們自己想辦法吧。