一張高清電視分辨率的照片,如果沒有經過壓縮,要佔用600萬個字節的計算機內存(6MB,1個字節是8個比特)。
可是如果這張照片照的是一面單色的牆的話,它所含的信息量就很小,只要用三個字節就可以描寫整張照片(3個字節描寫紅綠藍三種顏色的深淺)。
所以單色牆的照片的文件大小,可以從600萬個字節壓縮到3個字節,大大減少了佔用計算機內存的空間和傳輸照片所需的時間。
但一般一張照片的信息量要比三個字節大很多,那麽如何量化照片所含的信息量?照片的壓縮最多能有多少倍?
香農是量化信息的第一人。
有趣的是,他量化信息的公式早就出現在了玻爾茲曼的墓碑上。
當然玻爾茲曼得到這個公式,不是為了研究信息,而是為了研究熱力學中的混亂度(所以玻爾茲曼的公式和香農的公式差了一個負號)。
熱力學的一個中心概念——溫度,就是混亂度隨著能量的增加而增加的速率。我們的世界真是處處相通。