用不確定性，信息量，或平均驚奇度來理解熵，都只是給它賦予一個直覺的解釋。平均最小編碼長度才是對熵的數學理解。但這種理解並不能體現出大數定理在熵的定義裡所起的決定性作用以及“二十個問題”遊戲必須攢著玩才能實現最短問題數等於熵值的深刻認識。在大數定理的情懷下，熵值 H(X)還有另一個數學解釋: H(X)是典型序列的總數隨序列長度的“翻倍速率”。看，長度為 n 的典型序列總數 T 差不多是 2^(nH(X));也就是說，每當序列長度 n 增加 1， T 就增大 2^(H(X))倍，或者說，翻倍翻了 H(X)次。所以把熵理解為典型序列總數的翻倍速率才能真正體現熵的數學本質。當然，這樣的理解就離韓劇更加遙遠了。

　　熵，或英文裡的entropy，本來源於物理中的熱力學，用來描寫系統的“混亂度”。香農在定義信息熵的時候借用了這個詞。雖然俺經常夜觀星象，也能在夜空沒有霧霾的時候認出北鬥星，但對宇宙、相對論，或是熱力學，都一竅不通。所以俺就不試圖解釋物理熵和信息熵的聯系了。