還是二十個問題攢著玩吧。不過這次俺也不去想什麽隨機數了。俺就把之前例子裡的那個老千找來,讓他躲在俺身後不停地擲硬幣。俺就把他擲出的0/1結果寫在紙條上。等俺寫完 n 個數的時候,就讓你開始問問題。前面說過,這無非就是把這個老千擲硬幣的結果當作一個信息源,對這個信息源做壓縮。
因為 n 很大很大,讓我們先回顧一下大數定理的情懷:
老千擲出的硬幣序列的平均值幾乎總是很接近1/3。
根據俺之前對這句話不辭勞苦的解釋,這句話也可以換一種說法,而且這種說法很重要(重要的事情說三遍!)
老千擲出的序列幾乎可以肯定有差不多 n/3 個1 和 2n/3 個0!
老千擲出的序列幾乎可以肯定有差不多 n/3 個1 和 2n/3 個0!
老千擲出的序列幾乎可以肯定有差不多 n/3 個1 和 2n/3 個0!
同學們再好好體會一下俺極其考究、極負責任、極具情懷的用詞:“幾乎可以肯定”和“差不多”。
這個重要結論很容易推廣到擲硬幣之外的任意隨機變量:假設隨機變量 X 是通過一個在集合 S={1, 2,…, M}上定義的概率分布函數 P(x)描述的。那麽當俺們產生 n 個相互獨立的這樣的隨機變量的時候,如果 n 是個很大的數字而 a 是 S 中的任意一個數,那麽:
產生的隨機序列幾乎可以肯定有差不多 n*P(a)個 a !
產生的隨機序列幾乎可以肯定有差不多 n*P(a)個 a !
產生的隨機序列幾乎可以肯定有差不多 n*P(a)個 a !
也就是說,雖然得到的序列本身是隨機的,不確定的,但是當 n 很大的時候,這個序列的組成“幾乎”是“差不多確定的”!而且可以想象,當 n 無窮大的時候,這裡的“幾乎”和“差不多”都可以刪去!
在老千擲硬幣這個例子裡,如果一個硬幣的序列有差不多 n/3 個1 和 2n/3 個0,那麽俺就管這種序列叫“典型序列”。在更普遍的意義上,相對於一個在S 上定義的分布 P(x),一個由 S 裡的數字組成的長度為 n 的序列俺也管它叫典型序列,如果 S 裡的每個數 a 在這個序列中出現了差不多 n*P(a)次。在典型序列定義中的“差不多”是差多少?呵呵,跟前面的邏輯一樣,如果 n 很大,差不多就是差一丁點,如果 n無窮大,差不多可以是“一點不差”!
那麽上面重要的說了三遍的話用這個語言重新說,就是:
老千擲出的序列幾乎可以肯定是典型的!
老千擲出的序列幾乎可以肯定是典型的!
老千擲出的序列幾乎可以肯定是典型的!
當 n 無窮大的時候,這句話裡的“幾乎”當然也是可以刪掉的。也就是說,在 n 無窮大的時候,不典型的序列根本不會出現!那麽,你問問題的時候豈不是只需要針對典型序列問問題就行了?