任何隨機化的過程都由一個機率分布(probability distribution)刻畫,而這個分布道盡了該過程之隨機性的一切。
機率分布(或簡稱分布)列出一個隨機化過程的所有結果,並為每個結果指派一個機率。
機率#
機率(probability)衡量某事件發生的可能性,表示為 0 到 1 之間的實數:
- 機率 0 表示不可能。
- 機率 1 表示必然。
例如擲一枚雙面硬幣,每一面朝上的機率是 1/2,而我們通常假設硬幣立在邊緣上的機率為零。
分布必須完備#
機率分布必須包含所有可能的結果,使得所有機率的總和為 1。具體來說,若有 N 個可能事件,就有 N 個機率 p₁, p₂, ..., pN,且:
p₁ + p₂ + ... + pN = 1以擲硬幣為例,分布是正面 1/2、反面 1/2,總和為 1/2 + 1/2 = 1,因為硬幣必定落在兩面之一。
均勻與非均勻分布#
均勻分布(uniform distribution)指分布中所有機率都相等,也就是所有結果的發生機會相同。若有 N 個事件,每個事件的機率就是 1/N。
例如若一把 128 位元的金鑰是均勻隨機挑選的(也就是依照均勻分布),那麼 2^128 把可能金鑰中的每一把,機率都應該是
1/2^128。
相對地,當分布是非均勻(non-uniform)時,各機率並不相等。具有非均勻分布的擲硬幣稱為有偏(biased)——例如正面機率 1/4、反面機率 3/4。