KL Divergence

定义 Definition

KL散度（Kullback–Leibler divergence，亦称“相对熵”）是衡量两个概率分布差异的量，常写作 (D_{KL}(P|Q))。它表示：如果真实分布是 (P)，但用 (Q) 来近似/编码，会“多付出”多少信息代价。它不对称，因此一般不被当作严格意义上的距离。

发音 Pronunciation (IPA)

/ˌkeɪˈɛl dɪˈvɝːdʒəns/

例句 Examples

KL divergence measures how different two probability distributions are.
KL散度衡量两个概率分布之间有多不同。

In variational inference, we minimize the KL divergence between the approximate posterior and the true posterior.
在变分推断中，我们最小化近似后验与真实后验之间的KL散度。

词源 Etymology

“KL”来自两位统计学家Solomon Kullback与Richard A. Leibler的姓氏；该概念在他们1951年的论文中系统提出，用于刻画信息论中用一个分布替代另一个分布所造成的“信息损失/额外编码长度”。“divergence”意为“偏离、分歧”，在此指分布之间的偏离程度。

相关词 Related Words

• Entropy
• Cross-Entropy
• Relative Entropy
• Mutual Information
• Jensen-Shannon Divergence
• Log-Likelihood
• Variational Inference
• Maximum Likelihood

文学与经典著作 Literary Works

• On Information and Sufficiency（Kullback & Leibler, 1951）——提出并定义KL散度的经典论文。
• Elements of Information Theory（Cover & Thomas）——信息论教材中系统讲解相对熵/KL散度。
• Pattern Recognition and Machine Learning（Bishop）——在概率模型与变分方法中频繁使用KL散度。
• Deep Learning（Goodfellow, Bengio & Courville）——在生成模型、变分自编码器等章节中出现。
• Information Theory, Inference, and Learning Algorithms（MacKay）——以直观方式解释KL散度与编码长度的关系。