Conditional Entropy

定义 Definition

条件熵：在已知另一个随机变量（或事件）信息的前提下，一个随机变量仍然具有的不确定性大小。常写作 **H(X|Y)**。它是信息论与概率论中衡量“知道 Y 之后，X 还剩多少不确定性”的量。（该术语也常用于机器学习中的特征选择、互信息分析等。）

发音 Pronunciation (IPA)

/kənˈdɪʃənəl ˈɛntrəpi/

例句 Examples

If we know the weather, the conditional entropy of “carry an umbrella” becomes smaller.
如果我们知道天气，“是否带伞”的条件熵就会更小。

In feature selection, we compare conditional entropy across variables to estimate how much uncertainty remains in the target after observing each feature.
在特征选择中，我们会比较不同变量的条件熵，来估计观察某个特征后目标变量还剩下多少不确定性。

词源 Etymology

Conditional 源自拉丁语 condicio（条件、约定），在英语里表示“在某条件之下的”。
Entropy（熵）由德语 Entropie 进入英语，最早在热力学中指系统的无序程度；信息论借用并重新定义为“信息的不确定性”。合在一起，conditional entropy 就是“在给定条件下的不确定性”。

相关词 Related Words

• Entropy
• Joint Entropy
• Mutual Information
• Information Theory
• Random Variable
• Probability Distribution
• Bayes' Theorem
• Cross-Entropy

文学与经典著作 Notable Works

• Claude E. Shannon, “A Mathematical Theory of Communication”（1948）：奠定信息论基础的经典论文，相关推导与概念体系中包含条件熵思想与符号表达。
• Thomas M. Cover & Joy A. Thomas, “Elements of Information Theory”（《信息论基础》）：系统讲解条件熵、互信息等核心概念的权威教材。
• David J. C. MacKay, “Information Theory, Inference, and Learning Algorithms”（《信息论、推断与学习算法》）：将条件熵等概念与推断、机器学习联系起来，例子直观丰富。