KL散度 发表于 2023-11-16 更新于 2024-02-15 本文字数： 847 阅读时长 ≈ 2 分钟 KL 散度是用于衡量两个概率分布差别的非对称性指标。 概率分布的熵 在信息论中，概论分布 的熵 用于量化表示分布中包含多少信息，也即编码该分布需要的最小比特数，对于离散和连续的概率分布而言，计算公式如上。 KL散度 KL 散度（Kullback-Leibler divergence，简称KLD），在信息论中也称相对熵，是用于衡量两个概率分布差别的非对称性指标， 表示用分布 来近似分布 需要的额外平均比特数，也即丢失的比特数。 性质 非负性 非对称性 由于 KL 散度具有非对称性，所以 KL 散度并不能作为一种距离的度量。