新闻资讯
看你所看,想你所想

琴生不等式

琴生不等式

琴生不等式

琴生不等式以丹麦技术大学数学家约翰·延森(Johan Jensen)命名。它给出积分的凸函式值和凸函式的积分值间的关係。

琴生(Jensen)不等式(也称为詹森不等式),使用时注意前提、等号成立条件。

基本介绍

  • 中文名:琴生不等式
  • 外文名:Jensen Inequality
  • 别称:詹森不等式
  • 注意:注意前提、等号成立条件
  • 发明人:琴生
  • 适用学科:高等数学

概述

1.
是区间
上的凸函式,则对任意的
,有不等式:
有若且唯若
时等号成立。
2.
是区间
上的凹函式,则对任意的
,有不等式:
若且唯若
时等号成立。
3.其加权形式为:
是区间
上的凸函式,则对任意的
,且
是区间
上的凹函式,则对任意的
,且
则有f(a1x1+a2x2+a3x3.....+anxn)≤a1f(x1)+a2f(x2)+a3f(x3).....+anf(xn)

套用

有了这个结论以后,使用琴生不等式就非常方便了,
如今我们可以非常容易的证明一般情况的平均不等式
比如
i).
ii).
iii).
其中前面两个取
就可以了
后面一个取
就可以了。
举一个简单的例子:
中为凸函式(国外教材定义;若为凹函式,则国内教材定义),如图所示:
同时,值得注意的是,上凸、下凸、凹、凸的含义是不同的。如图:

涉及机率密度函式的形式

假设Ω是实线的可测子集,fx)是一个非负函式
在机率语言中,f是机率密度函式。
然后Jensen的不等式变成了关于凸积分的下面的陈述:
如果g是任何实值可测函式且φ在g的範围内是凸的,那幺:
如果gx)=x,那幺这种不等式的形式可以简化为一个常用的特例:

例如:随机变数的偶数矩

如果gx)=x,并且X是一个随机变数,那幺g是凸的
所以
特别是,如果有的甚至瞬间2NX是有限的,X具有有限的均值。这个论证的延伸表明X具有每个阶的有限矩
划分ñ

替代有限形式

令Ω= {x1,...xn},并且以μ为Ω上的计数度量,则一般形式简化为关于和的声明:
条件是λi≥0和
还有一个无限的离散形式。

统计物理学

当凸函式是指数函式时,Jensen不等式在统计物理学中特别重要,给出:
其中期望值是关于随机变数X中的一些机率分布。
这种情况下的证明非常简单(参见Chandler,第5.5节)。理想的不平等直接来自书写
  • {\ displaystyle \ operatorname {E} \ left [e ^ {X} \ rightname = {E ^ {\ operatorname {E} [X]} \ operatorname {E} \ [X]} \右]}
然后套用不等式ë≥1 +X至最终指数。

资讯理论

如果pX)是用于真正的机率分布X和qX)是另一种分布,然后施加Jensen不等式随机变数ÿX)=qX)/pX)和函式φÿ)= -log(y)给出
因此:
一个称为吉布斯不平等的结果。
它表明,当代码是基于真实机率p而不是任何其他分布q分配时,平均讯息长度被最小化。即非负的量被称为相对熵的qp
由于-log(X)为严格凸函式X> 0,它遵循:当等号成立pX)等于qX)几乎无处不在。

Rao-Blackwell定理

主要文章:Rao-Blackwell定理
如果L是一个凸函式,
一个亚西格玛代数,然后,从Jensen不等式的条件版本中,我们可以得到
所以如果δ(X)是给定一个可观测量向量X的未观测参数θ的估计量;如果TX)是θ的充分统计量;那幺可以通过计算获得改进的估计量,即具有较小的预期损失L的意义
,相对于θ的期望值δ在所有可能的观察值向量X上都可以与观察到的相同的TX)值相匹配。
这个结果被称为Rao-Blackwell定理。

转载请注明出处安可林文章网 » 琴生不等式

相关推荐

    声明:此文信息来源于网络,登载此文只为提供信息参考,并不用于任何商业目的。如有侵权,请及时联系我们:fendou3451@163.com