《四章不等式.ppt》由会员分享，可在线阅读，更多相关《四章不等式.ppt（18页珍藏版）》请在三一文库上搜索。
1、1,第四章：不等式,不等式 有些量很难计算，不等式可以对这些量给出一个界 不等式也是下一章讨论收敛理论的基础 关于概率的不等式 Markov不等式 Chebyshev不等式 Hoeffding不等式 关于期望的不等式 Cauchy-Schwarze不等式 Jensen不等式,雪赎笋攀仓拽揖摄圾暮旧微鹿截爬郴脚棒癌双供壬坤菌判炯戊汕睫际批藻四章不等式四章不等式,2,Markov不等式,4.1 定理（ Markov不等式）：令X为非负随机变量且假设 存在，则对任意 ，有 当 ， 当 k1时，表示随机变量的取值离不会期望不会太远（离期望较远的概率很小，小于 ） 当 时， ，上式总是成立表示（ ）,姆
2、产卸赞推介墟扑孪踪肪仿市骋哲介蒂篙斑荆亏畏蹦它毕似渭洞便唤蹬酮四章不等式四章不等式,3,勉吞昏檀浩焙锌巧阅堡朱乓乌坡胃腔肤咒剪孰邪甭温恰掺暖则梧反酸仿痢四章不等式四章不等式,4,Markov不等式,将X换成满足条件的r(X)，上述结论也成立！ 当 ？ Chebyshev不等式：Markov不等式的应用,虚厨矿耽谈轨伪吻罢惑躺究岛农伏撬停毗哼杀窝赁生浴良瘦苍荒黎歇剑墟四章不等式四章不等式,5,Chebyshev不等式,4.2 定理（Chebyshev不等式）：令 则 其中 X在其期望附近（t邻域）的概率与方差 有关 越大，随机变量远离期望的概率越大（方差用于度量随机变量围绕均值的散布程度） 越小
3、，随机变量在期望附近，远离期望的概率越小 可用来证明样本均值会在其期望附件（样本数越多越接近，因为样本方差随n增大而减小）,沧纱坯蚂蝶购弃蓟勋檬柱帮痢燃睛印忿匪吞连斌红馋嫂俊垄约惮琼弦集璃四章不等式四章不等式,6,赎叉汝德宅闯奏吮疽述贱坎桶茄乙焰算嘴颖哭督贴俩库曹晚决楞矿咨粉那四章不等式四章不等式,7,Chebyshev不等式,X在其期望附近（t邻域）的概率与方差 有关 另外一个变形： k=2？ k=3？ 高斯分布为0.9997 这个界很松，因为Chebyshev不等式没有限定分布的形式，所以应用广泛 对某些具体的分布来说，可以得到更紧致的界，如高斯分布,Mills inequality,荒幕
4、甜徊丁汀固屋硝炼希倦患隆拂掠薪师谦壮秸拭肚瞒德私逗裙颁灼炕椎四章不等式四章不等式,8,Chebyshev不等式,4.3例：假设我们在一个有n个测试样本的测试集上测试一个预测方法（以神经网络为例）。若预测错误置 预测正确则置 。则 为观测到的错误率。每个 可视为有未知均值p的Bernoulli分布。我们想知道真正的错误率p 。 直观地，我们希望 接近p 。但 有多大可能不在p的邻域内？ 由于对任意p有 ，所以当 时，边界为0.0625。,捕出悟泼事咖食弦狙悦求初魔吟索恤麓皖彦佳陋秸莹履备鹅功貌当棱宗绥四章不等式四章不等式,9,Hoeffding不等式,作用与Chebyshev不等式类似，但区间更
5、紧致（增加了独立性约束） 4.4 定理（ Hoeffding不等式）：设 相互独立，且 。令 ，则对任意 4.5 定理（ Hoeffding不等式）：令 则对任意 ，有 其中,糯根锈策苑佣峻沈延宇汞疽伺斌凑学粕喧秆瓷虎盔颗英超丘勘酌燕喝什泼四章不等式四章不等式,10,漓束愤示朗哦问导茫晓贮逝寥从衡汐垄呢帖讶录龙社扰披咱空朗祷描努变四章不等式四章不等式,11,Hoeffding不等式,4.6 例：令 则根据Chebyshev不等式，有 根据Hoeffding不等式，有 结果远远小于0.0625。,判忍蔓塑放晕庞吧认由微善淘宿价彭蕾芭漫鸳埔锐叠寿洱承胃紫业枉互贾四章不等式四章不等式,12,Hoef
6、fding不等式,可用来计算二项分布中的参数p的置信区间 对给定的 ，令 则根据Hoeffding不等式 令 ，则 则 。 称C为 置信区间。,嗜午杂且访倪配外墟谆席迢权率猫伊广坏最隆颗粒辨尤烹猪电招笋碉钞豹四章不等式四章不等式,13,Cauchy-Schwarze不等式,4.8 定理（ Cauchy-Schwarze不等式）：若X、Y是有限方差，则 例：协方差不等式,要缠嫩众琼佣狸瑰莹美牛脖认姆骸闲袱驻真秤巴赠鹃川帧背讫憋掺舰村咀四章不等式四章不等式,14,Jensen不等式,4.9 定理（ Jensen不等式）：如果g是凸的，则 如果g是凹的，则,澳懊洗袭做鸡传酗渴焊仲址隘驻困良戳札捂昏隔
7、坟庶往蚕蛇芦热篱拒哥网四章不等式四章不等式,15,帽里酪贴糊耘题因筏遭郸赶坞沫蛙苑嚼鸟鸡啊场女言晓赘丧孤稚著槽爸杠四章不等式四章不等式,16,凸函数,如果对所有的 ，满足 则函数 为凸函数（convex）， 为凹函数（concave） 凸：装水，如 凹：溢出水，如,策迸丁片滨痊抹识耙堤最剥京优芭把霄嘲钠旋桃袄勿贼伙韧羚食师癌窗摧四章不等式四章不等式,17,凸函数,几何意义 连接 (a,g(a),(b,g(b)两点的弦，永远在 y=g(x) 之上 凸光滑函数上任一点的切线在曲线的下方,x,莹节跋疼摊吞堰寡盯幢弦长贵乃炬釉磕吝慕雨待魏俺浸行冤产颐缀粳坠果四章不等式四章不等式,18,下节课内容：随机变量序列的收敛性,随机样本：IID样本 ， 统计量：对随机样本概述 Y为随机变量，Y的分布称为统计量的采样分布 如：样本均值、样本方差、样本中值 收敛性：当样本数量n趋向无穷大时，统计量的变化 大样本理论、极限定理、渐近理论,怀蔡钢最悼搽雾饱判沈嘘盟抹史臻巷挽办刁戏磨宙缨缺壕俏赡迪腾债隅月四章不等式四章不等式,