《信息论石诚ppt课件00001.ppt》由会员分享，可在线阅读，更多相关《信息论石诚ppt课件00001.ppt（38页珍藏版）》请在三一文库上搜索。
1、管理科学与工程 石诚(2011),你所不知道的信息论,A Mathematical Theory of Communication,信息论的开山之作：（瞻仰一下大师的气息）,相关说明,作为一个数学专业的学生来看：不好懂 来自网络的不知名翻译版本：更不好懂了 所以接下来我们尽量【从通俗的角度】【用通俗的语言】 讲一些 你所不知道的 关于信息论里里外外的 常识 & “非”常识,目录,信息无处不在,哎哟,无处不在的光&信息,光,信息,？,熵 entropy,熵这个字来源于热力学，克劳修斯(1855)提出 S = kln 【通俗的讲】，系统越“乱”，熵越大；系统越“有序”，熵越小 热力学熵不减原理：一
2、个系统在孤立的封闭情况下，总是自发的由 有序状态 走向 无序状态 ，使熵增大,Rudolf Clausius,1822-1888,热力学熵 & 信息熵的独立提出,香农跟冯诺依曼讨论了一下子，决定以信息熵的名字用来度量信息，最初对于个体信息的度量公式为：熵 H=log(1/P)= - logP 一个关于扑克的例子 REMARK：在最开始的来的时候，热力学熵 & 信息熵 其实是没有什么联系的， 信息熵之所以也取名为熵是因为从统计学的角度，这种不定性函数的度量方式的类在关联性 那么从什么时候开始人们意识到他们之间还是有联系的呢？,热力学熵 & 信息熵的联系,热力学熵不减原理是由热力学第二定律推导的
3、【通俗的讲】热力学第二定律是什么？ “不可能从单一热源取热使之完全转换为有用的功而不产生其他影响” 对于热力学第二定律的反驳：“麦克斯韦妖”的提出，并引起了人们对于热力学熵与信息熵联系的思考,“麦克斯韦妖”,Maxwells Demon,“麦克斯韦妖”的信息角度解释,平衡体内是绝对黑体，那么处于绝对黑体的妖魔是不可能看清任何东西，所以它无法分辨各分子的运动速度状态，也不可能控制阀门分离这些分子，系统只能处于原来的无序状态 这个小妖怪要想看见这些分子，就必须设法照亮分子，而只有外部提供光，才能让它分辨分子进而隔离分子；而外部提供光，就要消耗能量。 光的提供 = 为小妖怪提供了信息,热力学熵 &
4、信息熵的联系,热力学熵 S = kln 个体信息熵 H = log(1/P)= - logP 两种熵的数学表达式是一致的 信息熵是消除不确定度所需信息的度量，热力学熵是系统混乱程度的度量，要使混乱的系统有序化就需要输入信息（熵减小），而信息的丢失就表示系统混乱程度的增加（熵增大），这也是两者互为负值的原因,信息的理解 & “麦克斯韦妖”,光,信息,世界的”三大支柱”,你所不知道的信息论“非”常识,到此为止，关于信息论的一般常识介绍完了 接下来我们讲点关于信息论的 非一般 的常识,孵化信息论的美国历史环境,20世纪初的电报公司西联汇款电报公司、辛辛那提电报公司（约翰佩恩）、通用新闻局（蒙特田尼斯
5、）、大纽约新闻局（欧文韦斯勒）、美国新闻局（大陆新闻社）（摩西安纳伯格，詹姆斯.雷根）、全美出版通讯社（“联合”，本席格尔）,孵化信息论的美国历史环境,资本主义的逐利性所带来的一切 1894.亚历山大贝尔的电话专利失效，6000多家电话公司冒出，绝大多数被美国电话电报公司AT&T吞并，最终强势垄断 贝尔实验室 （ Bell Laboratories ）,贝尔实验室香农的成就之地,Bell Laboratories 1925,“共推出27，000多项专利，现在平均每个工作日推出4项专利”,Claude Elwood Shannon 1916-2001,信息论之父,香农：荣誉&奖项,美国科学院院士
6、、美国工程院院士、伦敦皇家科学院院士、利奥波第那科学院院士（德国）、英国皇家学会会员、美国哲学学会会员、耶鲁大学 首席科学家。他获得过许多荣誉和奖励。例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。他接受的荣誉学位不胜枚举，不再赘述。,香农：对他的评价,本人最喜欢的对于香农的两条评价 “很多人都认为香农的学术洞察力和爱因斯坦不相上下，当然也有很多人质疑这种说法，他们认为克劳德.申农的学术成就远高于爱因斯坦” “一个人建立了一个学科，
7、提出了所有的相关推测和假设，而且证明并解答了自己提出的这些推测和设想，古往今来这种情况可谓屈指可数”,REMARK： 接下来我们了解他的目的在于我们得从他的人生轨迹中 能发现帮助我们成长的营养,香农 ： 进入MIT之前,家族优秀的基因：爱迪生 小时候电报机的故事：干净利落地解决复杂问题的能力 曾经把自己喜欢的事物列了一张单子：上面有国际象棋、独轮自行车、杂耍、股票市场、系谱学、跑步、乐器、爵士乐，以及“和边缘人群打交道” 1936年毕业于密歇根大学：在西部联合公司做过一段时间的传信员（碌碌无闻啊）,香农 ： MIT,MIT招聘：“微分差动分析仪” （万尼瓦尔.布什） MIT电气工程硕士(193
8、8)： A Symbolic Analysis of Relay and Switching Circuits(继电器与开关电路的符号分析)在他的设想中，计算机将通过电流的状态来实现布尔代数的各种逻辑关系 【电子数字计算机，秒杀他的导师】 MIT数学博士(1940)： An Algebra for Theoretical Genetics(理论遗传学的代数学),香农：BELL lab,1941年以数学研究员身份进入贝尔实验室 在期间发表了78篇学术文章 高产出，也证明了“站在巨人的肩膀上，你会看的更远” 美国中央情报局及其他类似机构经常找他 直至1972年，香农与贝尔实验室一直保持合作关系 关
9、于香农的薪水的 插曲： 1955，鲍勃.舒尔曼,香农&图灵的故事,X计划（1976年解密，和曼哈顿计划相提并论，英国派出了阿兰.图灵） SIGSALY系统 1943，图灵回访贝尔实验室，每天两人促膝长谈“班”&“比特”的PK 从现在的结果来看 香农“干掉了”图灵,Alan Mathison Turing,1912-1954,香农：回到MIT,1956年，香农终于离开了ATT公司的贝尔实验室，成为麻省理工学院的访问教授（短期安排） 1958年，申农接受了麻省理工学院的终身聘书（老婆喜欢） 从1958年到1974年期间，他仅仅发表了9篇论文这个天才干什么去了？,香农的下半辈子,香农这个“对各种各样
10、的话题都会产生浓厚的兴趣”的天才离开贝尔实验室之后必然会如一盏明灯一样点亮一片新天地 拨动这个“天才开关”的人就是后来被搏彩界人士称为“赌神”和“21点之父”并且于1970年代首创第一个量化交易对冲基金的爱德华索普,Ed Thorp,1932,香农&索普,索普是个很牛B的人 两人的交集：二十一点的致胜策略、国家科学院文献（国家科学院的院士递交） 香农是当时麻省理工学院的唯一一位研究数学的国家科学院院士 从21点到轮盘赌 世界上第一台口袋计算机用来作弊的！,信息论的“泛滥”,时代背景（二战后、贝尔实验室、1947.晶体管） 信息论的泛滥笑话信息论、光合作用与宗教之间的关系 （咱们现在好像很多论文
11、也是这样的） 如果说到信息论和通讯以外的其他领域之间是否存在关系，这个问题的答案当然是肯定的 约翰.凯利，信息论与赌博的关系,约翰.凯利,“在贝尔实验室里除了香农之外凯利的头脑无出其右者” 凯利系统 GMAX = R Gmax描述投入资金的复利回报率的最大值，R指的是每个时间单位所传输的信息的比率，单位是比特或字节 索普的数牌策略也巧妙的引入了凯利系统，从而保证百战百胜,John Kelly,1923-1964,信息论 Vs. 经济学,有效市场假说席卷六七十年代的学术界，这直接导致了信息论与经济学的正面PK “Shannons Demon”一种从随机游走中赚钱的方式，而有效市场假说觉得这是不可
12、能的 一个高业绩商数（Pcrformance Quotient)的交易员“事实上都拥有一个麦克斯韦的魔鬼，告诉他如何通过预测明天的金融报告来获取更多的资本利润”。保罗萨缪尔森,Shannons Demon,胜利一方,香农关于此发言结束后有个问答时间。香农被问到的第一个问题是，在他自己进行投资时，他是否使用了这个体系？“没有”，申农回答，“光是佣金就会要了你的命”。 但是美国长期资本管理基金（LTCM）的爆仓却是此场战役中信息论胜利的一个宣言书,LTCM的例子,四大天王、梦幻组合、骄人业绩、阴沟翻船 沃伦巴菲特惊讶地说道：“10个或者15个平均智商为170的人，竟然让自己陷入了一个可能输得精光的境地。”,沃伦巴菲特,人们在分析沃伦巴菲特的投资组合的时候，会发现他是第一位完美地利用了“凯利系统”的投资者，巴菲特在早年曾经帮助爱德华索普在创办第一个对冲基金后得到第一份投资 “大多数凯利公式的拥护者都没怎么学过经济学” 萨缪尔森 萨缪尔森认为巴菲特的成功应该定性为极少数“无法解释的案例”中的一个。他曾经把自己的一部分积蓄投入了沃伦巴菲特的伯克希尔哈撒韦公司。,信息论能走多远？,Paul A Samuelson,1915-2009,Warren Buffett,1930,还是你狠,感谢您的聆听！,谢谢石浩然无私提供电脑,2011石诚,