《《信息理论与编码》教学方法初探.doc》由会员分享，可在线阅读，更多相关《《信息理论与编码》教学方法初探.doc（5页珍藏版）》请在三一文库上搜索。
1、信息理论与编码教学方法初探前言 随着信息技术的发展，编码技术得到广泛应用，因此，通信工程等信息学科专业的本科生有必要具备一定的信息理论与编码的基本知识。许多高校在本科教学计划中设立了信息理论与编码课程。然而该课程教学中存在一些问题，诸如，理论性强、内容抽象、先修知识缺乏等。对此，本文提出了几种教学方法和手段，实践证明行之有效。 行之有效的教学方法 1.精心列举生动实例 生动的实例有助于增强感性认识，从而理解抽象的概念、公式和结论。比如，为了说明限失真信源编码的优势，可以在多媒体教室当场用windows系统做个实验。首先向学生展示事先准备好的一幅bmp图像，然后把它另存为gif格式和jpg格式，
2、并且查看各文件大小。然后，让学生看到没有压缩的bmp图像文件大小是最大的，利用LZW算法进行无失真压缩的gif图像文件大小居中，而按照国际标准JPEG进行有失真压缩的jpg图像文件则最小。再请学生观察bmp和jpg图像发现这两种格式图像的主观质量几乎没有任何差别之后，告诉学生它们的颜色值事实上是有差别的，但这种差别是人眼觉察不到的。以此实例告诉学生，信源压缩编码能降低信息率，减少表达信息的数据量；如果允许一定的失真(以主观感受能容忍为限)，则可以进一步降低信息率，而这正是限失真编码的优势所在。 2.充分挖掘典型例题 有意识地利用典型例题，挖掘其内涵与外延，对学生知识的掌握和能力的培养，能起到事
3、半功倍的良好效果。例如“已知连续随机变量x的概率密度函数，分别求YXC(C为常数)和Y2X的微分熵”，先通过求Y的分布函数得出Y的概率密度，再代入到微分熵的计算式内可得出h(YXC)h(X)，和h(Y2X)-h(X)log2。利用这样的计算结果，引导学生从物理意义角度去思考，C是常数不会引入不确定性，所以h(YXC)h(X)；而2XXX是2个随机变量x相加，不确定性自然会提高。以此加深学生对于“熵表示不确定性的量度”的这一重要信息论概念。此外，有些重要结论在许多教材中没有提到，比如Huffman编码无法对仅含有2个符号的信源进行压缩，而算术编码可以。对此，通过讲解一道相关例题即可补充教材内容的
4、不足。 3.设计实验增强感性认识 信息论的许多定理、公式和性质由复杂繁琐的推导得到，得到的结论以及涉及到的概念和物理量往往比较抽象。对此，可以发挥授课教师个人的专业特长和能动性，通过设计相应的实验来增强学生的感性认识，帮助学生明确物理意义。比如，在介绍率失真函数R(D)的内容时，笔者根据个人的研究兴趣，以图像为信源，设计了一个有损(有失真)编码器SPIHT，再引入一个失真测度绝对平方误差(MSE)。按照SPIHT压缩算法，给定不同的比特率R，可以得到失真程度不同的重建图像，进而计算MSE(D)值。最后，把若干组(MSE，R)描点连线可得到率失真函数R(D)的曲线形状。通过以上实验可以实现如下教
5、学效果：第一，根据重建图像的不同质量，让学生了解到不同失真程度会造成什么样的主观视觉感受；第二，引导学生明白信息率R在实际应用中往往表现为比特率，即数据量；第三，还可以看出，允许的失真越大，那么比特率可以越小，从而实现更大的压缩。 4.合理对待理论推导 本课程内容涉及到大量的定理证明和公式推导，其过程的枯燥、乏味与费解常常令学生不愿触及，不少教师在授课过程中也有意避开，而只介绍和说明结论。然而，本课程中的定理证明和公式推导过程本身就体现着信息论先驱者们的思想火花和智慧结晶，向学生介绍定理的证明思想是十分必要的。笔者认为，对于该课程的理论推导要实现两个教学目的：第一，让学生了解信息论中证明的常用
6、方法。比如，让学生了解不等式lnxx-1，XO在信息论定理证明的广泛作用；第二，使学生了解定理的证明思想。比如，编码定理的严格证明过程虽然可以淡化，但其证明思想体现着工程观点，有必要让学生深入理解。定长编码定理的证明过程把信源消息分成典型序列和非典型序列，对于典型序列进行编码，而对于非典型序列则不编码，从而提高编码效率，译码失真产生的原因也就容易理解了。有噪信道编码定理的证明还使用了随机编码的思想，避开了求取每个特定码c的平均差错率Pe(C)，而是巧妙地把问题化为对Pe的估计，从而得到了Pe的上界。总而言之，把信息理论中蕴含的思想方法介绍给学生对于培养其理论思维大有帮助；把重要的思想方法介绍给
7、学生也是培养创新人才的需要。 5.适当引入外文文献 信息论诞生于国外，信息论的经典文献多以英文出版。适当引入经典文献的原文作为授课内容，可以让学生了解原始文献的严谨表述、深入理解理论的产生背景、熟悉信息论术语的专业表达。此外，外文的教材中也有不少生动的示例和习题可以参考用作授课内容。而且国外教材注重实用，对于抽象理论知识往往会考虑其软硬件的实现问题，这一点也可以引入使抽象的理论与具体实践联系起来。最后，引入外文文献的教学也可以为该课程的双语教学提供尝试和参考。David J.C.MacKay的著作Information TheortyInference，and Learning Algorithms中有很丰富的实例、例题和结论，笔者将其引入教学中，取得了良好的教学效果。 结束语 本文针对信息论与编码课程教学中存在的问题，提出了几种教学手段和方法，能使抽象的理论形象化；增强学生对理论知识的感性认识；一定程度上避免了对基础理论的依赖。教学实践结果表明，这些措施的应用能有效提高课程教学效果，激发学生的学习热情和兴趣。