武汉理工大学 信息理论与编码由刘皓春主讲

　　本课程全称为“信息理论与编码”，是网络教育本科电气信息类专业的一门学科基础必修课。
　　本课程以信息的度量方法以及信源、信道编码的基本理论与方法为基本教学内容，在为学生讲授基本理论的同时，注重培养学生利用信息论的基本原理分析和解决实际问题的能力，为进一步学习信息以及其他相关领域的高深技术奠定良好的理论基础。
　　本课程理论性较强，为学好本课程，要求学生打好线性代数、概率论与随机过程、信号与系统等先修课程的扎实基础。　

教材：吕锋等编著．信息理论与编码．人民邮电出版社，2004年2月

一、课程的性质与任务

　　《信息理论与编码》是信息工程、电子信息工程、通信工程等专业的一门学科基础必修课。通过本课程的学习，要使学生获得：
　　1．信息的定义、性质与特征，信息传递系统模型；
　　2．信源模型与信息测度方法；
　　3．信道模型、信道容量的计算方法；
　　4．无失真信源编码方法；
　　5．错误概率与译码规则，有噪信道编码定理；
　　6．限失真信源编码。
　　
　　本课程在讲授信息的度量方法以及信源、信道编码的基本理论与方法的同时，注重培养学生利用信息论的基本原理分析和解决实际问题的能力，为进一步学习信息以及其他相关领域的高深技术奠定良好的理论基础。

二、课程的教学内容、基本要求

（一）教学内容
1．信息的基本概念
信息的定义，信息的性质与特征，信息的分类，信息传递系统模型。
2．信源及其信息测度
信源的分类，自信息量、条件自信息量以及互信息量，离散信源的熵及其性质，平均互信息量及其性质，离散无记忆信源的扩展信源，离散平稳信源，马尔可夫信源，信源的信息含量效率和冗余度，连续信源的熵，连续信源熵的极大化。
3．信道及其信道容量
信道模型与分类，信道的信息传输率和信道容量，离散无记忆信道容量的计算，离散无记忆扩展信道，信道的组合，信源与信道的匹配，连续信道，波形信道。
4．无失真信源编码
信源编码的基本概念，定长与定长编码定理，唯一可译变长码的构造和判断方法，变长编码定理，变长编码方法。
5．有噪信道编码
错误概率与译码规则，汉明距离，有噪信道编码定理，纠错码的基本思想。
6．限失真信源编码
失真测度，信息率失真函数，限失真信源编码定理，信息率失真函数计算方法。

（二）基本要求
1．了解信息的定义和基本特征；
2．掌握自信息量、互信息量、熵以及平均互信息的概念、性质与计算方法；
3．掌握离散无记忆信道、连续信道以及波形信道的信道容量概念和计算方法；
4．掌握离散信源编码定理与Huffman编码方法；
5．掌握离散信道错误概率计算方法与译码规则选定方法，了解有噪信道编码定理；
6．掌握失真测度概念，掌握信息率失真函数的性质，了解限失真信源编码定理；

（三）课程内容的重点、难点
1．信息的基本概念
重点：信息的定义体系，信息传递系统模型。
2．信源及其信息测度
重点：自信息量和熵的定义、计算以及物理意义；信源的扩展。
难点：连续信源熵的计算和意义，连续信源熵的极大化问题。
3．信道及其信道容量
重点：信道模型，信道容量的定义与计算。
难点：波形信道信道容量的定义与计算
4．无失真信源编码
重点：唯一可译码概念，变长编码方法。
难点：定长与定长编码定理
5．有噪信道编码
重点：错误概率与译码规则，纠错码的基本思想。
难点：有噪信道编码定理。
6．限失真信源编码
重点：失真测度，信息率失真函数。
难点：信息率失真函数计算方法。

三、推荐教材及参考书

推荐教材：
《信息理论与编码》，主编：吕锋
出版社：人民邮电出版社
出版或修订时间：2004年2月
参考书：
《应用信息论基础》，主编：朱雪龙
出版社：清华大学出版社
出版或修订时间：2001年3月
《Elements of Information Theory》，主编：(美)Thomas M．Cover
出版社：清华大学出版社
出版或修订时间：2003年11月