【信息论】
 

拼译：information theory
 

信息论这一学科的主要内容包括信息的度量、信源编码、信息传输、纠错编码等等，是在20世纪中叶从电信技术中总结和发展起来的理论。美国C．E．仙农于1948年所著论文《通信的数学理论》为信息论奠定了基础。人类对于信息的认识和利用可以追溯到古代，无论东西方，在世纪前已利用烽火台和悬灯来传递信息。到了近代，随着比较先进的通讯工具的产生，出现了具有科学性质的通讯理论。1924年，美国的奈奎斯特和德国的凯夫曼尔提出，为了以一定的速率传递电报信号，就要求有一定的带宽。这一研究成果与早二年卡松阐明的边带理论一致，至今仍有实用价值。1928年，哈特莱在《信息运输》一文中，首次提出了消息是代码、符号的序列而不是内容本身，实现了概念上的突破，并第一次提出信息量的概念，试图用数学公式来描述，此后，1945年，波特发表《声音的可视图形》一文，1947年，他与柯普等人写成《可视语言》一书，从分析各类声音的谱图入手来提高传递信息的质量，所有这些工作都为仙农信息论的创立提供了有益的启示。关于仙农在信息论方面的贡献可概括为以下几个方面：①研究了在无噪声和有噪声信道中传输离散消息时的信息流量；②从准公理的观点对信息量作出定义；③建立了某些基本的编码定理；④建立了信道容量的概念，并阐明了它的实际意义；⑤研究了在有噪声情况下传输连续信号时的信息流量。进入50年代以来，仙农以及一些欧洲国家学者和中国学者，对信息论都做出了不同程度的贡献。