首页 理论教育 克劳德·香农:信息论之父

克劳德·香农:信息论之父

时间:2023-10-19 理论教育 版权反馈
【摘要】:同样是二十世纪最伟大的科学家之一的克劳德·香农,1916年4月30日出生在美国的密歇根州。一位伟人的成长必然离不开家庭环境的影响,克劳德·香农有着不错的家庭背景。而克劳德·香农的祖父不仅是一位富有的农场主,而且还在农场实践中发明了一些农业机械。关于香农最负盛名的“信息论”,来源于他发表的一篇论文。此外,香农创造性地提出了“信息熵”的概念。

克劳德·香农:信息论之父

同样是二十世纪最伟大的科学家之一的克劳德·香农,1916年4月30日出生在美国的密歇根州。他是美国著名数学家、信息论的创始人、美国科学院院士,并且是“发明大王”爱迪生(Thomas Alva Edison)的远方亲戚。与前两位科学家相比,克劳德·香农是更为长寿的,他的一生也颇有传奇色彩,他是位充满灵气、非常“顽皮”的科学巨匠。他曾在一封信中说“与科学家的身份相比,我是一个更好的诗人”(I am a better poet than scientist)。

一位伟人的成长必然离不开家庭环境的影响,克劳德·香农有着不错的家庭背景。他的父亲是密歇根州盖洛德小镇的一名法官,母亲则是该镇中学的校长。而克劳德·香农的祖父不仅是一位富有的农场主,而且还在农场实践中发明了一些农业机械。从小克劳德·香农的长辈就很重视对他的教育,特别是香农的祖父,小香农从祖父那里获得了很多启发。当同龄的小孩还在玩玩具时,小香农就已经开始研究各种机械设备,并尝试着制作出新的东西。关于小时候的香农还有一件趣事:小香农维敏捷,在数学上很有天赋,经常帮姐姐做数学题,而且基本不会出错,在他的“顺手”辅导之下,他的姐姐后来成了一名大学数学系的教授。

1936年,20岁的香农顺利完成了大学学业,在美国密歇根大学取得数学与电力工程学双学位。随后香农进入麻省理工学院念研究生。香农总是会有一些普通人难以想到的新奇的想法,他动手能力极强,他的想法在他读大学期间都能得到很好的发展与实践。1938年,香农获得了麻省理工学院电气工程硕士学位,并发表了那篇震惊世界的硕士论文——《继电器与开关电路的符号分析》。他把十九世纪中叶英国数学家乔治·布尔的布尔代数和电子电路中开关和继电器的工作原理巧妙地结合在一起,即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,并用1和0表示[8]。他的这一设想将过去需要反复进行的冗长的实物线路检验和试错的电路设计工作简化成直接的数学推理,这奠定了数字电路的理论基础。哈佛大学霍华德·加德纳(Howard Gardner)教授说:“这可能是本世纪最重要、最著名的一篇硕士论文。”如果所有的信息都可以用1和0来表示,那么信息传输效率将大大提升,人类将从工业文明时代进入信息文明时代。

香农从来不是一个循规蹈矩的人,他的科学研究兴趣非常广泛。1940年,香农在麻省理工学院获得数学博士学位,但他的博士论文却是关于人类遗传学的研究——《理论遗传学的代数学》。将遗传学与数学结合起来,反映了香农异于常人的思维能力。香农博士毕业时正好赶上二战,盟军急需相关研究人员来破解德军的密码,香农随即投身密码学领域的研究。也正是在这一时期,他结识了“人工智能之父”图灵。他研究的通信理论和数字保密系统将密码学从一盘散沙汇聚成一门学科。他参与制作的通信加密设备,被用于二战中盟军最高领袖罗斯福(Franklin Delano Roosevelt)、丘吉尔(Winston Leonard Spencer Churchill)等人之间的绝密通信,保护了盟军的情报安全。(www.xing528.com)

因为同时负责盟军的通信工作,香农和图灵获得了很多交流的机会,他们的共同兴趣在于人工智能和机器下棋。1943年,一次饭桌上,香农对图灵说:“我不仅仅满足于向这台‘大脑’里输入数据,还希望把文化的东西灌输进去。”图灵惊叹于香农的远见卓识,也获得了很大启发。其实,香农应该算是世界上首个提出“计算机能够和人类下棋”的人,他在1949年发表了著名文章《编程实现计算机下棋》,这篇文章是正处于萌芽时期的人工智能研究的杰作,它阐述了实现人机博弈的方法。1956年夏天,著名的达特茅斯会议召开,那时图灵已经去世,香农作为计算机领域的研究者出席了会议,见证了“人工智能”这门学科的诞生。

关于香农最负盛名的“信息论”,来源于他发表的一篇论文。1948年,香农在《贝尔系统技术学报》上发表了论文《通信的数学理论》,人们通常将这一论文的发表视为现代信息论研究的开端。这篇论文在谷歌学术中的引用量已经达到74906次(截至2020年2月13日),被认为是“信息时代的大宪章”。这篇文章系统地论述了什么是信息,怎样量化信息,怎样更好地对信息进行编码和解码,并且阐述了如何在保证准确率的前提下用数字编码对信息进行压缩和传输,文章以概率论、随机过程作为基本研究工具来研究整个通信系统。此外,香农创造性地提出了“信息熵”的概念。“熵”(entropy)指向体系的混乱程度,香农将“熵”的概念引入信息论中,用来衡量消息的不确定性。这不仅解决了信息的度量问题,并且具有量化信息的作用。从此,信息变得可度量了,“信源”“信道”“编码”“解码”等一系列基本概念都有了严格的数学描述和定量度量,一门真正的通信学科——信息论,诞生了,香农也被人们冠以“信息论之父”的称号。正是他告诉了我们世界上所有的信息基本上都可以用0和1来表示,这为人类进入信息时代提供了窗口。

香农对人类文明的贡献几乎可以和爱因斯坦等科学家比肩,他一生中相当长一段时间是在贝尔实验室度过的,在那里他实践了他的很多奇思妙想。他是一个非常有趣的科学巨匠,比如到了晚年,香农开始研究杂耍,甚至开始撰写相关理论书籍——《统一的杂耍场理论》。他还发明了很多有意思的、新奇的玩具,比如智力阅读机、会说话的下棋机器、装了发动机的弹簧高跷杖、能猜测心思的读心机等。正如香农自己所说:“我常常随着自己的兴趣做事,不太看重它们最后产生的价值。”他的好奇心、超前的思维能力和灵活的动手能力成就了他辉煌而灿烂的一生。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈