2018年，有“计算机界的诺贝尔奖”之称的图灵奖，颁发给Yann LeCun、Geoffrey Hinton、Yoshua Bengio，以表彰三位在深度学习领域的卓越贡献。

2020年，Yann LeCun、Yoshua Bengio入选有“人工智能名人堂”之称的AAAI Fellow，而Geoffrey Hinton则在1990年就入选，三巨头再次重聚。

本文介绍三巨头之一、深度学习的布道者与教父Geoffrey Hinton。

强悍家族

1947年，Hinton出生于英国南部。母亲Margaret Clark是一名数学老师，父亲Howard Everest Hinton是一名昆虫学家、英国皇家学会院士。在Hinton还是个孩子时，他的父亲经常这么说：“只要工作得足够努力，也许当你的年纪是我现在年龄的两倍时，你就能实现我一半的成就了。”

Hiton家族的强悍不止于此，父亲的堂弟William Hinton，中文名是韩丁，在1940年代的中国亲历了土地改革，写下纪实文学《翻身》

父亲的堂妹Joan Hinton，中文名是寒春。作为参与曼哈顿计划的核物理学家，广岛长崎核爆之后，她抱着“解放全人类”的理想来到中国，立志帮助中国发展农牧业、建设社会主义，多次因研发畜牧业设备获奖。在延安与另一位国际友人阳早结为夫妻。2009年，寒春入选感动中国人物候选

中国试爆原子弹、氢弹成功后，杨振宁曾问邓稼先有没有美国科学家参与中国核计划，指的就是寒春

曾祖父Charles Howard Hinton, 是一名数学家、科幻作家，创建“tesseract”这个词，代指四维下的超立方体

曾祖母的父亲是数理逻辑创始人George Boole，他开发的布尔代数是计算机科学的基础

曾祖母的姐妹Ethel Lilian Voynich，是《牛虻》的作者，这本书曾在上世纪的中国风靡一时

再往上追溯，还有被用于命名珠穆朗玛峰（Mount Everest）的探险家George Everest等等，放一张家谱吧

在如此能人辈出的家族中，据Hinton本人说，他“7岁时就知道，不读个博士是不行了”

求学经历

中学时，Hinton对人脑的运行机制产生兴趣，这成为他以后人工智能研究的基本出发点。1965年，18岁的Hinton进入剑桥大学国王学院，这是艾伦·图灵（Alan Turing）、约翰·凯恩斯（John Keynes）和徐志摩曾学习过的地方

他首先攻读物理和化学，但一个月后就退学了；一年后，申请建筑学，一天后再次退学；又转修哲学，花一年修了两年的课程，再次放弃。最终，他选择了实验心理学，并在1970年拿到学士学位

毕业后，可能出于对父亲给予的压力的反叛，他完全离开了学术界，搬到伦敦成为一名木匠。只有每周六时，他会到伦敦的伊斯灵顿图书馆（Islington Central Library），就人脑运行机制这个问题查阅资料、头脑风暴

1971年，他进入爱丁堡大学的人工智能项目。这所学校是英语世界最古老的大学之一，在启蒙运动中起到领导作用，所在城市爱丁堡甚至被称为“北方雅典”。爱丁堡大学的校友包括查尔斯·达尔文、詹姆斯·克拉克·麦克斯韦、大卫·休谟、托马斯·贝叶斯、亚历山大·贝尔、柯南·道尔、詹姆斯·赫顿（现代地质学之父）、钟南山等

Hinton提起这段经历会说：从物理专业退学，心理学不及格，然后进入了一个完全没有标准的领域——人工智能

他的博士导师Longuet Higgins起初被神经网络的愿景吸引，但在Hinton还未到岗时，Higgins看到了那本陷神经网络于寒冬的书《感知机》，被马文·明斯基的观点说服。这意味着此后几年Hinton的工作完全被同事、导师忽视。“我们每周见一次面，有时会以一场大喊大叫的争论结束”，Hinton如是回忆

同年，英国政府进行了一项人工智能进展的调研，大多数研究人员承认，他们对过去25年取得的成就非常失望（1946年，世界上第一台通用计算机ENIAC在美国诞生）。调查报告中有这样的断论：“在该领域的任何地方取得的成果，都没有实现当初承诺的重大影响”。于是，政府给予的预算逐年缩减，导致该领域进一步萎缩

1978年，Hinton获得人工智能博士学位，但举目四顾，英国、甚至美国的大多数大学，已经不进行人工智能的的研究了。但令他惊喜的是，在加利福尼亚南部的UCSD（加州大学圣地亚哥分校）附近，有一小群人和Hinton拥有相同的志趣，他们被称为PDP小组，是并行分布式处理（parallel distributed processing）的缩写，用于代指感知机、神经网络或连接主义。PDP小组的成员大多是UCSD的心理学家，再加一位Salk研究所的神经科学家弗朗西斯·克里克（Francis Crick），他曾因发现DNA的双螺旋结构，与詹姆斯·沃森（James Watson）共享1962年诺贝尔奖

于是，Hinton来到UCSD做博士后，师从PDD小组的核心人物David Rumelhart，开始研究反向传播（backpropation），借此实现多层神经网络，以克服感知机存在的问题（如异或问题）。随后，Hinton在卡耐基梅隆大学获得教职

学术生涯

1984年，Hinton与Terry Sejnowski合作开发了玻尔兹曼机，这是第一个生成式神经网络，功能强大、结构复杂、计算困难。Hinton总是拒绝对玻尔兹曼机的科普，给出的理由是费曼也不向普通人解释量子电动力学的工作。费曼说，“如果我能向普通人解释，那它就不值得诺贝尔奖了”

1985年，Hinton到巴黎参加一场学术会议，会上他介绍了玻尔兹曼机，LeCun就在现场，并确定两人拥有共同的信仰。散会后人群混乱，LeCun苦于无法接近Hinton，这时Hinton问身边的人：“你认识一个叫LeCun的人吗”，于是有了两位巨头仿佛注定的相遇。后来LeCun博士毕业答辩时，Hinton飞到巴黎加入了论文委员会，虽然LeCun法语的回答他一点都听不懂

1986年，Hinton和Rumelhart实现了反向传播，从此神经网络的训练不再成为问题。但此后25年，神经网络仍处于寒冬之中，机器学习领域火热的是专家系统、随机森林、增强树、支持向量机等

当时美国的人工智能研究基本都由国防部支持，由于对里根政府反尼加拉瓜社会主义心存不满，Hinton在1987年前往加拿大多伦多大学，并在加拿大高级研究所（CIFAR）开展机器学习项目的研究。LeCun也远赴加拿大，到Hinton门下读博后

2003年，Hinton, LeCun, Bengio共同成立了一个复兴神经网络的非正式联盟，“我们把它叫作深度学习阴谋（Deep Learning Conspiracy）”。不久，Hinton 便将“神经网络”更名为“深度学习”。这时神经网络的名声已经臭到极点，大多数研究者对领域过去50年的自负感到困惑，少数仍然坚持信仰的研究者，必须用其他词语代指神经网络，以避免冒犯到别人

2006年，Hinton和他的学生在Science发表文章，证明了深度信念网络的表现超过带核函数的支持向量机，以此证明深度架构是能够成功的。在此之前，领域内都认为深度模型太难优化。深度信念网络是多个串联的受限玻尔兹曼机，这篇文章因此被视作深度学习的开端

2007年，Hinton 60生日那天在NIPS上发表演讲，“深度学习”这个词第一次出现在标题中。在演讲中Hinton说其他人都在做“浅薄学习”，听众都被逗笑了

2008年，Hinton发表降维方法t-SNE，曾广泛被用于单细胞组学分析中，目前渐渐被2018年提出的UMAP取代

至少在2009年以前，Hinton就开始使用GPU训练神经网络，是最早意识到这件事的团队之一。其他团队也偶然发现了这个技巧，例如斯坦福大学的吴恩达

2012年，Hinton的学生Alex Krizhevsky、Ilya Sutskever开发的AlexNet，在ImageNet上一举夺魁。AlexNet是一个8层的深度神经网络，它的成功是深度学习复兴的标志性事件

百度的余凯看到AlexNet研究论文后，认为应该立刻招募Hinton，他先询问Hinton是否愿意合作，Hinton说可以，并希望百度出100万美元的研究经费。余凯和李彦宏很爽快地答应了，但可能就是因为太过爽快，Hinton询问百度他是否可以寻找其他报价，百度很绅士地说可以

Hinton听从两个学生的建议，意识到收购一家公司的价码会远高于雇用一个研究团队，于是立刻成立了DNNresearch公司。这家公司只有三个员工，没有产品、没有经营记录，他们采用秘密竞拍的方式寻找雇主，加价的最低额度恰好是100万美元

百度、谷歌、微软和刚成立DeepMind参与了这场竞拍，百度给出的最初报价是1200万美元。随着拍卖继续，后两家公司逐渐退出，这场竞拍变成百度和谷歌的角力。价码到达4400万美元时，Hinton说他需要休息，暂停了拍卖。然而，拍卖再也没开始，Hinton决定接受谷歌的4400万美元，即使价码仍在持续攀升

回头来看，这场拍卖恰处于深度学习变革的破晓时分，是整个行业高高筑起的黄金台

2015年，Hinton提出神经网络的蒸馏方法，能够在保持性能的情况下压缩模型尺寸

2017年，Hinton发表了Capsule Networks(胶囊网络)，致力于解决CNN对旋转耐受度低等问题

学术之外

Hinton有严重的腰椎问题，一旦坐下就可能导致腰椎间盘滑脱，剧烈的疼痛会使他卧床数周。所以几十年来他站着授课、工作，出行也无法乘坐飞机。在餐厅就餐时，Hinton有时会选择全程跪着

无论生活还是工作中，Hinton都是一位睿智、幽默、可爱的人。有人曾给Hinton发邮件，问他更喜欢别人叫他Geoffrey还是Geoff，他回答："我更喜欢Geoff。谢谢——Geoff"。他的学生说，Hinton有一个持续终身的习惯：急匆匆地跑进房间，说他终于弄明白了大脑是如何工作的，然后解释他的新理论，接着像来时一样地快速离开。几天之后，他会回来说自己关于大脑的理论完全是错的，但他现在又有了一个新理论。

Hinton公开宣称自己是社会主义者，坚持无神论。在以4400万美元将公司卖给谷歌之后，他常常戏称自己有一股“鱼子酱做派”，这是法国对一些出入高级餐厅、思想左派的人的讽刺

2023年5月，Hinton宣布离开谷歌，以便能“自由讨论人工智能的风险”，而且对“自己一生的工作感到后悔”——但Hinton最近的访谈说，他仍然重视那些工作，“后悔”只是纽约时报记者加的戏

“Geoff, 你需要发言，他们会听你的，人们对这种危险视而不见”，Hinton的朋友这么对他说

参考

《深度学习革命：从历史到未来》

https://zhuanlan.zhihu.com/p/62645723

https://cn.technode.com/post/nodebang/2247484078/

https://zhuanlan.zhihu.com/p/22405961

https://en.wikipedia.org/wiki/Geoffrey_Hinton

https://www.bilibili.com/video/BV1aE411o7qd?p=150&vd_source=144f702dc1ef849023ebe09f7086ecec

https://zhuanlan.zhihu.com/p/65772284

https://zhuanlan.zhihu.com/p/30963259

https://m.huxiu.com/article/594678.html

https://leovan.me/cn/2021/03/capsule-network/