2018年,有“计算机界的诺贝尔奖”之称的图灵奖,颁发给Yann LeCun、Geoffrey Hinton、Yoshua Bengio,以表彰三位在深度学习领域的卓越贡献。

2020年,Yann LeCun、Yoshua Bengio入选有“人工智能名人堂”之称的AAAI Fellow,而Geoffrey Hinton则在1990年就入选,三巨头再次重聚。

本文介绍三巨头之一、低调的巨人Yoshua Bengio。

1964年,Bengio出生在法国巴黎的一个犹太家庭。父亲卡洛·本吉奥 (Carlo Bengio) 创作戏剧作品,并在加拿大蒙特利尔经营着一个演奏犹太、阿拉伯作品的剧团。母亲 Célia Moreno也是一位艺术家。

Bengio在巴黎长大,本科在加拿大蒙特利尔市的麦吉尔大学修习电子工程。这所学校被称为“北方哈佛”,提出原子核模型的卢瑟福曾在这里工作,白求恩也在这里开始了医学生涯。

1986-1991年,Bengio继续在麦吉尔大学计算机专业读到博士。在这期间,Hinton的工作让他找回儿时读科幻小说的那种感觉,“天呐!这是我想做的事!”他回忆道。他硕士论文将Hinton的玻尔兹曼机应用到语音识别上,博士论文则融合了神经网络与隐马尔可夫模型

1992年,Bengio在麻省理工学院和AT&T贝尔实验室做博士后,MIT的导师是Michael I. Jordan,而贝尔实验室的组长是LeCun。在手写数字识别任务上大获成功的LeNet,Bengio也是作者之一

1993年,Bengio回到蒙特利尔大学教书,并创建蒙特利尔学习算法研究所(MILA)。MILA至今保持着独立、非盈利的性质,成为世界上最大的深度学习研究小组。MILA开发的Theano,是最早的深度学习框架之一

2003年,Bengio首次将神经网络应用到自然语言处理领域,使用多层感知机(MLP)处理词嵌入构建语言模型,这启发了以后word2vec等工作。文中提出RNN可能更适合处理文本,这一猜想也在日后得到了证实

2013年,Bengio联合LeCun创立ICLR(International Conference on Learning Representations),目前已经成为深度学习顶会的“无冕之王”。该会议采用Open Review机制,任何人都能实名或匿名评价论文,研究团队也可以实时回应,这开启了透明评审的先河

2014年,Bengio与学生Ian Goodfellow发表了生成对抗网络(GAN),被LeCun称为“过去10年机器学习领域最有趣的idea”。这是一种同时训练两个神经网络的策略,其中一个尝试生成以假乱真的数据,另一个负责明察秋毫、区分真实数据与生成数据。在互相对抗中,两个网络的能力水涨船高,直到最后模型生成的数据与真实数据无法区分,这代表模型已经完全掌握真实数据的潜在规律

2016年,Yoshua Bengio、Ian Goodfellow和Aaron Courville合著了《Deep Learning》,该著作被称为人工智能领域的圣经,还因封面图案被亲切地称为“花书”。同年,Bengio创立了 Element AI,这是一家位于蒙特利尔的人工智能孵化器,旨在将人工智能研究转化为现实世界的商业应用

Bengio最为人敬佩的,是他一直将目标放的足够长远,实事求是地思考领域内真正重要的问题,既不被短期的进展诱惑,也不惧困难和未知。截止2023年5月,Bengio是h-index最高的计算机科学家。他对学术界愈发严重的人才外流感到忧虑,因为他觉得身处重视短期利益的工业界,无法进行足够长远、有深度的思考

众所周知,Benjio签署了那封旨在暂停开发能力超过GPT-4的大语言模型的公开信。今年4月5日,Bengio在博客上表达了自己的担忧。他认为目前AI的加速发展,是以牺牲预防原则和道德为代价的。从短期看,虚假信息会操纵公众舆论、在政治领域滥用,损害民主;从长期看,无法阻止有人开发出危险的人工智能系统。

Benjio认为,我们需要留出时间来,让整个社会适应AI、通过与AI相关的法案,并制定有效的监管框架。“二战后,我们成功地监管了核武器,类似的协议在AI上也能做到”,他说

参考

《深度学习革命:从历史到未来》
https://en.wikipedia.org/wiki/Yoshua_Bengio
https://m.thepaper.cn/yidian_promDetail.jsp?contid=2544399&from=yidian
https://zhuanlan.zhihu.com/p/66259338
https://zhuanlan.zhihu.com/p/38532587
https://www.zhihu.com/question/37922364/answer/2783421336
https://zhuanlan.zhihu.com/p/21240807
https://yoshuabengio.org/2023/04/05/slowing-down-development-of-ai-systems-passing-the-turing-test/