>首页> IT >

Bengio,58岁生日快乐!

时间:2022-03-07 12:23:31       来源:腾讯网

新智元报道

编辑:David

【新智元导读】3月5日是图灵奖得主,深度学习三巨头之一Yoshua Bengio的58岁生日,祝他生日快乐!

3月5日,是AI先驱、2018年图灵奖得主之一Yoshua Bengio 58岁生日,ACM官推发文祝福他生日快乐,并回顾了他获奖和研究生涯以来的重大成就。

2018年,有「深度学习三巨头」之称的Yoshua Bengio、Geoffrey Hinton、Yann LeCun因概念和工程上的突破性贡献,使深度神经网络成为计算的关键组成部分,获得当年的计算机科学的最高奖项——图灵奖。

童年时的「书呆子」

Yoshua Bengio1964年3月5日出生在法国巴黎,是两个大学生的儿子。他的父母摒弃了传统的摩洛哥犹太教教养,接受了上世纪60年代反主流文化对个人自由和社会团结的关注。

后来,Bengio把自己在 「科学直觉」方面的敏锐归功于儿时的这段成长经历。为了寻找一个更具包容性的社会,在Bengio12岁时,他们全家搬到了加拿大蒙特利尔。

Bengio自称童年时是个 「典型的书呆子」,他在高中时经常感到无聊,独自在图书馆阅读。像他那一代人中的许多人一样,他在十几岁的时候遇见了计算机,与他的兄弟一起把送报纸赚来的钱攒起来买了Atari 800和Apple II。

早期生涯:与Hinton、LeCun相识合作

对计算机的早期兴趣促使Bengio进入麦吉尔大学学习计算机工程。与典型的计算机科学课程不同,该专业包括物理学和连续数学的重要训练,为他后来的机器学习工作打下了重要的数学基础。

1986年获得第一个学位后,Bengio继续留在麦吉尔大学,1988年获得硕士学位,1991年获得计算机科学博士学位。他是在阅读有关大规模并行计算及其在人工智能中的应用的文章时,了解到神经网络的想法的。

Bengio读到了Geoffey Hinton的工作,唤起了他对 「什么是智能」这一问题的兴趣。这与他童年时对科幻小说的兴趣相吻合,他称这是自己职业生涯的一个 「分水岭时刻」。

Bengio找到了一位论文导师Renato De Mori,他研究语音识别,并开始从经典的人工智能模型过渡到统计方法。

作为一名研究生,他能够参加会议和研讨会,参与对神经网络感兴趣的紧密但不断增长的社区,遇到了他称之为「一群法国神经网络黑手党」的人,其中就包括Yann LeCun。

他形容Hinton和LeCun是他最重要的职业导师,尽管他直到多年后才开始与Hinton合作。他首先在麻省理工学院做了一年博士后,这帮助他提高了对概率建模和循环神经网络的理解。

作为贝尔实验室的博士后,这个阶段的Bengio开始与LeCun合作,将博士论文中的技术应用于手写文本分析。这项技术为AT&T的自动支票处理系统做出了开创性的贡献,该系统结合神经网络和序列的概率模型,来读取纸质支票上的手写数字。

扎根蒙特利尔与CIFAR

1993年,Bengio回到蒙特利尔,成为蒙特利尔大学的教职员工,并在2002年成为全职教授。

Bengio认为,加拿大广泛传播研究资金和好奇心驱动的研究,说明加拿大愿意支持他在当时非正统的人工智能方面的工作。他认为,这为加拿大目前在机器学习方面的实力奠定了基础。

2000年,他发表了 《神经概率语言模型》一文,对自然语言处理做出了重大贡献。

训练网络来区分有意义的句子和无意义的句子是很困难的,因为要表达一个想法可以有许多不同的方式,大多数的词语组合是没有意义的。这导致了论文中所说的 "维度的诅咒",要求不可行的大型训练集,并产生不可行的复杂模型。

这篇论文引入了高维词语嵌入作为词语意义的代表,让网络认识到新短语和包含在其训练集中的短语之间的相似性,即使使用的具体词语不同。这导致了机器翻译和自然语言理解系统的重大转变。

Bengio的研究团队通过将神经词嵌入与「注意力机制」相结合,进一步提高了机器翻译系统的性能。「注意力」是一个从人类认知中借用的术语。它帮助网络在翻译的每个阶段将重点缩小到相关的上下文,比如代词指代的对象的是什么。

Bengio与他的博士生之一Ian Goodfellow一起,提出了 「生成对抗网络」(GAN)的概念。大多数神经网络被设计用来识别模式,而生成式网络则学习生成难以和训练集中的对象区分的目标。

GAN的运作过程经常被用来促进无监督的学习。目前GAN已被广泛用于生成图像,例如自动生成不存在的人或物体的高度逼真的照片,用于视频游戏。

Bengio是加拿大机器学习机构的核心人物。2004年,加拿大高级研究所(CIFAR)内资助了一个神经计算和自适应感知的项目。

Hinton是该项目创始主任,但Bengio从一开始就作为研究人员参与其中。LeCun也是如此,自2014年以来,Bengio一直与他共同指导该项目(现已更名为 「机器和大脑的学习」)。这个名字反映了跨学科的认知科学属性,表明在神经科学和机器学习之间的双向的思想通道。

由于Bengio等人的贡献,蒙特利尔地区现已经成为全球深度学习研究的工作中心之一。

2015年,Geoffrey Hinton、Yann LeCun、Yoshua Bengio这三位深度学习巨头在Nature上共同发表一篇名为《深度学习》的综述文章,讲述了深度学习为传统机器学习带来的变革。

截至2020年,谷歌、Facebook、微软和三星都已在蒙特利尔建立了卫星实验室。Bengio本人也共同创办了几家创业公司,最引人注目的是2016年的Element AI,该公司为深度学习技术开发工业应用。

对于自己倾注了半生心血的AI研究事业,Bengio对计算机智能的未来仍然信心十足:

「我并不认为创造力是计算机所不能企及的东西,我认为人类的任何能力都不是计算机所不可及其的东西。」他说。

祝Yoshua Bengio生日快乐!

参考资料:

https://twitter.com/TheOfficialACM/status/1500096320933138436

https://t.co/PKrb8TaoY3

关键词: Bengio 58岁生日快乐 深度学习 生成对抗网络 yoshua