杰弗里·辛顿(神经网络之父) - 知识百科yizesci.com

杰弗里·辛顿：神经网络之父

更新时间：2024-09-21 00:42

杰弗里·辛顿（Geoffrey Hinton），全名杰弗里·埃弗勒斯特·辛顿（Geoffrey Everest Hinton），1947年12月6日出生于英国温布尔登，1970年在剑桥大学获得实验心理学学士，1978年在爱丁堡大学获得人工智能博士，2018年与约书亚·本吉奥（Yoshua Bengio）、杨乐昆（Yann LeCun）一起获得“A.M. 图灵奖（A.M Turing Award）”，被誉为“神经网络之父”。

杰弗里·埃弗勒斯特·辛顿于1982-1987年在卡耐基·梅隆大学任教，后成为加拿大高级研究所的研究员，并转到多伦多大学计算机科学系，截止2023年仍是该研究所的名誉教授和首席科学顾问。1996年，杰弗里·辛顿当选为加拿大皇家学会院士。1998年，杰弗里·辛顿当选为伦敦皇家自然知识促进学会院士。从2013年到2023年，杰弗里·辛顿担任谷歌的副总裁工程研究员。他是第一个使用反向传播来学习词嵌入的研究人员，也是引入反向传播算法的研究人员之一。他的研究方向为人工神经网络中的学习及其与真实神经网络中学习的关系和神经网络中的形状表示，对神经网络研究的其他贡献包括路德维希·玻尔兹曼机、分布式表示、延时神经网络、专家混合、变分学习和深度学习。

杰弗里·埃弗勒斯特·辛顿的研究给人工智能领域带来的重大突破，使深度神经网络成为计算的关键组成部分，与约书亚·本吉奥和杨乐昆被称为深度学习之父。他获得的奖项包括David E. Rumelhart奖、IJCAI卓越研究奖、Killam工程奖、IEEE Frank Rosenblatt奖章、NSERC Herzberg金奖、IEEE James Clerk Maxwell金奖、NEC C\u0026C奖、BBVA奖、本田技研工业奖、伦敦皇家自然知识促进学会皇家奖章和图灵奖。

人物经历

1947年12月6日，杰弗里·辛顿出生于英国温布尔登。

1970年，辛顿在英国剑桥大学获得文学学士，主修实验心理学；1978年，他在爱丁堡大学获得哲学博士学位，主修人工智能。此后辛顿曾在苏赛克斯大学、加州大学圣迭戈分校、剑桥大学、卡耐基·梅隆大学和伦敦大学学院工作。

辛顿是鲁梅哈特奖的首位获奖者，1998年当选皇家学会会士。2005年，辛顿获得IJCAI杰出学者奖终生成就奖，同时也是2011年赫茨伯格加拿大科学和工程金奖获得者。

2012年，辛顿获得了加拿大基廉奖（Killam Prizes，有“加拿大诺贝尔奖”之称的国家最高科学奖）。辛顿是机器学习领域的加拿大首席学者，是加拿大高等研究院赞助的“神经计算和自适应感知”项目的领导者，是盖茨比计算神经科学中心的创始人，目前担任多伦多大学计算机科学系教授。

2013年3月，谷歌收购辛顿的公司 DNNResearch后，他便随即加入谷歌，在谷歌 Brain中担任要职。在他的带领下，谷歌的图像识别和Android音频识别的性能得到大幅度提升。他将神经网络带入到研究与应用的热潮，将“深度学习”从边缘课题变成了谷歌等互联网巨头仰赖的核心技术，并将反向传播算法应用到神经网络与深度学习。

2023年5月，辛顿宣布从谷歌离职。

主要成果

科研成就

科研综述

在1986年，辛顿及其合作者发表了两篇具有重大意义的论文，其中推广了被称为“反向传播”的算法。该算法通过神经元反向传播网络预测产生的误差测量，这一过程从直接连接至输出的神经元开始。这种方法使得那些包含中间“隐藏”神经元的网络，能够在输入层和输出层之间有效学习，从而突破了Minsky和Papert先前指出的局限性。如今，这种反向传播算法支撑着几乎所有的神经网络，从复杂的计算机视觉系统到大型语言模型，都广泛应用了该算法。