直播|回顾Deep Learning三剑客的艰难历程,30年的不悔坚持!

人工智能 4174 Views

– 免费加入AI技术专家社群>>

– 日薪5K-10K招兼职AI讲师>>

– 招募1000名AI推广大使>>

人工智能的主流算法Deep Learning深度学习的历史,堪称Deep History, 也是深度学习三剑客Geoff Hinton, Yann LeCun 和Yoshua Bengio共同走过的30年艰难而辉煌的不悔人生。他们如何从当年的地下小团体成为今天引领人工智能的风云人物,来看看其中的精彩故事。

深度学习三剑客

Geoff Hinton,谷歌大脑研究小组的负责人,出生在英国,1977年在爱丁堡大学获得博士学位,开始对模拟神经网络着迷。之后在加拿大多伦多大学任教,2013年他的公司DNNresearch被Google收购。他被称为深度学习教父。

Yann LeCun, Facebook人工智能研究小组FAIR的主任,出生在巴黎,在 Université Pierre et Marie Curie获得博士学位。曾在AT&T Bell Labs工作多年,2003年起在纽约大学NYU任教,2013年获小扎邀请加盟Facebook。

Yoshua Bengio –  Université de Montréal大学教授。出生在法国,在McGill University获得博士学位,曾在MIT跟随Michael Jordan教授做博士后研究,后任职 AT&T Bell Labs,1993年起在Université de Montréal任教。

Geoff Hinton, Godfather of Deep Learning

这个故事要追溯到1956年,美国认知心理学家弗兰克·罗森布拉特(Frank Rosenblatt)基于神经元的理论发明了一种模拟神经元的方法。纽约时报称之为与”E-brain teaches itself.”  这个被Rosenblatt称为感知器Perceptron的发明,可以学习如何将简单的图像分类为三角形和正方形。当时是在巨大的机器上实施模拟,缠绕着厚重的电线,但这为神经网络创立了理论和实验基础。

Rosenblatts发明的电脑有八个模拟神经元,由电机和拨号盘连接到400个光检测器。每个神经元都接收到来自光检测器的信号的一部分,将它们组合起来,并且根据它们添加到哪里,输出1或0。这些数字组成对感知器所看到的事物的描述。当然,最初的结果完全无效。之后Rosenblatt使用一种称为监督学习的方法来训练感知器,以正确区分不同形状。他向感知器显示一个图像以及正确的答案,然后,机器将调整每个神经元对其输入信号的关注度,将这些“权重”转移到将产生正确答案的设置。

在试过多次之后,这些调整使计算机具有足够的智能,可正确地对之前从未见过的图像进行分类。今天的深度学习网络使用复杂的算法,并拥有数百万个模拟神经元,它们之间有数十亿个连接,也是以同样的方式训练的。   

Rosenblatt预测,感知器很快就能够学会向人打招呼。他的想法成为人工智能新生领域的基石。当时研究工作的重点是使感知器具有更复杂的网络,排列成多个学习层的结构,在图层中连续传递图像或其他数据,使感知器能够解决更复杂的问题。  

不幸的是,Rosenblatt的学习算法当时对于多层结构的神经网络不起作用。在1969年,曾与他一起上过高中的人工智能先驱,MIT的权威人士Marvin Minsky,和知名专家Seymour Papert一起,写了一本批评感知器学派的书Perceptrons,扼杀了当时对神经网络的研究兴趣。

Minsky表示,多层次神经网络的结构并不会使感知器强大到有实用价值。人工智能学者们也因此放弃了学习式软件的想法。他们转而使用逻辑来产生智能 :比如下棋的能力。神经网络则被推到了计算机科学的边缘。

未完待续……

想了解更多关于深度学习的历史故事?赶紧关注全球人工智能学院的直播讲座!

直播时间:12月13日晚8点整

直播简介

2012年, 基于深度学习CNN网络的AlexNet在ILSVRC竞赛的ImageNet上大放异彩。 深深影响了做图像目标检测UC Berkeley的Jitendra Malik, 他鼓励博士后Ross Girshick采用CNN技术到图像目标检测上。Ross Girshick刚从他的博士导师Pedro Felipe Felzenszwalb那里毕业, 读博期间导师和他一起发明了DPM算法, 改进了Navneet Dalal和Bill Triggs 提出的HoG特征方法,成为当时的经典。

Ross Girshick不辱使命, 在2014年利用CNN成功取代了HOG、DPM等特征提取, 结合Selective Search做区域推荐, 再结合SVM做分类算法, 成功推出R-CNN,轰动世界。 开启了深度学习上的图像目标检测。

随后,何凯明也基于SPM推出了SPPNet。同时,RCNN在成功结合RoI技术、RPN技术后迅速改进推出了Fast RCNN 和Faster RCNN。 为以后的YOLO、 SSD、AttratioNet、G-CNN、Mask R-CNN等网络打下扎实的深度学习基础

问题咨询

问题咨询请添加微信号:kellyhyw

或扫描下方二维码

↓↓ 点击”阅读原文” 【查直播详情】

如未说明则本站原创,转载请注明出处:NULL » 直播|回顾Deep Learning三剑客的艰难历程,30年的不悔坚持!