传媒

AI现在还仅仅是“物理学出现之前的工程学”

字号+ 作者:华夏头条 来源:华夏头条 2017-10-16 我要评论

AI现在还仅仅是“物理学出现之前的工程学”

腾讯科技编者按】科技评论网站日前发表文章,介绍了深度学习的发展趋势及其局限。虽然深度学习已经是当前的一股热潮,也取得了不少成果,但业界人士指出,目前的深度学习就像是“物理学出现之前的工程学”。以下为原文摘要:

AI现在还仅仅是“物理学出现之前的工程学”

人工智能(AI)领域的每一个进步,都有赖于30年前的一个突破。要保持AI进步的节奏,就需要突破这个领域的一些重大局限。

AI领域的爱因斯坦

矢量研究所(Vector Institute)位于加拿大多伦多的市中心,将于今年秋天开业,它旨在成为全球AI中心舞台。美国和加拿大公司(比如谷歌()、Uber和Nvidia)将在这个研究所赞助商业化AI技术的努力。

资金的涌入比该中心的联合创始人乔丹o雅各布斯(Jordan Jacobs)设想的更快。该中心另外两位联合创始人对多伦多地区的公司进行了调查,发现该地区对AI专家的需求,是加拿大每年培养的专家人数的10倍。全球正在兴起一股深度学习的热潮,而这个研究所希望站在这股潮流中心——聚焦于这种技术,传授它,改进它,并且应用它。数据中心正在建设中,初创公司纷至沓来,学生们正在入场。

而“深度学习之父”乔弗里o辛顿(Geoffrey Hinton)也住在多伦多。雅各布斯说:“再过30年,我们回头来看,就会说辛顿是AI和深度学习领域的爱因斯坦。”

AI现在还仅仅是“物理学出现之前的工程学”

辛顿的弟子们在苹果Facebook和OpenAI主管AI实验室,辛顿自己是谷歌大脑(Google Brain) AI团队的首席科学家。事实上,AI的最近十年来的几乎每一个成就——翻译、语音识别、图像识别和游戏玩法都和辛顿奠定的基础分不开。

深入学习的主要理念其实在30年前就已经提出。辛顿与同事戴维o罗姆哈特(David Rumelhart)、罗兰德o威廉姆斯(Ronald Williams)在1986年发表了一篇突破性的文章,详细阐述了一种称为 “反向传播”的技术。用普林斯顿大学的计算心理学家乔o科恩(Jon Cohen)的话来说,这种技术是“所有深度学习的基础”。

这篇1980年代中期的文章介绍了如何训练多层次神经网络。它为近十年来AI领域的发展进步奠定了基础。

深度学习就是反向传播

如今从某种角度上说,AI就是深度学习,而深度学习就是反向传播。你可能感到不可思议,一个技术怎么蛰伏了这么长时间,然后突然出现了爆发式的崛起。一个观点是:也许我们现在并不是处在一场革命的开始阶段,而是在进入它的尾声。

辛顿来自英国,曾在匹兹堡的卡内基梅隆大学工作,1980年代搬到了多伦多。他喜欢这座城市的氛围。

辛顿说,他最近在一个项目上取得了重大突破,“找到了一个非常好的初级工程师,跟我一起工作,”这个女工程师名叫萨拉o萨福,是伊朗人,她在美国申请工作签证被拒绝了。 谷歌在多伦多的办公室接受了她。

在1980年代,辛顿已经是神经网络专家。神经网络是一个大大简化的大脑神经元和突触网络模型。虽然最早的神经网络“感知器”(Perceptron)在1950年代就开始开发,也被誉为迈向人机智能的第一步,但是到了80年代,业界坚定地认为神经网络是AI研究的死胡同。

1969年,麻省理工学院的Marvin Minsky和Seymour Papert在一本名为《感知器》的书中,用数学证明了这样的网络只能执行最基本的功能。这种网络只有两层神经元,一个输入层和一个输出层。如果一个网络在输入和输出神经元之间有更多的层,那么它在理论上可以解决很多不同的问题,只是没有人知道如何训练它们,所以在实践中,这些神经网络是没用的。除了辛顿等寥寥几个人之外,《感知器》使得大多数人都完全放弃了神经网络。

1986年,辛顿取得突破,显示反向传播可以训练一个深层神经网络(超过两三层的神经网络)。但是又花了26年时间,计算能力才发展到了可以好好利用这个突破的程度。辛顿和他的两个学生的2012年发表论文,显示反向传播训练的深层神经网络在图像识别中击败了最先进的系统。 “深度学习”从此成为一股热潮。在外界看来,AI似乎是在一夜之间蓬勃发展起来的。但对于辛顿来说,这却是一个迟来的爆发。

神经网络的原理

神经网络通常被描述成一个多层三明治,层层叠叠。这些层里包含着人造神经元,指的是微小的计算单位,它可以受到激发 (就像真正的神经元会被激发那样),然后将兴奋度传递给它所连接的其他神经元。神经元的兴奋度由数字来代表,比如0.13或32.39。另外,在每两个神经元之间的连接上,还有一个关键数字,决定了多少兴奋度可以从一个神经元传递到另一个。这个数字是在模拟大脑神经元之间突触的给力程度。当这个数字比较高时,就意味着两个神经元之间的连接更强,可以把更多的兴奋度传递给对方。

深层神经网络最成功的应用之一就是在图像识别中,该团队开发了一个程序,可以判断图片中是否有热狗。在十年前,这样的程序是不可能实现的。开发这种程序的第一步是找到一张照片。为了简单起见,你可以使用一张黑白图像,100像素宽,100像素高。你把这张图像输入到神经网络——也就是给输入层中每个模拟神经元设置兴奋度,使之和每个像素的亮度吻合。这个多层三明治的底层就是10000个神经元(100x100),代表图像中每个像素的亮度。

然后,你将这一层神经元连接到上面的另一层神经元层(有几千个神经元),再继续连一层神经元层(也有几千个神经元),如此这般。最后,在这个三明治的最上层是输出层,它只有两个神经元 , 一个代表“有热狗”,另一个代表“没有热狗”。其理念就是让神经网络学会只有当图片里有热狗的时候,才会激发“有热狗”的神经元,只有在图片里没有热狗的时候,才会激发“没有热狗”的神经元。反向传播就是做到这一点的方法。

如何使用反向传播技术

反向传播本身非常简单,尽管它在有大量数据可用的情况下效果最好。这就是为什么大数据在AI中如此重要的原因——以及为什么Facebook和谷歌如此渴望数据的原因。

在训练神经网络的时候,你需要使用数以百万计的图片,一些有热狗,一些没有。而诀窍就是那些有热狗的图片被标记为有热狗。在一个初始神经网络中,神经元之间的连接权重(表示每个连接传递的兴奋度的多少)可能是随机数,就好像是大脑的突触还没有调整好。 反向传播的目标是改变这些权重,让神经网络可以获得很好的效果:当你将热狗的图片输入到最低层时,最顶层的“有热狗”神经元最终会变得兴奋起来。

转载请注明出处。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • Airbnb爱彼迎发布中国新战略 将建本土客服中心

    Airbnb爱彼迎发布中国新战略 将建本土客服中心

  • 刘强东:AI既是技术,也是一种思考方式

    刘强东:AI既是技术,也是一种思考方式

  • 腾讯翻译君发力AI 精准翻译成就日均2亿次翻译请求

    腾讯翻译君发力AI 精准翻译成就日均2亿次翻译请求

  • 谷歌AI居然将海龟识别成来福枪 曾经还把黑人当成大猩猩

    谷歌AI居然将海龟识别成来福枪 曾经还把黑人当成大猩猩