大神Quoc Le:谷歌 AutoML幕后的传奇英雄

发布时间:2018年08月13日 10:08    作者:eechina
关键词: AutoML , Quoc , 神经网络
新智元报道
来源:Medium,AI Frontiers
编译:三石

提及谷歌大脑、seq2seq、AutoML,许多人已是耳熟能详。在成功的背后,定是有许多研究人员的默默付出。而Quoc Le就是其中一位,堪称谷歌真正的“隐藏人物”、幕后英雄!

他,是真正的幕后英雄!

瘦弱的身材,安静的性格,戴着一副厚厚的眼镜,你绝对猜不到如此其貌不扬的Quoc Le,正式引领人工智能革命的领军人物之一。

2011年,Le和他的博士生导师Andrew Ng、谷歌同时Jeff Dean和谷歌研究员Greg Corrado,共同创建了谷歌大脑(Google Brain)。目标是在谷歌庞大的数据背景下探索深度学习。在此之前,Le在斯坦福大学开展了一些关于无监督深度学习的开创性工作。

2012年,Le在ICML上发表了一篇文章,引起了人们对深度学习的浓厚兴趣:他开发了一种深度神经网络模型,可以根据Youtube上的1000万张数字图像以及ImageNet数据集中的3000多个对象来识别猫。这个巨型系统由16000台机器和10亿个突触组成,是以往研究规模的100倍。同年,Le又发表了关于AlexNet的论文,对整个深度学习领域产生了牵引力。

虽然后来证明无监督学习方法对于商业用途是不切实际的(至少在那段时间),但Le在2015年《Wired》采访中表示,“如果我们能挖掘一种算法来解决这个问题就太好不过了,因为实际的情况是,我们无标记的数据远远多于有标记的数据。”

从“序列”到“序列学习”

Le在2013年毕业后正式加入谷歌,成为一名研究科学家,很快就在机器翻译领域取得了惊人的突破(机器翻译是机器学习领域最活跃的研究领域之一)。

为了实现这一结果,他必须超越已有深度学习的方法,这些方法适用于图像和语音,可以使用固定大小的输入进行分析。 而对于自然语言,句子的长度各不相同,词语的顺序也很重要。

2014年,Le与谷歌研究人员Ilya Sutskever和Oriol Vinyals一起提出了序列到序列(seq2seq)学习。它是一个通用的encoder-decoder框架,训练模型将序列从一个域转换到另一个域(例如不同语言之间的句子)。

seq2seq学习在工程设计选择方面的需求较少,并允许Google翻译系统高效准确地处理非常大的数据集。 它主要用于机器翻译系统,并被证明适用于更广泛的任务,包括文本摘要,会话AI和问答。

1.jpg

Le进一步发明了doc2vec,这是一种非监督算法,它从句子、段落和文档等不同长度的文本片段中学习固定长度的特征表示。Doc2vec是word2vec的扩展,word2vec于2013年由谷歌成员Tomas Mikolov发布。其思想是每个单词都可以用一个向量表示,这个向量可以从集合文本中自动学习。Le添加了段落向量,因此模型可以生成文档的表示形式,从而不考虑文档的长度。

Le的研究最终得到了回报。在2016年,谷歌宣布了神经机器翻译系统,它利用AI进行学习,能够得到更好更自然的翻译。

2015年,Le在荣登MIT Technology Review的“35岁以下创新者”排行榜,因为他的目标是“让软件变得更智能,帮助人们提高生活品质”。

AutoML:神经网络学习自我提升

训练深层神经网络需要大量的标记数据和反复的实验:选择一个架构,构建隐含层,并根据输出调整权重。对于机器学习专业知识有限的人来说,训练过程时既费时又费力的。

2016年,Le和另一位谷歌同事Barret Zoph提出了神经结构搜索。他们使用一个循环网络来生成神经网络的模型描述,并通过强化学习来训练这个RNN,以最大限度地提高在验证集上生成的体系结构的预期精度。

这种新方法可以帮助研究人员设计一种新的网络体系结构,在CIFA-10数据集的测试集精度方面与人类发明的最佳体系结构相匹配。一年后,Le和Zoph将他们的研究提升到了一个新的高度,他们提出了NASNet-A,一个可移植的大型图像数据集架构。

2.jpg

Le的研究为AutoML奠定了基础,AutoML是一套谷歌产品,专为缺乏机器学习经验和资源的开发人员设计的。 然而,在早期阶段,AutoML是用于解决现实问题的:数据科学家使用AutoML建立了一个基于面条图像识别餐厅的模型,准确度几乎达到95%; 日本开发人员使用AutoML构建了一个可以使用其品牌名称对图像进行分类的模型。

在过去的六年里,Le一直处于深度学习发展的前沿。这位36岁的谷歌研究科学家现在准备将深度学习提升到一个新的高度。
欢迎分享本文,转载请保留出处:/thread-545684-1-1.html     【打印本页】
您需要登录后才可以发表评论 登录 | 立即注册

相关文章

回顶部
网站地图