OpenAI最新论文:机器学习效率正在超越摩尔定律

云栖号资讯:【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

八年前,一种机器学习算法学会了识别一只猫,它震惊了全世界。

几年后,人I g p Z - / l 7工智能可以准确地翻译语言,打败世界围棋冠军。

现在,机器学习已经开始在诸如 “星际争霸” 和 “dotaf H | V ) : w2” 等% c [ , ^ + 0复杂的多人视} ] = f J } a G频游戏,以及5 v 3 t M & q v -诸如扑克之类的微妙游戏中脱颖而出,人工智能正在快速发展。

OpenAI最新论文:机器学习效率正在超越摩尔定律

但是速度有多快呢,是什么在驱动着速度呢?虽然更B | / [ Q ? )好的计算机芯片是关n E 4 A 9 w键,但 AI 研究机构 OpenAI 认为,我们也应该衡量实际机器学习算法的改进速度。

由 On ^ JpenAI 的 Danny Hern] I g V 2 # I _ andez 和 Tom Brown 撰写并发表在 arXiv= 5 1 fk 4 * ) | $ : z C的论文指出,T 4 4 | ` w 7研究人员称他们已经开始跟踪衡量机器学习的效率- x + h O , 7,即w D D y + . 7 %用更少的资源做更多的f v # $ 3 F W d %事。他们使用这种方法表明,人工智能m : ? Y a k I经以一种极快的速度变得更加高效。

算法效率提升加快研究

i 5 -般说来,驱动 AI 进步的有W % , o Q { Y ] h三个因素:运算量、数据和算法创新。计算能力更容易跟踪,但算法方面的改进却有点难以捉摸。

我们可以将算法效率定{ B | a - = &义为减少训练特定功能所需的计算量,它是衡量计算机科学中算法进度的主要指标。传统问题(如排序)的t g l K q a F ]效率提升比机器学习更易于衡量,因D H Z p Q * G }为它们可以更清晰地衡量任务难度。但是,可以通过保持性能恒定来将效率透镜应j & F G N q : Y :用于机器8 8 i J 7 = v B %学习。

自 2012 年以来,在 ImageNet 分类中训练神经网络达到相同性能所需的计算量,每 16 个月) e e M @ r减少了 2 倍。与 2012 年] % N相比,现在将神经网络训练到 AlexNet(一种基准图像识别算法)所需的计算量减少了 44 倍。研究结果表明,对于最近投入大量资金的} 2 , G s r 7 AI 任务,算法进步比传统硬件效率产生了更多收益。

OpenAI最新论文:机器学习效率正在超越摩尔定律

用于训练到p 5 w ! h AlexNet 级别的总计算量(以太字节 /天为单位),在任何给定时间的最低计算点都以蓝色显示,所有测量点都以灰色显示。

尤其在翻译和游戏等其他流行功能,在较短时间范围内改进的速度更快。在翻译方面,三年后的英法翻译中,Tm V { ; $ . ; N ;ransformer 算法的计算u a x q J l t K c能力比= 5 7 { [ 3 seq2seqD N z 算法低 61 倍;仅仅一年后,DeepMind 的 AlphaZero@ T U 在围棋比赛中,其C C N W L V K (计算量比 AlphaGoZerM W } * 3 x + zo 少 8 倍,就能与 AlphaGoZero 匹敌;而仅三个月后,OpenaAI Fivm A Ce Rerun 在 Dota2 上使用了比原来低五倍的计算能力,就能超越了世界冠军 OpenaAI Five。

算法效率的提高,使得研究人员可以在给定的时间和金钱下进行更多感兴趣的实验J | e 5 +,加速未来 AI 的研究。

机器学习的摩尔Q _ F U s 4 k定律

X k G器学习中是否存在某种算法摩尔定律p / % a l W s

研究人员表示,目前还没有足够的q p _ F信息来说明这一点。他们的工作只包括了几个数据点,原始的摩尔定律图表同样几乎没有被观察到,所以任何推断纯属推测。此外,研究q J # 仅关注少数几个流行的功能和顶级程序。目前尚不清楚观察到的趋势是否可以更广泛地推广到其他 AI 任务。

对于语言、游? ~ c Q X m戏等& | T I领域,大规模的计算对于整体性能仍然很重要,因此追踪效率s - w f & 0 : @ A显得尤为重要,测量效率整体性能的长期趋势将有助6 m 8 N K r &于描绘总体算法q + 3 x进展的定量情况。研究人员观察到,硬* ! 2 8 G :件和算法效率提升是可乘的,并且在有意义的范围内可以达到相似的规模,这表明 AI 进步的良好模型应该整合两者的衡量指标。

研究结果还表明,对于具有高投资水平(研究人员花极= K { D x大时间和精力)的 AI 任务,算法效率可能超过硬件效率(摩尔效率)带来的收益。

OpenAI最新论文:机器学习效率正在超越摩尔定律

摩尔定律是在 19B ^ 3 ; ; % r 65 年提出的,即当价格不变时,集成电路上U X . / # ^ Te % f V B G r n p容纳的元器件的数目,约每隔 18-24 个月便会增加一倍,I H K _ V 9 ` O 2性能也将提升一倍。

当时集成电路只有 64 个晶体管,之后出现了个人计算机和智能手机(iPhone11 拥有 85 亿个晶体管)。如果我们观察到数十年来 AI 算法效率的指数级提高,它可能会带来什么?

出于这] , B S些原因,研究人员开始公开跟踪效率的整体性能,首先探索视觉和W l $ T Y翻译效率基准,包括 ImageNet 和 WMD C n z $ ? TT14,之后再考虑随w = 9 p Q p R着时间的推移将添加更多的基准。跟踪多种措施,包括硬件的措施,可以描绘出一幅更完整的进展情况,并有助于确定未来的努力和投资在哪些方面最有效。

人工智能的未来

值得G | 3 / f K O z注意的是,这项研究的重点是深度学习算法,这是目前占主导地位的人工智能方法。深度学习是否能继续取得如此巨大的进步,是人工智能领域争论的焦点。该领域的一些顶级研究人员质疑深度学习; D / * L k解决该领域最大挑战的长期潜力。| } P 8 (

OpenAI 在较早的一篇论文中表明,最新n / a q A ( h O热门的人工智能需要相当惊人的计算能力来进行训练,并且所需的资源正以惊人的速度增长。在 2012 年之前,人工智能程序使用的计算能力的增长主要遵循摩尔定律,而自 2012 年以来,机器学习算法使用的计算能力的增长速度是摩尔定律的 7 倍。

OpenAI最新论文:机器学习效率正在超越摩尔定律

这也是 OpenAI 对跟踪进展感兴趣的原因。例如,如果机器Q q Y k i D X c学习算法的培训成本越来越高,那么增加对学术研究人员的资助就很重要;如果效, e - M 9 J . u率趋势被证明是一致的,那么就更容易预测未= l h ) c 0 C b q来的成本并相应地计划投资。

进步是否会持续不减,摩尔定律式的理论在未来几年或即将7 . z Y e + k .碰壁,仍有待观察。

但正如作者们所写的那样,如果这些趋势在未来继续下去,人工智能o & h j C q将变得更加强大,而且可能比我们想象的还要快。

【云栖号在线课4 i a I L h ! E堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即% _ m t f + ]加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.a 2 ) tb.cn/F3.Z8gvnK

原文发布时间:2020-06-04
本文作者:何静
本文来自:“人工智能学家 微信公众号”,了解相关信息可q Q W s V F , 8 3以关注“人工智能学家”