人工智能的另一方向:根据忆阻器的存算一体技能

云栖号资讯:【https://www.fons.com.cn/tag/%e7%82%b9%e5%87%bb" target="_blank">点击检查更多职业资讯】
在这里您能够找到不同职业的第一手的上云资讯,还在等什么,快来!

曩昔的十年以深度神经网络为代表的人工智能技能深刻影响了人类社会。但深度神经网络的展开现已进入瓶颈期,咱们仍处于弱人工智能年代。怎样更近一步,跨入强人工智能,敲击着每一位智能研讨者的心。

算法提高,则是走向强人工智能的一个方向;而受脑启示的硬件规划,则是人工智能的另一方向。

在硬件层面上,智能研讨怎样从对人脑的研讨中获益?跟着我国在类脑核算方面的深化,已有越来越多的学者开端拷问这一问题。

2020年4月25日,在未来论坛青创联盟线上学术研讨中,展开了AI+脑科学的主题评论,共有六位嘉宾宣布讲演,从Brain Science for AI和AI for Brain Science两个不同的视角进行前沿评论。

其间来自清华大学的吴华强教师做了标题为“大脑启示的存算一体技能”的陈述。在陈述中吴教授介绍到:当考虑未来核算的时分,量子核算、光核算是向物理找答案,类脑核算、存算一体是向生物找答案,也便是向大脑找答案。

现在吴教师正在芯片上做电子突触新器材,做存算一体的架构。新器材方面首要研讨的是忆阻器,它的特色是能够多比特,一同非易失,即把电去掉能够坚持阻值,而且它速度很快。

别的,吴教师还提到,其用存算一体的核算结构规划的芯片与树莓派28纳米的CPU做过比照,在准确率适当的情况下,前者运转一万张图片是3秒,后者是59秒。

人工智能的另一方向:根据忆阻器的存算一体技能

吴华强, 清华大学微纳电子系教授,清华大学微纳电子系副系主任,清华大学微纳加工渠道主任,北京市未来芯片技能高精尖立异中心副主任。

人工智能的另一方向:根据忆阻器的存算一体技能

吴华强:

我的陈述将从硬件的应战,研讨进展以及展望三方面来介绍大脑启示的存算一体技能。

人工智能无处不在,从云端到咱们手机端都有许多人工智能。不同的人工智能使用对芯片的需求是不一样的,比方数据中心、轿车无人驾驶要求算力特别高,而智能传感网、物联网和手机期望耗能低,寻求高能效。不同使用对芯片的不同需求给了芯片范畴许多时机。

人工智能的另一方向:根据忆阻器的存算一体技能

人工智能的三个展开浪潮和硬件算力也有联系。

从第一款神经网络Perceptron 网络AI开端火起来,到70年代进入低谷,一个十分重要的要素是,虽然有很好的理论模型,可是没有满足的算力。

后来专家体系呈现,第二波浪潮又起来。这时分许多人做专门环绕人工智能的核算机。同年代摩尔定律快速推进芯片的展开,通用核算机的功用飞速上扬,专业核算机能做的通用核算机也能做,因而逐步占有商场,第二波浪潮又下去。

第三波浪潮,深度神经网络的提出到使用GPU加快网络练习,GPU成为AI的首要练习渠道。有了更大的算力,网络规划快速提高。AlphaGo Zero需求5000个TPU练习40天才成为地表最强的围棋选手,花费的时刻仍是很大的,因而人工智能的广泛使用需求硬件才能改造,支撑人工智能的展开。

人工智能的另一方向:根据忆阻器的存算一体技能

芯片能供给的算力和人工智能的高需求是很对立的。第一台核算机ENIAC呈现在1947年,算力是每秒钟5000次左右。英特尔2019年的CPU大约是20.8GFLOPS。咱们看到它的改变是环绕着摩尔定律,即每18个月翻一番的集成度来提高算力。可是现在AI的需求是每3.4个月翻一番。因而需求寻觅新办法供给算力。

人工智能的另一方向:根据忆阻器的存算一体技能

算力提高越来越困难有两个原因,一是曩昔摩尔定律是把器材做的越来越小,现在器材尺度缩小现已挨近物理极限了,所以摩尔定律逐步失效。二是传统核算架构展开带来的功用提高日趋缓慢。现代核算体系遍及选用信息存储和运算别离的冯诺依曼架构,其运算功用遭到数据存储速度和传输速度的束缚。具体来说,CPU的核算速度小于1纳秒,可是主存DRAM是百纳秒左右,也便是存储的速度远远低于核算速度。

在能耗上,以TSMC45纳米的工艺为例,加减乘小于一个pJ,可是32位DRAM的读要高达640个pJ,这一比也是百倍的距离。因而存储速度远远低于CPU的速度,而存储的功耗也远远高于CPU的功耗。这还没有讲存储的写,写的功耗会更高。这样整个体系的功用遭到数据存储速度和传输速度的束缚,能耗也由于存储读的功耗和写的功耗很大,导致整个体系功耗都很大。

人工智能的另一方向:根据忆阻器的存算一体技能

现在能够看到许多新的核算出来了,量子核算、光核算、类脑核算、存算一体。所以当咱们要考虑未来的核算时,我自己觉得量子核算、光核算是向物理找答案,类脑核算、存算一体是向生物找答案,也便是向大脑找答案。

闻名的人机大战,人工智能选手 AlphaGo用了176个GPU、1202个CPU,功耗是150000W。而咱们大脑体积大约1.2L,有10^11个神经元,10^15个突触,考虑的时分功耗是20W。大脑的功耗这么少,这么聪明,这里边还有这么大容量的神经元、突触。所以咱们期望用脑启示规划新的人工智能芯片。

咱们想经过向生物学家学习、向神经学家学习,来看看大脑是怎样处理核算的。大脑有几个特色,一个是有许多的神经元衔接性,以及神经元加突触的结构,一个神经元将近衔接了1万个突触。第二个它的时空信息的编码办法是用脉冲的办法。咱们期望仿照大脑的结构和作业机制,用脉冲编码的办法来输入输出。

人工智能的另一方向:根据忆阻器的存算一体技能

生物突触是信息存储也是信息处理的最底层的生物器材。咱们想在芯片上做电子突触新器材,做存算一体的架构。新器材方面咱们首要研讨的是忆阻器,它的特色是能够多比特,一同非易失,即把电去掉今后能够坚持这个阻值,而且它速度很快。还有很要害的一点,它和集成电路的CMOS工艺是兼容的,能够做大规划集成。近十年咱们一向环绕这个器材来做其优化和核算功用。

美国DARPA的FRANC项目提出用模仿信号处理办法来逾越传统的冯·诺依曼核算架构,期望带来核算功用体系的添加。任正非在2019年承受采访时说,未来在边际核算不是把CPU做到存储器里,便是把存储器做到CPU里,这就改变了冯·诺依曼结构,存储核算合而为一,速度快。阿里2020年的十大科技趋势里提到核算存储一体化,期望经过存算一体的架构,打破AI算力瓶颈。存算一体的理念也是受大脑核算办法启示的。

人工智能的另一方向:根据忆阻器的存算一体技能

根据忆阻器的存算一体技能能够分为三个阶段:第一个阶段是单个器材的展开阶段。2008年惠普试验室的Stan William教授初次在试验室制备了忆阻器,之后美国密西根大学的卢伟教授提出了电子突触概念,美国UCSB大学的谢源教授提出了根据忆阻器的PRIME存算一体架构,引起广泛重视。

人工智能的另一方向:根据忆阻器的存算一体技能

第二个阶段开端做阵列,2015年UCSB在12×12的阵列上演示了三个字母的辨认,咱们团队2017年在128×8的阵列上演示了三个人脸的辨认,准确率能够大于95%,一同期还有IBM,UMass和HP等研讨团队试验完结了在阵列上的存算一体。

人工智能的另一方向:根据忆阻器的存算一体技能

第三个阶段是存算一体芯片,咱们以芯片规划范畴的顶会ISSCC上近几年宣布的文章为例,2018年松下展现了多层感知机的宏电路,2019年台湾地区新竹清华大学和台积电联合演示了卷积核核算的宏电路,本年清华和斯坦福协作做的束缚玻耳兹曼机宏电路。

人工智能的另一方向:根据忆阻器的存算一体技能

也是本年咱们清华团队完结的一个全体系集成的完好的存算一体芯片,从体系测验成果来看,这个芯片能效高达78.4TOPs/W,是适当高的。咱们还做了一个比照,一个是存算一体的芯片和体系,一个是用了树莓派28纳米的CPU。咱们的芯片跑完一万张图片是3秒,而他们是59秒,咱们的速度要快许多,准确率却适当。

本年1月咱们在Nature上宣布了一个忆阻器存算一体体系的作业。这个作业首要是把多个阵列放在一同组成一个体系,并验证是否能用作模仿核算来完结AI的作业。咱们提出新式混合练习算法,完结了与软件适当的核算精度。还提出了新式卷积空间并行架构,成倍提高了体系处理速度。

为什么忆阻器存算一体合适人工智能呢?由于穿插阵列结构特别合适快速矩阵向量乘法。存算一体能够削减权重搬移带来的功耗和延时,有效地处理现在算力的瓶颈。别的,人工智能更重视体系准确性,而不是每个器材的精度,这特别契合忆阻器和模仿核算的特色。

咱们还和毕国强教师协作了一篇总述文章。使用脑启示来规划人工智能芯片,咱们把大脑从I/O通道,到突触,神经元,到神经环路,到整个大脑的结构,都和电子器材做了比照。文章标题叫《Bridging Biological and Artificial Neural Networks》,宣布在2019年的Advanced Materials上面,假如咱们感兴趣能够读这个文章。

展望未来,期望能够做一个存算一体的核算机体系。曾经是晶体管加布尔逻辑加冯·诺依曼架构,现在是模仿型忆阻器加模仿核算和存算一体的非冯架构。

OMT:脑科学是怎样助力AI的
在讲演陈述之后,来自中国科学技能大学神经生物学与生物物理学系系主任毕国强教师,来自北京大学信息科学技能学院长聘教授吴思教师和三位陈述讲演教师就脑科学现已为AI展开供给了什么思维、办法和技能?有哪些典型事例?做了剧烈的评论。

在会上胡晓林提到:有许多作业其实是从脑科学启示过来,追根溯源到1943年,麦克和皮茨这两个人第一次提出人工神经元MP神经元,假如没有他们提出人工神经元,后边的这些CNN等等都是不存在的,他们其实是做神经科学的,他们测验创造核算模型并解说大脑的作业,他们提出了这种逻辑运算的MP神经元。后来Rosenbaltt把MP神经元扩展了一下,得到了多层感知机。后来在1989年、1990年的时分Yan LeCun等人提出来CNN,其时是受了Neocognitron模型的启示,Neocognitron是日自己Fukushima提出来的,我真的找过他那篇论文,Neocognitron的结构和现在CNN的结构如出一辙,仅有区别是学习办法不一样,Neocognitron在1980年提出来时还没有BP算法。Neocognitron怎样来的呢?它是遭到一个神经科学的发现,在猫的视觉皮层有简略细胞、杂乱细胞两种细胞,从这两种细胞的特色动身构建了Neocognitron测验去解说大脑怎样辨认物体的。后来才展开到CNN。MP神经元和Neocognitron这是两个具有里程碑含义的办法,这是很典型的神经科学给咱们AI的启示的作业,乃至能够说是颠覆性的作业。

率直提到这次神经网络、人工智能的腾飞,这次腾飞期间我并没有看到特别多令人十分振奋的脑启示的作业,我自己也做了一些这方面的作业,发现现在一些受脑科学启示的核算模型如同都没有我方才说的那两个模型的含义那么大。期望这个范畴能呈现一些新的脑启示的办法,哪怕它们现在的功用十分差,可是十几年、几十年今后,它们或许会成为奠基性的作业。

吴思:咱们要看咱们怎样界说AI。假如泛泛的包含信息理论、动力学体系剖析、核算学习等,那么这些都是核算神经科学每天在用的东西,它们一向在助力脑科学的展开。假如一定要着重最新的,比方说深度学习,那么怎样将AI用于脑科学是现在的一个研讨热门。世界上有多个组,也包含清华的胡晓林教师,咱们把视觉体系当成一个深度学习网络,然后练习这个深度学习网络,一同参加一些生物学的束缚,然后用比照的办法看这个体系能学习到什么,从而答复生物视觉认知的问题。

唐华锦:我弥补一下吴思教师讲的,在传统上AI供给了很重要的大数据剖析东西,视觉神经、视觉皮层,现在的AI供给了很重要的大数据东西,尤其是在高通量的脑成像方面,树立十分精密的脑模型,AI大数据起到重要的效果。还有实时的脑活动的剖析上,比方斑马鱼的活动,怎样一同实时记载以及把这些神经元的活动匹配到那些神经元上,这是许多AI深度学习协助脑科学家在剖析数据、核算数据上,包含三维重建,包含树突、轴突之间衔接的结构也会起到十分重要的效果,AI仍是供给了很好的东西在深化的解说上面。

【云栖号在线讲堂】每天都有产品技能专家共享!
课程地址:https://yqh.aliyun.com/zhibo

当即参加社群,与专家面对面,及时了解课程最新动态!
【云栖号在线讲堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时刻:2020-05-07
本文作者:蒋宝尚
本文来自:“雷锋网”,了解相关信息能够重视“雷锋网”