IBM新概念芯片：可将AI训练速度提高三万倍

隔壁他二叔

IBM新概念芯片：可将AI训练速度提高三万倍

2016.3.30

IBM 的几位研究人员近日公布了一份论文，论文阐述了一种所谓的电阻式处理单元（Resistive Processing Unit，RPU）的新型芯片概念，据称与传统 CPU 相比，这种芯片可以将深度神经网络的训练速度提高至原来的 30000 倍。
深度神经网络（DNN）是一种有多隐层的人工神经网络，这种神经网络即可进行有监督训练，也可进行无监督训练，结果出来的就是能够自行 “学习” 的机器学习（或者叫人工智能），也即所谓的深度学习。
前不久 Google（Alphabet） DeepMind 在人机大战中击败李世石的 AI 围棋程序 AlphaGo 就采用了类似算法。AlphaGo 由一个搜索树算法和两个有数百万类神经元连接的多层深度神经网络组成。其中一个网络叫做 “策略网络”，用于计算走哪一步的胜率最高，另一个网络叫做 “价值网络”，用于告诉 AlphaGo 怎么移动对白子和黑子都更好，这样就可以降低可能性的深度。
由于前景看好，许多机器学习研究人员都已经把焦点集中到深度神经网络上面。但是，为了达到一定程度的智能，这些网络需要非常多的计算芯片，比如 AlphaGo 使用的计算芯片数量就达到了几千个。所以这是一项很耗计算资源、同时也很烧钱的任务。不过现在 IBM 的研究人员提出了一种新的芯片概念，其强大的计算能力可以一个就顶传统芯片的几千，而如果将成千上万个这种芯片组合起来的话，未来 AI 的能力也许就会出现更多的突破。
这种名为 RPU 的芯片主要利用了深度学习等算法的两个特点：本地性以及并行性。为此 ROU 借助了下一代非易失性内存（NVM）技术的概念，把算法用到的权重值存储在本地，从而把训练过程中的数据移动最小化。研究人员称，如果把这种 RPU 大规模应用到有 10 亿多个权重的深度神经网络，则训练速度最高可以加速 30000 倍，也就是说平时需要几千台机器训练几天才能出的结果用这种芯片几个小时就可以搞定，而且能效还要低得多。
当然，论文只是提出了一种概念，这种芯片目前还处在研究阶段，同时鉴于普通非易失性内存尚未进入主流市场，所以这样的芯片上市估计还需要几年的时间。不过如果这种芯片的确有那么大的计算和能效优势的话，相信 Google、Facebook 等从事 AI 研究和应用的巨头一定会关注的，而 IBM 本身也是 AI、大数据的积极参与者之一，东西要是做出来市场是应该不用发愁的。