我还了解到现在Google 的Olivier Temam曾经和您合作研究过寒武纪Diannao系列芯片,对于谷歌这款TPU,您怎么评价?
TPU上的内部结构
答:Google这次在ISCA 2017上发表的TPU仍然沿用传统脉动阵列机的结构,从google的数据看,对某些特定workload效率还不够好。事实上,这类结构我们早在ISCA2015上发表的ShiDianNao就已经讨论过了(Google的同行也非常了解我们这个工作),同时MIT于2016年前后发表的Eyeriss也是类似的架构。
脉动阵列机在深度学习上优缺点现在已经逐渐被学术界和工业界所熟知,那就是做卷积时效果不错(可能在退化情形的卷积上也会遇到困难),但是做其他类型的神经网络运算,可能效率不是那么高,通用性不是那么的好。
寒武纪没有走脉动阵列机的技术路线,而是迈出了具有寒武纪特色的一条通用智能处理器之路。当然Google未来一定会持续更新TPU的架构,我们十分期待未来继续与国际工业界和学术界同行同台竞技。
值得一提的是,Google发布的TPU论文,全文共引用了寒武纪团队成员前期发表的6篇论文(世界范围内可能没有另外一系列工作受到Google同行如此程度的关注),并有专门的段落回顾我们这一系列工作,并且在提到DaDianNao/PuDianNao/ShiDianNao时还专门用英文注释这几个名字的含义(Big computer, general computer, vision computer),对我们前期工作显示了相当的尊重。
非常值得骄傲的是,我们早期与Olivier Temam教授共同开展的这一系列开拓性学术工作,已经成为智能芯片领域引用次数最多的学术论文,成为世界范围内研发智能芯片必读的文献。如您所提到的,与我们共同开展DianNao系列学术研究的Olivier Temam教授,他本人在几年前就已经加入了Google。相信他会把DianNao系列的学术思想融入TPU后续的版本,把TPU的事业继续推向新高度。我坚信,未来不论是寒武纪或是Google TPU的成功,都会让DianNao系列架构在处理器发展史上留下浓墨重彩的一笔。
据传Google发布的TPU论文获得了ISCA2017(国际处理器架构年会)的同行评议第一名。而去年的ISCA2016的同行评议得分最高论文正是由寒武纪团队七名核心成员与UCSB的谢源教授共同发表的关于Cambricon指令集的学术论文。而Cambricon正是寒武纪公司的英文商标,这次也随同对这篇论文的引用进入了Google TPU的论文。