存算一体AI芯片的发展现状

爬爬科技说

5月25日，涵盖轻量级神经网络模型设计、模型压缩、AI推理引擎、嵌入式AI芯片架构创新等主题的GTIC 2021嵌入式AI创新峰会在北京举行。此次会议中，知存科技CEO王绍迪提出的“存算一体AI芯片”再度引发业界关注。
所谓“存算一体AI芯片”，是指将传统以计算为中心的架构转变为以数据为中心的架构，其直接利用存储器进行数据处理，从而把数据存储与计算融合在同一芯片中，极大提高计算并行度与能量效率，特别适用于深度学习神经网络领域，如可穿戴设备、移动设备、智能家居等场景。本文将从传统计算架构面临的瓶颈出发，结合存算一体AI芯片的特性及竞争格局等方面做具体介绍。
1、冯·诺依曼计算架构面临瓶颈
在经典的冯·诺依曼计算架构下，数据存储与数据处理相互分离，存储器与处理器之间通过数据总线进行数据传输。在当前面向大数据分析的应用场景中，冯·诺依曼计算架构已成为高性能低功耗计算系统面临的主要瓶颈之一。一方面，数据总线的有限带宽严重制约处理器的性能与效率，另一方面，存储器与处理器之间也存在严重的性能不匹配问题。
具体而言，在执行运算时数据从存储器经过数据总线进入处理器，数据处理后再转移到存储器当中。这就好比一个沙漏，其中沙子代表数据，沙漏两端分别代表存储器和处理器，连接沙漏两端的狭窄通道代表数据总线，存储器带宽在很大程度上限制了处理器的性能发挥，此种现象被称为“存储墙瓶颈”。此外，数据在存储器与处理器之间的频繁迁移带来严重的传输功耗问题，称为“功耗墙瓶颈”。由于存储墙瓶颈和功耗墙瓶颈的存在，冯·诺依曼计算架构不再适用于AIoT场景，因此亟需新型的计算架构应对未来应用场景的挑战。


2、存算一体AI芯片的发展历程
存算一体（Logic-in-Memory）最早可追溯至20世纪60年代，斯坦福研究所的Kautz等人于1969年提出了存算一体计算机概念，后续研究主要围绕芯片电路、计算架构、操作系统、系统应用等层面展开，如加州大学伯克利分校（UC Berkeley）Patterson等人成功把处理器集成在DRAM内存芯片当中，实现智能存算一体的计算架构。但受限于芯片设计复杂度与制造成本问题，以及缺少大数据应用驱动，早期的存算一体仅停留在研究阶段，并未得到实际应用。
近年来随着物联网、人工智能等应用领域的兴起，技术得到国内外学术界与产业界的广泛研究与应用。2016年，美国加州大学圣塔芭芭拉分校（UCSB）的谢源教授团队提出利用RRAM构建基于存算一体架构的深度学习神经网络(PRIME)，受到业界的广泛关注。测试结果表明，与基于冯·诺依曼计算架构的传统方案相比，PRIME可以实现功耗降低约20倍、速度提高约50倍。该方案可以高效地实现向量-矩阵乘法运算，在深度学习神经网络加速器领域具有广阔的应用前景。此外，杜克大学、普渡大学、斯坦福大学、马萨诸塞大学、新加坡南洋理工大学、惠普、英特尔、镁光等国际知名大学及企业均开展了相关研究工作，并发布了测试芯片原型。
我国在这方面的研究也取得一系列成果，如中科院微电子所刘明教授团队、北京大学黄如教授与康晋锋教授团队、清华大学杨华中教授与吴华强教授团队、中科院上海微系统所宋志棠教授团队、华中科技大学缪向水教授团队等，相继发布相关器件和芯片原型，并通过图像/语音识别等应用进行了测试验证。
3、存算一体AI芯片的主要特性


存算一体计算的核心思想，主要是将带权重加乘计算的权重部分存在内存单元中，然后在内存的核心电路上修改，从而让读出的过程就是输入数据和权重在模拟域做点乘的过程，相当于实现输入的带权重累加，即卷积运算。同时，由于卷积运算是深度学习算法中的核心组成部分，因此存内计算非常适合AI，对未来AI芯片的存算一体和算力突破有所帮助。
目前基于NOR Flash的存算一体芯片受到产业界的格外关注，其主要利用浮栅晶体管的模拟特性完成模拟乘加法运算。一个Flash存储器中有几十亿个Flash晶体管，如果每个Flash晶体管的模拟特性都利用起来，则可以达到几十亿个乘加法的并行运算单元。存储器中的矩阵自动完成向量×矩阵的运算，最多可以读取1,024个数据，相当于存储器一次可以完成一百万个乘法和一百万个加法的运算。如果用冯·诺依曼架构来执行，则需对存储器读取几万次左右，再做百万次的乘法和加法运算。在存算一体芯片中只需一次读操作就可以完成并行计算，运算效率可以显著提升。
4、存算一体AI芯片的竞争格局
自2016年UCSB发布存算一体AI芯片第一个样片以来，多家国内外初创企业陆续开展相关研发，如美国Mythic、Syntiant、中国知存科技和闪亿半导体等，并得到包括Intel、ARM、Bosch、Amazon、Microsoft、Softbank、中芯国际等国内外主流半导体企业与资本的产业投资。
1）国外主要企业
从国外情况来看，美国存算一体AI芯片初创公司Mythic于2020年底推出第一代AI芯片M1108，该芯片采用更加成熟的模拟计算技术，使得网络边缘设备访问更加容易。在典型的深度神经网络工作负载下，M1108可达到每秒35万亿次操作的峰值性能，功耗仅为4W。Mythic在今年C轮融资中筹集7,000万美元，由美国云服务供应商慧与科技和著名投资管理机构贝莱德领投，自成立以来Mythic的总融资额已达到1.65亿美元。此外，美国另一家专注于语音识别的存算一体AI芯片公司Syntiant也受到微软、英特尔、亚马逊、博世等国际巨头的支持，高通曾邀请Syntiant提供可穿戴设备芯片的语音解决方案。
2）国内主要企业
（1）知存科技
知存科技为我国存算一体芯片的代表企业，其创始人王绍迪和郭昕婕夫妇均毕业于北京大学信息科学技术学院微电子专业，本科毕业后二人选择共同赴美留学。其中，王绍迪进入加州大学洛杉矶分校攻读博士学位，研究新型存储器，而郭昕婕选择加州大学圣塔芭芭拉分校，专注研究基于NOR Flash的存算一体芯片技术，并于2016年研发出全球第一个多层神经网络的存算一体深度学习芯片技术，首次完成存算一体的芯片验证。2017年王绍迪归国创立了知存科技，进军存算一体芯片市场，致力于开发基于浮栅技术的数模混合存算一体AI芯片，该芯片运算过程中无需缓存、内存和逻辑运算，彻底消除了冯·诺依曼计算架构的瓶颈，进一步提高运算效率并降低芯片成本。目前知存科技推出存算一体加速器WTM1001和存算一体SoC芯片WTM2101，WTM系列芯片用于低功耗AIoT应用领域，如可穿戴设备和智能终端设备。
（2）闪亿半导体
闪亿半导体于2019年推出一种新型的存算一体SoC芯片，其应用人工突触忆阻器技术，在实现深度神经网络模拟计算的同时，可极大降低人工智能模块的成本，将在未来的物联网生态中发挥重要作用。据了解，闪亿半导体于2017年创立，创始团队分别毕业于清华大学和北京大学，专注于研发和生产存储-运算阵列的SoC芯片。公司推出的闪锌石HEXA01作为首款集成PLRAM忆阻器阵列的芯片产品，其算力功耗比可达到10TOPS/W，而成本却比传统AI芯片下降一半以上，能够支持多种神经网络模型，广泛应用于家电和物联网设备的智能控制领域。
（3）新忆科技
新忆科技成立于2018年，是一家拥有核心技术和自主研发能力的创新型高科技公司，致力于成为新型存储器技术及应用的领军企业。公司主营业务为新型阻变存储器（RRAM）及其周边产品。包括基于RRAM的类脑计算芯片，采用新型的存算一体计算架构、独立式存储器、嵌入式存储器和周边的SoC产品，应用领域涵盖物联网、消费电子、医疗电子、网络通信设备、汽车电子和工业控制设备等。公司原始技术及创始团队均来源于清华大学新型存储器团队，联合创始人包括清华大学多位知名教授，团队拥有国际性的学术影响力和资深的行业经验。
（4）恒烁半导体
恒烁半导体于2015年11月完成第一款65nm NOR Flash产品研发，2016年1月系列产品开始送样、新产品流片；2017年3月，SPI NOR Flash出货量突破1亿颗；2019年2月，与中国科大团队共同研发基于NOR Flash的神经网络存算一体加速芯片开始流片，同年7月芯片系统演示顺利完成。
5、存算一体AI芯片的市场前景
目前存算一体AI芯片主要应用于音频类、健康类及低功耗视觉端侧应用场景中。在语音识别领域，存算一体AI芯片不仅能实现语音唤醒功能，并支持通话降噪、声纹识别等功能。此外，健康领域应用也可以通过存算一体芯片实现，由于健康类算法的运算量比语音类更小，因此芯片功耗相应更低。
从下游市场空间来看，Mordor Intelligence Analysis数据显示，2018年全球可穿戴设备销量1.82亿件，预计2024年销量将达到5.16亿件，年均复合增长率19.01%。根据Strategy Analytics发布的数据，全球智能家居市场规模在2023 年有望达到1,570亿美元。在此背景下,存算一体AI芯片的市场前景将持续向好。

版权免责声明：
本文章出于业界同行交流的目的，内容仅供参考，不支持任何形式的决策依据及投资建议。关于文章内容，均是基于公众公司属性，根据其公开信息整理，不为未来变化做背书，未来发生任何变化与本文无关。部分内容、图文来自网络，其版权属原作者所有。如涉及作品版权问题，请与本知乎账号后台联系。

-----------------------------

a安晴

不提三星的PIM，是看不起三星么