国家ASIC中心单伟伟、杨军团队在ISSCC 2020发表AI芯片亮点论文
东南大学国家ASIC中心单伟伟、杨军、时龙兴教授的团队在ISSCC 2020发表语音关键词唤醒低功耗AI加速器亮点论文。芯片从算法、架构和电路三层优化，在28nm CMOS下实现0.41V工作电压和510nW功耗。较并行FFT，串行FFT电路存储量降低8×、功耗降低11×；逐帧数据复用使计算量降低17.4×。
2020 年 2 月 16-20 日，第 67 届 IEEE 国际固态电路峰会（ISSCC 2020）于美国旧金山
召开。这是世界上规模最大、最权威、水平最高的固态电路国际会议，被称为集成电路行业
的芯片奥林匹克大会。此次 ISSCC 的主题是“Integrated Circuits Powering the AI ERA”，
彰显了人工智能时代集成电路的重要地位。
本次会议新设了两个机器学习分会，且所有的四个主题演讲都与人工智能有关。两个机
器学习分会分别以高性能和低功耗为主题。其中“Low-Power Machine Learning”分会
(Session 14)面向的是可移动终端等对功耗有极致要求的领域，共收录 3 篇论文，而且都来
自于中国大陆，这展示了中国在 AI 芯片设计的学术领域已处于世界领先水平。亮点论文来
自东南大学国家 ASIC 中心单伟伟、杨军、时龙兴教授的团队。另两篇论文来自清华大学刘
勇攀教授团队和湃方科技，一篇是基于帧间数据计算复用的视频应用 AI 处理器，另一篇是
采用自适应稀疏系统级技术的存内计算神经网络处理器。
图 1 低功耗机器学习分会的 3 篇论文
我校的亮点论文是关于语音关键词唤醒的低功耗 AI 加速器的论文："A 510nW, 0.41V
low-memory, low-computation keyword spotting chip using serial FFT based MFCC
and binarized depthwise separable convolutional neural network in 28nm CMOS"。
该语音唤醒智能芯片从算法、芯片架构和电路三个层次统筹优化，如下图所示，算法级采用
基于串行 FFT 的 MFCC 特征提取和深度可分离卷积神经网络，极大降低了计算量和存储量；
架构级提出了语音数据的逐帧数据复用方法。这两个级别联合使得芯片可工作在极低频率
40kHz 下，进而促成了全芯片的近阈值设计和超低漏电的定制存储器电路，最终现了史上功
耗最低的关键词唤醒电路，功耗仅为 510 纳瓦。
图 2 语音唤醒智能芯片的算法、芯片架构和电路三个层次统筹优化
独特的创新技术如下：
（1）提出并实现了基于串行 FFT 的梅尔频率倒谱系数（MFCC）特征提取电路，同时用
混合量化逐层降低硬件实现代价。FFT 是特征提取中计算最复杂、功耗最大的模块，与传统
并行 FFT 相比，提出的串行 FFT 电路的存储量降低 8×，功耗降低 11×；
图 3 MFCC 特征提取电路结构及亮点
（2）深度可分离卷积神经网络的二值化轻量级神经网络，与 CNN 相比存储量和计算量
均降低 7×；基于此设计了契合算法的神经网络硬件架构，由计算单元（PE）阵列（含 32 个
乘累加 MAC 单元）、存储模块、数据映射模块及控制状态机组成；
（3）提出了逐帧数据复用技术，利用语音应用中相邻两帧输入数据的计算存在大量重
复导致的卷积计算中存在大量重复计算的特点，对神经网络中的数据的存储和计算量进行压
缩，使得计算量降低 17.4×，中间存储量减少 3.5×；
10
FFT
Mel
filters
m1 m2 m3 m4 m5 m6 m9 m10m7 m8
10
Collected Speech signal
FFT
Stage 1
Data
Stage 2 ...
BF BF BF...
... 2N
Buffer
2N
Output
Parallel FFT
2N
Input
2N
Buffer
...
VS
... Out
Data
BF BF
Buffer2N-1 Buffer2N-2
W
BF BF
Buffer2 Buffer1 W
In Data Serial FFT
Parallel FFT
Serial FFT
FFT comparison Storage
2N
NN 2.
MFCC Features
MFCC
circuit
time/ms
frame1
frame2
frame3
frame29
frame30
frame31
V
16ms
32ms
21
22
.
.
.29
30
31
updated
1
updated17
18
19
20
32
10 4 updated2
32
updated
2
32
321
9
updated
OR
1
3
Weight
CONV DSC DSCPW POOLING FC
Gray box:
eliminated
storage
1bit 1bit 1bit
1bit
0 1 2 8 9···
10 dim / frame
kw1
kw2
filter
1
2
.
.
.
19
20
1
2
.
.
.
1
2
.
.
.
17
18
1
2
.
.
.
17
16
18
Odd
Even
4
10
32
32
1
9
updated
1bit
33
32
1
1
32 32
3
288
Input features
10 dimension
*8b/frame
ACT1 ACT2 ACT3
Speech data MFCC features
Black box:
storage
Conv kernel
10*4*
32 channels
Only 1 frame is
different
DSC NN hardware with elimination of redundant storage and computations
Original Proposed
Conv
MEM Calculation MEM/bit Calculation
3× 20× 0.8K 5.12K
DSC 6.7× 18× 0.384K 0.576K
DSCPW 18× 18× 0.064K 2.05K
Pooling 9× 9× 0.128K 0.128K
FC 0.5× 1× 0.576K 0.86K
Memory (MEM) and Calculation Reduction Effect
图 4 深度可分离卷积神经网络架构及逐帧数据复用技术
（4）全芯片近阈值设计与定制的极低漏电存储器，再次降低功耗。前面算法级和架构
级的双重优化，使得整体神经网络加速器仅需 640 个周期就能完成一轮推理，在 16ms 的帧
间隔内完成即可，因此工作频率仅需 40kHz 下，这就促成了全芯片可采用近阈值设计。近阈
值设计的难点有二：存储器和漏电控制。我们定制了能工作在低电压下、且具有低漏电的
latch 型存储器，实现神经网络与 MFCC 所需的片上多块、多类型的小容量存储。定制 Memory
比工艺厂提供的 SRAM 编译器生成的同等大小的 SRAM 模块的漏电低了 12 倍，且可与其他数
字电路一起工作在近阈值 0.41V。
这些技术应用在 T28nm 的神经网络加速器，实现了史上最低的关键词唤醒电路芯
片,0.41V 电压下整体功耗仅 0.51uW，比国际同类研究降低了 10 到 564 倍，见对比表格。
ISSCC2017[2] VLSI2018[3] VLSI2019[4] ESSCIRC18[5]
Tech. 40 nm 28 nm 65 nm 65 nm
Voltage 0.63-0.9 V 0.57-0.9 V 0.6 V 0.575 V
Frequency 1.9 MHz 2.5 MHz 250 KHz 250 KHz
Latency 6.5 ms 0.5-25 ms 16 ms 16 ms
Keyword Num 10 words 1 word 10 words 4 words
Power 288 μW 141 μW 16.1 μW* 5 μW**
This work
28 nm
0.41 V
40 KHz
16 ms
2 words
0.51 μW
* 16.1 μW refers to the power of digital KWS system in [4], not including Analog Front-End.
* * Ref. [5] does not have MFCC circuit.
Dataset NA TIDIGIT GSCD NA GSCD
Accuracy NA 96% 90.87% 91.2% 93.6%
Memory 270 KB 52 KB 65 KB 32 KB
Core Size 7.1 mm2 1.29 mm2 2.56 mm2 1.04 mm2
2 KB
0.23 mm2
Algorithm DNN CNN LSTM LSTM DSCNN
来源：电子科学与工程学院·科技动态 · electronic.seu.edu.cn