7-1 深度学习硬件：CPU和GPU

L 3 L3 L3、 L 2 L2 L2、 L 1 L1 L1为cache，数据只有进入寄存器的时候，才能开始运算。

（此图错误，一个矩阵应该是按行存储的！）

• GPU的核要远远多于CPU，从而TFLOPS，GPU每秒能做的浮点运算要远远多于CPU
• GPU的内存和带宽要比CPU大得多

CPU和GPU之间并不是独立的，因为任务其实都是跑在CPU上的。