第 7 期：片上互联
时间：11 月 26 日（周四）· 人数：2 人（两方向各 1 人） 形式与要求见 Paper Sharing 总页
一块芯片上，处理器、存储器、外设要互相通信。传统做法是为每一对模块拉专用线——模块一多，线数按平方增长，很快超出一块芯片能布下的线；而且这些线长短不一，电气特性难以预测。2001 年，Dally 提出一个反直觉的方案：不要拉线，让模块之间发包。方向①讲的是这件事在 die（芯片裸片）内怎么做。方向②把视线移到封装：当单个 die 受光刻掩模的最大曝光尺寸与良率限制长不大时，人们把多个小 die 封在一起，用封装内的网络连成一个芯片。
方向①：在 die 内
Route Packets 回答的是"为什么值得用网络"。它的第一条理由是电气特性：网络把顶层布线变得规则，参数可控，于是可以用低摆幅电路——功耗降约一个数量级，信号速度提到约三倍。第二条理由是资源分布：片上的线远比片间的引脚多，每个模块（tile）四边约有 24,000 条可用线，而片间路由器历史上不到 1,000 条。线多，意味着片上可以把 flit（流控单元，可以理解为一个小包）做宽、把拓扑做丰富；也意味着真正稀缺的是缓冲，而不是引脚。代价是路由器要占面积，示例网络中约占 tile 的 6.6%[1]。
Flattened Butterfly 关注的是另一个问题：路由器的端口数（radix）越来越高时，拓扑该怎么选。它把 butterfly 的多级跳压缩成每一维只跳一次，于是两个节点之间存在 j! 条等价的最短路径（j 为地址不同的维数）——这是它与传统 butterfly 的本质区别，后者必须按固定顺序访问各维，只有唯一路径。在均匀随机流量、等分带宽相同的条件下，它的吞吐是 folded-Clos 的两倍，成本约为一半；但换成最坏排列流量，最小路由只剩约 3% 吞吐，必须改用非最小全局自适应路由[2]。
方向②：在封装内
MCM-GPU 回答的是"单个 die 长不大怎么办"。它列出三条硬约束：晶体管缩放放缓，靠增加 SM 提升单 GPU 性能的路走到头；光刻掩模把最大 die 尺寸卡在约 800mm²；超大 die 的良率极低，成本不可接受。方案是把 GPU 切成易于制造的多个 GPU Module，用封装级高带宽信号把它们集成在一个封装内，组成 256 个 SM 的逻辑大 GPU。代价是封装内带宽低于片内，系统出现封装级 NUMA——访问远端模块的 DRAM 更慢。论文用本地缓存、分布式 CTA 调度与首次触碰页分配三项优化应对，最终比可实现的最大单片 GPU 快 45.5%[3]。
Simba 关心的是另一个问题：MCM 能不能用大量细粒度的小 chiplet 来做深度学习推理。它把 36 个 2.5mm×2.4mm 的 chiplet（小芯片，16nm）排成 6×6，每个 4 TOPS，整包 128 TOPS；互连分成两层：片内的 NoC（片上网络）连同一 chiplet 内的处理单元，封装内的 NoP（封装内网络）连各 chiplet，chiplet 之间用 GRS 这类低压封装级信号。论文发现，仅仅改变 chiplet 的放置方式，同一层的性能就能相差 2.5 倍；针对这种非均匀的延迟与带宽，它提出三项通信感知的 tiling 优化，ResNet-50 上达到 1988 张/秒、延迟 0.50 ms。这也是本期唯一流片并实测的工作[4]。
也欢迎自己找：和"片上互联"相关即可，确定后提前发邮件告知助教（zhu_20021122[at]stu.pku.edu.cn）。
参考文献
[1] Dally, Towles. Route Packets, Not Wires: On-Chip Interconnection Networks. DAC 2001.
[2] Kim, Dally, Abts. Flattened Butterfly: A Cost-Efficient Topology for High-Radix Networks. ISCA 2007.
[3] Arunkumar, Bolotin, Cho, Milic, Ebrahimi, Villa, Jaleel, Wu, Nellans. MCM-GPU: Multi-Chip-Module GPUs for Continued Performance Scalability. ISCA 2017.
[4] Shao, Clemons, Venkatesan, Zimmer, Fojtik, Jiang, Keller, Klinefelter, Pinckney, Raina, Tell, Zhang, Dally, Emer, Gray, Khailany, Keckler. Simba: Scaling Deep-Learning Inference with Multi-Chip-Module-Based Architecture. MICRO 2019.