创新存储架构：侧向堆叠HBM模块带来更凉爽更强大的AI GPU

据 Tom’s Hardware（https://www.tomshardware.com/tech-industry/semiconductors/researchers-turn-hbm-on-its-side-to-tackle-ai-memorys-heat-wall-korean-v-die-and-japanese-mosaic-designs-promise-higher-bandwidth-denser-stacks-and-cooler-future-gpus）报道，韩国和日本的研究人员正在开发新型存储架构，旨在突破高带宽存储器（HBM）目前的极限。他们采用侧向堆叠的DRAM模块，这种设计能够实现更高效的散热、更高的带宽以及更密集的堆叠。这些创新有望显著提升未来AI GPU的性能，同时减少热瓶颈。

传统HBM面临的挑战

HBM多年来一直是高性能GPU中快速图形存储的标准，尤其是在人工智能和机器学习领域。通过硅通孔（TSV）实现的垂直堆叠存储芯片，能够在较小空间内实现高速数据传输。然而，这种设计正逐渐遇到物理极限：堆叠中的热量难以控制，TSV连接的复杂性限制了最大堆叠高度，从而限制了存储容量。

侧向堆叠存储的解决方案

韩国研究人员提出了所谓的V-Die设计，将DRAM芯片不是垂直堆叠，而是侧向并排排列。这种排列大幅提升了散热效率，因为冷却机制的表面积得以扩大。同时，该设计允许更密集的堆叠，因为减少了对TSV的依赖，而TSV此前一直是瓶颈。与此同时，日本研究团队开发了MOSAIC概念，同样采用侧向堆叠，并利用模块化连接来提升带宽和灵活性。这两种方案都承诺在降低运行温度的同时，显著提升存储带宽和容量。

重要性

AI加速器的性能在很大程度上依赖于存储的速度和容量。随着模型复杂度和数据量的增加，现有HBM代际面临瓶颈。改进的存储架构如V-Die和MOSAIC可能成为推动下一代GPU和专用AI芯片更高效、更强大的关键。更好的散热还能降低能耗，提高硬件可靠性，这在高负载的数据中心尤为重要。此外，新设计还可能降低生产成本，因为对复杂TSV结构的需求减少。

展望

尽管侧向堆叠存储设计仍处于研究阶段，初步模拟和原型展示了良好前景。商业产品的集成仍需数年时间，因为制造技术和标准需相应调整。尽管如此，这些发展标志着存储技术的重要进步，有望突破当前HBM模块的限制，持续提升未来AI硬件的性能。

来源

- Tom’s Hardware: Researchers turn HBM on its side to tackle AI memory’s heat wall — Korean V-Die and Japanese MOSAIC designs promise higher bandwidth, denser stacks, and cooler future GPUs (https://www.tomshardware.com/tech-industry/semiconductors/researchers-turn-hbm-on-its-side-to-tackle-ai-memorys-heat-wall-korean-v-die-and-japanese-mosaic-designs-promise-higher-bandwidth-denser-stacks-and-cooler-future-gpus)