AI 算力芯片对高带宽内存（HBM）的依赖程度正在不断加深。过去两年间，算力大约每代增长 3 倍，HBM 带宽每代增长却不到 2 倍*；与此同时，主流稀疏 MoE 模型的参数量跨入万亿级别，仅 1.6T INT4 模型的权重体量就接近 800GB。在不少实际部署中，系统增加算力卡并不是因为计算单元不够快，而是单卡内存容量装不下模型权重。到 2025 年第四季度，主流 AI 芯片中 HBM 占 BOM 的比例已经超过 60%。

除了 HBM 颗粒本身的采购成本之外，芯片设计团队在工程落地上还面临另一个现实问题：随着单颗芯片挂载的 HBM 堆栈数量从 4 颗增加到 6 颗、8 颗甚至更多，沿用了十余年的“计算 SoC 与 HBM 紧耦合”架构，在芯片面积、封装良率、散热以及产品迭代上正变得越来越不经济。

在近期的 2026 全球 AI 芯片峰会上，奎芯科技联合创始人兼副总裁王晓阳全面介绍了一种不同的工程思路：通过一颗独立的 ML100 IO Die，配合标准化的 UCIe 接口，将 HBM 从主计算芯片（SoC/xPU）边缘解耦出来。

一、HBM堆栈数增加，传统紧耦合架构遭遇工程限制

传统的 HBM 集成方式很直接：在单颗计算 SoC 的四周边缘排布 HBM 物理层接口和控制器，再通过一整块硅中介层，把计算 Die 与四周的 HBM 堆栈封装在一起。

当计算 Die 面积适中、HBM 颗数较少时，这种紧耦合方式延迟最低、结构也简单。但当单卡需要挂载更多 HBM 时，四个工程限制开始集中显现。

首先是计算芯片的边长限制。HBM 采用宽并行总线接口，需要在 SoC 边缘占用较长的物理周长。一颗 SoC 最多能排下几颗 HBM，直接受限于计算 Die 的最大尺寸边界。如果为了多挂 HBM 而把计算 SoC 的面积做大，在 6nm、5nm 等先进逻辑工艺下，增加的晶圆成本非常可观。

其次是硅中介层的尺寸与良率问题。紧耦合方案要求硅中介层同时覆盖中心的大尺寸 SoC 和外围所有 HBM 堆栈，整体尺寸往往达到 50mm × 35mm 甚至更大。硅中介层面积越大，单片晶圆切出的数量越少，2.5D 封装的良率折损也越明显，同时还要面对当前 2.5D 先进封装产能紧张的制约。

第三是散热压力。AI 计算 SoC 是整张卡上的主要热源，而 DRAM 颗粒对温度非常敏感。当温度升高到一定阈值之上，HBM 极可能提高刷新频率，直接影响有效带宽和运行稳定性。把高功耗的计算芯片和热敏感的 HBM 紧挨着放在同一块硅中介层上，系统散热设计的难度很大。

第四是工艺绑定与迭代成本。数字计算逻辑适合向先进制程演进以提升算力密度，但包含大量模拟电路的 HBM PHY 在先进制程下面积缩减有限，跨工艺移植的研发和流片费用却很高。此外，一旦将 HBM 接口固定在主 SoC 内部，后续只要调整 HBM 搭载数量或更换内存代际，整颗主芯片就必须重新流片。

二、ML100 IO Die 的解耦方案与两级互联结构

要绕开上述限制，核心做法是把计算逻辑和内存接口拆开——主计算芯片只负责计算，HBM 接口和硅中介层交给独立的 IO Die 处理。

计算、缓存、I/O 与内存接口的功能分区，正成为高性能 AI 芯片架构演进的重要方向。AMD 的 CDNA 5 架构通过不同功能芯粒的组合实现模块化集成，NVIDIA Blackwell 则通过双 Die 与高速片间互联扩展计算规模。这些方案的具体架构并不相同，但共同体现了一个趋势：随着芯片规模和系统复杂度上升，功能划分与芯粒间互联能力正成为架构设计的重要变量。奎芯 ML100 IO Die 则聚焦于其中一个具体问题——如何将 HBM 接口从主计算芯片中独立出来。

奎芯科技已经流片交付的 ML100 IO Die（HBM+UCIe）正是基于这一逻辑设计的独立芯粒产品。在该方案下，主计算芯片（SoC）边缘不再集成庞大的 HBM PHY，只保留标准化的 UCIe 接口；HBM PHY、控制器以及硅中介层全部收敛到外围的 ML100 IO Die 模组中。

在具体工程实现上，ML100 IO Die 采用了两级互联结构：

第一级是模组内部的局部 2.5D 互联。ML100 IO Die 采用国产 12nm 工艺制造，芯片尺寸为 11.9mm × 11.5mm，内部集成 HBM3 PHY、控制器、NoC 以及 UCIe 接口。单个模组采用 2 颗 HBM 堆栈摆放，HBM 颗粒与 IO Die 之间通过一块约 24.7mm × 13.5mm 的 5 层 Metal 硅中介层（采用 Microbump）连接。

第二级是有机基板上的跨芯粒互联。硅中介层只停留在局部模组内部，不再延伸到主计算 SoC 下方。ML100 IO Die 的 UCIe 接口通过硅通孔（TSV）连接到 20 层有机基板，再通过 C4 bump 与主 SoC 内部的 UCIe 接口互连。

为了保证解耦后不出现带宽瓶颈，单颗 HBM3 堆栈的 819GB/s 峰值带宽在 IO Die 侧由 16 组 UCIe 通道（256 TX + 256 RX，单通道速率 > 25.6Gb/s，最高支持 32Gbps）承接，两侧数据吞吐完全匹配。

三、解耦带来的四个具体改变

把 HBM 接口和硅中介层从主芯片剥离并收进独立的 ML100 IO Die 模组后，芯片厂商可以在开发和量产阶段获得四个直接收益。

一是硅中介层面积缩小，封装与互连综合成本下降 18% 以上。传统方案中，整块大尺寸硅中介层的制造和合封良率折损占了很大一部分成本。拆分为独立的 IOD 模组后，硅中介层缩减为 24.7mm × 13.5mm 的小尺寸模块，且 IOD 模组可以先单独完成封装测试，再与主 SoC 合封。以 200 片 SoC 晶圆的量产规模对比（包含 IO Die、IP、硅中介层与封装基板成本，不含主 SoC 与 HBM 颗粒成本），解耦方案可将这部分综合成本降低 18% 以上。

二是主计算芯片的工艺和面积得以独立优化。芯片厂商可以将宝贵的 6nm、5nm 等先进制程面积全部用于核心计算单元，而将模拟电路占比较高、对先进制程不敏感的内存接口放在 12nm 的 IO Die 上。同时，用高带宽密度的 UCIe 替代主芯片边缘的 HBM PHY，能够直接减小主 SoC 面积，提高单晶圆的裸片产出数量。

三是缓解散热压力。借助有机基板上最远 25mm 的 UCIe 走线能力，高功耗的主 SoC 与热敏感的 HBM 模组可以在物理位置上拉开距离，减少主芯片向 HBM 的直接热传导，放宽系统散热设计条件。

四是提高产品规格迭代的灵活性。当主 SoC 内部统一使用 UCIe 接口后，芯片厂商无需重新流片主计算 Die，仅通过调整外围挂载的 IO Die 模组数量，或者将 1 颗与 2 颗计算 SoC 组合封装，就能快速推出不同算力和显存容量的产品版本。

四、跨芯粒互连的工程验证与架构延展

将 HBM 从大尺寸硅中介层中解耦出来，改由有机基板与主计算芯片连接，工程上的关键前提是：基板上的 Die-to-Die 互连必须具备足够的带宽密度与传输可靠性，不能因为架构解耦而引入新的链路瓶颈。

ML100 IO Die 所依赖的跨芯粒互联，建立在奎芯自研并已完成硅验证的 M2 UCIe 接口 IP之上。在标准基板封装条件下，该 IP 的单 lane 速率最高可达 32Gbps，支持最长 25mm 的基板互连距离。根据公开的测试结果，该方案在 25mm 互连条件下完成了 -40℃ 至 85℃ 的温度循环测试，连续 72 小时测试期间未观察到误码（BER = 0）。

在可靠性设计方面，方案还采用了硬件自动训练、AXI4.0 地址与数据奇偶校验及重传、HBM3 扩展汉明码 ECC，以及温度和电压监测等机制，从链路训练、数据传输到内存访问，为系统可靠运行提供支持。

目前，曾获评 EE Awards Asia 年度最佳 IP 的奎芯 ML100 IO Die 已完成流片并交付。更重要的是，将内存接口从主计算芯片中独立出来，并通过标准化的 UCIe 接口连接外部 IO Die，为计算芯片后续扩展不同内存介质提供了架构基础。

在这一思路下，奎芯正将相关设计经验拓展至面向高性价比推理场景的 LPDDR IO Die，并探索面向下一代三维堆叠内存的定制 Base Die。通过预先规划计算侧接口、带宽配置与系统协同设计，有望在满足具体应用需求的前提下，减少更换内存方案时对计算侧核心设计的重复开发。

关于标准封装下如何实现 25mm 基板长距离互联与 32Gbps UCIe 传输，以及这套解耦架构如何向更多内存介质延伸，我们将在后续系列文章中逐一展开。