AI大模型与异构算力融合技术白皮书-142页-慧读报告

中国信通院，发布《AI大模型与异构算力融合技术白皮书》，全文共142页。

以下是报告核心简要，如需下载报告全文，请查看文末下载方式。

随着ChatGPT、Sora等应用的爆发，AI大模型的参数规模已从千亿级迈向万亿级，甚至数十万亿级。据行业测算，训练Llama 4的成本预计高达数亿美元，而2020年训练GPT-3的成本约为450万美元——五年间，训练成本增长超过66倍，形成了远超摩尔定律的“逆摩尔定律”现象。

面对这场前所未有的算力需求海啸，任何单一架构的计算芯片（如CPU或GPU）都独木难支。异构计算（Heterogeneous Computing）通过集成CPU、GPU、FPGA、ASIC等不同类型计算单元，针对不同任务发挥各自优势，已成为支撑大模型研发与应用的关键基础设施。

大模型训练正面临三大核心瓶颈，制约着其进一步发展：

算力墙（Compute Wall）：

单卡算力存在物理上限。即便最先进的GPU，其计算能力也难以满足万亿参数模型的训练需求，必须通过大规模集群扩展。然而，单纯增加计算单元面临边际效益递减的困境。
存储墙（Memory Wall）：

内存带宽和容量成为关键瓶颈。万亿参数模型需要数百GB到数TB的内存容量，数据加载、参数交换等内存密集型操作极易成为性能瓶颈。研究指出，AI训练未来的瓶颈可能从算力转向GPU内存。
通信墙（Communication Wall）：

大规模分布式训练中，节点间的通信开销巨大。无论是芯片内部、芯片间还是加速器之间的通信，都已成训练瓶颈。过去20年，算力提升了90,000倍，而互连带宽仅提高30倍，通信滞后问题日益严峻。

（图：大模型训练面临的“三堵墙”示意图）

图解：算力墙、存储墙、通信墙共同构成了大模型算力需求的核心挑战。

为何异构计算是应对上述挑战的必然选择？因为它能通过“分工协作”实现效率最大化：

通过异构架构，系统可以将训练任务分配给GPU集群，将高并发推理任务卸载到ASIC，将特定预处理任务交给FPGA，并由CPU统一调度，从而实现整体性能和能效的最优化。

（图：异构计算架构示意图：CPU为指挥中心，GPU/FPGA/ASIC为各具特长的执行单元）

将多种硬件高效融合，并支撑起大模型的训练与推理，依赖于一整套复杂的技术栈：

张量并行（Tensor Parallelism）：

将单层模型（如一个巨大的矩阵运算）拆分到多个设备上，适合单层参数量巨大的场景。
流水线并行（Pipeline Parallelism）：

将模型不同层分配到不同设备，形成计算流水线。适合层数很多的模型。
数据并行（Data Parallelism）：

将数据分片，每个设备持有完整模型副本。这是最常用但通信开销大的方式。
模型并行（Model Parallelism）：
混合并行（Hybrid Parallelism）：

实际生产中，通常混合使用上述策略（如4D并行），以实现万卡甚至十万卡集群的极致扩展。
软件栈与编译器技术：
AI框架适配：

如PyTorch、TensorFlow通过插件机制（如华为的torch_npu）支持昇腾、寒武纪等国产芯片。
编译优化：

如MLIR、TVM等编译器技术，通过算子融合、内存优化等手段，将计算图高效编译成适合特定硬件的代码。
推理加速与部署技术：
模型压缩：

量化（INT8/INT4）、剪枝、蒸馏等技术，大幅减小模型体积和计算量。
KVCache（键值缓存）：

在自回归生成任务中缓存历史计算的Key/Value向量，避免重复计算，将注意力计算复杂度从O(n²)降至O(n)，是长文本推理的关键优化。

技术演进永无止境，两大趋势正塑造未来：

超异构计算（Ultra-Heterogeneous Computing）：

进一步集成CPU、GPU、FPGA和DSA（领域专用架构），目标是接近CPU的通用性和ASIC的极致效率，实现更精细的任务划分和专用加速。
算力网络（Compute Power Network）：

未来，算力将像水电一样成为可随时调用的基础设施。通过云、边、端协同，实现跨地域的算力资源统一调度与交易，让用户按需获取最适合的异构算力。