统一执行三类计算
矩阵、向量与标量共享指令流和编程模型,在 PE 内完成计算与数据复用。
PE 簇、近存与外部接口的规划分工
中央 2×2 的 3D MEM 与周围 GPNPU PE 簇协同,让高频访问的权重靠近计算。
矩阵、向量与标量共享指令流和编程模型,在 PE 内完成计算与数据复用。
矩阵 MAC、向量单元与标量 ALU 共用指令流,通过本地 LRM 接续处理同一份数据。
矩阵 MAC 完成密集乘加,中间结果优先保留在 PE 本地 LRM,供后续向量或标量运算使用。
矩阵 MAC + 本地 LRM向量单元执行逐元素运算,通过本地驻留和 2D Mesh 互联复用 PE 阵列内的数据。
向量运算 + 片上数据复用标量 ALU 处理控制与寻址,与矩阵、向量单元使用同一编程模型。
标量 ALU + 统一编程模型数据读入本地 LRM,完成乘加与接续运算,再传递给后续算子。
共享或近存层把当前运算需要的工作数据送往 PE 本地 LRM。
逻辑 die 与存储制程解耦,按容量、带宽与成本组织存储。
从单 die 到同构多核,再到多 die Chiplet。编译器负责跨核切分与同步,软件沿用统一编程模型。
以上为通用 GPNPU 架构规划。D100 规划采用标准 BGA 基板与 UCIe3 互联。
容量按完整模型计算,带宽按每步激活参数计算。以下示例用于解释测算方法,产品适配范围见 D 系列规划。
完整的 250B 权重都需要空间
2/8 参与当前计算8/8 计入权重容量
完整模型的纯权重容量
250B 参数 ×0.5 Byte/ 参数
每一步读取 62.5B 激活参数
NVFP4,每参数 0.5 Byte
理论权重读取带宽需求
62.5B ×0.5 Byte× 100 token/s
测算假设:每步读取一次激活权重;KV Cache、激活与运行时开销另计。
精度配置:此处切换权重精度;激活精度需独立配置。
按区域、输入批次、网络层或独立任务分配计算,分别评估访存与调度开销。
各单元处理一部分空间区域,再组织边界信息与结果。适合从大分辨率输入中寻找可并行的工作。
每个单元保留相同模型,分别处理输入批次。扩展的是并发工作量,不能据此推断单个请求会等比例加速。
模型层分布在不同计算单元,前一阶段的结果成为后一阶段的输入。阶段间的数据传递与负载平衡同样重要。
将视觉、语言或音频等独立工作分给不同计算单元。各任务的时延、内存与调度约束需要分别评估。