输入上下文模型权重 + KV Cache
运行时调度D100 · GPNPU
下一轮解码Token逐步输出
一次 Decode 的数据访问
权重保持不变;历史 K/V 被复用,新 K/V 逐步追加,预测结果进入下一轮。
模型权重为本步组织所需数据
推理过程中参数不更新
推理过程中参数不更新
当前位置计算本轮输入进入模型
投影与矩阵运算注意力与历史复用后续模型算子
下一 Token输出预测
返回下一轮输入
返回下一轮输入
历史 K/V 缓存输入 64 个位置
当前保留 64 个位置
当前保留 64 个位置
读取本步需要的权重
模型权重保持不变,调度器为当前计算组织所需数据。
四步理解本地推理
本地推理路径
数据搬运 / 计算 / 输出
当前步骤01 / 04
权重驻留
模型权重从本地存储进入设备可访问的内存层级,为后续推理准备数据。
数据路径模型权重 / 内存
先处理上下文,
再逐步生成。
Prefill 建立上下文缓存,Decode 复用历史 K/V 并逐步生成。
已有上下文64 个输入位置
模型计算处理上下文,建立各层 K/V
K/V 缓存64 个位置已保留
首个预测得到下一个 Token 的预测
Prefill:处理已有输入。
一次处理给定上下文,建立注意力层的 K/V 缓存,得到首个 Token 预测。
Decode:复用历史,追加当前位置。
每步输入上一轮预测的 Token,读取历史 K/V,追加当前位置的缓存,再预测下一 Token。
输入上下文
Decode 步数
K/V 位置示意