一个 Token,
如何在本地生成?

从权重读取到 Token 输出,了解本地推理与 KV Cache 的建立和复用。

查看推理数据流

一次 Decode 的数据访问

权重保持不变;历史 K/V 被复用,新 K/V 逐步追加,预测结果进入下一轮。

读取本步需要的权重

模型权重保持不变,调度器为当前计算组织所需数据。

四步理解本地推理

权重驻留、调度与解码、并行计算和 Token 输出的四阶段立体路径
本地推理路径
数据搬运 / 计算 / 输出
当前步骤01 / 04

权重驻留

模型权重从本地存储进入设备可访问的内存层级,为后续推理准备数据。

数据路径模型权重 / 内存

先处理上下文,
再逐步生成。

Prefill 建立上下文缓存,Decode 复用历史 K/V 并逐步生成。

64

Prefill:处理已有输入。

一次处理给定上下文,建立注意力层的 K/V 缓存,得到首个 Token 预测。

输入上下文64
Decode 步数0
K/V 位置示意64
查看本地推理对话演示

查看 D100 封装与数据通路

打开架构实验室