AIInfraGuide 文章更新日志

本文持续记录 AIInfraGuide 知识库的内容更新，按时间倒序排列，方便大家了解最新动态。

2026-11-07

新增内容

模块四 · 推理优化 第 6 章「分布式推理与大模型部署」上线，从推理场景下的四种并行切法讲到 vLLM 的单机、多节点部署与对照实验，配置基于 vLLM v0.32.0，新增 10 张手绘风格示意图：

文章： 6.1 推理并行策略总览：模型装不下和服务不够快是两回事 | 用显存账本区分”装不下”和”不够快”，对比 TP、PP、DP、EP 切的是什么、要同步什么，给出选择并行度的顺序和可运行的估算脚本
文章： 6.2 张量并行推理：一层切成几份，每层同步两次 | 推导每层两次 AllReduce 的数据量与延迟，分析 GQA 下的 KV 头复制、NVLink 与跨节点带宽差距、TP 度对延迟和吞吐的影响，以及 vLLM 的 Custom AllReduce
文章： 6.3 流水线并行推理：按层切开，用多个 Batch 填满流水线 | 讲清段间传递的内容与通信量、Decode 为什么需要多个 Batch 同时在飞、层划分不均的处理，并用成本模型比较 TP×PP 组合
文章： 6.4 数据并行与专家并行：多开副本，以及让 Token 去找专家 | 从 Dense 模型的多副本讲到 MoE 的注意力 DP + 专家 EP，覆盖两次 All-to-All、空跑同步、负载不均模拟与 EPLB、DeepEP 与 DeepSeek-V3 的部署方案
文章： 6.5 多节点部署：用 Ray 或多进程把一个服务铺到多台机器上 | Ray 集群搭建与 rank 布局、多进程 --nnodes 写法、MoE 的多节点 DP + EP 启动、InfiniBand 与 GPUDirect RDMA 配置，以及通信自检脚本和排错表
文章： 6.6 vLLM 分布式部署实战：同样 8 张卡，三种切法一起测 | 在一台 8 卡机上对比 Llama-3.1-70B 的 TP8、TP4×PP2、TP4×DP2：启动前估算 KV 容量，启动后核对日志与指标，用 vllm bench serve 扫并发；并介绍用 DCP 消除长上下文的 KV 复制

调整内容

文章： 第 6 章分布式推理与大模型部署 | 章节导读按实际内容重写，补充信息时效说明和各小节链接

2026-11-01

调整内容

模块四 · 推理优化 第 3 章「nano-vllm 源码解读」6 篇文章修订：源码走读对齐 nano-vllm main 分支 2026-04-26 的提交，新增 3 张示意图，原有 8 张 Mermaid 图全部改为手绘风格 SVG，并修正了部分不准确的表述：

文章： 3.1 项目全景与四层架构 | 项目信息表更新代码行数、版本与依赖、Star 数；四层架构图与请求生命周期图改为 SVG；补充 Prefill 与 Decode 不混批的说明
文章： 3.2 配置、入口与一次 generate 的全流程 | 补充 tensor_parallel_size、ignore_eos 等参数的约束；说明 nano-vllm 不支持贪心采样，以及 README 示例不套对话模板的问题；补充 step 返回的 num_tokens 用正负号区分阶段
文章： 3.3 模型骨架与核心算子 | 张量并行切分图改为 SVG；新增 Sampler 一节；补充每层 2 次 all_reduce 的来源，以及 KV 头数限制 TP 度的说明
文章： 3.4 KV Cache 与 BlockManager | 前缀缓存一节拆成哈希链、登记、匹配三部分；新增前缀命中分配示意图，匹配流程图改为 SVG；补充最后一块不查表、命中在用块与空闲块的区别，以及整块粒度带来的复用截断
文章： 3.5 Scheduler 与连续批处理 | 序列状态图与调度闭环图改为 SVG；逐条解释 prefill 分支的三处 break、严格先来先服务带来的队头阻塞；补充抢占走重计算、while ... else 的执行条件
文章： 3.6 ModelRunner、CUDA Graph 与性能基准 | 新增 slot_mapping 计算图与 CUDA Graph 档位图，run 流程图与全章调用链图改为 SVG；补充 KV Cache 的 6 维布局、档位上限与 max_num_seqs 的关系；性能基准补充测试条件和结论的适用范围

模块四 · 推理优化 第 4 章「量化」6 篇文章修订：新增 7 张示意图，原有 4 张扁平风格插图重画为手绘风格，原有 Mermaid 图全部改为 SVG，并对照 vLLM v0.32.0 源码修正了部分表述：

文章： 4.1 量化基础 | 新增四种量化粒度图，重画对称/非对称量化数轴；补充 4-bit 对称量化的编码范围；PyTorch 量化参考资料改为 torchao 文档
文章： 4.2 W8A8 与 SmoothQuant | 重画配对缩放图，离线量化流程图改为 SVG
文章： 4.3 Weight-only INT4 | 新增 W4A16 打包与片上反量化图、GPTQ/AWQ 对比图，Marlin 流水线图改为 SVG
文章： 4.4 KV Cache 量化 | 重画 KIVI 分组示意图；补充 Value 残留区按滑动窗口逐 Token 量化移出的说明
文章： 4.5 FP8 与 NVFP4/MXFP4 | 新增 FP8 与 INT8 刻度分布对比图，重画 FP4 微块缩放图；在线 FP8 方案补充 fp8_per_channel
文章： 4.6 量化选型与 vLLM 实战 | 选型流程图改为 SVG；修正在线 FP8 的加载方式（v0.32.0 先建在 meta 设备上逐层转换，不会整份载入 16-bit 权重）

模块四 · 推理优化 第 5 章「Speculative Decoding」修订：新增 1 张示意图，原有 4 张 Mermaid 图全部改为手绘风格 SVG，并对照 vLLM v0.32.0 源码修正了部分表述：

文章： 5.1 投机解码核心原理 | Draft + Verify 一轮流程图改为 SVG，按 γ = 4 标出接受、修正与作废的位置；新增残差采样保分布示意图，用第 7 节的数值演示两条路径相加等于 p
文章： 5.2 Draft 模型与无模型方案 | N-gram 查找流程图改为 SVG，标出 vLLM 取最长、最早匹配的规则；修正 ngram_gpu 的适用范围（V1、V2 Model Runner 都可用）；补充 Suffix 不设候选上限时的默认值
文章： 5.3 Medusa、EAGLE 与 MTP | Draft Tree 图改为 SVG，与第 8 节实验同一棵树，画出树形 Mask 与按深度编号的 Position ID；补充 Block 验收只在 V2 Model Runner 中实现；修正 MTP 免版本错配的适用条件
文章： 5.4 收益边界与限制 | 调度循环图改为 SVG，补充同一 Batch 内不同请求步长不同的示例；修正 Adaptive Verification 的支持范围（不只 DSpark），以及 N-gram/Suffix 在高 QPS 下的收益描述
文章： 5.5 vLLM 投机解码实战 | 逐位置接受指标改用实际暴露的 ..._per_pos_total 名称并说明计数含义；补充 --speculative-config 的简写 -sc

2026-10-29

调整内容

模块四 · 推理优化 第 2 章「推理引擎核心技术」全面修订：5 篇文章新增 9 张示意图，参数默认值与源码走读对齐 vLLM v0.32.0，并修正了部分过时或不准确的表述：

文章： 2.1 PagedAttention：像操作系统管理内存一样管理 KV Cache | 新增 Block Table 映射图与碎片对比图；gpu_memory_utilization 默认值更新为 0.92；补充 V1 抢占只走重计算、不再使用 Copy-on-Write；修正 free_blocks 的空闲队列入队逻辑
文章： 2.2 Continuous Batching：让 GPU 不再空等的动态批处理 | 新增 Static 与 Continuous Batching 时间线对比图；用空转槽位算例和 Orca 论文数据替换无出处的利用率数字；抢占伪代码改为源码中的重试循环
文章： 2.3 Prefix Cache 与 RadixAttention：复用共享前缀的 KV | 新增链式块哈希图与 Radix Tree 示例图；补充 cache_salt、哈希种子与 RadixAttention 的引用计数、先淘汰叶子的 LRU 和按缓存命中调度
文章： 2.4 Chunked Prefill 与统一 Token Budget 调度 | 新增分块时间线图与 Token 预算装箱图；说明 vLLM 的块长由剩余预算决定；补充 long_prefill_token_threshold 与官方 max_num_batched_tokens 调优建议
文章： 2.5 Attention 后端与图优化 | 新增 Kernel 启动与 CUDA Graph 对比图、Piecewise CUDA Graph 图；补充按 GPU 架构的默认后端；修正 CUDA Graph 的 Padding 规则与 V1 默认的 FULL_AND_PIECEWISE 模式

2026-10-26

调整内容

模块四 · 推理优化 第 4 章「量化」6 篇文章修订，框架相关内容对齐 vLLM v0.32.0，各篇补充信息时效说明，并重新组织章节结构：

文章： 4.1 量化基础：Scale、粒度与 PTQ/QAT | 用”刻度有限的尺子”重写量化与反量化的讲解；位宽、矩阵轴与量化粒度拆成独立小节；校准单列一章，讲清量程选择与静态、动态校准
文章： 4.2 W8A8 量化：SmoothQuant 如何处理激活离群值 | 等价缩放补充公式与单个点积的直观推导；平滑系数一节改为讲迁移强度 α 的选择；补充离线流程、收益与适用条件，以及可动手验证的点积示例
文章： 4.3 Weight-only INT4：GPTQ、AWQ 与 Marlin | 补充 GPTQ 的代价与效果、AWQ 用缩放代替混合精度的思路；新增 vLLM 中的 Kernel 选择、量化工具选择与排查顺序
文章： 4.4 KV Cache 量化：KIVI 与 FP8 缓存 | 新增 KV 占用估算；FP8 KV Cache 一节按 v0.32.0 重写，覆盖格式选择、Scale 校准、跳过敏感层，以及存储精度与计算精度的区别；注明旧版 calculate_kv_scales 参数已移除
文章： 4.5 FP8 与 NVFP4/MXFP4：低比特浮点怎样工作 | 补充 E2M1 的 8 个幅值、微块粒度的形状写法与 Scale 自身的格式；对比 NVFP4 两层 Scale 与 MXFP4 一层 Scale；新增在 vLLM v0.32.0 中的使用方式
文章： 4.6 量化选型与 vLLM 实战 | 区分量化方法、检查点格式与 Kernel 三层，补充 vLLM 各量化入口的含义；实验基准更新到 v0.32.0

模块四 · 推理优化 第 5 章「Speculative Decoding」5 篇文章修订，配置基准从 vLLM v0.31.0 升级到 v0.32.0，并新增 MTP 相关内容：

文章： 5.1 投机解码核心原理：先猜一段，再让大模型验收 | 重写 Draft + Verify 一轮的完整流程；新增”Draft 只给 Token、不给概率”时的验证方式
文章： 5.2 Draft 模型与无模型方案：怎样便宜地猜得更准 | 新增”与 Target 对得上比自身分数高更重要”和并行 Draft 两节；统一接受率、平均接受长度与候选覆盖三个指标的口径
文章： 5.3 Medusa、EAGLE 与 MTP：复用大模型信息生成更好的草稿 | 新增第 7 节 MTP，覆盖它从预训练目标到推理加速的转变、实际效果、在 vLLM 中的形态，以及一次前向生成整块草稿的探索；EAGLE-2 补充置信度只用于分配预算的说明
文章： 5.4 投机解码的收益边界：接受率高，为什么仍可能变慢 | 补充加速条件与投机长度收益递减的推导；新增随负载调整的动态投机长度；结构化输出纳入停止条件的讨论
文章： 5.5 vLLM 投机解码实战：配置、接受率与性能一起测 | 基准升级到 vLLM v0.32.0；新增第四组 EAGLE-3 实验与 MTP 接入条件；采集脚本改为逐请求接受指标，并补充常见现象的排查顺序与下一轮调参方向

2026-10-12

新增内容

模块四 · 推理优化 第 3 章「nano-vllm 源码解读」上线，以约 1200 行的极简推理引擎 nano-vllm 为主线，逐模块读懂连续批处理、PagedAttention、FlashAttention、张量并行与 CUDA Graph 在真实代码里的组织方式：

文章： 3.1 项目全景与四层架构 | 认识 nano-vllm 的定位与目录结构，用一张四层架构图读懂从用户请求到 token 输出的完整数据流
文章： 3.2 配置、入口与一次 generate 的全流程 | 从 example.py 出发拆解 Config/SamplingParams/LLM/LLMEngine，看懂 generate 主循环如何驱动 add_request、step 与 postprocess
文章： 3.3 模型骨架与核心算子 | 逐层拆解 Qwen3 实现：RMSNorm、RoPE、SwiGLU、并行 Linear 与张量并行切分、词表并行 Embedding/LMHead，以及 Attention 的 KV 写入与 FlashAttention 两条路径
文章： 3.4 KV Cache 与 BlockManager | 拆解分块 KV 管理：Block 结构、PagedAttention 的分块思想、基于 xxhash 的前缀缓存、块的分配回收，以及 Sequence 的状态机与 block_table
文章： 3.5 Scheduler 与连续批处理 | 读懂调度核心：Waiting/Running 双队列、Prefill/Decode 分离调度、Token Budget 预算、chunked prefill，以及显存不足时的抢占与重计算
文章： 3.6 ModelRunner、CUDA Graph 与性能基准 | 序列张量化、全局 Context 注入、KV Cache 显存切分、CUDA Graph 的捕获与回放，以及官方性能基准与 vLLM 对比

调整内容

原《vLLM 快速入门》下沉至第 1 章，调整为 1.2 vLLM 快速入门，作为推理基础的实操入门。

2026-10-08

新增内容

模块四 · 推理优化 第 4 章「量化」6 篇文章上线：

文章： 4.1 量化基础：Scale、粒度与 PTQ/QAT | 从数值映射理解量化与反量化，讲清位宽、Scale、零点、量化粒度，以及校准和 PTQ/QAT 的区别
文章： 4.2 W8A8 量化：SmoothQuant 如何处理激活离群值 | 从 Activation Outlier 出发推导 SmoothQuant 的等价缩放，理解平滑系数、INT8 GEMM 与离线部署流程
文章： 4.3 Weight-only INT4：GPTQ、AWQ 与 Marlin | 理解 GPTQ 的误差补偿、AWQ 的激活感知缩放，以及 Marlin 如何把 INT4 存储转化为推理收益
文章： 4.4 KV Cache 量化：KIVI 与 FP8 缓存 | 理解 KV Cache 量化的流式约束、KIVI 对 Key/Value 的不同分组，以及 vLLM FP8 KV Cache 的校准与收益边界
文章： 4.5 FP8 与 NVFP4/MXFP4：低比特浮点怎样工作 | 区分整数与浮点量化，理解 FP8 的范围与精度，以及 NVFP4、MXFP4 的微块缩放与硬件执行条件
文章： 4.6 量化选型与 vLLM 实战 | 按瓶颈选择量化候选，理解 vLLM 量化格式与 Kernel 的关系，并完成 FP16 与 AWQ INT4 的吞吐和生成质量对照

2026-10-07

新增内容

模块四 · 推理优化 第 5 章「Speculative Decoding」5 篇文章上线：

文章： 5.1 投机解码核心原理：先猜一段，再让大模型验收 | 从自回归串行瓶颈出发推导 Draft + Verify、接受概率与残差分布，证明最终输出服从 Target 分布
文章： 5.2 Draft 模型与无模型方案：怎样便宜地猜得更准 | 比较独立小模型、N-gram Prompt Lookup 与 Suffix Decoding，理解 Tokenizer 兼容、历史匹配、候选覆盖与接受率的权衡
文章： 5.3 Medusa 与 EAGLE：复用大模型信息生成更好的草稿 | 讲清 Medusa 多头预测、EAGLE 特征级草稿、EAGLE-2 动态树与 EAGLE-3 训练改进，理解 Tree Attention 与路径提交
文章： 5.4 投机解码的收益边界：接受率高，为什么仍可能变慢 | 建立平均提交长度与完整轮耗时的性能账本，分析批处理、长上下文、量化、调度与流式延迟的共同约束
文章： 5.5 vLLM 投机解码实战：配置、接受率与性能一起测 | 以 vLLM v0.31.0 为基准，依次启动普通 Decode、N-gram 与独立 Draft，采集接受指标、质量输出与延迟吞吐

2026-09-15

新增内容

模块四 · 推理优化 新增第 12 章「端侧推理」：

文章： 12.1 端侧推理基础：从模型导出到异构硬件执行 | 系统理解端侧推理的硬件、模型格式、运行时、量化、内存与 Benchmark，并通过 ExecuTorch/XNNPACK 走通最小部署链路

2026-07-09

新增内容

模块四 · 推理优化 第 1、2 章文章上线：

文章： 1.1 LLM 推理基础 | 一篇讲透 LLM 推理的底层逻辑：Prefill/Decode 两阶段、KV Cache 显存账本、TTFT/TPOT 等性能指标，以及用 Roofline 解释为什么 Decode 是 Memory Bound
文章： 2.1 PagedAttention | 深入 vLLM 的核心技术 PagedAttention：借鉴虚拟内存分页思想，用 Block Table 消除 KV Cache 碎片化，并支持前缀共享与 Copy-on-Write
文章： 2.2 Continuous Batching | 深入 Continuous Batching 的原理：Iteration-level Scheduling 让请求随到随拼、完成即退，把 GPU 利用率从三成拉到八成以上
文章： 2.3 Prefix Cache 与 RadixAttention | 深入前缀缓存：vLLM 基于 Hash 的自动前缀缓存如何复用共享前缀的 KV 块，SGLang 的 RadixAttention 如何用 Radix Tree 做更高效的前缀共享
文章： 2.4 Chunked Prefill 与统一调度 | 深入 Chunked Prefill：把长 Prompt 的 Prefill 切块，消除它对 Decode 请求的干扰；理解 vLLM V1 如何用统一 Token 预算调度器抹平 Prefill/Decode 边界
文章： 2.5 Attention 后端与图优化 | 深入 vLLM 的可插拔 Attention 后端（FlashAttention/FlashInfer/FlashMLA/Triton）与图优化：用 CUDA Graph 和 torch.compile 消除 Decode 阶段的 CPU 启动开销

模块三 · 分布式训练 集合通信、优化器与数据并行章节文章上线：

文章： 2.1 集合通信原语详解 | 讲清 AllReduce/ReduceScatter/AllGather/All-to-All 的输入输出语义、Ring AllReduce 算法原理，以及单次通信耗时的量化方法
文章： 3.1 优化器：从 SGD 到 AdamW 与显存开销分析 | 梳理优化器从 SGD 到 AdamW 的演进，算清优化器状态的显存开销与 FP32 主权重的必要性，并介绍大 Batch 场景下的 LARS/LAMB
文章： 4.1 数据并行详解 | 深入 DP/DDP/FSDP 三代方案的演进逻辑、梯度同步机制与通信量/显存账本的数学推导，理解 AllReduce 与参数分片的本质区别
文章： 4.2 PyTorch 数据并行从原理到实战 | 系统掌握 PyTorch 数据并行全栈：通信原语、DDP、FSDP 参数分片与多机多卡实战，附完整代码示例

2026-07-07

新增内容

文章： 1.1 分布式训练总论：显存账本与五大并行策略全景 | 手算训练显存账本，总览五大并行策略全景与选择原则
文章： 1.2 环境搭建与分布式启动 | rank/local_rank/world_size、torchrun 启动与会合机制、NCCL 调试、最小 DDP 脚本

2026-07-06

新增内容

更新了分布式训练部分的教程大纲：

章节	主要内容
第 1 章分布式训练总论	为什么需要分布式训练、训练显存账本、五大并行策略全景、环境搭建与 DDP 启动
第 2 章集合通信原语	AllReduce/ReduceScatter/AllGather/All-to-All 语义、Ring 算法、通信量量化分析
第 3 章优化器	SGD/Adam/AdamW 演进、优化器状态显存开销分析、大 Batch 优化器 LAMB/LARS
第 4 章数据并行	DataParallel、DistributedDataParallel、FSDP
第 5 章 ZeRO 系列	ZeRO-1/2/3 切分策略与通信代价、ZeRO-Offload/Infinity 异构内存卸载
第 6 章张量并行与序列并行	Megatron Column/Row Parallel Linear、通信插入位置、序列并行激活显存优化
第 7 章流水线并行	Bubble 问题本质、GPipe、1F1B、Interleaved 调度
第 8 章混合精度与显存优化	FP16/BF16/FP8 混合精度、梯度累积、Activation Checkpointing
第 9 章长序列训练与上下文并行	Attention 的 O(s²) 困境、Ring Attention、DeepSpeed-Ulysses、Megatron Context Parallel
第 10 章 MoE 并行	Router 机制、Expert Parallelism 的 All-to-All 通信、EP×DP×TP×PP 组合与负载均衡
第 11 章 3D 并行与混合并行策略	TP×PP×DP×EP×CP 拓扑设计、通信域映射、rank 编排、集群选型

2026-06-25

新增内容

文章： 6.1 FlashAttention V1详解 | 本文深入剖析 FlashAttention V1 的核心原理与实现细节，理解如何通过 Tiling + Online Softmax 将 Attention 的额外显存占用从 $O(N^2)$ 降至 $O(N)$ ，同时大幅减少 HBM 访问量，实现无精度损失的加速
文章： 6.2 FlashAttention V2详解 | 本本文深入剖析 FlashAttention V2 相比 V1 的核心改进：调换内外循环顺序、优化线程块内的工作分配、减少非矩阵乘运算

2026-06-06

新增内容

文章： 5.2 CUDA Online Softmax 实现优化 | 本文从算法推导出发，逐步实现并优化 Online Softmax 的 CUDA Kernel，这也是理解 FlashAttention 的核心前置知识

2026-06-05

新增内容

文章： 5.1 CUDA Softmax 朴素实现优化 | 本文从朴素实现出发，逐步引入 Safe Softmax、Block 级并行、Warp Shuffle、向量化访存等优化手段

2026-06-02

新增内容

文章： 4.1 CUDA GEMM算子性能优化 |本文从朴素实现出发，逐步Block-Warp-Thread三级Tiling优化、向量化访存、Bank Conflict 消除、双缓冲等优化手段，带你系统掌握 CUDA GEMM 优化的完整方法论

2026-05-18

新增内容

文章： 3.1 CUDA Reduce算子优化 | Reduce（规约）是 GPU 编程中最基础、也最能体现并行思维的算子之一。本文从最朴素的实现出发，逐步引入 Warp 级原语、向量化访存、多元素处理等优化手段，每一步都有性能对比和原理解析，帮你真正搞懂”怎么写出快的 Kernel”。

2026-05-16

新增内容

模块三 · 分布式训练 新增第2章：优化器 | 理解 SGD → Momentum → Adam → AdamW 的演进逻辑与内部状态组成，手算优化器显存开销（AdamW 占训练总显存 75%），掌握大 Batch 优化器 LAMB/LARS 的适用场景，为后续 ZeRO 显存优化和混合精度训练打下基础。

结构调整

模块三 · 分布式训练 章节重新编号：原第2~~7章顺延为第3~~8章，新增第2章”优化器”插入总论与数据并行之间
同步更新 AI Infra 学习路线、README 中的模块三章节目录

2026-05-13

新增内容

文章： 2.4 同步与原子操作 | 正确的同步机制是编写无 Bug 并行程序的基础。本文详解 CUDA 中的块内同步 __syncthreads()、Warp 级同步、Memory Fence，以及原子操作的使用场景、性能代价与优化技巧，帮助你在保证正确性的前提下写出高性能的并行代码。

2026-05-12

新增内容

文章： 2.2 内存访问优化 | 内存访问效率是 CUDA Kernel 性能最大的杠杆。本文深入讲解合并访问（Coalesced Access）的原理与判定方法、共享内存 Bank Conflict 的成因与 Padding 解决方案，以及向量化加载（float4/int4）提升带宽利用率的实战技巧。
文章： 2.3 Occupancy 与资源分配 | Occupancy 衡量 SM 上实际活跃 Warp 数与理论最大值的比例，是调优 CUDA Kernel 的核心指标之一。本文讲解 Occupancy 的定义、计算方法、三大限制因素（寄存器/共享内存/Block 大小），以及为什么 Occupancy 并非越高越好——真正的目标是在延迟隐藏与资源利用之间找到平衡点。