模块四：推理优化

理解 LLM 自回归生成的 Prefill/Decode 两阶段、KV Cache 机制和推理关键性能指标

掌握 PagedAttention、Continuous Batching、Prefix Cache、Chunked Prefill 与 Attention 后端及图优化五大推理引擎核心技术

以约 1200 行的极简推理引擎 nano-vllm 为主线，逐模块读懂连续批处理、PagedAttention、FlashAttention、张量并行与 CUDA Graph 在真实代码里的组织方式

从 Scale 与粒度出发，掌握 SmoothQuant、GPTQ/AWQ、KV Cache 量化与 FP8/NVFP4/MXFP4 的原理，并在 vLLM v0.32.0 上完成量化选型与对照实验

理解 Draft + Verify 与保分布采样，比较独立 Draft、N-gram/Suffix、Medusa/EAGLE/MTP，并掌握收益边界与 vLLM 对照实验

理解推理场景下 TP、PP、DP、EP 的存储与通信代价，掌握 vLLM 的单机与多节点部署、MoE 的 DP+EP、DCP，并用对照实验选出合适的布局

理解 P/D 混合 Batching 的问题、DistServe/Splitwise 等解耦方案、KV Cache 传输、Goodput 与 SLO 感知调度

掌握 vLLM 推理服务的容器化与 Kubernetes 部署、可观测性、自动扩缩容、负载均衡与容量规划

理解端侧推理的资源约束、异构硬件、运行时与优化方法，并建立可复现的性能评测流程