Chuyển đến nội dung chính
🚀 Tối ưu suy luận 40 bài viết · 9 chương

Module 4: Tối ưu suy luận

Cơ bản về suy luận LLM, bên trong engine suy luận, các framework phổ biến, lượng tử hóa, speculative decoding, tách prefill/decode, suy luận trên thiết bị, profiling và thực hành từ đầu đến cuối.

Bắt đầu học

Mục lục

1 Chương 1: Cơ bản về suy luận LLM 2 bài
Hai giai đoạn sinh văn bản của LLM (prefill và decode), cách KV cache hoạt động và các chỉ số quan trọng khi đo hiệu năng suy luận
2 Chương 2: Công nghệ cốt lõi của inference engine 5 bài
PagedAttention, Continuous Batching, Prefix Cache, Chunked Prefill, backend Attention và tối ưu đồ thị—năm kỹ thuật cốt lõi của inference engine hiện đại
3 Chương 3: Đọc mã nguồn nano-vllm 6 bài
Inference engine tối giản khoảng 1200 dòng làm mạch chính: continuous batching, PagedAttention, FlashAttention, tensor parallelism và CUDA Graph trong code thật
4 Chương 4: Lượng tử hóa 6 bài
Từ Scale và độ chi tiết, nắm SmoothQuant, GPTQ/AWQ, lượng tử hóa KV Cache và FP8/NVFP4/MXFP4, rồi chọn phương án và chạy thí nghiệm đối chiếu trên vLLM v0.32.0
5 Chương 5: Speculative Decoding 5 bài
Hiểu Draft + Verify và sampling bảo toàn phân phối, so sánh Draft độc lập, N-gram/Suffix, Medusa/EAGLE/MTP, rồi nắm biên lợi ích và thí nghiệm đối chiếu trên vLLM
6 Chương 6: Suy luận phân tán và triển khai mô hình lớn 6 bài
Hiểu chi phí lưu trữ và giao tiếp của TP, PP, DP, EP trong suy luận, nắm triển khai vLLM một máy và nhiều nút, MoE DP+EP, DCP, rồi chọn layout bằng thí nghiệm đối chiếu
7 Chương 7: Kiến trúc tách Prefill/Decode
Hiểu vấn đề mixed batching P/D, các phương án tách DistServe/Splitwise, truyền KV Cache, Goodput và lập lịch nhạy SLO
8 Chương 8: Triển khai và vận hành production
Đóng gói container và triển khai dịch vụ suy luận vLLM trên Kubernetes, cùng observability, autoscaling, cân bằng tải và lập kế hoạch dung lượng
9 Chương 9: Suy luận trên thiết bị đầu cuối 1 bài
Hiểu ràng buộc tài nguyên, phần cứng dị chủng, runtime và phương pháp tối ưu của suy luận trên thiết bị đầu cuối, đồng thời xây quy trình đánh giá hiệu năng có thể tái lập

Gợi ý học

Yêu cầu trước

Module kiến thức nền và lập trình CUDA cơ bản

  • Chương cơ bản về suy luận LLM giải thích suy luận khác huấn luyện ở điểm nào.
  • Lượng tử hóa và speculative decoding là hai hướng tối ưu suy luận được làm nhiều nhất hiện nay.
  • Hãy thực hành triển khai với một framework suy luận thật như vLLM.
  • Với suy luận trên thiết bị, hãy đo độ trễ, bộ nhớ, điện năng và độ chính xác trên thiết bị thật.