Kế hoạch cập nhật bài hướng dẫn
Lộ trình cập nhật cho 4 module và 29 chương
Đôi lời trước
Cảm ơn bạn đã quan tâm đến AIInfraGuide. Ban ngày tôi đi làm nên chỉ viết và cập nhật bài vào buổi tối và cuối tuần. Tốc độ cập nhật sẽ không nhanh, nhưng tôi cố gắng để mỗi bài đều kỹ và chính xác.
Nếu dự án có ích cho bạn, hãy tặng một Star trên GitHub và chia sẻ cho bạn bè quan tâm đến AI Infra. Sự ủng hộ đó giúp tôi tiếp tục viết.
Nếu có góp ý hoặc chủ đề muốn đọc, hãy báo cho tôi qua GitHub issue hoặc bình luận trên tài khoản WeChat.
Theo dõi bài mới
Bài mới được đăng trước trên Zhihu và tài khoản WeChat "AI Infra Guide", sau đó mới lên GitHub và trang này. Nếu muốn đọc sớm nhất, hãy theo dõi một trong hai kênh đó. Cả hai đều bằng tiếng Trung.
Tổng quan kế hoạch
Các bài hướng dẫn chia thành 4 module, bao quát AI Infra từ kiến thức nền đến tối ưu suy luận. Dưới đây là các chương dự kiến của từng module:
Module 1: Kiến thức nền
6 chương- 1 Chương 1: Nền tảng ngôn ngữ lập trình
- 2 Chương 2: Nền tảng toán học
- 3 Chương 3: Kiến trúc Transformer chi tiết
- 4 Chương 4: PyTorch
- 5 Chương 5: Tổng quan phần cứng GPU
- 6 Chương 6: Cơ bản về giao tiếp tập thể
Module 2: Lập trình CUDA và tối ưu kernel
8 chương- 1 Chương 1: Nhập môn CUDA
- 2 Chương 2: Cơ bản về tối ưu hiệu năng CUDA
- 3 Chương 3: Kernel kinh điển - Reduce
- 4 Chương 4: Kernel kinh điển - GEMM
- 5 Chương 5: Kernel kinh điển - Softmax và hợp nhất kernel
- 6 Chương 6: Kernel Attention
- 7 Chương 7: Trình biên dịch AI
- 8 Chương 8: Công cụ phân tích hiệu năng
Module 3: Huấn luyện phân tán
7 chương- 1 Chương 1: Tổng quan huấn luyện phân tán
- 2 Chương 2: Song song dữ liệu
- 3 Chương 3: Họ ZeRO
- 4 Chương 4: Song song tensor và song song chuỗi
- 5 Chương 5: Song song pipeline
- 6 Chương 6: Song song 3D và chiến lược kết hợp
- 7 Chương 7: Thực hành với framework huấn luyện
Module 4: Tối ưu suy luận
12 chương- 1 Chương 1: Cơ bản về suy luận LLM
- 2 Chương 2: Kỹ thuật cốt lõi của engine suy luận
- 3 Chương 3: Đọc mã nguồn nano-vllm
- 4 Chương 4: Lượng tử hóa
- 5 Chương 5: Speculative decoding
- 6 Chương 6: Suy luận phân tán và triển khai mô hình lớn
- 7 Chương 7: Kiến trúc tách prefill/decode
- 8 Chương 8: Tính năng phục vụ cho môi trường production
- 9 Chương 9: Phân tích hiệu năng và benchmark
- 10 Chương 10: Triển khai và vận hành production
- 11 Chương 11: Lựa chọn kỹ thuật tối ưu và thực hành từ đầu đến cuối
- 12 Chương 12: Suy luận trên thiết bị
Nhịp cập nhật
- Tần suất: khoảng 1 đến 2 bài mỗi tuần, tùy độ khó của chủ đề và khối lượng công việc
- Thứ tự: lần lượt theo module, ưu tiên module kiến thức nền và CUDA
- Cách viết: mỗi bài giải thích ý tưởng bằng lời dễ hiểu trước rồi mới đến thuật ngữ, kèm ví dụ mã và hình minh họa
- Phản hồi: chương nào được nhiều người yêu cầu có thể được ưu tiên