🌐 Huấn luyện phân tán 17 bài viết · 11 chương
Module 3: Huấn luyện phân tán
Bắt đầu bằng phần tổng quan, sau đó đi vào song song dữ liệu, họ ZeRO, song song tensor, song song pipeline và song song 3D, cuối cùng ghép tất cả lại qua một framework huấn luyện.
Bắt đầu họcMục lục
Từ nút thắt quy mô mô hình, tự tính sổ bộ nhớ huấn luyện, nhìn toàn cảnh năm chiến lược song song, rồi hạ xuống cấu hình rank/torchrun/NCCL và script DDP đầu tiên
Nền tảng vật lý của huấn luyện phân tán—ngữ nghĩa các phép AllReduce/ReduceScatter/AllGather/All-to-All và các collective khác, nguyên lý thuật toán Ring, và phân tích định lượng lượng giao tiếp
Hiểu logic tiến hóa và thành phần trạng thái nội bộ của các optimizer phổ biến, nắm cách phân tích chi phí bộ nhớ của optimizer, làm nền cho tối ưu bộ nhớ ZeRO và huấn luyện mixed precision
Hiểu logic tiến hóa, cơ chế cốt lõi và thực hành của ba thế hệ data parallelism, cùng khác biệt bản chất giữa đồng bộ gradient bằng AllReduce và parameter sharding
Tháo từng lớp chiến lược cắt và chi phí giao tiếp của ZeRO-1/2/3, nắm cơ chế offload bộ nhớ dị thể của ZeRO-Offload/Infinity
Nắm phương án tensor parallelism của Megatron-LM (Column/Row Parallel Linear), suy ra vị trí chèn giao tiếp, và cách sequence parallelism tối ưu VRAM activation
Hiểu bản chất vấn đề Bubble của pipeline parallelism, nắm thiết kế và phân tích định lượng của ba chiến lược lập lịch GPipe, 1F1B, Interleaved
Quy trình huấn luyện mixed precision FP16/BF16/FP8, gradient accumulation, Activation Checkpointing và phân tích chi phí của từng kỹ thuật
Phá bức tường độ dài chuỗi—bài toán O(s²) của Attention, so sánh ba hướng song song chuỗi dài: Ring Attention, DeepSpeed-Ulysses và Megatron Context Parallel
Cách song song hóa mô hình expert thưa: cơ chế Router, giao tiếp All-to-All trong Expert Parallelism, tổ hợp EP×DP×TP×PP và cân bằng tải
Ghép mọi chiều song song lại—thiết kế topology TP×PP×DP×EP×CP, ánh xạ miền giao tiếp, sắp xếp rank, và cách chọn tổ hợp tối ưu cho một cụm cho trước
Gợi ý học
Yêu cầu trước
Module kiến thức nền, đặc biệt là chương 6 về giao tiếp tập thể
- Hãy đọc phần tổng quan trước để có cái nhìn toàn cảnh.
- Dành nhiều thời gian cho ZeRO. Thiếu nó sẽ khó hiểu huấn luyện phân tán hiện đại.
- Chương thực hành với framework huấn luyện sẽ kết nối các phần lý thuyết trước đó.