📚 Kiến thức nền AI Infra 20 bài viết · 6 chương
Module 1: Kiến thức nền
Kiến trúc GPU, nền tảng lập trình, toán cần thiết, kiến trúc Transformer, PyTorch và giao tiếp tập thể (collective communication). Các phần sau của tài liệu đều dựa trên những kiến thức này.
Bắt đầu họcMục lục
Python nâng cao, C/C++ cốt lõi và môi trường Linux cần cho AI Infra, để lập trình CUDA và phát triển hệ thống sau này có nền vững
Xây dựng trực giác đại số tuyến tính, xác suất và giải tích mà AI Infra cần: toán đứng sau GEMM tiling, Softmax, lan truyền ngược và huấn luyện mixed precision
Hiểu sâu từng thành phần của Transformer: Self-Attention, FFN, mã hóa vị trí, lớp chuẩn hóa, và sự tiến hóa kiến trúc từ MHA đến GQA/MLA, từ FFN đến MoE
- 🔥 Kiến trúc Transformer: nhập môn nhanh
- 3.1 Vì sao kỹ sư AI Infra phải hiểu Transformer
- 3.2 Toàn cảnh Transformer và hiện thực code
- 3.3 Hiểu sâu cơ chế Self-Attention
- 3.4 Hiểu sâu mạng feed-forward (FFN) trong Transformer
- 3.5 Hiểu sâu positional encoding trong Transformer
- 3.6 Hiểu sâu LayerNorm và residual connection
- 3.7 Phân tích đầy đủ Transformer Decoder Block
- 3.8 Từ Transformer đến sinh tự hồi quy của LLM
- 3.9 Tokenization và word embedding
Nắm Tensor, autograd, vòng huấn luyện Module và công cụ debug của PyTorch, rồi tự triển khai một mô hình nhỏ cấp GPT-2 và hoàn thành toàn bộ quy trình huấn luyện
Triết lý thiết kế kiến trúc GPU, hệ thống phân cấp bộ nhớ, so sánh thông số GPU phổ biến và topology kết nối, để có nền tảng phần cứng trước khi lập trình CUDA
Các primitive giao tiếp trong huấn luyện phân tán (AllReduce, AllGather và các primitive khác), thuật toán Ring và Tree, cách dùng và tinh chỉnh NCCL
Gợi ý học
- Nên học theo thứ tự chương. Mỗi chương khá độc lập nhưng chương sau dựa trên chương trước.
- Nếu đã nắm một chủ đề, bạn có thể bỏ qua chương đó và chuyển thẳng sang module CUDA.
- Mọi module sau đều giả định bạn đã nắm chắc kiến trúc Transformer và PyTorch.