Ngân hàng câu hỏi tổng hợp
Ngân hàng câu hỏi phỏng vấn AI Infra tổng hợp (2)
Câu hỏi phỏng vấn AI Infra thật, gồm tối ưu suy luận, tối ưu huấn luyện, tối ưu toán tử và tính toán hiệu năng cao
Tối ưu suy luận Tối ưu huấn luyện Tối ưu toán tử Tính toán hiệu năng cao
Kiến thức cơ bản
- Trình bày nguyên lý cốt lõi và cách hiện thực FlashAttention
- Trên CPU, duyệt theo cột một ma trận lưu row-major chậm hơn duyệt theo hàng rõ rệt vì sao? Chỉ số hiệu năng nào xấu đi?
- Dùng Shared Memory khi transpose ma trận trên GPU có lợi gì?
- Flow Matching model dự đoán mục tiêu gì? Hiểu conditional velocity field có điều kiện theo mẫu x0 như thế nào?
- Tính time shift trong QwenImage thế nào?
- Có những phương án Weight-Only quantization nào? Khi viết CUDA kernel quantize Weight-Only, tối ưu truy cập bộ nhớ ra sao? Bạn có biết Marlin kernel không?
- Sequence parallelism (SP) trong Megatron được hiện thực thế nào?
- DeepSpeed ZeRO Stage 1 và Stage 2 khác nhau thế nào về lượng giao tiếp? Paper và code có lệch nhau không?
- Trong giao tiếp nhiều GPU, NVSHMEM và NVLink khác gì?
Bài PyTorch
- Hiện thực Multi-Head Attention (3 biến thể)
- Hiện thực FlashAttention v1
- Viết pseudocode quá trình sampling của Flow Matching Model
Thuật toán
- Quicksort
- Trung vị của hai mảng đã sắp
- Next permutation
- Đường đi có tổng lớn nhất trên cây nhị phân
- Path Sum III
- Cho tọa độ các điểm trên trục số và số đoạn thẳng cùng độ dài cố định, đoạn ngắn nhất bao nhiêu để phủ hết điểm?
- Top-K chuỗi xuất hiện nhiều nhất (cùng tần suất thì xếp lexicographic tăng dần)
- Bắt đầu từ chuỗi s; mỗi bước xoay phải một ký tự rồi nối vào cuối (độ dài nhân đôi). Sau khi mở rộng vô hạn, ký tự ở vị trí N là gì?
- Hai ngón tay trên bàn phím 26 chữ cái: khoảng cách di chuyển tối thiểu để gõ chuỗi s