T0 Công ty lớn Alibaba Vòng 1
Alibaba Group Holding AI Infra vòng một
Câu hỏi phỏng vấn Alibaba AI Infra vòng một thật, gồm tính toán hiệu năng cao và các hướng liên quan
Tính toán hiệu năng cao
Kiến thức nền
- Trình bày quy trình cụ thể của Dispatch và Combine trong Expert Parallelism.
- Kiến trúc dòng mô hình DeepSeek có những đặc điểm nào?
- Trong Tensor Parallelism, thao tác AllReduce cần thực hiện bao nhiêu lần? Suy ra thế nào?
- Tính dung lượng bộ nhớ GPU của KV Cache thế nào?
- vLLM gần đây có tính năng mới nào đáng chú ý?
Bài lập trình
- Viết tay triển khai MQA và GQA.