T1 Công ty lớn và kỳ lân Pinduoduo
Pinduoduo AI Infra
Câu hỏi phỏng vấn AI Infra tại Pinduoduo thật, gồm tối ưu suy luận và toán tử
Tối ưu suy luận Tối ưu toán tử
Dưới đây là nội dung kiểm tra trong phỏng vấn AI Infra tại Pinduoduo.
Kiến thức nền
- Ưu thế cốt lõi của Transformer so với MLP
- Ý tưởng thiết kế và khác biệt giữa MHA, GQA và MLA
- Trọng tâm công việc của nghiên cứu thuật toán và Infra engineering khác nhau thế nào
- Nguyên lý thiết kế và cách hoạt động của PagedAttention
- Khác biệt chính giữa Triton và CUDA khi phát triển toán tử
Tối ưu toán tử và huấn luyện
- Trong quá trình train mô hình, làm sao tối ưu hiệu quả truy cập bộ nhớ?
- Có kinh nghiệm phát triển và tối ưu toán tử không? Hãy nêu ví dụ.
- Với toán tử KL divergence đã làm những tối ưu cụ thể nào?
Bài lập trình
- Viết tay Multi-Head Attention (MHA)
- Bài lập trình C++