T1 Công ty lớn và kỳ lân Huawei Thực tập
Huawei AI Infra thực tập (2)
Câu hỏi phỏng vấn thực tập AI Infra tại Huawei thật, gồm tối ưu suy luận, tối ưu huấn luyện, tối ưu toán tử và tính toán hiệu năng cao
Tối ưu suy luận Tối ưu huấn luyện Tối ưu toán tử Tính toán hiệu năng cao
Tối ưu suy luận
- Khi deploy mô hình và khi suy luận, ước lượng số tham số cần thiết thế nào?
- Trong suy luận mô hình, Prefill và Decoding khác nhau chỗ nào? KV Cache tính kích thước ra sao?
- Nguyên lý toán của hyperparameter Temperature là gì? Thứ tự tác dụng của Temperature, Top-k, Top-p thế nào?
- Định nghĩa và quá trình tính Softmax là gì?
Tối ưu huấn luyện
- Trong DeepSpeed, ZeRO Stage 1, 2, 3 mỗi stage tối ưu gì? Các stage khác nhau chỗ nào?
- Giả sử cần tính phân tán nhân ma trận A x B trên 4 card: mô tả cách chia tham số A, B và dùng giao tiếp giữa các card để tiết kiệm VRAM.
Tính toán hiệu năng cao
- Bạn biết những toán tử truyền thông nào? Các primitive tập hợp truyền thông phổ biến là gì?