Ngân hàng câu hỏi phỏng vấn AI Infra tổng hợp (7)

Kiến thức cơ bản

1. Các hướng tăng tốc phổ biến cho train và infer mô hình lớn là gì?
2. Nguyên lý cơ bản của train phân tán nhiều máy nhiều card và các framework thường gặp
3. Bạn có biết DeepSpeed không? Các chức năng cốt lõi là gì?
4. Làm sao nâng hiệu quả training theo hai chiều thời gian và tài nguyên?
5. Training bất thường chậm nên phân tích và kiểm tra từ đâu?
6. Nút thắt giao tiếp khi train nhiều máy nhiều card và cách tối ưu
7. Gradient accumulation hoạt động thế nào?
8. Các phương pháp quantize mô hình và tăng tốc suy luận phổ biến
9. Bạn đã tối ưu hiệu năng train hoặc infer mô hình lớn trên GPU chưa?
10. Loss dao động khi train có thể do những yếu tố nào?