ZTE AI Infra vòng hai

Kinh nghiệm dự án

1. Lần lượt giới thiệu các dự án chính và phương án kỹ thuật cốt lõi.

Kiến thức cơ bản

2. Trong train phân tán, data / model / pipeline parallelism là gì? Mỗi cái phù hợp khi nào?
3. Chức năng cốt lõi và chiến lược tối ưu của DeepSpeed?
4. Cho số tham số mô hình, ước lượng VRAM của optimizer state, gradient và tham số khi train thế nào?
5. Train mô hình 200B trên 16 GPU, thiết kế phương án phân tán hợp lý thế nào?
6. Nguyên lý và cách hiện thực mixed-precision training?
7. Các kỹ thuật tăng tốc suy luận LLM phổ biến?
8. Cách tối ưu KV Cache?
9. Nguyên lý operator fusion và ảnh hưởng tới hiệu năng?
10. Kiến thức Python cơ bản (cấu trúc dữ liệu, GIL, decorator, …).
11. Lệnh Linux thường dùng.
12. Kiến thức liên quan PyTorch.