ByteDance Douyin E-commerce AI Infra

Tối ưu huấn luyện

1. Giai đoạn SFT dùng mô hình, nguồn dữ liệu, cách xử lý dữ liệu và framework train nào?
2. Trình bày chi tiết quy trình train PPO: chuẩn bị data, train reward model, thiết kế loss từng mô hình và tài nguyên tính toán.
3. Quy trình train DPO? PPO và DPO khác nhau thế nào? Có chạy thí nghiệm so sánh không?
4. Đánh giá mức tăng chất lượng sau fine-tune thế nào?
5. Vì sao PPO có thể hơn DPO? Hiểu thế nào về cải thiện từ multi-round DPO?
6. Nguyên lý GRPO?
7. Vì sao đã có SFT vẫn cần RLHF?

Kiến thức nền

8. Nguyên lý train CLIP?
9. Giới thiệu vài optimizer deep learning phổ biến.
10. Nguyên lý Multi-Head Attention?
11. Nguyên lý LoRA? Rank r ảnh hưởng train thế nào?
12. Nguyên lý train ViT?
13. Ý tưởng thiết kế cốt lõi của Swin Transformer?
14. Fast thinking và slow thinking trong Qwen3 hiện thực thế nào?

Kinh nghiệm dự án

15. Giới thiệu điểm sáng tạo trong dự án và chi tiết code, gồm thiết kế ablation.

Bài lập trình

16. Kiểm tra lập trình.