T2 Kỳ lân AI MiniMax Thực tập Vòng 1
MiniMax AI Infra thực tập vòng một (2)
Câu hỏi phỏng vấn thực tập MiniMax AI Infra vòng một thật, gồm tối ưu huấn luyện
Tối ưu huấn luyện
Hỏi về dự án
- Thảo luận sâu về dự án
Lý thuyết
- MoE giữ train hiệu quả khi quy mô tham số tăng thế nào?
- SFT và RLHF khác nhau thế nào về mục tiêu tối ưu? Vì sao sau SFT thường vẫn cần RLHF?
- PPO trong RLHF tối ưu mục tiêu nào? Viết hàm mục tiêu và giải thích từng phần
- Giới thiệu ngắn kiến trúc LLM bạn quen nhất và đặc điểm của nó
- Routing trong MoE chạy thế nào? Yếu tố nào làm load expert lệch?
- Khi utilization của expert kém, có những cách tối ưu routing nào?
Bài code
- Viết chương trình tìm max trong sliding window