T2 Kỳ lân AI MiniMax Thực tập Vòng 1
MiniMax AI Infra thực tập vòng một (1)
Câu hỏi phỏng vấn thực tập MiniMax AI Infra vòng một thật, gồm tối ưu suy luận và tối ưu huấn luyện
Tối ưu suy luận Tối ưu huấn luyện
Đào sâu dự án
- Giới thiệu dự án thực tập và công việc nghiên cứu của bạn
Lý thuyết
- Mục tiêu train của SFT và RLHF khác nhau căn bản thế nào? Vì sao hầu hết mô hình sau SFT vẫn cần RLHF?
- Trong MoE, module routing quyết định gán token cho expert nào thế nào? Vì sao load giữa các expert lệch nặng?
- Khi một số expert dùng ít rõ rệt, cải thiện routing thế nào để tăng utilization?
- Giới thiệu kiến trúc LLM bạn quen, so sánh về tính Attention, phương pháp train và hiệu quả infer
- PPO trong RLHF tối ưu mục tiêu cốt lõi nào? Viết hàm mục tiêu và giải thích từng hạng mục
- Khi số tham số tăng, vì sao MoE vẫn giữ hiệu quả train tương đối cao?
Lập trình tại chỗ
- Cho K mảng đã sắp, tìm trung vị sau khi gộp