T1 Công ty lớn và kỳ lân Xiaomi Tuyển sinh viên mới tốt nghiệp
Xiaomi AI Infra tuyển mới tốt nghiệp
Câu hỏi phỏng vấn tuyển mới tốt nghiệp AI Infra tại Xiaomi thật, gồm tối ưu suy luận
Tối ưu suy luận
Bài lập trình
- Viết tay MGA (Multi-head Group Attention) trong editor, gồm init, forward và toàn bộ code tầng attention.
- Nếu không viết đủ, mô tả quy trình tính từ input đến output.
Tối ưu suy luận
- Đã đọc source tầng thấp của vLLM và SGLang chưa? Hiểu kiến trúc thế nào?
- KV Cache có những cách load nào?
- Cơ chế PD tách (Prefill-Decode) làm gì và hiện thực thế nào?
- Đã dùng vLLM deploy mô hình chưa? Throughput đo được bao nhiêu?
- Giới thiệu nguyên lý và vai trò của MTP (Multi-Token Prediction).