T1 Công ty lớn và kỳ lân Ant Group Tuyển sinh viên mới tốt nghiệp Vòng 1
Ant Group AI Infra tuyển mới tốt nghiệp vòng một
Câu hỏi phỏng vấn Ant Group AI Infra tuyển mới tốt nghiệp vòng một thật, gồm tối ưu suy luận và các hướng liên quan
Tối ưu suy luận
Kiến thức nền
- MLA (Multi-head Latent Attention) hơn MHA ở những mặt nào?
- Trong quá trình weight absorption có thể gặp vấn đề gì?
- Phương án precompute offline cho KV Cache là gì? Với KV Cache dùng ít, unload và load lại thế nào?
- Ngoài các cách trên, còn mẹo tối ưu KV Cache nào?
Kinh nghiệm dự án
- Giới thiệu sâu dự án và trải nghiệm thực tập.