Lenovo AI Infra thực tập vòng 1

Kiến thức cơ bản

1. DeepSeek R1 dùng phương án tối ưu attention nào?
2. Giới thiệu cấu trúc tổng thể của Transformer.
3. Kiến trúc mô hình lớn phổ biến hiện nay so với thời kỳ sớm thay đổi những gì?
4. GRPO có những phương pháp cải tiến nào? Có biết GSPO không?
5. Có những phương pháp tối ưu KV Cache phổ biến nào?

Kinh nghiệm dự án

6. Giới thiệu dự án (bối cảnh, điểm nổi bật, phần phụ trách, vấn đề gặp phải và cách giải, lý do chọn kỹ thuật, lượng dữ liệu huấn luyện, số GPU và thời gian huấn luyện, thành phần đội).
7. Trong dự án thực tập, bạn nghĩ một điểm kỹ thuật nào đó có cách triển khai tốt hơn không? Ưu nhược điểm của phương án đó?

Bài lập trình

8. Viết tay Multi-Head Attention, và nêu ma trận Masked nên đưa vào ở bước nào.