T0 Công ty lớn Tencent Thực tập Vòng 1
Tencent AI Infra thực tập vòng một (1)
Câu hỏi phỏng vấn thực tập Tencent AI Infra vòng một thật, gồm tối ưu suy luận, tối ưu toán tử, high-performance computing và các hướng liên quan
Tối ưu suy luận Tối ưu toán tử High-performance computing
Kinh nghiệm dự án
- Giới thiệu kinh nghiệm dự án và chi tiết kỹ thuật liên quan
Tối ưu suy luận
- Trình bày động lực thiết kế của chunked prefill và bài toán cốt lõi nó giải quyết
- Trong cluster quy mô lớn (trong node có NVLink, giữa một số máy liên node có RDMA), thiết kế phương án distributed inference thế nào
High-performance computing
- So sánh hai collective communication reduce-scatter và all-to-all
- Có những cách nào giảm overhead launch kernel
- Nguyên nhân bank conflict trong lập trình CUDA và cách xử lý
Bài lập trình
- Reverse nodes in k-Group