T0 Công ty lớn ByteDance Thực tập Vòng 1
ByteDance AI Infra thực tập vòng một (4)
Câu hỏi phỏng vấn ByteDance AI Infra thực tập vòng một, gồm tối ưu huấn luyện và tính toán hiệu năng cao
Tối ưu huấn luyện Tính toán hiệu năng cao
Kiến thức cơ bản
- Trình bày triết lý thiết kế cốt lõi và chức năng chính của framework DeepSpeed.
- Vì sao chọn ZeRO Stage 3? Hãy suy ra công thức tiết kiệm VRAM.
- Ngoài DeepSpeed, còn dùng framework tăng tốc huấn luyện phân tán nào? Chúng khác nhau thế nào?
- BLIP và BLIP-2 khác nhau chủ yếu ở đâu? Mô hình đa phương thức phổ biến hiện nay dùng kiến trúc gì?
- Nguyên lý thiết kế và vai trò của Q-Former là gì?
Tối ưu huấn luyện
- Lộ trình kỹ thuật cho bài toán hiểu nội dung là gì? Nếu huấn luyện mô hình chart-to-story, dữ liệu nên dựng thế nào?
Kinh nghiệm dự án
- Hãy giới thiệu các dự án cốt lõi bạn tham gia.
Bài lập trình
- Triển khai hàm căn bậc hai số nguyên (LeetCode 69), và thảo luận hướng tối ưu.