Chuyển đến nội dung chính
T5 Khác miHoYo Thực tập Vòng 2

miHoYo AI Infra thực tập vòng hai

Câu hỏi phỏng vấn thực tập miHoYo AI Infra vòng hai thật, gồm AI Infra và các hướng liên quan

Dưới đây là nội dung vòng hai thực tập miHoYo AI Infra.

Kinh nghiệm dự án

  1. Hỏi sâu về dự án

Kiến thức nền

  1. Khái quát đặc điểm cấu trúc chính của mô hình lớn
  2. Attention trong mô hình lớn hoạt động thế nào và có vai trò gì
  3. Các thuật toán tối ưu phổ biến khi train mô hình lớn, ưu nhược điểm từng loại
  4. Khi training xuất hiện vanishing/exploding gradient xử lý thế nào
  5. Trong thiết kế mô hình, cân bằng độ phức tạp và hiệu năng thế nào
  6. Trước nhu cầu tính toán lớn cho training và suy luận, có những hướng giải quyết nào

Đánh giá và tối ưu mô hình

  1. Các metric thường dùng khi đánh giá hiệu năng mô hình lớn
  2. Phương pháp cụ thể tối ưu hiệu năng và hiệu suất mô hình lớn
  3. Kết hợp trải nghiệm thực tế, mô tả một case dùng hoặc phát triển mô hình lớn

Alignment và an toàn

  1. Reward Model trên Reward Bench chia thành những loại nào
  2. Quy trình và mục tiêu training của Reward Model
  3. Loss và mục tiêu training của DPO; điểm DPO cải thiện so với RLHF
  4. Hiểu an toàn mô hình lớn thế nào, gồm những mặt nào