Chuyển đến nội dung chính
T0 Công ty lớn Baidu Vòng 1

Baidu AI Infra vòng một (1)

Câu hỏi phỏng vấn AI Infra tại Baidu vòng một thật, gồm tối ưu suy luận

Tối ưu suy luận

Đào sâu dự án

  1. Hỏi sâu xoay quanh dự án

Lý thuyết

  1. Trình bày nguyên lý Attention, và giới thiệu cơ chế Attention mà các mô hình bạn đang theo dõi gần đây dùng
  2. Trong QKV, K làm gì? Có thể bỏ K và dùng trực tiếp V không?
  3. So sánh BatchNorm, LayerNorm và RMSNorm
  4. Các cách position encoding phổ biến là gì? Đặc điểm mỗi cái
  5. Giới thiệu PPO, DPO, GRPO trong reinforcement learning
  6. Vì sao kiến trúc decoder-only hiện phổ biến hơn encoder-decoder?