Chuyển đến nội dung chính
T1 Công ty lớn và kỳ lân Kuaishou Tuyển sinh viên mới tốt nghiệp

Kuaishou AI Infra tuyển mới tốt nghiệp (2)

Câu hỏi phỏng vấn tuyển mới tốt nghiệp AI Infra tại Kuaishou thật, gồm tối ưu huấn luyện, tối ưu toán tử và tính toán hiệu năng cao

Tối ưu huấn luyện Tối ưu toán tử Tính toán hiệu năng cao

Lý thuyết

  1. H100 so với A100 cải tiến kiến trúc then chốt nào?
  2. Trình bày khái niệm Warp trong CUDA và vai trò trong mô hình thực thi.
  3. Trong data parallelism (DP) và tensor/sequence parallelism (TP-SP), nguyên lý chồng tính toán với giao tiếp là gì? Thao tác giao tiếp nào chồng với thao tác tính nào?
  4. Đào sâu nguyên lý cốt lõi FlashAttention và các điểm tối ưu then chốt.
  5. Có dùng pipeline parallelism (PP) và không dùng, đỉnh VRAM có giống nhau không? Vì sao?
  6. Biến môi trường CUDA_DEVICE_MAX_CONNECTIONS nghĩa cụ thể là gì?
  7. launch bound trong CUDA nghĩa là gì? Truyền H2D và D2H có chồng được không?

Lập trình tại chỗ

  1. Triển khai LRU cache.
  2. Viết pseudocode Online Softmax và FlashAttention.