T1 Công ty lớn và kỳ lân Kuaishou Vòng 1
Kuaishou AI Infra vòng một
Câu hỏi phỏng vấn AI Infra tại Kuaishou vòng một thật, gồm tối ưu suy luận, tối ưu toán tử và tính toán hiệu năng cao
Tối ưu suy luận Tối ưu toán tử Tính toán hiệu năng cao
Lý thuyết
- Bạn có biết Prefill-Decode (PD) disaggregation không? AF disaggregation nhằm mục đích gì? Đã có PD rồi vì sao vẫn cần AF?
- FlashAttention V2 cải tiến gì so với V1? Ý tưởng tối ưu cụ thể thế nào? Có biết bản V4 mới nhất không?
- Trong mô hình lớn, một tầng Transformer có mấy linear layer? Tensor parallelism (TP) cắt thế nào và vì sao? Có hướng nào tối ưu AllReduce ở giữa?
- Ray triển khai tầng dưới thế nào? Có đặc tính then chốt nào? Trong nghiên cứu thực tế dùng Ray ra sao?
- Liệt kê và trình bày các phương pháp tối ưu CUDA GEMM phổ biến.
Đào sâu dự án
- Giới thiệu chi tiết bối cảnh dự án, phương án kỹ thuật và triển khai.
Lập trình tại chỗ
- LeetCode Word Ladder.