T0 Công ty lớn ByteDance
ByteDance AI Infra (1)
Câu hỏi phỏng vấn AI Infra tại ByteDance thật, gồm tối ưu suy luận và tính toán hiệu năng cao
Tối ưu suy luận Tính toán hiệu năng cao
Tối ưu suy luận
- Giải thích nguyên lý KV Cache và các chiến lược tối ưu phổ biến.
- Ý tưởng cốt lõi của PagedAttention là gì? Nó nâng utilization bộ nhớ thế nào?
- FlashAttention hiện thực thế nào? So với Attention chuẩn có ưu điểm gì?
- Triết lý thiết kế cốt lõi của vLLM là gì?
- Từ góc nhìn hệ thống, có những chiến lược tăng tốc suy luận tổng hợp nào?