T5 Khác Honor Tuyển sinh viên mới tốt nghiệp Vòng 2
Honor AI Infra tuyển mới tốt nghiệp vòng 2
Câu hỏi phỏng vấn tuyển mới tốt nghiệp AI Infra tại Honor vòng hai thật, gồm tối ưu suy luận
Tối ưu suy luận
Nội dung vòng hai tuyển mới tốt nghiệp AI Infra tại Honor.
Tối ưu suy luận
- Nút thắt hiệu năng chính khi chạy suy luận LLM trên NPU
- Chiến lược tối ưu Matmul cho Prefill và Decoding
- Trong tính toán chia khối, giữ dữ liệu liên tục trong cache thế nào
- Kiến trúc Ascend NPU phù hợp mô hình kiểu Transformer đến mức nào
Câu hỏi tình huống
- Large model sau quantization (ví dụ INT8/INT4) khi chạy chiếm khoảng bao nhiêu bộ nhớ