T5 Khác Hikvision
Hikvision AI Infra
Câu hỏi phỏng vấn AI Infra tại Hikvision thật, gồm tối ưu suy luận, toán tử và HPC
Tối ưu suy luận Tối ưu toán tử Máy tính hiệu năng cao
Tối ưu toán tử
- Bank conflict trong CUDA là gì? Làm sao tránh?
- Triển khai Softmax phiên bản CUDA thế nào?
- Ý tưởng cốt lõi của Online Softmax và FlashAttention lần lượt là gì?
Tối ưu suy luận
- Deploy mô hình lớn trên thiết bị đầu cuối gặp những thách thức nào? Có những kỹ thuật tối ưu phổ biến nào?
- Khi export mô hình, xử lý dynamic dimension thế nào?
- Các kỹ thuật quantization có những gì, mỗi cái phù hợp khi nào?
Máy tính hiệu năng cao
- Trong lập trình đa luồng, OpenMP và MPI khác nhau thế nào, và dùng khi nào?
Thực hành kỹ thuật
- Quy trình cross-compile của ncnn như thế nào?
- Mức độ nắm source ncnn ra sao?
Kinh nghiệm dự án
- Tự giới thiệu và trình bày kinh nghiệm dự án.
- Bạn biết gì về thuật toán perception, planning và control?