T5 Khác iFlytek Tuyển sinh viên mới tốt nghiệp
iFLYTEK Feixing AI Infra tuyển mới tốt nghiệp
Câu hỏi phỏng vấn iFLYTEK AI Infra tuyển mới tốt nghiệp thật, gồm tối ưu suy luận và các hướng liên quan
Tối ưu suy luận
Tối ưu suy luận
- NVIDIA GPU có những tối ưu phần cứng chuyên cho kiểu dữ liệu FP8 nào?
- Hai định dạng FP8 (E4M3 và E5M2) khác gì? Cách tính của từng loại ra sao?
- Làm sao tính kích thước KV Cache khi lưu bằng FP8?
- GPU dòng H và dòng L khác gì về thiết kế kiến trúc?
- Gần đây trong tối ưu suy luận có kỹ thuật hay phương pháp nào đáng chú ý?