Tencent AI Infra

Tối ưu suy luận

1. Giới thiệu nguyên lý cơ bản của FP4 quantization
2. Trong scenario quantization, chiều của matrix multiplication thay đổi thế nào
3. Ở tầng phần cứng, thao tác quantization được thực thi ra sao
4. Hiện thực quantized inference đòi hỏi phần cứng những gì cụ thể
5. FlashAttention làm gì và các điểm tối ưu cốt lõi là gì
6. Quy trình suy ra chiều của attention matrix trong FlashAttention
7. Trong FlashAttention, ma trận K có chứa chiều tương ứng với Q không
8. Trong multi-head attention và scenario multi-batch, song song hóa tính toán thế nào

Kiến thức nền

9. Các câu hỏi liên quan kiến trúc GPU
10. Phân tích bottleneck hiệu năng hệ thống thế nào