Chuyển đến nội dung chính
T3 Chip và phần cứng Enflame Thực tập Vòng 1

Enflame AI Infra thực tập vòng một

Câu hỏi phỏng vấn Enflame AI Infra thực tập vòng một thật, gồm tối ưu suy luận, tối ưu toán tử và các hướng liên quan

Tối ưu suy luận Tối ưu toán tử

Dưới đây là nội dung khảo sát vòng một thực tập AI Infra tại Enflame.

Kinh nghiệm dự án

  1. Hỏi sâu trải nghiệm thực tập
  2. Hỏi sâu kinh nghiệm dự án

Quantization

  1. Căn cứ chọn chiến lược quantization: vì sao chọn INT8; A100 và H100 hỗ trợ các độ chính xác quantization khác nhau thế nào
  2. Đối tượng quantization là weight mô hình hay KV Cache; tham số scale xác định thế nào
  3. Sau quantization đã đánh giá mất mát độ chính xác chưa

Phát triển toán tử

  1. Logic triển khai toán tử Triton, gồm chiến lược chia khối và tương tự
  2. Baseline chính thức dùng để so sánh và kiểu dữ liệu
  3. Nguồn số liệu tăng hiệu năng; chiến lược chia khối động và cấu hình toán tử
  4. Đã cân nhắc dùng CUDA thay Triton để viết toán tử chưa; vì sao chọn Triton
  5. Đã profiling chưa; throughput bộ nhớ và các chỉ số hiệu năng ra sao; hướng tối ưu tiếp theo

Tối ưu suy luận

  1. Module Attention chiếm tỷ lệ bao nhiêu trong latency end-to-end của cả hệ thống
  2. Giai đoạn decode thuộc compute bound hay memory bound; quantization KV Cache cải thiện mặt nào
  3. Trần băng thông bộ nhớ lý thuyết của A100