Công ty nhỏ AI Infra thực tập (1)

Tối ưu suy luận

1. Mô tả quy trình lập lịch của scheduler trong vLLM.
2. Sau khi request bị preempt trong vLLM, cơ chế xử lý tiếp theo là gì?
3. Trong speculative decoding, draft model và target model tương tác thế nào? So sánh cách vLLM và SGLang triển khai.
4. Giải thích nguyên lý GPTQ quantization và SmoothQuant.
5. Giới thiệu cơ chế suy luận EPLB trong DeepSeek V3.
6. Độ phức tạp tính toán của MLA ở prefill và decode khác nhau thế nào, và nguyên lý tối ưu hấp thụ ma trận là gì?
7. DeepSeek V3.2 có những điểm mới nào so với thế hệ trước?
8. Trong SGLang multimodal khi bật TP, image embedding của ViT được tái sử dụng hiệu quả giữa các process thế nào?