Shopee AI Infra thực tập (2)

Tối ưu suy luận

1. Nguyên lý cốt lõi và ý tưởng thiết kế của vLLM
2. Giới thiệu vLLM, quantization mô hình và các mẹo tối ưu KV Cache
3. Làm sao nâng khả năng hội thoại nhiều vòng của mô hình
4. Hình thức “packing” khác “multi-turn dialogue” ở điểm nào

Liên quan RAG

5. Trong ứng dụng RAG đánh giá hiệu quả thế nào, dùng những chỉ số cụ thể nào
6. Huấn luyện mô hình sinh tạo cho tình huống RAG thế nào
7. Cách dựng dữ liệu huấn luyện CoT (Chain-of-Thought)

Bài lập trình

8. Khoảng cách chỉnh sửa (LeetCode 72)