KE Holdings AI Infra

Fine-tune và huấn luyện mô hình lớn

1. Nguyên lý cơ bản của fine-tune LoRA
2. Cách khởi tạo hai ma trận hạng thấp trong LoRA; vì sao không thể khởi tạo ma trận A bằng không?
3. Cách triển khai P-Tuning v2 và khác biệt với các phương pháp đời trước
4. Mục tiêu và nội dung lần lượt của pretrain LLM và post-training
5. Quy trình cơ bản của GRPO trong reinforcement learning
6. Thiết kế và đánh giá hàm thưởng
7. Dùng LLM làm giám khảo (LLM as a Judge) thế nào?

Suy luận và truy hồi

8. Các phương pháp tối ưu Tokenizer là gì?
9. Vai trò cụ thể của kiểm chứng TF-IDF
10. Quy trình triển khai RAG (retrieval-augmented generation)
11. Các phương pháp vector retrieval phổ biến và cách chọn kỹ thuật

Quantization

12. Nguyên lý cơ bản của quantization và quy trình thao tác cụ thể

Bài lập trình

13. Chuyển chuỗi thành số nguyên (LeetCode 8)