Pre-training, Fine-tuning, RLHF: ChatGPT được “dạy” thế nào?

0 Views

  • Thanks! Share it with your friends!

    You disliked this video. Thanks for the feedback!

tungithy
Published
Model vừa train xong không biết trả lời câu hỏi, nó chỉ biết viết tiếp. Video này giải thích 3 giai đoạn để có một LLM như ChatGPT:

Pre-training: đọc hàng nghìn tỷ token, học đoán token tiếp theo, tạo ra base model
Fine-tuning có giám sát (SFT): học từ các cặp hỏi–đáp mẫu, nắm “cái khuôn” hội thoại
RLHF (Reinforcement Learning from Human Feedback): con người xếp hạng câu trả lời, reward model chấm điểm, LLM được tối ưu theo điểm đó

Hai hệ quả dev cần biết: fine-tuning không phải cách tin cậy để nạp kiến thức mới (muốn model trả lời theo tài liệu công ty thì thường cần RAG), và model hay chiều theo người hỏi kể cả khi họ sai.

Tập 12 series AI Engineer: lộ trình cho dev backend chuyển sang AI Engineering. Tập sau: bên trong một request gọi LLM có gì.

#AIEngineer #LLM #RLHF

Tags: AI Engineer, LLM, RLHF, fine-tuning, pre-training, SFT, supervised fine-tuning, reward model, base model, ChatGPT hoạt động thế nào, học AI cho lập trình viên, RAG, sycophancy, large language model, chuyển nghề AI, lập trình viên AI
Category
Học Lập Trình Trực Tuyến
Tags
teduco

Up Next

Ưu đãi nổi bật

Đang tải…