Context Window là gì? Vì sao AI “quên” dù có 1 triệu token

0 Views

  • Thanks! Share it with your friends!

    You disliked this video. Thanks for the feedback!

⚡ Dùng Thử VIP Đang kích hoạt SponsorBlock & VIP: Tự động bỏ qua quảng cáo (30 phút dùng thử hôm nay)
⚡ SponsorBlock: Đã tự động bỏ qua phân đoạn tài trợ / quảng cáo!
tungithy
Published
Model quảng cáo context 1 triệu token, vậy mà chat một lúc vẫn quên điều bạn dặn từ đầu. Lý do là context window không phải bộ nhớ của model. Nó giống RAM: nhanh, có giới hạn, hết request là mất sạch.
Trong video:
Trọng số (kiến thức lúc train) khác gì context window
System prompt, lịch sử chat, tool, tài liệu và cả output dùng chung một ngăn
Vì sao câu trả lời bị cụt và model “quên” tin nhắn cũ
Context càng dài càng tốn tiền, càng chậm, và hiện tượng “Lost in the Middle”
Mẹo đặt thông tin quan trọng ở đầu hoặc cuối prompt
Đây là tập 9 của series AI Engineer cho developer, phần “LLM bên trong, ở mức đủ dùng”. Tập sau: Temperature và top-p.
#AIEngineer #LLM #ContextWindow
Category
Học Lập Trình Trực Tuyến
Tags
teduco

Up Next

Kênh Đối Tác 🔇 Đã Tắt Tiếng (Không Làm Phiền)
Đại Tạng Kinh & Kinh Điển Phật Giáo Nguyên Chất
Được tài trợ bởi: Thư Viện Phật Giáo
↗ Mở Xem Chi Tiết
💡 Video quảng cáo chạy tắt tiếng để lượt xem cho chủ kênh vẫn được tính đầy đủ trên hệ thống mà không làm gián đoạn bài giảng/bản nhạc bạn đang nghe.

Ưu đãi nổi bật

Đang tải…