LLM không có trí nhớ: vì sao chatbot vẫn nhớ bạn? | AI Engineer

0 Views
Published
Chatbot nhớ tên bạn, nhớ câu hỏi trước đó. Nhưng thật ra LLM là stateless: model không nhớ gì cả. “Memory” chỉ là app của bạn gửi lại toàn bộ lịch sử hội thoại trong mỗi request. Video giải thích cách một cuộc chat hoạt động qua API, vì sao chat càng dài chi phí token input càng tăng, và 3 cách xử lý: cắt lịch sử cũ, tóm tắt, dùng cache. Tập 14 trong series AI Engineer dành cho dev backend.

Tag: #LLM #AIEngineer #ChatGPT #API #Token #ContextWindow #LapTrinh #AI
Category
Học Lập Trình Trực Tuyến
Tags
teduco

Ưu đãi nổi bật

Đang tải…