Token là gì? Vì sao tiếng Việt tốn token hơn tiếng Anh #shorts

1 Views

  • Thanks! Share it with your friends!

    You disliked this video. Thanks for the feedback!

⚡ Dùng Thử VIP Đang kích hoạt SponsorBlock & VIP: Tự động bỏ qua quảng cáo (30 phút dùng thử hôm nay)
⚡ SponsorBlock: Đã tự động bỏ qua phân đoạn tài trợ / quảng cáo!
tungithy
Published
Gửi cùng một câu hỏi cho LLM, viết bằng tiếng Việt có thể tốn gấp đôi tiền so với tiếng Anh. Lý do là model không tính tiền theo chữ mà tính theo token, tức những mảnh chữ do tokenizer cắt ra.

Tokenizer học cách cắt bằng thuật toán BPE: cặp ký tự nào hay đi cùng nhau trong dữ liệu huấn luyện thì được gộp thành một token. Dữ liệu chủ yếu là tiếng Anh, nên “Hello” chỉ là một token. Tiếng Việt có dấu, chữ “ệ” chiếm 3 byte trong UTF-8, nên ít được gộp và bị cắt vụn thành nhiều token.

Mức chênh lệch không cố định mà phụ thuộc tokenizer: khoảng 4 lần với GPT-2, khoảng gấp đôi với GPT-4, và khoảng 1,3 lần với GPT-4o. Đổi model là đổi hóa đơn, và context window cũng đầy nhanh hơn. Trước khi chọn model cho app tiếng Việt, hãy đếm token trên chính dữ liệu của bạn.

Đây là tập 6 trong series AI Engineer cho dev. Tập sau nói về embedding: cách biến chữ thành tọa độ.

#AIEngineer #LLM #Token
Category
Học Lập Trình Trực Tuyến
Tags
teduco

Up Next

Kênh Đối Tác 🔇 Đã Tắt Tiếng (Không Làm Phiền)
Trải Nghiệm YouTube Pro Không Gián Đoạn - Chất Lượng 4K
Được tài trợ bởi: Video Phim Pro
↗ Mở Xem Chi Tiết
💡 Video quảng cáo chạy tắt tiếng để lượt xem cho chủ kênh vẫn được tính đầy đủ trên hệ thống mà không làm gián đoạn bài giảng/bản nhạc bạn đang nghe.

Ưu đãi nổi bật

Đang tải…