Chi phí LLM API: Vì sao Input Chiếm 80% Hóa Đơn Dù Output Đắt Gấp 5 Lần

0 Views

  • Thanks! Share it with your friends!

    You disliked this video. Thanks for the feedback!

tungithy
Published
Output token đắt gấp khoảng 5 lần input token, nhưng hóa đơn LLM API của bạn lại chủ yếu là input. Vì sao?

Trong video này: cách API tính tiền theo token với hai mức giá riêng cho input và output, ví dụ tính chi phí một request chatbot RAG gửi 10.000 token và nhận về 500 token, vì sao input chiếm khoảng 80% chi phí, vì sao LLM stateless khiến chi phí mỗi lượt chat tăng dần, và vì sao thinking token được tính như output.

Giá trong video chỉ là ví dụ, hãy kiểm tra bảng giá của model bạn dùng.

Tập 18 trong series AI Engineer dành cho dev backend chuyển sang AI. Tập sau: Prompt caching.

#AIEngineer #LLM #ChiPhíAI #Token #RAG #PromptCaching #LậpTrình #Shorts
Category
Học Lập Trình Trực Tuyến
Tags
teduco

Up Next

Ưu đãi nổi bật

Đang tải…