Temperature và Top-p trong LLM: Temperature 0 vẫn không trả lời giống nhau?

0 Views

  • Thanks! Share it with your friends!

    You disliked this video. Thanks for the feedback!

tungithy
Published
Temperature không phải núm chỉnh độ sáng tạo của AI. Nó chỉ bóp méo bảng xác suất mà model dùng để chọn token tiếp theo. Temperature thấp làm phân phối nhọn lại, temperature cao làm nó dàn phẳng ra. Còn top-p thì cắt bỏ phần đuôi, chỉ giữ nhóm token đứng đầu cộng dồn đủ ngưỡng xác suất.

Bất ngờ là temperature = 0 vẫn không đảm bảo output giống nhau. Thinking Machines Lab gửi cùng một prompt 1.000 lần và nhận về 80 câu trả lời khác nhau. Nguyên nhân là server gộp request của nhiều người vào chung một batch trên GPU.

Mẹo thực chiến: chỉ chỉnh một trong hai tham số. Các model Claude đời mới sẽ trả lỗi 400 nếu bạn đặt cả temperature và top_p.

Tập 10 series AI Engineer: lộ trình cho lập trình viên chuyển sang làm AI.

#AIEngineer #LLM #Temperature
Category
Học Lập Trình Trực Tuyến
Tags
teduco

Up Next

Ưu đãi nổi bật

Đang tải…