Top-k Sampling

Top-k sampling là một kỹ thuật lấy mẫu trong quá trình tạo văn bản của LLM. Thay vì xem xét toàn bộ từ vựng, mô hình chỉ chọn ra k từ/token có xác suất cao nhất để lựa chọn cho token tiếp theo. Điều này giúp giảm thiểu khả năng tạo ra các từ không liên quan hoặc vô nghĩa, làm cho đầu ra tập trung và mạch lạc hơn.

Các thuật ngữ liên quan

Facebook Messenger

fb.com/toidicodedao

Email Support

[email protected]

Telegram

t.me/hoccodeai