Presence penalty là một tham số trong LLM, được sử dụng để khuyến khích hoặc ngăn chặn mô hình lặp lại các token đã xuất hiện trong đầu ra. Giá trị dương làm giảm khả năng lặp lại, trong khi giá trị âm làm tăng khả năng lặp lại. Presence penalty giúp kiểm soát tính đa dạng và mạch lạc của văn bản được tạo ra.