Trong ngữ cảnh của LLM, token là đơn vị cơ bản mà mô hình sử dụng để xử lý văn bản. Một token có thể là một từ, một phần của từ hoặc thậm chí là các ký tự đơn lẻ. LLM xử lý văn bản dưới dạng chuỗi token, sau đó dự đoán token tiếp theo sẽ xuất hiện. Kích thước của token có thể khác nhau tùy thuộc vào mô hình và ngôn ngữ được sử dụng. Việc hiểu về token là quan trọng để tối ưu hóa prompt và giảm chi phí sử dụng LLM.