Token
Trong ngữ cảnh của LLM, token là đơn vị cơ bản mà mô hình sử dụng để xử lý văn bản. Một token có thể là một từ, một phần của từ hoặc thậm chí là các ký tự đơn lẻ. LLM xử lý văn bản dưới dạng chuỗi token, sau đó dự đoán token tiếp theo sẽ xuất hiện. Kích thước của token có thể khác nhau tùy thuộc vào mô hình và ngôn ngữ được sử dụng. Việc hiểu về token là quan trọng để tối ưu hóa prompt và giảm chi phí sử dụng LLM.
Các thuật ngữ liên quan
Chào mừng bạn đến với HocCodeAI 👋
Bài viết này là một phần của Danh sách thuật ngữ HocCodeAI.
Hãy ghé thăm trang chủ hoccodeai.com để khám phá thêm nhiều bài viết hữu ích.
Nhớ xem thử khóa học Generative AI của bọn mình để nâng cao kỹ năng của bạn nhé!
Hãy ghé thăm trang chủ hoccodeai.com để khám phá thêm nhiều bài viết hữu ích.
Nhớ xem thử khóa học Generative AI của bọn mình để nâng cao kỹ năng của bạn nhé!