Context size, hay kích thước ngữ cảnh, đề cập đến số lượng token tối đa mà LLM có thể xử lý trong một lần nhập, tức là ngữ cảnh của câu hỏi. Ngữ cảnh lớn hơn cho phép mô hình hiểu và phản hồi với các prompt dài hơn và phức tạp hơn. Các phiên bản ChatGPT cũ chỉ có kích thước ngữ cảnh 4000/8000, tức là chúng chỉ nhớ được khoảng 3000-6000 từ. Do đó, khi trò chuyện một hồi, bot sẽ quên những gì bạn đã nói, vì hệ thống đã cắt bớt các tin nhắn trò chuyện ở đầu để vừa với số lượng token. Ở các phiên bản mới, LLM đã hỗ trợ 16-32k token, hoặc Claude hỗ trợ 200k token, giúp bot nhớ được nhiều hơn, có thể đọc cả một cuốn tiểu thuyết hoặc mã nguồn. Khóa học này cũng đề cập đến khái niệm context size trong Local LLM, cho phép bạn chạy LLM trên máy tính cá nhân.