GGUF là phiên bản cải tiến của GGML, ra mắt vào ngày 21 tháng 8 năm 2023. Nó cũng là một định dạng được tối ưu hóa để chạy LLM trên GPU và CPU. GGUF hiện được sử dụng phổ biến hơn GGML. Định dạng này cho phép chạy hoàn toàn trên RAM mà không cần GPU (nhưng rất chậm), hoặc tải một phần của mô hình lên VRAM và RAM để chạy các mô hình lớn khi card yếu. Có nhiều lựa chọn về kích thước và độ chính xác, từ 8bit chất lượng tốt nhất đến Q4_0 hoặc Q4_K_M tiết kiệm RAM hơn. Nếu bạn cần chạy LLM trên máy tính cá nhân, nên sử dụng GGUF (đặc biệt là với người dùng Mac). Khóa học này sẽ giúp bạn hiểu rõ hơn về GGUF và các định dạng checkpoint khác.