GGML là một định dạng được tối ưu hóa để chạy LLM trên GPU và CPU, sử dụng llama.cpp. Định dạng này cho phép chạy hoàn toàn trên RAM mà không cần GPU (nhưng rất chậm), hoặc tải một phần của mô hình lên VRAM và RAM để chạy các mô hình lớn khi card yếu. Có nhiều lựa chọn về kích thước và độ chính xác, từ 8bit chất lượng tốt nhất đến Q4_0 hoặc Q4_K_M tiết kiệm RAM hơn. Tuy nhiên, GGUF là phiên bản cải tiến của GGML, ra mắt vào 21/8/2023 và được sử dụng phổ biến hơn hiện nay. Khóa học này sẽ giúp bạn hiểu rõ hơn về GGML và GGUF.