AWQ là một định dạng checkpoint lượng tử hóa (quantized) mới, tương tự như GPTQ. Nó cũng cần tải toàn bộ mô hình vào GPU trước khi chạy. Ưu điểm của AWQ là nhanh hơn GGML/GGUF một chút vì chạy 100% trên GPU. Tuy nhiên, nhược điểm là không có nhiều lựa chọn về kích thước và không chạy được trên CPU. Khóa học này sẽ giúp bạn hiểu rõ hơn về AWQ, GPTQ và các định dạng checkpoint khác. Nếu bạn cần tạo API hoặc chạy trên máy chủ, nên sử dụng AWQ.