GPTQ
GPTQ là một định dạng checkpoint lượng tử hóa (quantized), khá phổ biến trước khi GGML ra đời. Nó cần tải toàn bộ mô hình vào GPU trước khi chạy. Ưu điểm của GPTQ là nhanh hơn GGML/GGUF một chút vì chạy 100% trên GPU. Tuy nhiên, nhược điểm là không có nhiều lựa chọn về kích thước và không chạy được trên CPU. AWQ cũng là một định dạng lượng tử hóa mới, tương tự như GPTQ.
Các thuật ngữ liên quan
Chào mừng bạn đến với HocCodeAI 👋
Bài viết này là một phần của Danh sách thuật ngữ HocCodeAI.
Hãy ghé thăm trang chủ hoccodeai.com để khám phá thêm nhiều bài viết hữu ích.
Nhớ xem thử khóa học Generative AI của bọn mình để nâng cao kỹ năng của bạn nhé!
Hãy ghé thăm trang chủ hoccodeai.com để khám phá thêm nhiều bài viết hữu ích.
Nhớ xem thử khóa học Generative AI của bọn mình để nâng cao kỹ năng của bạn nhé!