Những điều bạn cần biết về Local LLM - Phần 1

Ở bài trước, chúng ta đã học cách viết prompt, sử dụng AI/LLM trong công việc hàng ngày, bằng cách sử dụng các dịch vụ online như ChatGPT/Claude/Bard.

Tuy nhiên, có những trường hợp bạn cần bảo mật dữ liệu khách hàng, muốn tiết kiệm chi phí, hoặc không muốn dùng các dịch vụ online. Trong trường hợp đó, bạn có thể sử dụng Local LLM.

Local LLM là gì?

Local LLM là một mô hình ngôn ngữ lớn chạy ở local, tức là một phần mềm nằm trong máy tính của bạn, mà không cần kết nối internet!

Giống như Google Docs cần kết nối mạng còn Microsoft Word thì không cần, Local LLM giúp bạn sử dụng AI mà không cần kết nối internet.

Một số model LLM có thể bạn đã nghe nhắc đến:

• LLama: Được phát triển bởi Facebook/Meta. Phiên bản mới nhất là Llama3 vừa được ra mắt vào tháng 4
• Gemma: Được phát triển bởi Google, một trong những LLM mạnh và ổn nhất hiện nay
• Mistral: Được tạo ra bởi MistralAI, một startup AI gần đây
• QWenLM: Được tạo ra bởi Alibaba Cloud, một trong những LLM open source mạnh nhất hiện nay
• Yi: Một LLM khá mạnh, 200k context size do 01-ai phát triển

Tại sao bạn nên sử dụng Local LLM, các ưu nhược điểm của chúng

Vậy, tại sao bạn nên chạy LLM trên máy tính của mình thay vì dùng OpenAI/Claude...?

Việc này có khá nhiều ưu điểm:

• Bạn hoàn toàn kiểm soát và bảo mật dữ liệu của mình. Với một số công ty, dữ liệu quan trọng như thông tin tài chính, dữ liệu y tế, khách hàng... không thể đăng lên các bên thứ ba.
• Bạn không cần lo lắng khi không có Internet, tiết kiệm được tiền dịch vụ hoặc tiền API mỗi tháng
• Local LLM thường không bị kiểm duyệt hoặc hoàn toàn uncensor nên bạn có thể sử dụng nó cho mọi mục đích.
• Thời gian phản hồi có thể sẽ nhanh hơn vì mọi thứ đều chạy trên máy của bạn.

Bên cạnh đó, chúng cũng có một vài nhược điểm:

• Bạn cần một máy tính mạnh, RAM ngon, GPU tạm ổn để chạy được các LLM này.
• Cài đặt và sử dụng LLM có thể khá phức tạp, đặc biệt là với người không chuyên. (Không sao, bọn mình sẽ giải thích ở các phần sau.)
• Tuỳ thuộc vào độ lớn của LLM local, nhưng đa phần các mô hình này sẽ không được thông minh bằng các LLM lớn như GPT-4, Claude, Gemini (Vì chúng được chạy trên các server khủng, vài chục card đồ hoạ)

Các local LLM thường ít bị kiểm duyệt (uncensored), nên bạn có thể sử dụng chúng cho nhiều mục đích như viết lách, nghiên cứu security, tạo test data độc hại để huấn luyện bộ lọc...

Censored	✅ Uncensored

Nói chung, nếu bạn cần làm việc với dữ liệu nhạy cảm, không muốn dùng dịch vụ online, hoặc muốn tiết kiệm chi phí và ghét mấy cái model từ chối trả lời, Local LLM là lựa chọn tốt cho bạn.

Cấu hình máy để chạy Local LLM

Trước khi bắt đầu chạy LLM trên máy tính của mình, hãy nói về phần cứng mà bạn cần có!

Có một sự thật đắng lòng là chạy mấy cái LLM này cần máy từ tầm trung tới mạnh:

• Ít nhất là 6GB VRAM tới 16GB VRAM cho các mô hình lớn. Nếu không thì cần 8-16-24GB RAM, nhưng sẽ chậm hơn VRAM.
• Tốt nhất là card NVIDIA, dòng 2XXX trở lên vì chúng hỗ trợ tốt hơn
• Cá nhân mình thấy dùng card NVIDIA RTX 3060 - 8GB VRAM trở lên là đủ để chạy các LLM vừa vừa, còn nếu sang hơn thì bạn hãy sắm RTX 3090 hoặc 4090 có 24GB VRAM chạy cho thoải mái.

Nhiều con máy gaming có thể chơi game FullHD, 60fps nhưng chạy LLM thì sẽ lết vài chục token/s như thế này nhé!

Nếu máy của bạn không có card đồ hoạ, hoặc chỉ có RAM khoẻ, hoặc bạn dùng Macbook Chip M (Apple silicon) thì đừng cũng đừng lo! Mình sẽ hướng dẫn thêm ở bài sau. (Macbook ChipM chạy LLM cũng trâu lắm nhé!)

Còn nếu máy bạn chỉ có CPU từ đời Tống, RAM chỉ 4-8GB thì... xin chia buồn, bạn nên bỏ qua phần này, mua máy mới hoặc sử dụng API online nha!