Những điều bạn cần biết về Local LLM - Phần 1

Ở bài trước, chúng ta đã học cách viết prompt, sử dụng AI/LLM trong công việc hàng ngày, bằng cách sử dụng các dịch vụ online như ChatGPT/Claude/Gemini.

Tuy nhiên, có những trường hợp bạn cần bảo mật dữ liệu khách hàng, muốn tiết kiệm chi phí, hoặc không muốn dùng các dịch vụ online. Trong trường hợp đó, bạn có thể sử dụng Local LLM.

Local LLM là gì?

Local LLM là một mô hình ngôn ngữ lớn chạy ở local, tức là một phần mềm nằm trong máy tính của bạn, mà không cần kết nối internet!

Giống như Google Docs cần kết nối mạng còn Microsoft Word thì không cần, Local LLM giúp bạn sử dụng AI mà không cần kết nối internet.

Một số model LLM open-source nổi bật (4/2026):

  • Llama 4 (Meta): Biến thể Scout (17B active, 10M context) và Maverick (17B active, 400B total, 1M context), kiến trúc Mixture-of-Experts (MoE), multimodal.
  • DeepSeek V3 / V3.2: 671B tham số tổng (37B active, MoE), mạnh nhất về code và toán trong nhóm open-source.
  • Qwen 3.5 (Alibaba): 397B tham số, 256k context, multimodal, hỗ trợ 201 ngôn ngữ, top MMLU/IFBench. License Apache 2.0. Đạt 700M+ download trên HuggingFace.
  • Gemma 4: Model nhỏ gọn của Google, phù hợp chạy local.
  • Mistral / Mixtral / Ministral: Startup từ Pháp, model nhỏ hiệu quả, hiện tại đã hơi lỗi thời và yếu so với các model Trung Quốc.

Xu hướng 2026: Thị phần của các model open-source Trung Quốc (DeepSeek + Qwen) tăng từ 1% (1/2025) lên ~15% toàn cầu (1/2026). Khoảng cách giữa open-source và closed-source thu hẹp nhanh.

meta

Tại sao bạn nên sử dụng Local LLM, các ưu nhược điểm của chúng

Vậy, tại sao bạn nên chạy LLM trên máy tính của mình thay vì dùng OpenAI/Claude...?

Việc này có khá nhiều ưu điểm:

  • Bạn hoàn toàn kiểm soát và bảo mật dữ liệu của mình. Với một số công ty, dữ liệu quan trọng như thông tin tài chính, dữ liệu y tế, khách hàng... không thể đăng lên các bên thứ ba.
  • Bạn không cần lo lắng khi không có Internet, tiết kiệm được tiền dịch vụ hoặc tiền API mỗi tháng
  • Local LLM thường không bị kiểm duyệt hoặc hoàn toàn uncensor nên bạn có thể sử dụng nó cho mọi mục đích.
  • Thời gian phản hồi có thể sẽ nhanh hơn vì mọi thứ đều chạy trên máy của bạn.

Bên cạnh đó, chúng cũng có một vài nhược điểm:

  • Bạn cần một máy tính mạnh, RAM ngon, GPU tạm ổn để chạy được các LLM này.
  • Cài đặt và sử dụng LLM có thể khá phức tạp, đặc biệt là với người không chuyên. (Không sao, bọn mình sẽ giải thích ở các phần sau.)
  • Tuỳ thuộc vào độ lớn của LLM local, nhưng đa phần các mô hình bạn chạy trên laptop sẽ không được thông minh bằng các LLM lớn như GPT-5.4, Claude Opus 4.7, Gemini 3.1 Pro (vì chúng được chạy trên các server khủng, hàng chục GPU H100/H200/B200). Tuy nhiên, các model open-source full-size như DeepSeek V3, Qwen 3.5 khi chạy trên server thì có khả năng ngang ngửa model frontier.

Các local LLM thường ít bị kiểm duyệt (uncensored), nên bạn có thể sử dụng chúng cho nhiều mục đích như viết lách, nghiên cứu security, tạo test data độc hại để huấn luyện bộ lọc...

Censored ✅ Uncensored
Censored Uncensored

Nói chung, nếu bạn cần làm việc với dữ liệu nhạy cảm, không muốn dùng dịch vụ online, hoặc muốn tiết kiệm chi phí và ghét mấy cái model từ chối trả lời, Local LLM là lựa chọn tốt cho bạn.

Cấu hình máy để chạy Local LLM

Trước khi bắt đầu chạy LLM trên máy tính của mình, hãy nói về phần cứng mà bạn cần có!

Có một sự thật đắng lòng là chạy mấy cái LLM này cần máy từ tầm trung tới mạnh:

  • Tối thiểu 8GB RAM cho các model 7B. 16GB RAM cho 7B-13B. 32GB+ cho model 30B+.
  • Có GPU với 6GB+ VRAM sẽ nhanh hơn đáng kể, CPU-only vẫn chạy được nhưng chậm.
  • Tốt nhất là card NVIDIA dòng RTX 3000 trở lên hoặc RTX 4000/5000 series (Blackwell).
  • Cá nhân mình thấy dùng card NVIDIA RTX 4070 / 5070 (12GB VRAM) trở lên là đủ để chạy các LLM 7B-14B ngon. Nếu muốn sang hơn chạy được 30B-70B thì sắm RTX 4090 / RTX 5090 (24-32GB VRAM).
  • Macbook Apple Silicon M1 tới M5 với 16-64GB unified memory chạy LLM local rất tốt (có thể chạy cả model 70B với 64GB RAM), nhờ kiến trúc unified memory và framework MLX.

Nhiều con máy gaming có thể chơi game FullHD, 60fps nhưng chạy LLM thì sẽ lết vài chục token/s như thế này nhé! inference

Nếu máy của bạn không có card đồ hoạ, hoặc chỉ có RAM khoẻ, hoặc bạn dùng Macbook Chip M (Apple silicon) thì đừng cũng đừng lo! Mình sẽ hướng dẫn thêm ở bài sau. (Macbook ChipM chạy LLM cũng trâu lắm nhé!)

Còn nếu máy bạn chỉ có CPU từ đời Tống, RAM chỉ 4-8GB thì... xin chia buồn, bạn nên bỏ qua phần này, mua máy mới hoặc sử dụng API online nha!

Tóm tắt bài học

  • Local LLM là mô hình ngôn ngữ lớn chạy trên máy tính cá nhân mà không cần kết nối internet, giúp bảo mật thông tin và tiết kiệm chi phí.
  • Một số mô hình nổi bật như LLama, Gemma, Mistral, QWenLM, và Yi đều có khả năng cung cấp dịch vụ AI mạnh mẽ.
  • Ưu điểm của Local LLM bao gồm: kiểm soát dữ liệu, không phụ thuộc vào internet, có thể hoạt động uncensored, và thời gian phản hồi nhanh hơn.
  • Nhược điểm gồm yêu cầu về phần cứng mạnh mẽ, cài đặt phức tạp, và khả năng thông minh có thể thấp hơn so với các LLM lớn như GPT-4.
  • Để chạy Local LLM, máy tính cần có 6GB đến 16GB VRAM, card NVIDIA từ dòng 2XXX trở lên, và RAM tối thiểu từ 8GB trở lên.
  • Local LLM là giải pháp lý tưởng cho những ai làm việc với dữ liệu nhạy cảm và không muốn sử dụng dịch vụ trực tuyến.

Câu hỏi ôn tập

  1. Tại sao Local LLM lại được coi là giải pháp tốt cho việc bảo mật dữ liệu doanh nghiệp?

    Local LLM cho phép người dùng hoàn toàn kiểm soát và bảo mật dữ liệu vì mô hình chạy trực tiếp trên máy tính cá nhân, không cần kết nối internet và không phải đưa dữ liệu lên các bên thứ ba. Điều này đặc biệt quan trọng với các thông tin nhạy cảm như dữ liệu tài chính, y tế hay thông tin khách hàng.

  2. Cấu hình tối thiểu để chạy Local LLM hiệu quả là gì?

    Để chạy Local LLM hiệu quả, máy tính cần có:

  • VRAM: 6GB đến 16GB (tốt nhất)
  • Card đồ họa: NVIDIA dòng 2XXX trở lên
  • Khuyến nghị: RTX 3060 (8GB VRAM) trở lên
  • Nếu không có VRAM thì cần 8-16-24GB RAM nhưng sẽ chạy chậm hơn

  1. So với các dịch vụ AI online như ChatGPT/Claude/Gemini, Local LLM có những ưu điểm và nhược điểm gì?

    Ưu điểm:

  • Kiểm soát và bảo mật dữ liệu tốt hơn
  • Không phụ thuộc Internet
  • Tiết kiệm chi phí dịch vụ/API
  • Không bị kiểm duyệt
  • Thời gian phản hồi có thể nhanh hơn

Nhược điểm:

  • Yêu cầu máy tính mạnh
  • Cài đặt và sử dụng phức tạp
  • Độ thông minh thường không bằng các LLM lớn

  1. Các mô hình Local LLM phổ biến hiện nay là gì?

    Các mô hình Local LLM phổ biến bao gồm:

  • LLama (Meta/Facebook)
  • Gemma (Google)
  • Mistral (MistralAI)
  • QWenLM (Alibaba Cloud)
  • Yi (01-ai)

  1. Tại sao Local LLM thường ít bị kiểm duyệt (uncensored) hơn so với các dịch vụ AI online?

    Local LLM ít bị kiểm duyệt vì chúng chạy trực tiếp trên máy người dùng, không phải tuân theo các quy định và chính sách của các nền tảng online. Điều này cho phép người dùng sử dụng cho nhiều mục đích đa dạng như viết lách, nghiên cứu bảo mật, tạo test data độc hại để huấn luyện bộ lọc mà không bị giới hạn bởi các quy tắc kiểm duyệt.

← Các Tool AI giúp nâng cao năng suất cho developer Những điều bạn cần biết về Local LLM - Phần 2 →

Facebook Messenger

fb.com/toidicodedao

Email Support

[email protected]

Telegram

t.me/hoccodeai