Recursive Character Text Splitting
Recursive Character Text Splitting (Chia nhỏ văn bản đệ quy theo ký tự) là một kỹ thuật chia nhỏ văn bản thành các đoạn nhỏ hơn dựa trên một tập hợp các ký tự phân tách. Kỹ thuật này được sử dụng trong RAG để chia nhỏ các tài liệu lớn thành các đoạn nhỏ hơn, có thể được nhúng và lưu trữ trong cơ sở dữ liệu vector. Chia nhỏ văn bản đệ quy theo ký tự cho phép bạn chỉ định các ký tự phân tách tùy chỉnh, chẳng hạn như dấu phẩy hoặc dấu chấm, để chia nhỏ văn bản thành các đoạn có ý nghĩa.
Các thuật ngữ liên quan
Chào mừng bạn đến với HocCodeAI 👋
Bài viết này là một phần của Danh sách thuật ngữ HocCodeAI.
Hãy ghé thăm trang chủ hoccodeai.com để khám phá thêm nhiều bài viết hữu ích.
Nhớ xem thử khóa học Generative AI của bọn mình để nâng cao kỹ năng của bạn nhé!
Hãy ghé thăm trang chủ hoccodeai.com để khám phá thêm nhiều bài viết hữu ích.
Nhớ xem thử khóa học Generative AI của bọn mình để nâng cao kỹ năng của bạn nhé!