Đặc tả Kỹ thuật: AI Assistant
Tài liệu này chi tiết về kiến trúc kỹ thuật, đường ống RAG và hạ tầng cho module AI Assistant.
1. Kiến trúc Cấp cao
AI Assistant là một hệ thống dựa trên RAG (Retrieval-Augmented Generation). Nó sử dụng một cơ sở dữ liệu vector để thực hiện tìm kiếm ngữ nghĩa trên dữ liệu thuộc phạm vi tổ chức trước khi tạo ra các phản hồi thông qua Mô hình Ngôn ngữ Lớn (LLM).
Sơ đồ Thành phần
2. Stack Công nghệ
Backend (API)
- Runtime: Bun
- Framework: Ignis Framework
- Router: Hono
- Vector DB: PostgreSQL với tiện ích mở rộng pgvector.
- LLM Engine: OpenAI (GPT-4o / GPT-4o-mini).
- Embeddings:
text-embedding-3-small(1536 chiều).
Frontend (UI)
- Thư viện: React 18
- Công cụ Build: Vite
- Styling: Tailwind CSS v4 + ARDOR UI Kit
- Streaming: Server-Sent Events (SSE) để render phản hồi theo thời gian thực.
3. Chi tiết Triển khai RAG
3.1 Đường ống Đánh chỉ mục (Cơ sở tri thức)
- Trích xuất: Văn bản thô được lấy từ
Drive(qua stream S3) hoặcDocument(qua SQL). - Chia nhỏ (Chunking): Văn bản được chia thành các đoạn (chunk) chồng lấp (ví dụ: 500 token với 50 token chồng lấp).
- Nhúng (Embedding): Các đoạn văn được gửi đến API embedding của OpenAI.
- Lưu trữ: Các vector và đoạn văn được lưu trong bảng
kb_chunks, cô lập theoorgId.
3.2 Đường ống Truy xuất (Hỏi & Đáp)
- Nhúng câu hỏi: Câu hỏi của người dùng được nhúng thành một vector 1536 chiều.
- Tìm kiếm Vector: Một tìm kiếm độ tương đồng cosine được thực hiện bằng toán tử
<=>của pgvector. - Lắp ghép Ngữ cảnh:
Kđoạn văn bản liên quan nhất được truy xuất và định dạng vào system prompt của LLM. - Tạo phản hồi: LLM tạo ra câu trả lời, tuân theo các hướng dẫn nghiêm ngặt để chỉ trích dẫn nguồn từ ngữ cảnh được cung cấp.
4. Bảo mật & Quyền riêng tư
4.1 Cô lập Dữ liệu
Mỗi nguồn cơ sở tri thức và các chunk tương ứng của nó đều được gắn nhãn với một organizationId. Các truy vấn tìm kiếm vector được giới hạn nghiêm ngặt trong tổ chức của người dùng.
4.2 Từ chối Đào tạo
VENI-AI sử dụng các thỏa thuận API Doanh nghiệp với các nhà cung cấp LLM đảm bảo rằng dữ liệu được gửi để hoàn thiện hoặc nhúng không bao giờ được sử dụng để đào tạo các mô hình công khai.
4.3 Tính toàn vẹn của Trích dẫn
Hệ thống triển khai tính năng "Làm nổi bật theo ngữ cảnh" để truy xuất đoạn văn nguồn trực tiếp từ cơ sở dữ liệu khi một trích dẫn được nhấp vào, đảm bảo người dùng thấy chính xác những gì AI đã đọc.
Liên kết liên quan