Reliability Stress Testing of RAG Retrieval under Query-Relevant Corpus Poisoning

{"tags": ["RAG", "Corpus Poisoning", "Information Retrieval", "BGE-small", "BM25", "AI Security"], "risks": ["Tài liệu độc hại dễ dàng chiếm context window của LLM chỉ bằng kỹ thuật neo từ khóa truy vấn đơn giản.", "Các giải pháp phòng thủ thông thường như MMR không có tác dụng ngăn chặn phơi nhiễm tài liệu bị đầu độc.", "Bộ lọc dựa trên mức độ trùng lặp từ khóa làm suy giảm nghiêm trọng tiện ích truy xuất thông thường của hệ thống."], "category": "Research", "entities": ["BEIR", "SciFact", "NFCorpus", "BM25", "BGE-small", "LSA", "MMR"], "summary_vi": "Nghiên cứu kiểm thử độ bền (stress testing) tầng truy xuất của hệ thống RAG trước tấn công đầu độc tập ngữ liệu liên quan đến truy vấn trên 623 truy vấn BEIR. Kết quả cho thấy chỉ cần 5 tài liệu bị đầu độc đã làm giảm nDCG@10 của retriever truyền thống 40.2-61.5% và đạt tới 100% độ phơi nhiễm mục tiêu trên mô hình dense BGE-small chủ yếu nhờ cơ chế neo truy vấn (query anchoring). Các cơ chế phòng vệ như lọc dựa trên độ trùng lặp gây suy giảm mạnh hiệu năng truy xuất sạch, trong khi thuật toán MMR không làm giảm độ phơi nhiễm.", "key_changes": ["Chỉ với 5 tài liệu mục tiêu bị đầu độc mỗi truy vấn (P=5), nDCG@10 của retriever truyền thống giảm 40.2-61.5% trên 623 truy vấn BEIR.", "Kỹ thuật neo toàn bộ truy vấn (full-query anchoring) là yếu tố cốt lõi dẫn đến suy thoái BM25 và giúp đạt tới 100% độ phơi nhiễm (target exposure) trên mô hình dense BGE-small.", "Với truy vấn dài, kẻ tấn công chỉ cần biết thông tin một phần (2 từ khóa ngẫu nhiên, chiếm 19.9% từ khóa) vẫn đạt 39.5% exposure trên bộ truy xuất Hybrid.", "Biện pháp lọc trùng lặp (overlap-based admission) loại được văn bản độc hại nhưng làm giảm mạnh độ chính xác trên dữ liệu sạch, còn MMR hoàn toàn không làm giảm exposure."], "sub_category": "RAG Security & Information Retrieval", "novelty_score": 72, "business_score": 64, "research_score": 86, "why_it_matters": "Nghiên cứu chỉ ra rằng điểm yếu nghiêm trọng của RAG nằm ngay tại tầng xét duyệt tài liệu (retriever admission) chứ chưa cần tới bước can thiệp LLM; kẻ tấn công có thể thao túng tài liệu nạp vào context chỉ với một phần từ khóa truy vấn, trong khi các cơ chế phòng thủ phổ biến như MMR hoàn toàn vô hiệu.", "developer_score": 82, "importance_score": 78, "possible_use_cases": ["Thiết lập quy trình red-teaming và stress-testing tầng truy xuất (retrieval layer) cho các hệ thống RAG doanh nghiệp trước khi đưa vào sản xuất.", "Nghiên cứu và phát triển cơ chế kiểm soát admission control mới cho RAG nhằm thay thế các giải pháp không hiệu quả như MMR.", "Đánh giá rủi ro an ninh khi tích hợp các nguồn dữ liệu bên ngoài (untrusted corpus) vào cơ sở tri thức nội bộ."], "actionability_score": 68}