Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Reliability Stress Testing of RAG Retrieval under Query-Relevant Corpus Poisoning

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

62 RADAR
Research RAG Security & Information Retrieval · 1 nguồn đối chiếu · 2026-11-03 03:52:58 +0000 UTC

Reliability Stress Testing of RAG Retrieval under Query-Relevant Corpus Poisoning

Nguồn: arXiv AI
↗

Nghiên cứu kiểm thử độ bền (stress testing) tầng truy xuất của hệ thống RAG trước tấn công đầu độc tập ngữ liệu liên quan đến truy vấn trên 623 truy vấn BEIR. Kết quả cho thấy chỉ cần 5 tài liệu bị đầu độc đã làm giảm nDCG@10 của retriever truyền thống 40.2-61.5% và đạt tới 100% độ phơi nhiễm mục tiêu trên mô hình dense BGE-small chủ yếu nhờ cơ chế neo truy vấn (query anchoring). Các cơ chế phòng vệ như lọc dựa trên độ trùng lặp gây suy giảm mạnh hiệu năng truy xuất sạch, trong khi thuật toán MMR không làm giảm độ phơi nhiễm.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu chỉ ra rằng điểm yếu nghiêm trọng của RAG nằm ngay tại tầng xét duyệt tài liệu (retriever admission) chứ chưa cần tới bước can thiệp LLM; kẻ tấn công có thể thao túng tài liệu nạp vào context chỉ với một phần từ khóa truy vấn, trong khi các cơ chế phòng thủ phổ biến như MMR hoàn toàn vô hiệu.

Developer 75
Business 63
Novelty 72
Actionable 68

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

External text can affect a retrieval-augmented generation (RAG) system only after the retriever admits it to the model context. We stress this admission step while varying document content, attacker query information, per-target poison budget, and contamination scope. Across 623 Benchmarking Information Retrieval (BEIR) queries from SciFact and NFCorpus, five query-targeted documents per query reduce classical-retriever nDCG@10 by 40.2-61.5% in isolated-target stress. Full-query anchoring explains most Best Matching 25 (BM25) degradation, whereas appended text also shifts latent semantic analysis (LSA) and Hybrid rankings. A pretrained BGE-small validation reaches 100% target exposure for query-only P=5 on both datasets; adding the injection payload changes SciFact nDCG only from 0.269 to 0.271 and lowers NFCorpus exposure slightly to 98.8%, indicating that query anchoring remains the dominant retrieval-side factor for this dense model. Query length materially changes the interpretation of partial-information attacks: on 162 long SciFact queries, two random terms cover 19.9% of eligible terms and still yield 39.5% Hybrid target exposure. Multi-target contamination adds cross-target interference. Overlap-based admission can remove full-query poisons but may sharply reduce clean retrieval utility, and maximal marginal relevance (MMR) leaves exposure unchanged under the tested configuration. The study measures retrieval-layer failures, not downstream instruction following.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-04 09:40:25 +0000 UTC
{"tags": ["RAG", "Corpus Poisoning", "Information Retrieval", "BGE-small", "BM25", "AI Security"], "risks": ["Tài liệu độc hại dễ dàng chiếm context window của LLM chỉ bằng kỹ thuật neo từ khóa truy vấn đơn giản.", "Các giải pháp phòng thủ thông thường như MMR không có tác dụng ngăn chặn phơi nhiễm tài liệu bị đầu độc.", "Bộ lọc dựa trên mức độ trùng lặp từ khóa làm suy giảm nghiêm trọng tiện ích truy xuất thông thường của hệ thống."], "category": "Research", "entities": ["BEIR", "SciFact", "NFCorpus", "BM25", "BGE-small", "LSA", "MMR"], "summary_vi": "Nghiên cứu kiểm thử độ bền (stress testing) tầng truy xuất của hệ thống RAG trước tấn công đầu độc tập ngữ liệu liên quan đến truy vấn trên 623 truy vấn BEIR. Kết quả cho thấy chỉ cần 5 tài liệu bị đầu độc đã làm giảm nDCG@10 của retriever truyền thống 40.2-61.5% và đạt tới 100% độ phơi nhiễm mục tiêu trên mô hình dense BGE-small chủ yếu nhờ cơ chế neo truy vấn (query anchoring). Các cơ chế phòng vệ như lọc dựa trên độ trùng lặp gây suy giảm mạnh hiệu năng truy xuất sạch, trong khi thuật toán MMR không làm giảm độ phơi nhiễm.", "key_changes": ["Chỉ với 5 tài liệu mục tiêu bị đầu độc mỗi truy vấn (P=5), nDCG@10 của retriever truyền thống giảm 40.2-61.5% trên 623 truy vấn BEIR.", "Kỹ thuật neo toàn bộ truy vấn (full-query anchoring) là yếu tố cốt lõi dẫn đến suy thoái BM25 và giúp đạt tới 100% độ phơi nhiễm (target exposure) trên mô hình dense BGE-small.", "Với truy vấn dài, kẻ tấn công chỉ cần biết thông tin một phần (2 từ khóa ngẫu nhiên, chiếm 19.9% từ khóa) vẫn đạt 39.5% exposure trên bộ truy xuất Hybrid.", "Biện pháp lọc trùng lặp (overlap-based admission) loại được văn bản độc hại nhưng làm giảm mạnh độ chính xác trên dữ liệu sạch, còn MMR hoàn toàn không làm giảm exposure."], "sub_category": "RAG Security & Information Retrieval", "novelty_score": 72, "business_score": 64, "research_score": 86, "why_it_matters": "Nghiên cứu chỉ ra rằng điểm yếu nghiêm trọng của RAG nằm ngay tại tầng xét duyệt tài liệu (retriever admission) chứ chưa cần tới bước can thiệp LLM; kẻ tấn công có thể thao túng tài liệu nạp vào context chỉ với một phần từ khóa truy vấn, trong khi các cơ chế phòng thủ phổ biến như MMR hoàn toàn vô hiệu.", "developer_score": 82, "importance_score": 78, "possible_use_cases": ["Thiết lập quy trình red-teaming và stress-testing tầng truy xuất (retrieval layer) cho các hệ thống RAG doanh nghiệp trước khi đưa vào sản xuất.", "Nghiên cứu và phát triển cơ chế kiểm soát admission control mới cho RAG nhằm thay thế các giải pháp không hiệu quả như MMR.", "Đánh giá rủi ro an ninh khi tích hợp các nguồn dữ liệu bên ngoài (untrusted corpus) vào cơ sở tri thức nội bộ."], "actionability_score": 68}
← Trang trước Trang 1