RAGStress: A controlled benchmark for evaluating retrieval-augmented generation under knowledge-base degradation

{"tags": ["RAG", "RAGStress", "Knowledge Base Degradation", "Robustness", "Benchmark", "MMLU", "Evaluation"], "risks": ["Bị lạm dụng làm bảng xếp hạng mô hình chung (leaderboard) dù mục đích chính là bài kiểm thử độ bền vững có kiểm soát.", "Chi phí và tài nguyên tính toán đáng kể nếu triển khai đầy đủ 52.500 điều kiện đánh giá trên quy mô dữ liệu doanh nghiệp lớn.", "Nguy cơ hệ thống chỉ được tối ưu hóa cho 4 dạng suy thoái định sẵn trong benchmark mà bỏ sót các dạng suy thoái phức tạp khác trong thực tế."], "category": "Research", "entities": ["RAGStress", "MMLU"], "summary_vi": "RAGStress là một benchmark có kiểm soát dùng để stress-test độ bền vững của các hệ thống RAG trước tình trạng suy thoái cơ sở tri thức (KB). Thay vì giả định KB luôn sạch, RAGStress kết hợp 4 loại suy thoái tự nhiên (sai sự thật, lỗi gõ số, đầu độc độ liên quan, chèn mâu thuẫn) ở 3 mức độ nghiêm trọng trên 57 chủ đề MMLU và 182.546 tài liệu. Qua 52.500 lượt đánh giá, nghiên cứu chỉ ra rằng việc kiểm thử trên KB sạch che giấu sự bất ổn của hệ thống RAG, các sai lệch ngữ nghĩa gây hại hơn nhiều so với nhiễu tín hiệu, và độ chính xác khi không retrieval không phản ánh độ bền vững khi KB bị hỏng. Bộ artifact gồm mã nguồn, prompt suy thoái và schema được công bố đầy đủ.", "key_changes": ["Giới thiệu RAGStress: Benchmark đánh giá có kiểm soát độ bền vững của hệ thống RAG khi cơ sở tri thức (KB) bị suy thoái.", "Mô hình hóa 4 dạng suy thoái tự nhiên: factual corruption (sai lệch sự thật), numeric typo (lỗi số học), relevance poisoning (đầu độc độ liên quan), và contradiction injection (chèn mâu thuẫn).", "Thiết lập 3 cấp độ nghiêm trọng (subtle, moderate, obvious) trên 57 chủ đề MMLU với 182.546 tài liệu qua 52.500 lượt đánh giá mô hình.", "Phát hiện thực nghiệm cốt lõi: Đánh giá trên KB sạch che giấu độ bất ổn thực tế; sai lệch ngữ nghĩa gây hại nghiêm trọng hơn nhiễu tín hiệu; độ chính xác no-retrieval không dự đoán được độ bền vững khi KB bị hỏng.", "Cung cấp bộ artifact hoàn chỉnh: Kịch bản sinh dữ liệu, prompt tạo suy thoái, metadata schema và mã nguồn đánh giá."], "sub_category": "RAG Evaluation & Robustness", "novelty_score": 76, "business_score": 74, "research_score": 88, "why_it_matters": "Trong môi trường thực tế, cơ sở tri thức doanh nghiệp hiếm khi sạch hoàn hảo mà thường xuyên chứa dữ liệu sai lệch, lỗi thời hoặc mâu thuẫn. Việc chỉ đánh giá RAG trên KB sạch tạo ra cảm giác an toàn giả tạo và che giấu các lỗ hổng nghiêm trọng khi dữ liệu bị suy thoái ngữ nghĩa. RAGStress cung cấp công cụ định lượng chuẩn xác giúp nhà phát triển và doanh nghiệp xây dựng hệ thống RAG bền vững, an toàn hơn.", "developer_score": 85, "importance_score": 78, "possible_use_cases": ["Stress-test và đánh giá độ bền vững của pipeline RAG doanh nghiệp trước khi đưa vào sản xuất với dữ liệu nhiễu thực tế.", "Đo lường và so sánh khả năng kháng lỗi của các LLM và retriever khác nhau khi gặp tài liệu tri thức mâu thuẫn hoặc sai lệch.", "Xây dựng và kiểm thử các bộ lọc guardrail, reranker để phát hiện và ngăn chặn tài liệu bị đầu độc hoặc chứa thông tin mâu thuẫn.", "Tích hợp vào quy trình CI/CD kiểm tra định kỳ chất lượng cơ sở tri thức và pipeline truy xuất thông tin."], "actionability_score": 82}