How Ground Truth Shapes Retrieval Scores: Evidence-Aware Evaluation of a Retrieval-Augmented Generation System for Breast Lesions

{"tags": ["RAG", "Clinical AI", "Information Retrieval", "Cross-Encoder", "BM25", "Evaluation Benchmark", "Chunking Strategy"], "risks": ["Kích thước tập dữ liệu phát triển quá nhỏ (chỉ 18 tài liệu và 18 truy vấn), có nguy cơ cao bị overfitting cấu hình.", "Quy trình curate ground-truth có sự tham khảo từ kết quả retrieval (retrieval-informed curation) dễ dẫn đến thiên kiến, cần kiểm chứng độc lập bởi bác sĩ X-quang.", "Đánh giá generation dựa vào LLM judge (deepseek-v4-pro) và DeepEval có thể mang sai số định lượng chưa được kiểm định lâm sàng toàn diện."], "category": "Research", "entities": ["DeepEval", "deepseek-v4-pro", "BM25", "Cross-Encoder", "BLEU", "ROUGE"], "summary_vi": "Nghiên cứu đề xuất quy trình đánh giá truy xuất nhận biết bằng chứng (evidence-aware) cho hệ thống RAG lâm sàng về quản lý tổn thương tuyến vú, giải quyết vấn đề điểm số truy xuất phụ thuộc vào độ phủ của nhãn ground-truth. Thử nghiệm trên tập ngữ liệu gồm 18 tài liệu và 18 câu hỏi kết hợp dense embeddings, BM25 và cross-encoder reranking với nhiều kích thước chunk. Kết quả cho thấy hybrid retriever với chunk 384 token và overlap 20% đạt hiệu năng cao nhất (Recall@3, R-Precision, MRR@3, nDCG@3 đều đạt 0.94). Việc bổ sung nhãn bằng chứng mở rộng giúp ghi nhận đầy đủ bằng chứng thu hồi mà không làm thay đổi thứ hạng xếp hạng của hệ thống.", "key_changes": ["Đề xuất giao thức đánh giá retrieval theo bằng chứng (evidence-aware evaluation), ánh xạ các evidence spans sang mọi chunk chứa nội dung tương đương để tránh đánh giá sai độ liên quan.", "Thử nghiệm đa cấu hình chunking (128-1024 tokens, overlap 0-20%) và 4 cấu hình retriever kết hợp dense embeddings, BM25 và cross-encoder reranking.", "Xác định cấu hình tối ưu là hybrid retriever với chunk size 384 tokens và overlap 20%, đạt Recall@3, R-Precision, MRR@3 và nDCG@3 đều ở mức 0.94 (lấy đúng bằng chứng trong top 3 cho 17/18 truy vấn).", "Phát hiện việc mở rộng nhãn ground-truth (tăng spans từ 25 lên 37, chunk mục tiêu từ 36 lên 51) giúp tăng lượng bằng chứng được công nhận mà không làm đảo lộn thứ hạng truy xuất.", "Đánh giá khâu sinh (generation) trên index 512-token bằng DeepEval ở cấp độ claim sử dụng deepseek-v4-pro làm LLM judge kết hợp BLEU/ROUGE."], "sub_category": "Clinical RAG & Information Retrieval", "novelty_score": 65, "business_score": 55, "research_score": 80, "why_it_matters": "Trong các ứng dụng nhạy cảm như y tế, đánh giá RAG truyền thống thường bị phạt sai do ground-truth không bao quát hết các chunk tương đương được tạo ra bởi kỹ thuật chia nhỏ văn bản (chunk overlap). Phương pháp evidence-aware chứng minh rằng việc định nghĩa sự liên quan theo vùng bằng chứng thực tế và kết hợp cross-encoder reranking cùng chunk size 384 token mang lại độ chính xác cao và phản ánh đúng chất lượng hệ thống, cung cấp bài học quan trọng cho việc xây dựng benchmark và tối ưu hóa RAG chuyên sâu.", "developer_score": 78, "importance_score": 68, "possible_use_cases": ["Thiết kế và đánh giá hệ thống RAG lâm sàng hỗ trợ bác sĩ tra cứu phác đồ quản lý tổn thương tuyến vú.", "Tối ưu hóa pipeline tìm kiếm thông tin chuyên ngành kỹ thuật/y tế bằng cách kết hợp BM25, dense embedding và cross-encoder reranker.", "Xây dựng benchmark đánh giá retriever nhạy cảm với độ phủ của nhãn (annotation coverage) và hiện tượng chồng lấn chunk."], "actionability_score": 72}