Measurement-First Auditing of Agentic Leaderboards: Contamination Susceptibility, Matched-Control Re-evaluation, and Scorer Validation

{"tags": ["AI Benchmarking", "Agentic Leaderboards", "Contamination Audit", "SWE-bench Verified", "HAL", "Scorer Validation", "GPT-4.1", "DeepSeek-V4-Flash"], "risks": ["Các leaderboard công khai tiềm ẩn nguy cơ rò rỉ từ pipeline và scaffolding, dẫn đến việc đánh giá sai lệch năng lực thực tế của agent.", "Nguy cơ đưa ra kết luận sai lầm về việc mô hình 'gian lận' hoặc nhiễm dữ liệu huấn luyện khi chưa có bằng chứng nguồn gốc và quy trình đo lường chuẩn hóa.", "Sử dụng bộ chấm điểm benchmark chưa qua kiểm định dẫn đến sai số hệ thống và báo động giả về rò rỉ dữ liệu."], "category": "Research", "entities": ["Holistic Agent Leaderboard (HAL)", "SWE-bench Verified", "GPT-4.1", "DeepSeek-V4-Flash"], "summary_vi": "Nghiên cứu đề xuất khung kiểm toán đo lường (measurement-first audit) nhằm xác thực các cáo buộc nhiễm bẩn benchmark trên bảng xếp hạng agentic AI. Khung đánh giá tách biệt ba kênh rò rỉ: tiếp xúc trong huấn luyện, truy xuất khi đánh giá và rò rỉ qua pipeline/scaffold. Đánh giá 9 cấu hình trên Holistic Agent Leaderboard (HAL) cho thấy không có kênh nào an toàn tuyệt đối và xác nhận 4 cấu hình gặp sự cố rò rỉ. Khi tái đánh giá khoảng cách định vị file trên SWE-bench Verified bằng phương pháp đối chứng cùng repository trên GPT-4.1 và DeepSeek-V4-Flash (100 cặp mẫu), mức chênh lệch +10,0 điểm của GPT-4.1 có khoảng tin cậy 95% chứa số 0, khiến kết luận rò rỉ dữ liệu chưa thể xác lập. Đồng thời, bộ chấm điểm tái hiện thất bại ở cổng kiểm định vì thiếu độ nhạy và tạo báo động dương tính giả trên DeepSeek-V4-Flash, bác bỏ các kết luận vội vàng về việc mô hình bị nhiễm dữ liệu benchmark.", "key_changes": ["Đề xuất khung kiểm toán phân tách 3 kênh ô nhiễm dữ liệu: training-time exposure, evaluation-time retrieval và pipeline/scaffold leakage theo nguyên tắc fail-closed.", "Khảo sát 9 cấu hình trên Holistic Agent Leaderboard (HAL), phát hiện không có kênh nào đạt trạng thái an toàn (closed) và xác nhận sự cố rò rỉ ở 4 cấu hình.", "Triển khai thiết kế thử nghiệm đối chứng ghép cặp (matched-control) cùng kho mã nguồn với sàng lọc rò rỉ prompt đối xứng trên 100 cặp bài toán SWE-bench Verified.", "Chứng minh chênh lệch Top-3 (+10,0 điểm) của GPT-4.1 không có ý nghĩa thống kê do khoảng tin cậy 95% từ bootstrap và cân bằng repository đều chứa giá trị 0.", "Xác định bộ chấm điểm tái hiện (reproduction scorer) không đạt chuẩn kiểm định do độ nhạy thấp và phát sinh kết quả dương tính giả đối với DeepSeek-V4-Flash."], "sub_category": "Agent Evaluation & Benchmarking", "novelty_score": 78, "business_score": 70, "research_score": 88, "why_it_matters": "Nghiên cứu đặt ra tiêu chuẩn đo lường khắt khe cho việc kiểm toán benchmark AI, chỉ ra rằng nhiều nghi vấn về ô nhiễm dữ liệu thực chất xuất phát từ sai sót phương pháp luận và bộ chấm điểm lỗi thay vì rò rỉ dữ liệu huấn luyện thực sự. Điều này giúp doanh nghiệp và kỹ sư tránh đánh giá sai năng lực agent khi lựa chọn công nghệ.", "developer_score": 75, "importance_score": 80, "possible_use_cases": ["Kiểm toán độc lập tính minh bạch và độ tin cậy của các leaderboard agentic AI trước khi tổ chức đưa ra quyết định mua hoặc tích hợp mô hình.", "Xây dựng quy trình đánh giá benchmark nội bộ với thiết kế đối chứng matched-control và kiểm tra rò rỉ scaffold nghiêm ngặt.", "Thiết lập cổng kiểm định bộ chấm điểm tự động (scorer validation gate) đối chiếu với nhãn chuyên gia con người nhằm loại bỏ dương tính giả."], "actionability_score": 72}