FinancialAuditBench: Benchmark Construction under Differential Privacy Using Real-World Priors

{"tags": ["FinancialAuditBench", "AI Agents", "Differential Privacy", "Financial Audit", "Benchmark", "Synthetic Data", "Workpaper Completion"], "risks": ["Ảo tưởng năng lực và phụ thuộc quá mức (overreliance) khi agent hoàn thành tốt tác vụ cơ bản nhưng vẫn có thể sai sót ở các thủ tục trọng yếu.", "Sai lệch quy trình kiểm toán và tài liệu hóa sai dẫn đến rủi ro pháp lý và trách nhiệm giải trình.", "Khoảng cách phân phối giữa dữ liệu kiểm toán tổng hợp (synthetic) và các ca gian lận/bất thường phức tạp trong thực tế."], "category": "Agents", "entities": ["FinancialAuditBench"], "summary_vi": "FinancialAuditBench là bộ benchmark đánh giá AI agent trong các tác vụ kiểm toán báo cáo tài chính, đi kèm khung tạo môi trường kiểm toán tổng hợp sử dụng thống kê vi sai riêng tư (Differential Privacy) từ dữ liệu thực tế và hơn 1.100 giờ đóng góp từ chuyên gia. Bộ thử nghiệm gồm 90 nhiệm vụ trên 6 hợp đồng kiểm toán giả lập (trung bình 179 tệp/hồ sơ). Đánh giá trên 11 frontier models cho thấy dù agent hoàn thành tốt nhiều tác vụ cấp nhân viên (staff-level), chúng vẫn đôi khi áp dụng sai thủ tục kiểm toán hoặc lập tài liệu sai lệch, nhấn mạnh sự cần thiết của việc giám sát từ con người.", "key_changes": ["Xây dựng FinancialAuditBench: bộ benchmark gồm 90 nhiệm vụ trải rộng trên 6 hồ sơ kiểm toán tổng hợp với trung bình 179 tệp mỗi hồ sơ.", "Phát triển khung tạo tác vụ tổng hợp dựa trên thống kê vi sai riêng tư (Differential Privacy) từ dữ liệu kiểm toán lịch sử kết hợp hơn 1.100 giờ thẩm định của chuyên gia.", "Đánh giá 11 mô hình hàng đầu (frontier models): chỉ ra agent làm tốt nhiều tác vụ cấp nhân viên (staff-level) nhưng vẫn thực hiện sai quy trình hoặc tài liệu hóa không chính xác.", "Đề xuất phương pháp luận mở rộng để tạo tác vụ đánh giá/huấn luyện tổng hợp cho các lĩnh vực nhạy cảm về bảo mật dữ liệu."], "sub_category": "Agent Benchmarking & Audit", "novelty_score": 80, "business_score": 85, "research_score": 80, "why_it_matters": "Việc ứng dụng AI trong kiểm toán tài chính đối mặt rào cản lớn do dữ liệu bảo mật và yêu cầu độ chính xác tuyệt đối. Nghiên cứu giải quyết bài toán thiếu dữ liệu đánh giá thực tế thông qua Differential Privacy, đồng thời chứng minh AI agent hiện nay chưa thể vận hành tự chủ hoàn toàn mà bắt buộc phải có sự kiểm soát của con người (human-in-the-loop) để phòng ngừa rủi ro tuân thủ.", "developer_score": 74, "importance_score": 78, "possible_use_cases": ["Đánh giá năng lực và kiểm thử độ tin cậy của AI agent trước khi áp dụng vào kiểm toán báo cáo tài chính doanh nghiệp.", "Tạo dữ liệu huấn luyện và đánh giá mô hình tuân thủ quyền riêng tư trong các ngành nhạy cảm như tài chính, y tế và luật.", "Tự động hóa hỗ trợ lập và soát xét hồ sơ làm việc kiểm toán (workpapers) dưới sự giám sát của kiểm toán viên chuyên nghiệp."], "actionability_score": 72}