Beyond Single-Attribute Auditing: A Configurable Multi-Attribute Benchmark for Intersectional Fairness in LLMs

{"tags": ["LLM Fairness", "ComFair", "Intersectional Bias", "AI Safety", "Benchmarking", "Model Evaluation"], "risks": ["ComFair được thiết kế như một công cụ kiểm tra độ nhạy có kiểm soát (sensitivity audit), không phản ánh phân phối tự nhiên thực tế của các danh tính xã hội.", "Có thể dẫn đến tối ưu hóa cục bộ hoặc tạo ảo tưởng an toàn nếu doanh nghiệp chỉ dựa vào điểm benchmark thay vì kiểm thử với dữ liệu người dùng thực tế.", "Chi phí và tài nguyên tính toán tăng đáng kể khi mở rộng tổ hợp thuộc tính kiểm thử trên quy mô lớn."], "category": "Research", "entities": ["ComFair", "LLMs"], "summary_vi": "ComFair là bộ benchmark có thể cấu hình nhằm kiểm định tính công bằng giao thoa (intersectional fairness) trong các mô hình ngôn ngữ lớn (LLMs), khắc phục điểm mù của các phương pháp đánh giá đơn thuộc tính vốn bỏ sót các tương tác phi cộng tính. Bộ dữ liệu chứa 479.066 mẫu đa thuộc tính được ghép cặp đối chứng, thử nghiệm trên 10 LLM qua 4 tác vụ (Recognition, Selection, Continuation, Conversation). Kết quả cho thấy việc ghép thêm thuộc tính làm thay đổi thứ hạng mô hình, có thể tạo ra lỗi mới hoặc vô tình che khuất lỗi cũ.", "key_changes": ["Đề xuất ComFair: bộ benchmark gồm 479.066 mẫu đa thuộc tính (Dual- và Multi-attribute) được ghép cặp trực tiếp với mẫu đối chứng tương đương.", "Mở rộng đánh giá từ đơn thuộc tính sang đa thuộc tính/giao thoa (intersectional) trên 4 nhóm tác vụ: Recognition, Selection, Continuation và Conversation.", "Phát hiện việc kết hợp thuộc tính có thể kích hoạt lỗi mới hoặc che giấu lỗi sẵn có (masking) theo hướng phi đối xứng.", "Chứng minh thứ hạng công bằng giữa 10 mô hình LLM bị biến động mạnh tùy thuộc vào cấu hình phối hợp thuộc tính."], "sub_category": "AI Fairness & Benchmarking", "novelty_score": 80, "business_score": 75, "research_score": 85, "why_it_matters": "Kiểm định thiên kiến theo từng thuộc tính riêng lẻ tạo ra sự an tâm giả tạo về mức độ an toàn của LLM, bởi vì định kiến trong đời thực thường mang tính giao thoa (ví dụ: giới tính kết hợp với chủng tộc hoặc độ tuổi). ComFair cung cấp phương pháp luận và tập dữ liệu đối chứng chuẩn xác, giúp các nhà phát triển và doanh nghiệp đo lường rủi ro phân biệt đối xử tiềm ẩn, bảo đảm tuân thủ quy chuẩn đạo đức và pháp lý trước khi đưa mô hình ra môi trường thực tế.", "developer_score": 74, "importance_score": 78, "possible_use_cases": ["Audit và kiểm thử tính thiên vị (bias audit) cho các LLM trước khi triển khai trong các lĩnh vực rủi ro cao như nhân sự, thẩm định tín dụng, pháp lý.", "Tích hợp vào pipeline CI/CD đánh giá an toàn AI (AI Safety) nhằm phát hiện lỗi giao thoa mà các bài test đơn thuộc tính bỏ sót.", "Đánh giá độ tin cậy và tính ổn định thứ hạng của các mô hình trên bảng xếp hạng LLM công cộng."], "actionability_score": 72}