An Open Pipeline and Dashboard for Systemic-Risk Evidence under the EU AI Act's Code of Practice

{"tags": ["EU AI Act", "Systemic Risk Index", "AI Safety", "GPAI", "Model Evaluation", "LLM Benchmarks", "AI Governance"], "risks": ["17% biến đổi trong kiểm toán mù không giữ nguyên bản chất tác hại ban đầu, có thể dẫn đến đánh giá sai lệch (false positives hoặc false negatives).", "Đánh giá thiên về worst-case có thể tạo rào cản quá mức hoặc khiến nhà phát triển tối ưu hóa cục bộ cho các trường hợp cực đoan thay vì an toàn tổng thể.", "Quy mô khảo sát người dùng còn hạn chế (N = 21), cần kiểm chứng thêm trong môi trường quản lý và kiểm toán thực tế quy mô lớn."], "category": "Research", "entities": ["EU AI Act", "EU GPAI Code of Practice", "Systemic Risk Index"], "summary_vi": "Systemic Risk Index là pipeline đánh giá mã nguồn mở và dashboard tương tác nhằm minh bạch hóa bằng chứng thực nghiệm về rủi ro mô hình AI theo Bộ quy tắc thực hành (Code of Practice) cho GPAI của EU AI Act. Nghiên cứu tổ chức 19 benchmark công khai vào 4 nhóm rủi ro hệ thống (CBRN, tấn công mạng, thao túng gây hại, mất kiểm soát) và đánh giá mô hình bằng các nhiễu loạn bảo toàn tác hại cùng bối cảnh triển khai giả lập. Trên 18 mô hình, điểm số sụt giảm từ 14 đến 37 điểm dưới cơ chế tổng hợp worst-case so với điểm trung bình, giúp phát hiện các rủi ro tiềm ẩn. Đánh giá bằng LLM đạt độ tương đồng cao với con người (κ = 0.78–0.82) và 83% phép biến đổi giữ nguyên tác hại qua kiểm toán mù.", "key_changes": ["Phát triển Systemic Risk Index: pipeline đánh giá mở và dashboard trực quan hóa bằng chứng rủi ro thực nghiệm theo 4 nhóm rủi ro của EU AI Act (CBRN, an ninh mạng, thao túng, mất kiểm soát).", "Chuẩn hóa và tích hợp 19 benchmark công khai, áp dụng kỹ thuật gây nhiễu bảo toàn tác hại (harm-preserving perturbations) và kịch bản triển khai mô phỏng.", "Áp dụng phương pháp tổng hợp trường hợp xấu nhất (worst-case aggregation), làm bộc lộ mức sụt giảm 14–37 điểm trên 18 mô hình vốn bị che mờ bởi cách tính điểm trung bình.", "Chứng minh tính khả thi của LLM-as-a-judge với độ đồng thuận ngang người chấm (κ = 0.78–0.82) cùng 83% biến đổi bảo toàn tác hại qua kiểm toán mù."], "sub_category": "AI Safety & Governance", "novelty_score": 76, "business_score": 84, "research_score": 85, "why_it_matters": "Nghiên cứu giải quyết điểm nghẽn lớn trong quản trị AI: các tuyên bố an toàn thiếu bằng chứng minh bạch và có thể truy vết độc lập. Việc chỉ ra điểm số rủi ro sụt giảm tới 37 điểm dưới góc nhìn worst-case cho thấy các phép đo trung bình truyền thống có thể che giấu lỗ hổng an toàn nghiêm trọng, mang lại công cụ đo lường và kiểm toán thực tiễn khi EU AI Act chuẩn bị có hiệu lực thực thi bắt buộc.", "developer_score": 75, "importance_score": 82, "possible_use_cases": ["Doanh nghiệp phát triển mô hình GPAI thực hiện đánh giá độc lập và lập hồ sơ tuân thủ kỹ thuật trước khi đưa sản phẩm vào thị trường EU.", "Đội ngũ AI Safety và Red-teaming sử dụng pipeline để kiểm thử độ bền vững của mô hình trước các trường hợp rủi ro biên (worst-case scenarios).", "Cơ quan quản lý và kiểm toán AI dùng dashboard để truy nguyên từng điểm số rủi ro về bằng chứng thực nghiệm cụ thể thay vì chỉ dựa vào báo cáo tự khai của hãng AI."], "actionability_score": 78}