Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

When uncertainty quantification fails: structural vulnerabilities and corrections for selective prediction under clinical class imbalance

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

68 RADAR
Research Clinical AI / Uncertainty Quantification · 1 nguồn đối chiếu · 2026-10-27 17:08:31 +0000 UTC

When uncertainty quantification fails: structural vulnerabilities and corrections for selective prediction under clinical class imbalance

Nguồn: arXiv AI
↗

Nghiên cứu chỉ ra lỗ hổng cấu trúc trong các hệ thống dự đoán chọn lọc lâm sàng (selective prediction) khi gặp mất cân bằng lớp: định lượng độ bất định (UQ) tiêu chuẩn phản ánh độ thưa thớt của dữ liệu thay vì độ mơ hồ lâm sàng thực tế, dẫn đến trừng phạt bất công nhóm bệnh nhân thiểu số. Kết hợp CCR với entropy thông thường làm gãy tính đơn điệu nội lớp tại tau=0.5; tuy nhiên, vấn đề này có thể khắc phục hoàn toàn bằng cách áp dụng các thước đo nhận biết ngưỡng (threshold-aware metrics) cùng đánh giá phân tầng theo lớp.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Về mặt phát triển mô hình (Developer): Cung cấp giải pháp sửa lỗi kiến trúc trong pipeline UQ và selective prediction, hướng dẫn kỹ sư chuyển từ entropy thông thường sang threshold-aware metrics và class-stratified evaluation để đảm bảo tính đơn điệu nội lớp. Về mặt ứng dụng lâm sàng và kinh doanh (Business): Loại bỏ 'ảo tưởng an toàn', ngăn ngừa nguy cơ bỏ sót các ca bệnh hiếm nguy kịch, từ đó giảm thiểu rủi ro pháp lý và trách nhiệm y khoa khi triển khai AI vào hỗ trợ quyết định lâm sàng.

Developer 79
Business 71
Novelty 78
Actionable 80

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Background. Selective prediction systems improve the safety of clinical artificial intelligence by deferring ambiguous cases to human experts while automating high-confidence decisions. However, this safety mechanism relies entirely on the premise that uncertainty scores accurately reflect clinical ambiguity. In prognostic tasks characterized by severe class imbalance, where the clinical outcome of interest is a minority, this assumption breaks down. Standard uncertainty measures cease to capture clinically aligned ambiguity; instead, they become a proxy for class membership, systematically penalizing minority patients regardless of their individual predictive clarity. Results. Across 56 synthetic conditions and three neurodegenerative cohorts spanning severe class imbalance to near-balanced conditions (multiple sclerosis, Parkinson's Disease, Alzheimer's Disease), our framework consistently maintained bounded, balanced risk across trajectories. In contrast, global metrics either collapsed minority Sensitivity or protected the minority at the expense of majority patients. Applying CCR with standard entropy fails to protect the minority because it breaks within-class monotonicity when tau=0.5. Combining CCR with threshold-aware metrics restores strict monotonicity, correctly identifies ambiguous patients, and safely mitigates minority exclusion. Conclusions. Under clinical class imbalance, standard uncertainty quantification measures dataset sparsity rather than clinical ambiguity, creating a systemic illusion of safety. This bias is a correctable structural flaw. Clinical pipelines deploying selective prediction under imbalance should adopt threshold-aligned uncertainty measures and class-stratified evaluation. This reduces class-specific risk imbalance, supporting safer selective prediction under the evaluated conditions without silently excluding the most vulnerable patients.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-28 09:56:58 +0000 UTC
{"tags": ["Uncertainty Quantification", "Selective Prediction", "Class Imbalance", "Clinical AI", "Healthcare", "AI Safety"], "risks": ["Tạo ảo tưởng an toàn (illusion of safety) trong lâm sàng nếu dùng UQ truyền thống, âm thầm loại trừ nhóm bệnh nhân thiểu số dễ bị tổn thương nhất.", "Đánh đổi cực đoan: các chỉ số toàn cục (global metrics) có thể làm sụp đổ độ nhạy (sensitivity) của nhóm thiểu số hoặc gây quá tải can thiệp không cần thiết cho nhóm đa số."], "category": "Research", "entities": ["Multiple Sclerosis", "Parkinson's Disease", "Alzheimer's Disease", "CCR"], "summary_vi": "Nghiên cứu chỉ ra lỗ hổng cấu trúc trong các hệ thống dự đoán chọn lọc lâm sàng (selective prediction) khi gặp mất cân bằng lớp: định lượng độ bất định (UQ) tiêu chuẩn phản ánh độ thưa thớt của dữ liệu thay vì độ mơ hồ lâm sàng thực tế, dẫn đến trừng phạt bất công nhóm bệnh nhân thiểu số. Kết hợp CCR với entropy thông thường làm gãy tính đơn điệu nội lớp tại tau=0.5; tuy nhiên, vấn đề này có thể khắc phục hoàn toàn bằng cách áp dụng các thước đo nhận biết ngưỡng (threshold-aware metrics) cùng đánh giá phân tầng theo lớp.", "key_changes": ["Phát hiện định lượng độ bất định (UQ) chuẩn phản ánh độ thưa thớt dữ liệu (dataset sparsity) thay vì độ mơ hồ lâm sàng khi mất cân bằng lớp.", "Chỉ ra việc kết hợp CCR với entropy thông thường phá vỡ tính đơn điệu nội lớp (within-class monotonicity) tại tau=0.5, gây trừng phạt có hệ thống lên nhóm bệnh nhân thiểu số.", "Đề xuất giải pháp kết hợp CCR với các chỉ số nhận biết ngưỡng (threshold-aware metrics) và đánh giá phân tầng theo lớp (class-stratified evaluation) để khôi phục tính đơn điệu."], "sub_category": "Clinical AI / Uncertainty Quantification", "novelty_score": 78, "business_score": 72, "research_score": 88, "why_it_matters": "Về mặt phát triển mô hình (Developer): Cung cấp giải pháp sửa lỗi kiến trúc trong pipeline UQ và selective prediction, hướng dẫn kỹ sư chuyển từ entropy thông thường sang threshold-aware metrics và class-stratified evaluation để đảm bảo tính đơn điệu nội lớp. Về mặt ứng dụng lâm sàng và kinh doanh (Business): Loại bỏ 'ảo tưởng an toàn', ngăn ngừa nguy cơ bỏ sót các ca bệnh hiếm nguy kịch, từ đó giảm thiểu rủi ro pháp lý và trách nhiệm y khoa khi triển khai AI vào hỗ trợ quyết định lâm sàng.", "developer_score": 85, "importance_score": 84, "possible_use_cases": ["Xây dựng hệ thống dự đoán chọn lọc (selective prediction) và chuyển tuyến bác sĩ (triage) an toàn cho các bệnh lý thoái hóa thần kinh (xơ cứng rải rác, Parkinson, Alzheimer).", "Kiểm toán an toàn và công bằng (AI safety & fairness auditing) cho các mô hình ML y tế dự báo kết quả hiếm gặp.", "Tích hợp cơ chế cảnh báo độ bất định chính xác vào các pipeline AI hỗ trợ chẩn đoán lâm sàng thương mại."], "actionability_score": 80}