Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

MEND: Label-Free Detection, Localisation, and Correction of Latent Hallucination in World Models

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

64 RADAR
Research World Models Robustness · 1 nguồn đối chiếu · 2026-09-30 07:38:49 +0000 UTC

MEND: Label-Free Detection, Localisation, and Correction of Latent Hallucination in World Models

Nguồn: arXiv AI
↗

Nghiên cứu giới thiệu MEND (Masked Empirical-Bayes Neural Denoising), phương pháp không cần nhãn (label-free) giúp phát hiện, định vị và hiệu chỉnh hiện tượng ảo giác tiềm ẩn (latent hallucination) trong World Models tại thời điểm suy luận trên mô hình đóng băng. Với mạng conditional score network duy nhất được huấn luyện qua denoising score matching, MEND đạt AUROC tới 0.80 trong phát hiện ảo giác và AUPRC tới 0.87 trong định vị lỗi trên từng patch ảnh trong hai môi trường điều hướng.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

World Models là bước tiến trọng tâm trong thị giác máy tính và AI tương tác, nhưng lỗi ảo giác tiềm ẩn tích lũy tự hồi quy là rào cản lớn đối với độ an toàn thực tế. MEND mở ra giải pháp không cần gán nhãn để giám sát và hiệu chỉnh trực tiếp trên các mô hình tự giám sát đã đóng băng, cung cấp công cụ khả thi để nâng cao độ tin cậy của các hệ thống tự hành và mô phỏng.

Developer 67
Business 60
Novelty 84
Actionable 62

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

World Models are appearing as the next major frontier in computer vision. However, their robustness is currently largely unexplored. We identify the phenomenon of hallucination in latent World Models: given a state and an action, the predicted next latent can decode to a scene that never occurs. Because the prediction is statistically ordinary and is fed back autoregressively by the model, the error is both silent and compounding. We study whether such latent hallucination can be detected, localised, and corrected at inference time, on a frozen self-supervised world model in the absence of ground-truth error labels. We introduce Masked Empirical-Bayes Neural Denoising (MEND), a single conditional score network trained by denoising score matching on real transitions, whose score field serves three roles: its magnitude detects hallucination, its per-token field localises it to specific image patches, and it defines an inference-time correction direction. On two navigation environments MEND detects hallucination with an AUROC of up to 0.80 without using actions, exceeding a single-Gaussian density baseline while also localising the error (per-token AUPRC up to 0.87) and correcting it, all from one score field. Our correction reliably reduces single-step latent error and improves predictions. We identify that a part of the error is tangent to the data manifold, hence, we focus on detection and localisation while highlighting promises of the correction.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-01 08:38:24 +0000 UTC
{"tags": ["World Models", "Latent Hallucination", "Score Matching", "MEND", "Computer Vision", "Inference-Time Correction"], "risks": ["Một phần lỗi nằm tiếp tuyến với đa tạp dữ liệu (tangent to data manifold), đặt ra giới hạn cho khả năng hiệu chỉnh triệt để lỗi.", "Thử nghiệm hiện chỉ giới hạn trên hai môi trường điều hướng (navigation environments), cần thêm đánh giá trên các mô hình thế giới quy mô lớn và đa dạng hơn.", "Làm tăng độ trễ tính toán khi suy luận do phải chạy thêm mạng conditional score network song song với mô hình đóng băng."], "category": "Research", "entities": ["MEND", "Masked Empirical-Bayes Neural Denoising", "World Models"], "summary_vi": "Nghiên cứu giới thiệu MEND (Masked Empirical-Bayes Neural Denoising), phương pháp không cần nhãn (label-free) giúp phát hiện, định vị và hiệu chỉnh hiện tượng ảo giác tiềm ẩn (latent hallucination) trong World Models tại thời điểm suy luận trên mô hình đóng băng. Với mạng conditional score network duy nhất được huấn luyện qua denoising score matching, MEND đạt AUROC tới 0.80 trong phát hiện ảo giác và AUPRC tới 0.87 trong định vị lỗi trên từng patch ảnh trong hai môi trường điều hướng.", "key_changes": ["Định danh hiện tượng ảo giác tiềm ẩn (latent hallucination) trong World Models: lỗi dự đoán tiềm ẩn giải mã ra khung cảnh không bao giờ xảy ra nhưng mang phân phối thống kê thông thường, dẫn đến lỗi âm thầm và tích lũy tự hồi quy.", "Đề xuất MEND: một mạng conditional score network duy nhất được huấn luyện bằng denoising score matching trên dữ liệu chuyển tiếp thực mà không cần nhãn lỗi ground-truth.", "Tích hợp 3 chức năng trong một trường điểm số duy nhất: độ lớn phát hiện ảo giác (AUROC tới 0.80 không cần action), trường theo token định vị lỗi tại các patch ảnh cụ thể (AUPRC tới 0.87), và xác định hướng hiệu chỉnh ngay tại thời điểm suy luận.", "Phát hiện một phần lỗi nằm tiếp tuyến với đa tạp dữ liệu, đồng thời chứng minh hiệu chỉnh giúp giảm tin cậy lỗi latent đơn bước và cải thiện chất lượng dự đoán."], "sub_category": "World Models Robustness", "novelty_score": 84, "business_score": 58, "research_score": 88, "why_it_matters": "World Models là bước tiến trọng tâm trong thị giác máy tính và AI tương tác, nhưng lỗi ảo giác tiềm ẩn tích lũy tự hồi quy là rào cản lớn đối với độ an toàn thực tế. MEND mở ra giải pháp không cần gán nhãn để giám sát và hiệu chỉnh trực tiếp trên các mô hình tự giám sát đã đóng băng, cung cấp công cụ khả thi để nâng cao độ tin cậy của các hệ thống tự hành và mô phỏng.", "developer_score": 68, "importance_score": 78, "possible_use_cases": ["Tích hợp cơ chế giám sát an toàn thời gian thực cho World Models trong hệ thống xe tự hành hoặc robot điều hướng nhằm phát hiện sớm trạng thái ảo giác.", "Khoanh vùng và gỡ lỗi trực quan các image patch bị suy diễn sai lệch trong các mô phỏng môi trường thị giác.", "Ứng dụng hiệu chỉnh tại thời điểm suy luận (inference-time correction) để giảm thiểu hiện tượng trôi dạt tích lũy (compounding error) trong mô hình sinh tự hồi quy."], "actionability_score": 62}
← Trang trước Trang 1