Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Words Before Pixels: Selective Modality Routing for Vision-Language Model Unlearning

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

60 RADAR
Research Vision-Language Model Unlearning · 1 nguồn đối chiếu · 2026-10-31 04:09:27 +0000 UTC

Words Before Pixels: Selective Modality Routing for Vision-Language Model Unlearning

Nguồn: arXiv AI
↗

Nghiên cứu chỉ ra rằng việc 'quên' (unlearning) trong mô hình thị giác - ngôn ngữ (VLM) không chỉ phụ thuộc vào hàm mục tiêu (loss) mà còn phụ thuộc vào cách biểu diễn dữ liệu đầu vào. Tác giả đề xuất ModRoute, phương pháp định tuyến phương thức theo từng mẫu dựa trên gradient để chuyển đổi có chọn lọc các mẫu có áp lực thị giác cao thành văn bản thuần, giúp loại bỏ hiệu quả hành vi không an toàn mà vẫn bảo toàn năng lực thị giác của mô hình.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Chuyển đổi góc nhìn unlearning cho VLM từ thiết kế hàm loss sang tối ưu hóa biểu diễn dữ liệu (data-centric), giải quyết sự đánh đổi giữa việc triệt tiêu hành vi xấu và việc giữ lại năng lực suy luận hình ảnh cốt lõi.

Developer 66
Business 60
Novelty 82
Actionable 65

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Vision-language model (VLM) unlearning is often treated as an objective-design problem: given multimodal forget data, the goal is to optimize a loss that removes undesirable behavior while preserving retained capabilities. We argue that this view overlooks an equally important data-centric question: how should each forget example be represented before optimization? Existing methods typically keep image-conditioned failures in their original image-text form, implicitly assuming that pixels are the right route for unlearning whenever pixels appear in the input. We challenge this assumption by constructing modality-decomposed versions of VLM benchmarks, enabling controlled comparisons among image-only, text-only, and multimodal representations of the same examples. Our modality-mixing experiments show that unsafe instruction-following behavior is more effectively suppressed through textual representations than through images alone, while purely text-only unlearning can still weaken visual grounding when the target behavior depends on visual evidence. Motivated by this trade-off, we introduce ModRoute, a gradient-guided per-sample modality routing strategy that selectively converts high visual-pressure examples to text-only form while keeping the remaining examples multimodal. Notably, on VLGuard with LLaVA-1.5-7B, ModRoute has the strongest composite unlearning-utility score of 0.847 at $γ=0.5$, a 2.5% improvement over the best random-switching score and $\geq$46% better than pure multimodal or text unlearning. Overall, our results show that effective VLM unlearning depends not only on the objective, but also on the composition and per-sample modality routing of the unlearning data.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-03 09:33:25 +0000 UTC
{"tags": ["Machine Unlearning", "VLM", "Multimodal", "AI Safety", "ModRoute", "LLaVA"], "risks": ["Tính toán gradient trên từng mẫu để định tuyến có thể làm tăng chi phí tính toán trong pipeline unlearning.", "Thực nghiệm trong báo cáo mới giới hạn trên VLGuard và LLaVA-1.5-7B, khả năng mở rộng lên các mô hình VLM quy mô lớn hoặc kiến trúc khác chưa được kiểm chứng trong dữ liệu cung cấp."], "category": "Research", "entities": ["ModRoute", "LLaVA-1.5-7B", "VLGuard"], "summary_vi": "Nghiên cứu chỉ ra rằng việc 'quên' (unlearning) trong mô hình thị giác - ngôn ngữ (VLM) không chỉ phụ thuộc vào hàm mục tiêu (loss) mà còn phụ thuộc vào cách biểu diễn dữ liệu đầu vào. Tác giả đề xuất ModRoute, phương pháp định tuyến phương thức theo từng mẫu dựa trên gradient để chuyển đổi có chọn lọc các mẫu có áp lực thị giác cao thành văn bản thuần, giúp loại bỏ hiệu quả hành vi không an toàn mà vẫn bảo toàn năng lực thị giác của mô hình.", "key_changes": ["Phát hiện hành vi không an toàn (unsafe behavior) trong VLM bị triệt tiêu hiệu quả hơn qua biểu diễn văn bản so với hình ảnh thuần túy.", "Chỉ ra rằng unlearning thuần văn bản làm suy giảm khả năng liên kết thị giác (visual grounding) khi hành vi mục tiêu dựa vào bằng chứng hình ảnh.", "Giới thiệu ModRoute: chiến lược định tuyến phương thức theo từng mẫu có hướng dẫn gradient (gradient-guided per-sample modality routing), chuyển các mẫu có áp lực thị giác cao sang dạng văn bản thuần và giữ các mẫu còn lại ở dạng multimodal.", "Đạt điểm tổng hợp unlearning-utility 0.847 trên benchmark VLGuard với LLaVA-1.5-7B, tăng 2.5% so với hoán đổi ngẫu nhiên và vượt trội ít nhất 46% so với unlearning thuần multimodal hoặc thuần văn bản."], "sub_category": "Vision-Language Model Unlearning", "novelty_score": 82, "business_score": 60, "research_score": 88, "why_it_matters": "Chuyển đổi góc nhìn unlearning cho VLM từ thiết kế hàm loss sang tối ưu hóa biểu diễn dữ liệu (data-centric), giải quyết sự đánh đổi giữa việc triệt tiêu hành vi xấu và việc giữ lại năng lực suy luận hình ảnh cốt lõi.", "developer_score": 70, "importance_score": 76, "possible_use_cases": ["Loại bỏ nội dung độc hại, vi phạm bản quyền hoặc dữ liệu riêng tư (PII) khỏi VLM mà không cần train lại từ đầu.", "Gia cố phòng thủ chống tấn công jailbreak đa phương thức (multimodal jailbreaking/red-teaming) trên các trợ lý thị giác.", "Duy trì năng lực thị giác (visual grounding) ổn định cho mô hình sau khi thực hiện unlearning các tác vụ nguy hại."], "actionability_score": 65}
← Trang trước Trang 1