Decodable but Misrouted: Sparse Features Uncover a Readout Gap in Vision-Language Models for Harmful Meme Detection

{"tags": ["Vision-Language Models", "Sparse Autoencoders", "Content Moderation", "Mechanistic Interpretability", "Harmful Memes", "Model Routing", "AI Safety"], "risks": ["Chuyển giao tiêu cực (negative transfer) khi áp dụng thích ứng đa nhiệm chia sẻ.", "Vai trò của token ảnh hưởng lớn nhất phụ thuộc vào từng tác vụ, gây khó khăn cho việc thiết lập quy tắc routing cố định duy nhất.", "Độ nhạy cao khi can thiệp tính năng (silent-feature ablation nhạy probe gấp 24-63 lần, routed-feature patching nhạy output gấp 16-140 lần) đòi hỏi tinh chỉnh chính xác."], "category": "Research", "entities": ["Gemma-3", "Gemma-3-12B", "Qwen3.5", "Facebook Hateful Memes"], "summary_vi": "Nghiên cứu trên Gemma-3 và Qwen3.5 chỉ ra rằng nguyên nhân chính khiến mô hình thị giác-ngôn ngữ (VLM) phân loại sai meme độc hại là do lỗi định tuyến (misrouted) bằng chứng ra đầu ra chứ không phải do thiếu biểu diễn nội bộ. Bằng cách sử dụng sparse autoencoders, probe theo vai trò và can thiệp nhân quả trên 6 benchmark, nhóm tác giả chứng minh sparse readout vượt trội rõ rệt so với dự đoán gốc (Qwen đạt macro-F1 0.740 so với 0.432; Gemma đạt 0.714 so với 0.532). Kỹ thuật calibration-only routing giúp khôi phục tới 93.3% khoảng cách hiệu năng và probe-distilled LoRA cải thiện đáng kể dự đoán gốc.", "key_changes": ["Phát hiện hiện tượng 'Readout Gap': VLM biểu diễn được bằng chứng meme độc hại ở tầng ẩn nhưng gặp nút thắt ở khâu định tuyến (routing) thông tin ra đầu ra dự đoán.", "Sparse readouts vượt trội đáng kể so với dự đoán gốc trên cả 6 tác vụ nhị phân: Qwen đạt macro-F1 0.740 (so với 0.432 gốc); Gemma cải thiện từ 0.532 lên 0.714.", "Định tuyến chỉ bằng hiệu chuẩn (calibration-only routing) khôi phục tới 93.3% khoảng cách hiệu năng trung bình.", "Probe-distilled LoRA cải thiện dự đoán gốc, dù quá trình thích ứng đa nhiệm chia sẻ (shared multi-task adaptation) gặp hiện tượng chuyển giao tiêu cực (negative transfer).", "Nghiên cứu trường hợp Gemma-3-12B trên Facebook Hateful Memes chỉ ra tương tác phân tán rank-32 giữa ảnh và prompt, đạt macro-F1 0.756 so với 0.685 gốc.", "Kiểm soát độ bền chứng minh tín hiệu mở rộng sang ngôn ngữ khác (Tây Ban Nha, Hindi-Anh kết hợp), không chỉ đến từ OCR và phụ thuộc vào bằng chứng hình ảnh đi kèm."], "sub_category": "Vision-Language Models", "novelty_score": 85, "business_score": 75, "research_score": 88, "why_it_matters": "Nghiên cứu chứng minh nút thắt trong phát hiện meme độc hại của VLM nằm ở cơ chế định tuyến thông tin ra đầu ra thay vì năng lực biểu diễn đa phương thức. Việc phục hồi tới 93.3% hiệu năng qua hiệu chuẩn định tuyến hoặc probe-distilled LoRA cung cấp phương pháp can thiệp hiệu quả cao, tiết kiệm chi phí tính toán lớn so với việc huấn luyện lại toàn bộ mô hình cho bài toán kiểm duyệt nội dung.", "developer_score": 80, "importance_score": 82, "possible_use_cases": ["Nâng cấp hệ thống kiểm duyệt meme độc hại và nội dung thù ghét đa phương thức trên mạng xã hội bằng lớp probe/routing thay vì tái huấn luyện mô hình.", "Ứng dụng calibration-only routing để thu hẹp 93.3% khoảng cách hiệu năng phát hiện vi phạm an toàn với chi phí tính toán cực thấp.", "Tích hợp probe-distilled LoRA để tinh chỉnh VLM cho các tác vụ kiểm duyệt nội dung đa ngôn ngữ và ngôn ngữ pha trộn (code-mixed)."], "actionability_score": 78}