MERP: A Latent-Bottleneck Framework for Robust Multi-Modal Multi-Label Emotion Recognition

{"tags": ["MERP", "Emotion Recognition", "Multimodal Learning", "Latent Bottleneck", "Missing Modality", "Affective Computing"], "risks": ["Điểm micro-F1 tổng thể trên benchmark CMU-MOSEI còn ở mức vừa phải (0.563) do độ phức tạp của bài toán multi-label emotion recognition.", "Chi phí tính toán cho latent reasoning và reconstruction có thể làm tăng độ trễ khi triển khai trên thiết bị biên hoặc hệ thống thời gian thực.", "Nguy cơ sai lệch nhận định cảm xúc do khác biệt ngữ cảnh văn hóa hoặc chất lượng tín hiệu thực tế khác xa dữ liệu benchmark."], "category": "Research", "entities": ["MERP", "Perceiver", "CMU-MOSEI", "M3ED", "LDDU", "GitHub"], "summary_vi": "Nghiên cứu giới thiệu MERP (Multi-modal Emotion Recognition Perceiver), khung kiến trúc latent-bottleneck giải quyết vấn đề sụt giảm hiệu năng khi thiếu hụt các luồng dữ liệu (text, visual, audio) trong nhận diện cảm xúc đa phương thức, đa nhãn. MERP ánh xạ chuỗi dữ liệu vào một latent bank kích thước cố định, trích xuất và căn chỉnh bằng chứng theo nhãn qua tái tạo, đồng thời tích hợp class prototype và bộ lọc nhiễu tần số. Mô hình đạt micro-F1 0.563 trên CMU-MOSEI và 0.780 trên M3ED khi mất ngẫu nhiên 20% modality, đặc biệt duy trì 0.473 micro-F1 trong điều kiện chỉ có audio (vượt trội so với 0.022 của baseline LDDU).", "key_changes": ["Đề xuất khung kiến trúc MERP ánh xạ chuỗi đa phương thức vào fixed-size latent bank, giúp quá trình suy luận độc lập với độ dài đầu vào.", "Trích xuất bằng chứng theo từng nhãn cảm xúc trước và sau latent reasoning, căn chỉnh hai cấp độ thông qua cơ chế tái tạo (reconstruction).", "Sử dụng class prototypes (positive/negative) và bộ tăng cường đặc trưng gating nhiễu (noise-gated feature enhancer) với nhiễu định hình theo tần số trong quá trình train.", "Áp dụng cơ chế hợp nhất từng lớp dựa trên độ tin cậy (confidence-aware class-wise fusion) mà không yêu cầu dữ liệu khuyết thiếu modality khi huấn luyện."], "sub_category": "Multimodal Emotion Recognition", "novelty_score": 75, "business_score": 68, "research_score": 82, "why_it_matters": "Thu hẹp khoảng cách train-test trong thực tế triển khai hệ thống nhận diện cảm xúc, giúp mô hình duy trì khả năng suy luận bền bỉ ngay cả khi mất luồng dữ liệu hình ảnh hoặc văn bản mà không cần phải huấn luyện trước trên dữ liệu thiếu hụt.", "developer_score": 75, "importance_score": 74, "possible_use_cases": ["Phân tích cảm xúc người dùng trong hội thoại video call hoặc livestream khi kết nối mạng kém gây gián đoạn hoặc mất luồng video/audio.", "Hệ thống chăm sóc khách hàng và tổng đài tự động nhận diện sắc thái cảm xúc khách hàng trong tình huống chỉ có âm thanh hoặc audio kết hợp transcript.", "Khai phá và phân loại cảm xúc đa nhãn từ nội dung video ngắn hoặc bài đăng đa phương tiện trên mạng xã hội."], "actionability_score": 76}