Omni-Modal LLMs Know More Than They Say

{"tags": ["Omni-LLM", "Multimodal AI", "OmniCatalyst", "TMA", "Naver AI"], "risks": ["Tăng độ trễ (latency) và chi phí tính toán trong quá trình inference do phải tạo văn bản tự sinh trung gian.", "Nguy cơ ảo giác (hallucination) ở giai đoạn trích xuất kiến thức tự sinh có thể lan truyền sai lệch sang câu trả lời cuối."], "category": "Research", "entities": ["Naver AI", "OmniCatalyst", "TMA", "OmniLLM"], "summary_vi": "Nghiên cứu từ Naver AI chỉ ra hiện tượng 'knows-but-cannot-say' ở các mô hình ngôn ngữ toàn năng (Omni-LLMs), khi mô hình tiếp nhận chính xác tín hiệu phi văn bản (hình ảnh, âm thanh, IMU) nhưng gặp khó khăn khi diễn đạt ra ngôn ngữ do biểu diễn phi văn bản nhận ít sự chú ý hơn. Nhóm tác giả đề xuất thước đo Token-level Modality Alignment (TMA) cùng giải pháp OmniCatalyst áp dụng cơ chế perceive -> infer, bổ trợ đầu vào bằng văn bản tự sinh để tăng cường căn chỉnh biểu diễn, giúp cải thiện trung bình 7,29% hiệu năng trên 7 mô hình Omni-LLM.", "key_changes": ["Phát hiện và định danh hiện tượng 'knows-but-cannot-say' ở Omni-LLMs khi mô hình nhận diện đúng dữ liệu phi văn bản nhưng không diễn đạt được ra câu trả lời.", "Giới thiệu Token-level Modality Alignment (TMA) để đo lường mức độ căn chỉnh biểu diễn giữa từng modality và các token phản hồi.", "Đề xuất chiến lược OmniCatalyst (perceive -> infer), bổ trợ đầu vào bằng văn bản tự sinh giúp tăng TMA và cải thiện trung bình +7.29% hiệu năng trên 7 mô hình Omni-LLM.", "Mở mã nguồn nghiên cứu tại github.com/naver-ai/OmniLLM."], "sub_category": "Multimodal AI", "novelty_score": 78, "business_score": 70, "research_score": 88, "why_it_matters": "Nghiên cứu làm sáng tỏ rào cản căn chỉnh biểu diễn khiến Omni-LLMs thiên vị văn bản và bỏ qua tri thức từ các giác quan khác. Chiến lược OmniCatalyst mở ra hướng tiếp cận suy luận hiệu quả, giúp khai phóng tri thức tiềm ẩn từ dữ liệu đa giác quan mà không bắt buộc phải đào tạo lại toàn bộ mô hình.", "developer_score": 82, "importance_score": 82, "possible_use_cases": ["Nâng cao hiệu quả xử lý dữ liệu phức hợp (âm thanh, hình ảnh, cảm biến IMU) trên trợ lý AI đa phương thức.", "Chẩn đoán và đo lường độ lệch căn chỉnh giữa các modality trong quá trình huấn luyện mô hình đa phương thức bằng chỉ số TMA.", "Áp dụng quy trình suy luận perceive-then-infer cho các bài toán phân tích video, dữ liệu thiết bị đeo mà không cần tái huấn luyện mô hình."], "actionability_score": 80}