PSGAgent: Enhancing MLLMs' Dynamic Visual Perception for Panoptic Scene Graph Generation via Agentic Reasoning

{"tags": ["PSGAgent", "MLLM", "Panoptic Scene Graph", "Visual Perception", "Agentic AI", "M-CoT", "GSPO", "Computer Vision"], "risks": ["Độ trễ suy luận (Inference Latency) tăng cao do vòng lặp think-act-observe và phải gọi công cụ nhiều lần so với mô hình một lượt (single-pass).", "Chi phí tài nguyên tính toán lớn khi triển khai huấn luyện RL (GSPO) và vận hành MLLM với các tác vụ phân đoạn động.", "Nguy cơ tích lũy sai số nếu mô hình đưa ra quyết định gọi công cụ zoom hoặc highlight vào sai vùng ngữ cảnh.", "Khó khăn khi tích hợp vào các hệ thống nhúng biên đòi hỏi phản hồi thời gian thực với tài nguyên giới hạn."], "category": "Agents", "entities": ["PSGAgent", "Multimodal Large Language Models (MLLMs)", "Panoptic Scene Graph (PSG)", "Region Zoom-In Tool", "Visual Highlight Tool", "Multimodal Chain-of-Thought (M-CoT)", "Group Sequence Policy Optimization (GSPO)", "PSG benchmark"], "summary_vi": "PSGAgent là khung agentic giúp nâng cao năng lực nhận thức thị giác động của các mô hình MLLM trong bài toán tạo đồ thị ngữ cảnh toàn cảnh (Panoptic Scene Graph - PSG). Thay vì hoạt động như người quan sát tĩnh bị giới hạn bởi độ phân giải cố định, PSGAgent áp dụng vòng lặp think-act-observe với hai công cụ chuyên biệt: Region Zoom-In Tool (phóng to chi tiết vật thể nhỏ hoặc ở rìa) và Visual Highlight Tool (làm nổi bật quan hệ, lọc nhiễu nền). Mô hình được tối ưu qua quy trình hai giai đoạn gồm tập dữ liệu M-CoT nhận biết lỗi cho cold-start và thuật toán GSPO với phần thưởng phân cấp, giúp đạt hiệu năng SOTA trên PSG benchmark.", "key_changes": ["Chuyển đổi MLLM từ cơ chế quan sát tĩnh (fixed-resolution view) sang khung agentic chủ động theo vòng lặp think-act-observe.", "Tích hợp hai công cụ thị giác động: Region Zoom-In Tool (khám phá chi tiết vùng nhỏ/ngoại vi) và Visual Highlight Tool (phân đoạn tập trung vào mối quan hệ, loại bỏ nhiễu ngữ cảnh).", "Thiết lập quy trình huấn luyện hai giai đoạn: xây dựng tập dữ liệu Multimodal Chain-of-Thought (M-CoT) nhận biết lỗi cho giai đoạn khởi động (cold-start) và cơ chế thưởng phân cấp kết hợp GSPO để tối ưu hóa việc gọi công cụ.", "Đạt hiệu năng SOTA trên PSG benchmark, cải thiện vượt trội khả năng suy luận quan hệ phức tạp và nhận thức ngữ cảnh chi tiết."], "sub_category": "Multimodal AI Agents", "novelty_score": 82, "business_score": 65, "research_score": 88, "why_it_matters": "Giải quyết nút thắt cổ chai về nhận thức thị giác tĩnh của MLLM, mở ra hướng tiếp cận chủ động tương tự mắt người (vừa nhìn bao quát vừa tập trung chi tiết) thông qua học tăng cường và điều phối công cụ linh hoạt cho các bài toán thị giác máy tính phức tạp.", "developer_score": 74, "importance_score": 78, "possible_use_cases": ["Hệ thống xe tự hành: Nhận diện chính xác mối quan hệ giữa phương tiện và các vật thể nhỏ hoặc bị che khuất ở biên đường.", "Robot thao tác và tương tác không gian (Embodied AI): Giúp robot phân tích đồ thị quan hệ không gian chi tiết để gắp thả và di chuyển an toàn.", "Hệ thống phân tích video giám sát an ninh: Tự động phát hiện và làm rõ các tương tác bất thường giữa đối tượng và vật thể trong khung cảnh đông đúc.", "Hỗ trợ chẩn đoán ảnh y tế: Phóng to và khoanh vùng tập trung vào các tổn thương nhỏ cũng như mối liên kết giữa các cấu trúc giải phẫu."], "actionability_score": 68}