Learning Perception to Action Rules through Reinforcement Learning for Theory-of-Mind Reasoning

{"tags": ["Theory of Mind", "GRPO", "Reinforcement Learning", "Qwen2.5", "Llama3", "GPT-4o-mini", "Knowledge Transfer", "Rule Generation"], "risks": ["Các quy tắc if-then có thể bị khái quát hóa quá mức hoặc đơn giản hóa quá mức trong các tình huống xã hội/giao tiếp phức tạp ngoài đời thực.", "Chi phí và độ phức tạp khi thiết lập quy trình huấn luyện tăng cường (RL/GRPO) cho từng miền tác vụ cụ thể.", "Rủi ro suy diễn sai trạng thái tâm trí (mental state) dẫn đến hành động phán đoán sai lệch nghiêm trọng."], "category": "Research", "entities": ["GRPO", "Qwen2.5", "Llama3", "GPT-4o-mini", "Theory-of-Mind", "SFT"], "summary_vi": "Nghiên cứu về suy luận Lý thuyết Tâm trí (ToM) chỉ ra rằng LLM có thể suy luận đúng trạng thái tâm lý nhưng thường gặp lỗi khi dự đoán hành động tiếp theo. Nhóm tác giả đề xuất kết nối nhận thức và hành động thông qua các quy tắc if-then tường minh, đồng thời sử dụng GRPO để huấn luyện Qwen2.5 và Llama3 trên 4 benchmark ToM. Kết quả cho thấy phương pháp này vượt trội hơn prompting, SFT và think reasoning, đồng thời các quy tắc từ mô hình >=3B có thể chuyển giao giúp cải thiện hiệu năng cho GPT-4o-mini.", "key_changes": ["Đề xuất kết nối tường minh giữa nhận thức (perception), niềm tin (belief) và hành động (action) thông qua các quy tắc if-then súc tích.", "Sử dụng thuật toán Group Relative Policy Optimization (GRPO) để huấn luyện mô hình Qwen2.5 và Llama3 trên 4 bộ benchmark ToM.", "Chứng minh GRPO kết hợp sinh quy tắc đạt hiệu năng vượt trội so với prompting, supervised fine-tuning (SFT) và think reasoning.", "Phát hiện khả năng chuyển giao tri thức: các quy tắc tạo bởi mô hình từ 3B tham số trở lên giúp nâng cao hiệu năng downstream của GPT-4o-mini."], "sub_category": "Theory-of-Mind Reasoning", "novelty_score": 78, "business_score": 58, "research_score": 88, "why_it_matters": "Nghiên cứu giải quyết khoảng cách suy luận (reasoning gap) cố hữu trong các mô hình ngôn ngữ lớn khi xử lý Theory-of-Mind: biết được tâm lý nhưng không biết áp dụng vào hành động. Việc dùng GRPO để học quy tắc tường minh không chỉ đánh bại các phương pháp như SFT hay chain-of-thought mà còn mở ra giải pháp chuyển giao tri thức hiệu quả từ mô hình nhỏ sang mô hình thương mại lớn như GPT-4o-mini.", "developer_score": 70, "importance_score": 72, "possible_use_cases": ["Xây dựng AI Agent và trợ lý ảo có khả năng dự đoán chính xác phản ứng và hành vi tiếp theo của người dùng dựa trên ngữ cảnh và trạng thái nhận thức.", "Thiết kế hệ thống NPC thông minh trong trò chơi điện tử với hành vi phản ứng tự nhiên theo niềm tin và góc nhìn riêng của nhân vật.", "Chuyển giao tri thức suy luận từ các mô hình mở nhỏ (>=3B) được tối ưu bằng GRPO sang các mô hình lớn như GPT-4o-mini nhằm tiết kiệm chi phí mà vẫn đảm bảo độ chính xác.", "Ứng dụng trong bot đàm phán hoặc hỗ trợ khách hàng để suy đoán ý định và phản hồi phù hợp với tâm lý đối phương."], "actionability_score": 65}