PerSo: Investigating Facets of LLMs' Social Intelligence in Real-World Persuasion Scenarios

{"tags": ["PerSo", "Social Intelligence", "LLM Benchmark", "Persuasion", "Reddit ChangeMyView", "Theory of Mind", "Human-AI Interaction"], "risks": ["Nguy cơ mô hình bị lạm dụng để thao túng tâm lý hoặc tạo nội dung định hướng dư luận tinh vi do năng lực hành vi thuyết phục vượt trội.", "Khoảng cách về trí tuệ nhận thức (vẫn thua con người) có thể khiến mô hình diễn giải sai lệch trạng thái tinh thần của người dùng, dẫn đến phản ứng thiếu tinh tế.", "Dữ liệu từ Reddit ChangeMyView có thể mang thiên kiến văn hóa và phong cách tranh luận đặc thù, chưa bao quát mọi tình huống đàm phán đời thực."], "category": "Research", "entities": ["PerSo", "Reddit", "ChangeMyView"], "summary_vi": "PerSo là bộ benchmark mới đánh giá hai khía cạnh của trí tuệ xã hội ở các mô hình ngôn ngữ lớn (LLM): trí tuệ nhận thức (suy luận trạng thái tinh thần) và trí tuệ hành vi (chọn hành động phù hợp để đạt mục tiêu). Thay vì dùng kịch bản nhân tạo tách rời, PerSo sử dụng các cuộc đối thoại thuyết phục thực tế từ diễn đàn Reddit ChangeMyView qua quy trình LLM-in-the-loop có con người kiểm định. Kết quả cho thấy mô hình lớn hơn nhìn chung thể hiện tốt hơn; LLM mạnh nhất vượt nhẹ con người giỏi nhất về mặt hành vi, nhưng con người vẫn dẫn đầu về năng lực nhận thức.", "key_changes": ["Giới thiệu PerSo: Benchmark đánh giá đồng thời trí tuệ nhận thức (cognitive intelligence) và trí tuệ hành vi (behavioral intelligence) của LLM trong kịch bản thuyết phục.", "Sử dụng dữ liệu hội thoại thực tế từ cộng đồng Reddit ChangeMyView thay cho các kịch bản nhân tạo (synthetic) riêng lẻ trước đây.", "Xây dựng nhiệm vụ đánh giá qua quy trình LLM-in-the-loop và được xác thực qua gán nhãn người (human annotation).", "Phát hiện hiệu năng tăng theo quy mô mô hình: LLM mạnh nhất vượt nhẹ con người ở bài toán hành vi nhưng vẫn xếp sau con người giỏi nhất ở bài toán nhận thức suy luận tâm lý."], "sub_category": "LLM Evaluation & Social Intelligence", "novelty_score": 75, "business_score": 65, "research_score": 88, "why_it_matters": "Nghiên cứu chỉ ra sự bất đối xứng quan trọng trong trí tuệ xã hội của AI: LLM có thể thực hiện tốt các chiến thuật hành vi nhằm thuyết phục người khác nhưng lại chưa thực sự thấu hiểu sâu sắc nhận thức và trạng thái tinh thần của đối phương so với con người. Điều này cung cấp nền tảng khoa học để các kỹ sư và doanh nghiệp đánh giá đúng ranh giới năng lực khi ứng dụng AI vào đàm phán, cộng tác đa tác tử và tương tác xã hội.", "developer_score": 68, "importance_score": 78, "possible_use_cases": ["Kiểm chuẩn năng lực đàm phán và thuyết phục của các AI agent trước khi ứng dụng vào bán hàng, tiếp thị hoặc dịch vụ khách hàng.", "Đánh giá năng lực suy luận tâm lý (Theory of Mind) của mô hình nền tảng trong môi trường đa tác tử (multi-agent) và tương tác người - AI.", "Tích hợp vào quy trình huấn luyện và tối ưu prompt cho hệ thống trợ lý ảo nhằm nâng cao tính thuyết phục dựa trên dữ liệu thực tế."], "actionability_score": 62}