PresenceBench: An Exploratory Evaluation of Large Language Model Adaptation to User State

{"tags": ["PresenceBench", "LLM Evaluation", "Presence-aware Intelligence", "Human-AI Interaction", "Adaptive AI", "Benchmarking", "Prompt Engineering"], "risks": ["Chưa chứng minh được tính đặc hiệu (Specificity): Cải thiện phản hồi có thể chỉ xuất phát từ việc bổ sung ngữ cảnh có cấu trúc thay vì thực sự nhận biết trạng thái cụ thể.", "Nguy cơ suy giảm độ chính xác khi tối ưu chi phí: Việc cắt giảm token thông qua chính sách phản hồi chưa được chứng minh là không làm suy giảm chất lượng câu trả lời.", "Rủi ro an toàn tiềm ẩn: Đã ghi nhận 13/360 trường hợp vi phạm ngưỡng an toàn (safety-floor failures), đòi hỏi cơ chế kiểm soát chặt chẽ.", "Chưa đánh giá được khả năng chuyển đổi thích ứng linh hoạt giữa các trạng thái khác nhau (adaptation across states)."], "category": "Research", "entities": ["PresenceBench", "Claude Sonnet 5", "DeepSeek V4 Pro", "Gemini 3.6 Flash", "GPT-5.6 Terra"], "summary_vi": "Nghiên cứu giới thiệu PresenceBench – công cụ đánh giá cách các mô hình ngôn ngữ lớn (LLM) thích ứng với trạng thái chức năng của người dùng (sự sẵn sàng, trạng thái tập trung và độ ổn định). Sử dụng thiết kế nhân quả 5 nhánh kiểm soát bằng so sánh cặp do người đánh giá, thử nghiệm trên 4 mô hình (Claude Sonnet 5, DeepSeek V4 Pro, Gemini 3.6 Flash, GPT-5.6 Terra) cho thấy việc cung cấp trạng thái người dùng giúp nâng cao mức độ ưu tiên của con người (>0,5). Tuy nhiên, tính đặc hiệu (Specificity) chưa được giải quyết do chưa tách biệt được tác động của giá trị trạng thái cụ thể với chỉ thị thích ứng chung. Phương thức phân phối chính sách giúp giảm token và chi phí nhưng chưa chứng minh được tính không thua kém về độ chính xác.", "key_changes": ["Giới thiệu PresenceBench: Bộ công cụ đánh giá năng lực của tầng trí tuệ LLM trong việc thích ứng với trạng thái người dùng (sự sẵn sàng, trạng thái tập trung và độ ổn định).", "Thực nghiệm thiết kế nhân quả 5 nhánh đo lường 2 thuộc tính: Khả năng tiếp nhận tín hiệu (Receptivity) và Tính đặc hiệu của trạng thái (Specificity).", "Cả 4 mô hình (Claude Sonnet 5, DeepSeek V4 Pro, Gemini 3.6 Flash, GPT-5.6 Terra) đều đạt điểm ước lượng ưu tiên con người > 0,5 khi được cung cấp trạng thái nhân tạo.", "Tính đặc hiệu (Specificity) chưa được chứng minh do chưa phân tách được ảnh hưởng của giá trị trạng thái cụ thể với chỉ dẫn thích ứng chung có cấu trúc.", "Phân phối chính sách phản hồi (policy delivery) giúp giảm lượng token đầu ra và chi phí định giá, nhưng chưa xác lập được tính không thua kém về độ đúng đắn (correctness non-inferiority).", "Tỷ lệ lỗi an toàn ở mức thấp (13/360 trường hợp), không tăng đáng kể dưới hình thức phân phối chính sách."], "sub_category": "LLM Evaluation", "novelty_score": 82, "business_score": 65, "research_score": 88, "why_it_matters": "PresenceBench đặt nền móng cho việc đánh giá định lượng 'trí tuệ nhận thức trạng thái' (presence-aware intelligence), giúp dịch chuyển AI từ tương tác tĩnh sang thích ứng động theo ngữ cảnh con người. Nghiên cứu cung cấp phương pháp luận thực nghiệm nghiêm ngặt nhằm tách biệt giữa năng lực thích ứng thực chất và phản hồi ngẫu nhiên do prompt, đồng thời mở ra hướng đi tiết kiệm tài nguyên và nâng cao trải nghiệm người dùng trong các hệ sinh thái AI trợ lý.", "developer_score": 68, "importance_score": 74, "possible_use_cases": ["Trợ lý ảo cá nhân hóa: Tự động điều chỉnh độ dài phản hồi và tần suất tương tác theo trạng thái tập trung cao độ (flow) hoặc độ sẵn sàng (readiness) của người dùng.", "Môi trường IDE và công cụ lập trình thông minh: Hạn chế gây xao nhãng khi nhà phát triển đang tập trung sâu, chỉ can thiệp khi người dùng sẵn sàng tiếp nhận.", "Tối ưu chi phí vận hành mô hình: Sử dụng chính sách phản hồi (response policy) tương ứng với trạng thái để giảm số lượng token đầu ra mà vẫn đảm bảo độ hài lòng.", "Khung kiểm chuẩn cho nhà phát triển hệ thống đa tác tử (Agentic AI): Đo lường thực tế xem hệ thống có thực sự hiểu ngữ cảnh trạng thái hay chỉ phản hồi ngẫu nhiên theo prompt."], "actionability_score": 58}