CRoS: Causality Reward on Scrambled CoTs Improves Accuracy and Reasoning Faithfulness

{"tags": ["CRoS", "RLVR", "Chain-of-Thought", "Reasoning Faithfulness", "Causality Reward", "Gemma-3-4B", "Reinforcement Learning", "Reasoning Gym"], "risks": ["Yêu cầu thuật toán phân tách chính xác các bước suy luận trong CoT (step segmentation); chia bước không chuẩn xác có thể làm giảm hiệu quả đo lường nhân quả.", "Có thể phát sinh thêm chi phí tính toán trong quá trình huấn luyện RL khi phải đánh giá thêm các chuỗi CoT bị xáo trộn.", "Thử nghiệm hiện tại mới giới hạn trên mô hình Gemma-3-4B và bộ công cụ Reasoning Gym, cần thêm nghiên cứu trên các mô hình quy mô lớn hơn và miền tác vụ thực tế phức tạp hơn."], "category": "Research", "entities": ["CRoS", "Reasoning Gym", "Gemma-3-4B"], "summary_vi": "CRoS (Causality Reward on Scrambled CoTs) là phương pháp phần thưởng nhân quả mới cho mô hình ngôn ngữ huấn luyện bằng RLVR. Thay vì xóa bước hay chèn lỗi làm biến đổi thông tin, CRoS xáo trộn thứ tự các bước CoT để đo lường quan hệ nhân quả thực sự giữa suy luận và kết quả. Thử nghiệm trên Gemma-3-4B với Reasoning Gym cho thấy CRoS vượt trội các baseline về độ chính xác out-of-domain (46,8% vs 43,8%), chất lượng CoT (43,4% vs 41,4%) và tính trung thực của suy luận (34,0% vs 20,2%).", "key_changes": ["Đề xuất CRoS (Causality Reward on Scrambled CoTs): cơ chế đánh giá và làm phần thưởng nhân quả cho chuỗi suy luận bằng cách xáo trộn thứ tự các bước thay vì xóa hoặc làm sai lệch nội dung.", "Bảo toàn thông tin nội tại từng bước suy luận, khắc phục hiện tượng điểm nhân quả cao do nhạy cảm với mất mát thông tin (confounding effects) ở các phương pháp cũ.", "Ngăn ngừa các hành vi tiêu cực khi huấn luyện RL như CoT kém thông tin hoặc giảm khả năng tự sửa lỗi và khám phá.", "Đạt độ chính xác 46,8% ngoài miền dữ liệu (out-of-domain) trên 5 tập dữ liệu logic và trò chơi của Reasoning Gym với Gemma-3-4B, vượt baseline mạnh nhất (43,8%).", "Nâng cao chất lượng CoT-Pass@K (trung bình 43,4% so với 41,4%) và độ trung thực CoT với điểm hint acknowledgment đạt 34,0% so với 20,2%."], "sub_category": "RLVR & Reasoning Faithfulness", "novelty_score": 76, "business_score": 58, "research_score": 88, "why_it_matters": "Trong bối cảnh RLVR trở thành tiêu chuẩn huấn luyện mô hình suy luận nhưng dễ gặp rủi ro mô hình chỉ tối ưu kết quả đầu ra mà chuỗi tư duy không có liên hệ nhân quả thực chất (unfaithful CoT), CRoS giải quyết triệt để vấn đề biến nhiễu thông tin khi đánh giá nhân quả. Phương pháp này giúp mô hình phát triển chuỗi suy luận trung thực, nâng cao năng lực tự sửa lỗi và tăng cường độ bền vững khi đối mặt với dữ liệu chưa từng thấy.", "developer_score": 66, "importance_score": 78, "possible_use_cases": ["Tích hợp làm tín hiệu phần thưởng bổ sung trong quy trình huấn luyện RLVR cho các mô hình suy luận (reasoning models), giúp tránh hiện tượng chuỗi suy luận giả tạo hoặc không đóng góp vào kết quả.", "Đo lường và kiểm định độ tin cậy, tính trung thực (faithfulness) của chuỗi suy luận LLM trong các ứng dụng đòi hỏi tính minh bạch cao như pháp lý, tài chính hoặc y tế.", "Cải thiện khả năng khái quát hóa và giải quyết các bài toán logic/trò chơi ngoài tập dữ liệu huấn luyện cho hệ thống AI."], "actionability_score": 68}