PACT: From Credit Assignment to Critic Alignment

{"tags": ["Reinforcement Learning", "LLM Post-training", "Actor-Critic", "PACT", "Credit Assignment", "SWE-bench", "GRPO", "PPO"], "risks": ["Chi phí tính toán và bộ nhớ cao hơn so với các phương pháp loại bỏ critic hoàn toàn như GRPO hoặc RLOO.", "Hiện tượng phương sai từ trọng số importance sampling khi policy actor cập nhật bước quá lớn so với trạng thái cũ.", "Hiệu quả thực tế có thể bị giới hạn bởi chất lượng của reward model kết quả (outcome reward)."], "category": "Research", "entities": ["PACT", "LLM", "On-Policy Distillation (OPD)", "REINFORCE Leave-One-Out (RLOO)", "Generalized Advantage Estimation (GAE)", "GRPO", "PPO", "SAO", "SWE-bench Verified"], "summary_vi": "Nghiên cứu giới thiệu PACT (Policy Aligned Critic Training), một kỹ thuật huấn luyện Actor-Critic mới cho giai đoạn post-training của LLM. Tác giả xây dựng 3 điều kiện chuẩn tắc (Completeness, Prefix Consistency, Neutrality) chứng minh việc xác định duy nhất token-level credit, qua đó làm sáng tỏ cơ chế của OPD, RLOO và sai số critic trong GAE. Nhằm giải quyết sai lệch critic, PACT áp dụng thứ tự cập nhật Actor-then-Critic cùng hiệu chỉnh importance sampling. Phương pháp này giúp mô hình đạt 72,87% độ chính xác suy luận toán học và 67,4% pass rate trên SWE-bench Verified, vượt trội so với GRPO, PPO và SAO.", "key_changes": ["Xác lập 3 điều kiện chuẩn tắc (Completeness, Prefix Consistency, Neutrality) và chứng minh chúng xác định duy nhất token-level credit trong RL cho LLM.", "Lý giải cơ chế các thuật toán hiện hành: OPD đóng vai trò như implicit critic, RLOO khớp với đóng góp gradient kỳ vọng của token-level credit dù độ mịn thô hơn.", "Chỉ ra hiện tượng thưa thớt credit (approximate credit sparsity) dưới bounded outcome reward và việc sai số trung gian của critic trong GAE có thể lớn ngang bằng credit gốc.", "Đề xuất quy trình PACT (Policy Aligned Critic Training) với thứ tự cập nhật Actor-then-Critic kết hợp importance sampling correction để đồng bộ critic với policy mới.", "Cải thiện hiệu năng vượt trội: đạt 72,87% độ chính xác trung bình trên 4 benchmark toán học (vượt GRPO 8,8% và PPO 13,16%), đạt 67,4% pass rate trên SWE-bench Verified (vượt PPO 2,4%, GRPO 2,0%, SAO 3,8%)."], "sub_category": "Reinforcement Learning & LLM Post-Training", "novelty_score": 88, "business_score": 75, "research_score": 92, "why_it_matters": "Nghiên cứu giải quyết bài toán cốt lõi về phân bổ credit cấp token vốn chưa có định nghĩa toán học chuẩn tắc trong RL cho LLM. Bằng cách sửa đổi thứ tự cập nhật Actor-then-Critic và hiệu chỉnh importance sampling, PACT khắc phục được điểm yếu cố hữu về sai số critic trong GAE, mang lại bước nhảy vọt về hiệu năng giải quyết vấn đề thực tế (SWE-bench) và toán học so với các chuẩn công nghiệp hiện nay như PPO và GRPO.", "developer_score": 85, "importance_score": 85, "possible_use_cases": ["Nâng cấp pipeline post-training cho các mô hình lập trình tự động (agentic coding) để giải quyết issue phần mềm phức tạp trên repository thực tế.", "Tối ưu hóa khả năng suy luận logic và toán học nhiều bước (multi-step reasoning) của LLM mà không cần giám sát dày đặc từng bước.", "Thay thế hoặc cải tiến các thuật toán Actor-Critic (như PPO) trong hạ tầng huấn luyện RLHF/RLAIF quy mô lớn."], "actionability_score": 80}