Semifactual Credit-Augmented Policy Optimization

{"tags": ["SCAPO", "GRPO", "RLVR", "LLM Reasoning", "Credit Assignment", "Semifactual Stability", "Qwen3"], "risks": ["Gia tăng chi phí tính toán trong quá trình huấn luyện do phải đo độ trôi xác suất token qua các prompt can thiệp bán thực tế.", "Phụ thuộc vào chất lượng của các can thiệp bán thực tế để đảm bảo giữ nguyên bản chất bài toán và kết quả đúng.", "Hiện mới được kiểm chứng trên các mô hình quy mô 1.7B và 4B với tác vụ toán học, cần thêm thực nghiệm trên các miền tác vụ phức tạp khác như viết mã hay lập luận tổng quát."], "category": "Research", "entities": ["SCAPO", "GRPO", "RLVR", "Qwen3-4B-Base", "Qwen3-1.7B-Base", "AIME", "GitHub"], "summary_vi": "SCAPO là biến thể cải tiến của GRPO trong học tăng cường với phần thưởng kiểm chứng được (RLVR), giải quyết tình trạng mô hình nhạy cảm với các đặc trưng prompt gây nhiễu bằng cách đưa tính ổn định bán thực tế (semifactual stability) vào phân bổ tín dụng cấp token. Phương pháp này giảm advantage của các token kém ổn định trong giai đoạn đầu huấn luyện, giúp tăng độ chính xác trên AIME thêm 5.63% (trên Qwen3-4B) và 4.17% (trên Qwen3-1.7B), đồng thời đứng đầu trên các benchmark toán học và OOD.", "key_changes": ["Phát hiện hạn chế của GRPO khi gán cùng một mức advantage cho mọi token trong phản hồi, dễ củng cố các phụ thuộc giả tạo (spurious dependence).", "Chứng minh việc can thiệp prompt bán thực tế (semifactual interventions) và ức chế các token có độ trôi xác suất cao (high-drift) trong khi decoding giúp tăng độ chính xác suy luận mà không cần cập nhật trọng số.", "Đề xuất SCAPO (Semifactual Credit-Augmented Policy Optimization), biến thể GRPO điều chỉnh phân bổ tín dụng cấp token dựa trên điểm ổn định chuẩn hóa trong giai đoạn đầu huấn luyện.", "Đạt mức tăng trưởng độ chính xác AIME 2024-2026 thêm 5.63 điểm phần trăm trên Qwen3-4B-Base và 4.17 điểm phần trăm trên Qwen3-1.7B-Base.", "Đạt kết quả tốt nhất trên phần lớn benchmark toán học và toàn bộ benchmark ngoài phân phối (OOD) được đánh giá; mã nguồn được công bố mở trên GitHub."], "sub_category": "RLVR & LLM Reasoning", "novelty_score": 85, "business_score": 70, "research_score": 90, "why_it_matters": "GRPO là thuật toán cốt lõi đằng sau sự thành công của các mô hình suy luận hiện đại (như DeepSeek-R1), nhưng việc gán thưởng đồng nhất cho toàn bộ chuỗi token khiến mô hình dễ học các bước suy luận rác hoặc nhạy cảm với định dạng đề bài. SCAPO mang lại bước tiến quan trọng về phân bổ tín dụng hạt mịn (token-level credit assignment) có cơ sở nhân quả, giúp mô hình suy luận vừa chính xác hơn vừa bền vững trước các nhiễu prompt trong thực tế.", "developer_score": 82, "importance_score": 84, "possible_use_cases": ["Tối ưu hóa quá trình huấn luyện RLVR cho các mô hình ngôn ngữ suy luận toán và logic, giúp giảm tính nhạy cảm với biến thể prompt.", "Ứng dụng phương pháp ức chế token drift trong decoding thời gian thực để cải thiện chất lượng suy luận mà không cần finetuning.", "Nâng cao khả năng khái quát hóa ngoài phân phối (OOD) cho các mô hình suy luận kích thước nhỏ (1.7B - 4B) trong môi trường sản xuất."], "actionability_score": 78}