When All Rollouts Fail: Policy-Compatible Joint Decoding for Hard-Problem Reasoning

{"tags": ["RLVR", "PICO", "Reinforcement Learning", "LLM Reasoning", "GRPO", "RLOO", "Joint Decoding", "Importance Sampling"], "risks": ["Độ phức tạp tính toán bổ sung trong quá trình joint decoding và kiểm soát phân phối token động.", "Vẫn phụ thuộc vào sự tồn tại của verifiable rewards (phần thưởng kiểm chứng được) và lời giải chuyên gia làm định hướng.", "Ngân sách phân kỳ (divergence budget) và cơ chế dynamic top-k có thể nhạy cảm với siêu tham số trên các domain khác nhau."], "category": "Research", "entities": ["PICO", "RLVR", "GRPO", "RLOO"], "summary_vi": "Nghiên cứu chỉ ra điểm nghẽn 'learning cliff' của RLVR: khi mọi rollout trên bài toán khó đều thất bại, các thuật toán như GRPO/RLOO rơi vào zero advantage, trong khi dữ liệu chuyên gia thông thường lại gây lệch phân phối nghiêm trọng. Để khắc phục, nhóm tác giả đề xuất PICO (Policy-Compatible Reinforcement Learning), sử dụng cơ chế giải mã kết hợp có ràng buộc (joint decoding) và dynamic top-k để tạo ra quỹ đạo vừa đúng vừa tương thích phân phối với mô hình học sinh, sau đó tối ưu qua mục tiêu mixed-behavior với importance sampling.", "key_changes": ["Chỉ ra hiện tượng 'learning cliff' trong RLVR: khi mọi rollout đều thất bại trên bài toán khó, các bộ ước lượng nhóm như GRPO/RLOO bị triệt tiêu tín hiệu học (zero advantage).", "Chỉ rõ nhược điểm của việc ép dùng trajectory chuyên gia truyền thống: gây lệch phân phối, đòi hỏi dịch chuyển tham số lớn và suy thoái thành bắt chước bề mặt.", "Đề xuất PICO (Policy-Compatible Reinforcement Learning) sử dụng kỹ thuật joint decoding có ràng buộc phân phối (distribution-constrained joint decoding).", "Tích hợp cơ chế dynamic top-k để giữ độ phân kỳ phân phối trong ngân sách cho phép, bảo toàn xác suất tương đối của student model.", "Tối ưu hóa đồng thời rollout policy và trajectory chuyên gia thông qua mục tiêu mixed-behavior kết hợp importance sampling."], "sub_category": "Reinforcement Learning & LLM Reasoning", "novelty_score": 82, "business_score": 64, "research_score": 89, "why_it_matters": "RLVR là công nghệ cốt lõi giúp các mô hình suy luận hiện đại bứt phá, nhưng hoàn toàn tê liệt khi mô hình gặp bài toán vượt quá năng lực (tỷ lệ giải đúng 0%). PICO giải quyết trực diện điểm nghẽn gradient bằng cách kết hợp hướng dẫn từ chuyên gia nhưng vẫn tôn trọng phân phối của mô hình, giúp mở rộng trần năng lực suy luận một cách thực chất thay vì chỉ ghi nhớ bề mặt.", "developer_score": 76, "importance_score": 84, "possible_use_cases": ["Huấn luyện mô hình suy luận (reasoning models) vượt qua các bài toán khó trong toán học, lập trình và suy luận logic đa bước.", "Nâng cao hiệu quả post-training cho agentic AI trên các benchmark phức tạp khi tỷ lệ giải thành công ban đầu bằng 0.", "Chuyển giao tri thức từ lời giải chuyên gia (expert data) vào mô hình học tăng cường mà không làm hỏng phân phối biểu diễn gốc."], "actionability_score": 72}