Decoupling Exploration from Optimization in RLVR

{"tags": ["RLVR", "ExpDis", "Reinforcement Learning", "Exploration-Distillation", "Reasoning", "pass@k", "DAPO", "Knowledge Distillation"], "risks": ["Quy trình huấn luyện phức tạp hơn do phải vận hành song song explorer policy, bộ lọc chất lượng và student policy qua nhiều vòng lặp.", "Chỉ áp dụng trực tiếp cho các miền tác vụ có phần thưởng kiểm chứng được (verifiable rewards như toán học, lập trình), khó mở rộng cho tác vụ sinh ngôn ngữ mở.", "Hiệu quả phụ thuộc lớn vào chất lượng của bộ lọc (correctness/quality filtering) trước khi chưng cất vào student policy."], "category": "Research", "entities": ["ExpDis", "RLVR", "DAPO", "Explorer policy", "Student policy"], "summary_vi": "Nghiên cứu giới thiệu ExpDis (Exploration-Distillation), một khung phương pháp tách rời quá trình khám phá (exploration) khỏi tối ưu hóa (optimization) trong học tăng cường với phần thưởng kiểm chứng (RLVR). Bằng cách huấn luyện chính sách khám phá (explorer policy) riêng có thưởng khuyến khích tính mới lạ (novelty bonus), sau đó lọc các quỹ đạo suy luận chính xác/chất lượng cao và chưng cất (distill) vào một chính sách học sinh (student policy) không có thưởng mới lạ, ExpDis tránh được hiện tượng suy giảm chất lượng mô hình khi tăng cường tìm kiếm ý tưởng mới. Thử nghiệm trên 7 benchmark toán học và 2 họ mô hình cho thấy ExpDis vượt trội hơn DAPO ở cùng ngân sách thời gian thực tế và cải thiện khả năng mở rộng pass@k, giúp mô hình tạo ra nhiều cách giải đúng đa dạng hơn.", "key_changes": ["Tách rời hoàn toàn quá trình khám phá (exploration) và tối ưu hóa (optimization) trong RLVR thành khung Exploration-Distillation (ExpDis).", "Huấn luyện một hoặc nhiều explorer policy với phần thưởng khuyến khích tính mới (novelty bonus) để tìm kiếm các chiến lược suy luận mới.", "Thiết lập cơ chế lọc các quỹ đạo (trajectories) do explorer sinh ra dựa trên tính chính xác và chất lượng.", "Chưng cất (distill) các quỹ đạo hợp lệ vào student policy mà không áp dụng novelty bonus cho student policy.", "Luân phiên nhiều vòng giữa exploration và optimization, cho phép mở rộng mạnh mẽ việc khám phá mà không làm suy thoái mô hình chính.", "Đạt hiệu năng vượt trội so với DAPO trên 7 bài kiểm tra toán học ở cùng ngân sách thời gian thực tế (wall-clock budget) và cải thiện pass@k scaling."], "sub_category": "Reinforcement Learning / RLVR", "novelty_score": 78, "business_score": 58, "research_score": 86, "why_it_matters": "Việc thúc đẩy mô hình ngôn ngữ tự khám phá chiến lược suy luận mới trong RLVR trước đây thường làm giảm chất lượng mô hình do phần thưởng kiểm chứng chỉ giám sát một phạm vi hẹp kiến thức. ExpDis giải quyết nút thắt đánh đổi giữa tính mới (exploration) và độ ổn định (optimization), mở đường cho việc mở rộng tìm kiếm lời giải sáng tạo mà vẫn bảo toàn chất lượng mô hình, đồng thời nâng cao khả năng sinh lời giải đa dạng với cùng chi phí tính toán.", "developer_score": 72, "importance_score": 80, "possible_use_cases": ["Huấn luyện và hậu huấn luyện (post-training) các mô hình suy luận toán học và lập trình đòi hỏi khả năng khám phá chiến lược giải toán mới.", "Tăng cường độ đa dạng của các giải pháp đúng (pass@k scaling) cho các bài toán phức tạp khi triển khai lấy mẫu nhiều lần (best-of-N, self-consistency).", "Xây dựng quy trình RLVR an toàn hơn cho các LLM, tránh hiện tượng thoái hóa chất lượng mô hình khi khuyến khích tính mới lạ."], "actionability_score": 70}