Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards

{"tags": ["RLVR", "GRPO", "Reinforcement Learning", "Batch Scaling", "Two Clocks", "Sample Efficiency", "Reasoning Models"], "risks": ["Mở rộng rollout batch vượt quá ngưỡng critical batch gây lãng phí chi phí tính toán do giảm hiệu quả trên từng mẫu.", "Nới rộng ratio clipping để tăng tốc ngắn hạn có thể khiến mô hình mất ổn định và sụp đổ sớm.", "Mô hình vẫn sụp đổ theo chu kỳ mẫu cố định nếu không có cơ chế can thiệp hoặc thay đổi kích thước batch kịp thời."], "category": "Research", "entities": ["Qwen2.5-Math-1.5B", "GRPO", "RLVR", "WinstonLiyt/two-clocks-rlvr"], "summary_vi": "Nghiên cứu giới thiệu khung làm việc Two Clocks nhằm giải thích động lực học khi mở rộng rollout batch trong Reinforcement Learning with Verifiable Rewards (RLVR). Mặc dù quy tắc căn bậc hai bảo toàn first-order drift trên mỗi mẫu, các batch lớn hơn lại chịu tổn thất do độ cong (curvature loss), dẫn đến ngưỡng critical batch làm suy giảm hiệu quả mẫu (sample efficiency). Nghiên cứu phân tách tiến trình huấn luyện thành progress clock (tiến độ) và failure clock (thời điểm sụp đổ), từ đó đề xuất lịch trình RLVR đa bước: bắt đầu với batch dưới ngưỡng critical batch và chuyển sang batch lớn trước khi sụp đổ.", "key_changes": ["Đề xuất khung làm việc Two Clocks phân tách giữa số mẫu cần để tạo tiến độ (progress clock) và số mẫu tiêu thụ trước khi sụp đổ (failure clock) trong huấn luyện RLVR đa bước.", "Chứng minh lý thuyết bằng mô hình cục bộ bậc hai rằng quy tắc căn bậc hai (square-root scaling) bảo toàn first-order drift trên mỗi mẫu nhưng gây mất mát do độ cong (curvature loss), tạo ra ngưỡng critical batch làm suy giảm sample efficiency.", "Xác thực giả thuyết ngưỡng trôi dạt (drift-threshold hypothesis): số lượng mẫu của failure clock gần như bất biến dọc theo quy tắc tỷ lệ căn bậc hai.", "Thực nghiệm GRPO có kiểm soát trên Qwen2.5-Math-1.5B và kiểm chứng trên mô hình 7B xác nhận khoảng cách tiến độ và sự tồn tại của critical batch.", "Chỉ ra ratio clipping giúp trì hoãn sụp đổ ở batch lớn nhưng nới rộng clip chỉ tăng tốc tạm thời và đánh đổi độ ổn định.", "Đưa ra lịch trình huấn luyện RLVR đa bước tối ưu: khởi đầu dưới critical batch và chuyển sang batch lớn trước khi sụp đổ."], "sub_category": "Reinforcement Learning", "novelty_score": 82, "business_score": 75, "research_score": 90, "why_it_matters": "Quá trình sinh mẫu (rollout) trong RLVR cho các mô hình suy luận rất tốn kém tài nguyên tính toán. Nghiên cứu cung cấp cơ sở lý thuyết và thực nghiệm giải thích tại sao tăng kích thước rollout batch lại học chậm hơn trên từng mẫu dù vẫn sụp đổ đúng lịch trình, giúp các nhà phát triển tối ưu hóa lịch trình batch size, tránh lãng phí GPU và nâng cao độ ổn định khi đào tạo mô hình reasoning.", "developer_score": 84, "importance_score": 85, "possible_use_cases": ["Thiết lập kích thước batch và learning rate tối ưu cho quy trình hậu huấn luyện mô hình suy luận toán/logic bằng GRPO/RLVR.", "Áp dụng lịch trình thay đổi rollout batch linh hoạt để tối đa hóa hiệu quả sử dụng GPU và sample efficiency.", "Cấu hình tham số ratio clipping chuẩn xác trong PPO/GRPO nhằm ngăn chặn sụp đổ mô hình mà không làm giảm tốc độ hội tụ."], "actionability_score": 80}