RollVerify: Bridging Efficiency and Accuracy in Long-Tail Rollout Reinforcement Learning

{"tags": ["Reinforcement Learning", "RollVerify", "Large Language Models", "GPU Optimization", "Partial Rollout", "Off-Policy Shift", "Mathematical Reasoning", "Code Generation"], "risks": ["Việc cắt tỉa hậu tố có thể làm mất ngữ cảnh hữu ích nếu ngưỡng OPS không được căn chỉnh chính xác.", "Overhead tính toán cho việc kiểm tra OPS ở cấp token cần được tối ưu để không làm giảm lợi thế thông lượng của partial rollout.", "Bằng chứng trên tác vụ sinh mã (code generation) mới chỉ dừng ở mức sơ bộ, cần kiểm chứng mở rộng trên các miền tác vụ khác."], "category": "Research", "entities": ["RollVerify", "Off-Policy Shift (OPS)", "GPU Bubbles", "On-Policy Training", "Partial Rollout"], "summary_vi": "RollVerify là framework học tăng cường (RL) nhẹ dành cho LLM dựa trên partial rollout, khắc phục tình trạng GPU bubbles do rollout đuôi dài gây ra trong huấn luyện on-policy. Thay vì reweighting mẫu off-policy thụ động, RollVerify sử dụng chỉ số Off-Policy Shift (OPS) để đo lường độ lệch và chủ động kiểm định, cắt tỉa hậu tố không hợp lệ ở cấp sequence và token trước khi đưa vào huấn luyện. Phương pháp giúp duy trì độ chính xác tương đương on-policy nhưng tối ưu chi phí và thông lượng trên các tác vụ suy luận toán học và sinh mã.", "key_changes": ["Đề xuất framework RollVerify dựa trên partial rollout nhằm giải quyết hiện tượng GPU bubbles do các quỹ đạo rollout đuôi dài gây ra trong huấn luyện on-policy.", "Giới thiệu chỉ số Off-Policy Shift (OPS) nhằm lượng hóa độ lệch off-policy của các quỹ đạo sinh một phần.", "Chủ động xác thực và sửa lỗi ở cả cấp độ chuỗi (sequence-level) lẫn token (token-level), cắt tỉa các hậu tố không hợp lệ trước khi đưa vào huấn luyện thay vì chỉ reweighting mẫu thụ động.", "Đạt độ chính xác tương đương on-policy training nhưng giảm đáng kể chi phí tính toán trong suy luận toán học và sinh mã nguồn."], "sub_category": "Reinforcement Learning & LLM Training", "novelty_score": 80, "business_score": 74, "research_score": 84, "why_it_matters": "Khi LLM mở rộng cửa sổ ngữ cảnh và suy luận dài, chi phí huấn luyện RL tăng vọt do lãng phí tài nguyên GPU. RollVerify giải quyết nút thắt giữa thông lượng phần cứng và độ chính xác mô hình bằng cách sửa mẫu chủ động, mở ra khả năng mở rộng quy mô huấn luyện RL hiệu quả và kinh tế hơn.", "developer_score": 75, "importance_score": 78, "possible_use_cases": ["Tối ưu hóa hiệu suất cụm GPU và loại bỏ thời gian nhàn rỗi (GPU bubbles) khi huấn luyện RL cho các LLM suy luận dài.", "Tích hợp vào các hệ thống RL bất đồng bộ để ngăn ngừa suy giảm độ chính xác do mẫu stale off-policy.", "Ứng dụng trong các pipeline huấn luyện suy luận toán học có công cụ hỗ trợ và sinh mã nguồn tự động."], "actionability_score": 68}