Hindsight-Privileged RLVR: Single-Rollout Token Credit Without Group Sampling

{"tags": ["RLVR", "HP-RLVR", "GRPO", "Reinforcement Learning", "Token Credit Assignment", "Jensen-Shannon Divergence", "LLM Reasoning"], "risks": ["Độ chính xác cuối cùng trên tác vụ sinh mã và ALFWorld vẫn thấp hơn nhẹ so với GRPO.", "Phải thực hiện thêm lượt chấm điểm (scoring) cho hindsight context trên trajectory, làm tăng chi phí tính toán forward pass của snapshot chính sách.", "Chưa có đánh giá hiệu quả trên các mô hình siêu lớn (>70B) hoặc các môi trường phần thưởng mở/mơ hồ ngoài verifier nhị phân."], "category": "Research", "entities": ["HP-RLVR", "GRPO", "Qwen3-8B", "ALFWorld", "RLVR"], "summary_vi": "Nghiên cứu giới thiệu Hindsight-Privileged RLVR (HP-RLVR), phương pháp phân bổ tín dụng cấp token cho mô hình ngôn ngữ dựa trên một rollout duy nhất thay vì lấy mẫu nhóm như GRPO. Bằng cách so sánh góc nhìn nhân quả thông thường với góc nhìn hồi tưởng (chứa tương lai đã diễn ra và phản hồi từ verifier) qua độ phân kỳ Jensen-Shannon chuẩn hóa, HP-RLVR tính toán trọng số cập nhật cho cả lần thử thành công lẫn thất bại mà không cần critic học thêm hay lời giải tham chiếu. Thử nghiệm trên Qwen3-8B cho thấy HP-RLVR huấn luyện nhanh hơn 1,21x–2,30x, dùng 1/8 số rollout và loại bỏ hoàn toàn hiện tượng triệt tiêu gradient so với GRPO.", "key_changes": ["Đề xuất HP-RLVR: phương pháp phân bổ tín dụng token (token credit) với một rollout đơn duy nhất cho mỗi prompt, không phụ thuộc vào lấy mẫu nhóm (group sampling).", "Sử dụng độ phân kỳ Jensen-Shannon chuẩn hóa giữa góc nhìn nhân quả (causal history) và góc nhìn hồi tưởng (hindsight context gồm tương lai thực tế và phản hồi của verifier) để tính trọng số cập nhật.", "Gán tín chỉ token có biên độ giới hạn cho cả lần thử thành công lẫn thất bại mà không cần mô hình critic riêng hay lời giải tham chiếu.", "Tăng tốc độ huấn luyện từ 1,21x (toán học), 1,46x (sinh mã) đến 2,30x (ALFWorld) trên lịch trình 100 bước của Qwen3-8B với số lượng rollout chỉ bằng 1/8 GRPO.", "Khắc phục triệt để vấn đề mất tín hiệu cập nhật (gradient-norm bằng 0, vốn chiếm 43,2% ở bản 4B và 49,0% ở bản 8B của GRPO trên ALFWorld)."], "sub_category": "RLVR & LLM Post-Training", "novelty_score": 85, "business_score": 76, "research_score": 88, "why_it_matters": "HP-RLVR giải quyết hai điểm nghẽn nghiêm trọng nhất của phương pháp GRPO hiện nay: lãng phí tài nguyên do phải lấy mẫu nhiều lần (rollouts) trên mỗi prompt và mất hoàn toàn tín hiệu học khi mọi mẫu thử có cùng kết quả (gradient-norm bằng 0). Việc giảm 8 lần số rollout và tăng tốc độ huấn luyện trong khi duy trì độ chính xác tương đương giúp doanh nghiệp và nhà phát triển tiết kiệm đáng kể chi phí GPU khi hậu huấn luyện các mô hình suy luận.", "developer_score": 82, "importance_score": 82, "possible_use_cases": ["Hậu huấn luyện (post-training) mô hình lý luận (reasoning LLMs) cho bài toán toán học và lập trình với ngân sách tính toán hạn chế.", "Huấn luyện tác tử tương tác môi trường (như ALFWorld) nơi nhiều quỹ đạo mẫu thường gặp chung kết cục thất bại khiến group sampling tê liệt.", "Tối ưu hóa hạ tầng training RLVR, giảm áp lực bộ nhớ và compute khi sinh rollouts trên cụm GPU."], "actionability_score": 78}