SetGRPO: Calibrating Grader-Induced Policy Optimization

{"tags": ["GRPO", "SetGRPO", "Reinforcement Learning", "LLM Post-training", "Grader Calibration", "Risk Control", "Open-ended Benchmarks"], "risks": ["Cần đảm bảo điều kiện trao đổi được (exchangeability) để các bảo đảm lý thuyết về finite-sample coverage có hiệu lực.", "Tăng chi phí tính toán khi phải hiệu chuẩn tập bất định và tính toán hình học gradient cục bộ trước mỗi bước cập nhật.", "Cơ chế lọc bỏ cập nhật rủi ro có thể làm chậm tốc độ hội tụ nếu grader có phương sai quá lớn."], "category": "Research", "entities": ["SetGRPO", "GRPO", "Qwen3.5", "Llama3.2"], "summary_vi": "SetGRPO (Set-Valued Group Relative Policy Optimization) là phương pháp tối ưu hóa chính sách mới nhằm khắc phục tác động tiêu cực từ tính ngẫu nhiên của bộ chấm điểm (grader) trong rubric-based RL. Do GRPO chuẩn hóa phần thưởng theo nhóm, sai lệch chấm điểm có thể làm méo hệ số huấn luyện của toàn bộ nhóm phản hồi và gây rủi ro cập nhật sai hướng gradient. SetGRPO giải quyết vấn đề này qua 3 thành phần: Joint Reward Set Calibration (tạo tập bất định chung cho hệ số), Geometry-Guided Safe Recovery (tính tỷ lệ khôi phục an toàn dựa trên hình học cập nhật cục bộ) và Selective Risk-Gated Optimization (chọn ngưỡng kiểm soát rủi ro đảo ngược hướng cập nhật). Phương pháp cung cấp bảo đảm toán học về finite-sample coverage và đạt kết quả macro average cao nhất trên 10 benchmark tác vụ mở với các mô hình Qwen3.5 và Llama3.2.", "key_changes": ["Chỉ ra hạn chế của GRPO khi grader ngẫu nhiên: việc chuẩn hóa phần thưởng trong nhóm làm sai lệch hệ số của cả nhóm và tăng rủi ro đảo ngược hướng cập nhật policy (direction-reversal risk).", "Mô-đun Joint Reward Set Calibration: xây dựng tập độ bất định chung (joint uncertainty set) cho các hệ số huấn luyện.", "Mô-đun Geometry-Guided Safe Recovery: ánh xạ hệ số ứng viên vào hình học cập nhật cục bộ của policy để tính tỷ lệ khôi phục an toàn tối đa cho từng nhóm.", "Mô-đun Selective Risk-Gated Optimization: hiệu chuẩn rủi ro độc lập nhằm chọn ngưỡng kiểm soát rủi ro đảo ngược gradient nhưng vẫn giữ nguyên mục tiêu GRPO gốc.", "Chứng minh lý thuyết: đạt finite-sample marginal coverage cho tập hệ số và kiểm soát rủi ro đồng thời dưới giả định exchangeability.", "Thực nghiệm vượt trội: đạt macro average cao nhất trên 10 benchmark tác vụ mở thuộc 3 lĩnh vực trên các họ mô hình Qwen3.5 và Llama3.2."], "sub_category": "Reinforcement Learning / Alignment", "novelty_score": 84, "business_score": 68, "research_score": 88, "why_it_matters": "Trong quá trình huấn luyện LLM bằng GRPO trên các tác vụ mở, việc dựa vào bộ chấm điểm tự động thường gây ra nhiễu phần thưởng, làm sai lệch gradient và có thể dẫn đến suy thoái chính sách (policy degradation). SetGRPO giải quyết bài toán cốt lõi này bằng phương pháp hiệu chuẩn tập giá trị và kiểm soát rủi ro có chứng minh toán học, giúp các nhà phát triển và doanh nghiệp huấn luyện LLM ổn định hơn, tận dụng tối đa phản hồi rubric mà không lo bị chệch hướng tối ưu.", "developer_score": 76, "importance_score": 82, "possible_use_cases": ["Hậu huấn luyện (post-training) LLM trên các tác vụ mở (open-ended tasks) dùng rubric-based RL hoặc LLM-as-a-judge có độ nhiễu cao.", "Ổn định hóa quá trình tối ưu chính sách GRPO trong quy trình căn chỉnh mô hình nguồn mở (như Qwen, Llama).", "Kiểm soát rủi ro cập nhật sai hướng cho các hệ thống tự động đánh giá và tự cải thiện (self-rewarding models)."], "actionability_score": 70}