When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment

{"tags": ["UECR-GRPO", "GRPO", "Reinforcement Learning", "On-Policy Distillation", "Mathematical Reasoning", "Credit Assignment", "RLVR", "LLM Reasoning"], "risks": ["Mức cải thiện thực nghiệm còn tương đối khiêm tốn (+0.89% trên bản 1.7B và +0.56% trên bản 4B so với baseline mạnh nhất).", "Tăng chi phí tính toán on-policy do phải suy luận mô hình giáo viên và tính entropy trên toàn bộ từ vựng (full-vocabulary entropy).", "Mới chỉ được kiểm nghiệm trên các benchmark toán học có thể kiểm chứng kết quả cuối (RLVR), chưa được đánh giá trên các tác vụ tạo sinh mở."], "category": "Research", "entities": ["UECR-GRPO", "GRPO (Group Relative Policy Optimization)", "OPD (On-Policy Distillation)", "RLVR (Reinforcement Learning with Verifiable Rewards)", "Path-Utility Unification (PUU)", "Entropy-Calibrated Redistribution (ECR)", "Qwen3-1.7B", "Qwen3-4B"], "summary_vi": "Nghiên cứu giới thiệu UECR-GRPO nhằm giải quyết hạn chế của RLVR (chỉ giám sát đáp án cuối, thiếu tín hiệu token) và On-policy Distillation (phản hồi dày đặc nhưng giáo viên có thể sai lệch). Phương pháp thống nhất hai tín hiệu qua hai cơ chế: Path-Utility Unification (PUU) đưa tín hiệu giáo viên vào trước chuẩn hóa nhóm để ảnh hưởng xếp hạng câu trả lời, và Entropy-Calibrated Redistribution (ECR) dùng khoảng cách token cùng entropy toàn từ vựng để tái phân bổ tín chỉ nhưng vẫn bảo toàn tổng tín chỉ thông qua phép chiếu zero-sum. Thực nghiệm trên 5 bộ dữ liệu toán học với Qwen3-1.7B và Qwen3-4B vượt qua các baseline mạnh nhất.", "key_changes": ["Đề xuất UECR-GRPO hợp nhất tín hiệu từ mô hình giáo viên (teacher) và bộ kiểm chứng (verifier) trong một bản cập nhật GRPO duy nhất ở cả cấp độ phản hồi và token.", "Phát triển Path-Utility Unification (PUU) kết hợp reward kiểm chứng và log-ratio của giáo viên trước khi chuẩn hóa nhóm và PPO clipping, giúp giáo viên tham gia xếp hạng phản hồi.", "Triển khai Entropy-Calibrated Redistribution (ECR) dùng khoảng cách token giữa giáo viên và chính sách cũ để tái phân bổ tín chỉ từ verifier.", "Sử dụng entropy toàn từ vựng của giáo viên để làm suy giảm các hướng dẫn không chắc chắn, kết hợp phép chiếu zero-sum bảo toàn tổng tín chỉ và dấu token trước khi clipping."], "sub_category": "LLM Post-Training & Reasoning", "novelty_score": 76, "business_score": 55, "research_score": 88, "why_it_matters": "Nghiên cứu giải quyết bài toán then chốt trong huấn luyện LLM suy luận: làm thế nào để tận dụng tri thức dày đặc của mô hình giáo viên mà không làm suy yếu tính chính xác của phần thưởng kiểm chứng khách quan. Bằng cách can thiệp trước chuẩn hóa nhóm và bảo toàn tổng tín chỉ token có hiệu chuẩn entropy, phương pháp tạo ra cơ chế gán tín chỉ (credit assignment) chặt chẽ và hiệu quả hơn cho GRPO.", "developer_score": 72, "importance_score": 74, "possible_use_cases": ["Hậu huấn luyện (post-training) các mô hình suy luận toán học và logic cỡ nhỏ (1B-7B) đạt độ chính xác cao hơn.", "Tận dụng mô hình giáo viên lớn để hướng dẫn mô hình nhỏ trong quy trình RLVR mà không lo giáo viên định hướng sai lệch so với tính đúng đắn thực tế.", "Tối ưu hóa phân bổ tín chỉ cấp độ token (token-level credit assignment) cho các bài toán sinh chuỗi lập luận phức tạp (Chain-of-Thought)."], "actionability_score": 68}