MGE-PO: Entropy-Aware Credit Assignment for Mathematical Reasoning

{"tags": ["MGE-PO", "GRPO", "Reinforcement Learning", "Mathematical Reasoning", "Credit Assignment", "Entropy", "LLM Post-Training"], "risks": ["Tăng chi phí bộ nhớ và độ trễ tính toán do phải theo dõi và lưu trữ entropy sinh trong quá trình rollout.", "Cần cân chỉnh kỹ các hệ số phạt/thưởng entropy để tránh hiện tượng sụp đổ chính sách (policy collapse) hoặc quá tự tin ở câu trả lời sai.", "Hiệu quả chủ yếu được kiểm chứng trên bài toán có ground-truth rõ ràng (toán học), khó khái quát hóa trực tiếp cho các tác vụ sáng tạo mở."], "category": "Research", "entities": ["MGE-PO", "GRPO", "Qwen3-8B-Base", "Qwen2.5-7B-Base"], "summary_vi": "MGE-PO là phương pháp phân bổ tín dụng nhận thức entropy (entropy-aware credit assignment) nhằm nâng cao năng lực suy luận toán học cho LLM, khắc phục nhược điểm của GRPO khi bỏ qua độ bất định sinh. Trọng tâm của MGE-PO là cơ chế định hình lợi thế 4 góc phần tư (4Q): kết quả đúng/sai quyết định dấu thưởng/phạt, trong khi entropy điều khiển độ lớn (thành công với entropy thấp được thưởng cao hơn, thất bại với entropy cao bị phạt nặng hơn). Kết hợp cùng curriculum câu hỏi trực tuyến dựa trên entropy, phương pháp giúp Qwen2.5-7B-Base tăng macro avg@32 từ 41.5% lên 45.4% và mang lại cải thiện rõ rệt trên Qwen3-8B-Base.", "key_changes": ["Giới thiệu cơ chế định hình lợi thế 4 góc phần tư (4Q advantage shaping) kết hợp độ chính xác xác minh với entropy sinh của rollout.", "Quy tắc phân bổ tín dụng mới: độ chính xác quyết định dấu điều chỉnh, entropy kiểm soát biên độ (thành công có entropy thấp được thưởng lớn hơn, thất bại có entropy cao bị phạt nặng hơn).", "Xây dựng chương trình học (curriculum) trực tuyến theo entropy câu hỏi dựa trên các phép đo rollout lưu trong cache.", "Đạt mức tăng tuyệt đối 3.23-3.69% macro avg@32 trên Qwen3-8B-Base và nâng macro avg@32 từ 41.5% lên 45.4% trên Qwen2.5-7B-Base."], "sub_category": "Reinforcement Learning", "novelty_score": 80, "business_score": 60, "research_score": 85, "why_it_matters": "Thuật toán GRPO phổ biến hiện nay gán cùng mức lợi thế cho mọi phản hồi có cùng điểm thưởng trong nhóm, làm lãng phí thông tin về độ bất định thế hệ. MGE-PO mở ra hướng tối ưu hóa tín chỉ thông minh hơn dựa trên entropy, giúp mô hình củng cố các suy luận đúng vững chắc và triệt tiêu các suy luận sai lệch, nâng cao hiệu quả huấn luyện các mô hình suy luận chuyên sâu.", "developer_score": 78, "importance_score": 78, "possible_use_cases": ["Cải tiến các pipeline RLVR / GRPO trong huấn luyện hậu kỳ (post-training) cho mô hình suy luận toán học và logic.", "Tích hợp vào các framework huấn luyện mã nguồn mở như OpenRLHF, TRL, DeepSpeed để tối ưu hóa credit assignment.", "Lập lịch dữ liệu và chọn lọc câu hỏi huấn luyện thông minh (curriculum learning) dựa trên độ bất định của rollout."], "actionability_score": 72}