Density-Aware Reward Scaling: A Reinforcement Learning Framework for Reward-Proportional Sampling

{"tags": ["Reinforcement Learning", "GRPO", "DARS", "Mode Collapse", "Reward Scaling", "Diversity", "Text-to-Image"], "risks": ["Hiệu quả ước tính mật độ cục bộ phụ thuộc chặt chẽ vào kích thước nhóm rollout (rollout group size) và cách định nghĩa không gian kết quả.", "Bằng chứng thực nghiệm mới dừng lại ở bài toán điều hướng mô phỏng và text-to-image prompt adaptation; khả năng khái quát trên các LLM lý luận quy mô lớn (reasoning models) chưa được xác nhận đầy đủ."], "category": "Research", "entities": ["DARS", "DARS-GRPO", "GRPO"], "summary_vi": "Density-Aware Reward Scaling (DARS) là một cơ chế xử lý phần thưởng nhằm khắc phục hiện tượng sụp đổ chế độ (mode collapse) trong học tăng cường, nơi mô hình thường chỉ tập trung vào một tập nhỏ kết quả có thưởng cao thay vì phân bố đa dạng các giải pháp tốt. DARS ước tính mật độ cục bộ của các kết quả trong từng nhóm rollout on-policy và chia tỷ lệ nghịch phần thưởng theo mật độ này mà không cần thêm mô hình mật độ, critic, hàm mục tiêu phụ hay sửa đổi hàm mục tiêu policy gradient gốc. Khi kết hợp với GRPO (DARS-GRPO), phương pháp này loại bỏ tình trạng sụp đổ chế độ trong bài toán điều hướng và nâng cao rõ rệt độ đa dạng của prompt lẫn hình ảnh trong tác vụ text-to-image mà vẫn bảo toàn căn chỉnh ngữ nghĩa.", "key_changes": ["Đề xuất cơ chế Density-Aware Reward Scaling (DARS): điều chỉnh tỷ lệ nghịch phần thưởng dựa trên mật độ cục bộ của kết quả trong từng nhóm rollout on-policy để đạt được lấy mẫu tỷ lệ thuận với phần thưởng (reward-proportional sampling).", "Cấu trúc cực kỳ tinh gọn: Không yêu cầu mô hình ước lượng mật độ học thêm (learned density model), không cần hàm mục tiêu phụ (auxiliary objective), không cần critic và không thay đổi hàm mục tiêu policy gradient gốc.", "Giải quyết triệt để vấn đề sụp đổ chế độ (single-mode collapse) mà thuật toán GRPO tiêu chuẩn gặp phải trong bài toán điều hướng đa phương thức (multimodal navigation).", "Cải thiện rõ rệt tính đa dạng của cả văn bản prompt lẫn hình ảnh sinh ra trong bài toán thích ứng prompt text-to-image mà vẫn đảm bảo độ căn chỉnh ngữ nghĩa (semantic alignment)."], "sub_category": "Reinforcement Learning", "novelty_score": 78, "business_score": 72, "research_score": 85, "why_it_matters": "Hiện tượng mode collapse là hạn chế lớn của các thuật toán RL tối đa hóa kỳ vọng (như GRPO trong căn chỉnh LLM và mô hình tạo sinh). DARS cung cấp một giải pháp plug-and-play không tốn thêm chi phí mô hình phụ hay thay đổi kiến trúc huấn luyện, giúp duy trì độ bao phủ đa dạng các kết quả chất lượng cao cho các ứng dụng AI thực tế.", "developer_score": 80, "importance_score": 76, "possible_use_cases": ["Tích hợp trực tiếp vào pipeline huấn luyện GRPO hiện có cho mô hình sinh ảnh/prompt để tạo ra output phong phú, tránh tình trạng prompt lặp khuôn.", "Áp dụng vào huấn luyện mô hình sinh mã nguồn hoặc giải toán bằng RL nhằm khám phá nhiều lời giải thuật toán khác nhau thay vì hội tụ về một giải pháp cục bộ.", "Tối ưu hóa các hệ thống sinh nội dung sáng tạo và chatbot đối thoại cần đa dạng hóa câu trả lời đạt điểm thưởng cao."], "actionability_score": 82}