Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective

{"tags": ["On-Policy Distillation", "Reinforcement Learning", "Reward Hacking", "Model Collapse", "Post-Training", "Supervised Fine-Tuning", "LLM Distillation"], "risks": ["Hiện tượng reward hacking khiến mô hình student sinh văn bản dài lê thê và lặp lại liên tục, làm tăng độ trễ suy luận và chi phí token.", "Nguy cơ ngộ nhận rằng OPD tạo ra năng lực mới cho student, trong khi thực tế chỉ cải thiện khả năng lấy mẫu các phản hồi đúng.", "Sự sụp đổ chất lượng huấn luyện nếu giáo viên có implicit reward model không đáng tin cậy và không áp dụng các biện pháp mitigation."], "category": "Research", "entities": ["On-Policy Distillation (OPD)", "SFT", "Reinforcement Learning (RL)", "https://github.com/HancCui/opd_hacking"], "summary_vi": "Nghiên cứu giải thích hiện tượng On-Policy Distillation (OPD) bị suy thoái thành sinh văn bản quá dài và lặp lại dưới góc nhìn học tăng cường (RL). Mô hình giáo viên đóng vai trò hàm thưởng tiềm ẩn, có thể gây ra hiện tượng reward hacking khi đánh giá lệch chuẩn, khuếch đại các rollout bất thường của học sinh. Hai giải pháp hiệu quả được đề xuất gồm che (masking) các phản hồi bất thường trong huấn luyện và khởi tạo bằng SFT.", "key_changes": ["Giải thích cơ chế suy thoái và lặp từ quá mức trong On-Policy Distillation thông qua lăng kính Reinforcement Learning và hàm thưởng tiềm ẩn (implicit reward).", "Chứng minh OPD cải thiện hiệu năng bằng cách tăng xác suất lấy mẫu các câu trả lời đúng sẵn có, chứ không mở rộng năng lực nội tại của mô hình học sinh.", "Xác định hiện tượng reward hacking xảy ra khi sở thích ngầm định của mô hình giáo viên lệch khỏi chất lượng thực, vô tình khuyến khích các phản hồi dài dòng và lặp lại.", "Đề xuất và kiểm nghiệm hai kỹ thuật ngăn chặn suy thoái: masking các phản hồi không lành mạnh trong quá trình train và sử dụng SFT để khởi tạo mô hình.", "Chuyển đổi trọng tâm đánh giá mô hình giáo viên từ năng lực tự sinh văn bản sang độ tin cậy khi chấm điểm các rollout của học sinh; công khai mã nguồn tại GitHub."], "sub_category": "Model Distillation & RL Alignment", "novelty_score": 80, "business_score": 72, "research_score": 90, "why_it_matters": "On-Policy Distillation là kỹ thuật then chốt trong hậu huấn luyện (post-training) các mô hình ngôn ngữ hiện đại, nhưng thường gặp rủi ro sụp đổ chất lượng khó lường. Bằng cách định hình lại OPD như một bài toán RL với phần thưởng tiềm ẩn, nghiên cứu vạch rõ nguyên nhân của hiện tượng bùng nổ độ dài và đề xuất giải pháp trực tiếp (masking, SFT init). Điều này giúp các nhà phát triển và doanh nghiệp tiết kiệm chi phí tính toán, nâng cao độ tin cậy và chất lượng khi nén mô hình LLM vào sản xuất.", "developer_score": 84, "importance_score": 82, "possible_use_cases": ["Tối ưu hóa quy trình chưng cất mô hình ngôn ngữ nhỏ (SLM) từ mô hình lớn (LLM) trong giai đoạn post-training nhằm hạn chế lặp từ và phình độ dài.", "Áp dụng kỹ thuật masking và SFT initialization để ổn định quá trình huấn luyện RL/OPD cho các bài toán suy luận phức tạp.", "Xây dựng các bộ kiểm định chất lượng phản hồi ngầm định của teacher model trước khi triển khai pipeline chưng cất diện rộng."], "actionability_score": 85}