Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning

{"tags": ["Continual Learning", "Model Merging", "Post-training", "Grafting", "On-Policy Self-Distillation", "Catastrophic Forgetting", "Reinforcement Learning"], "risks": ["Đòi hỏi quyền truy cập và lưu trữ các donor checkpoint trước khi hoàn tất pretraining, khó khả thi nếu chỉ có checkpoint cuối cùng hoặc mô hình nguồn đóng.", "Việc xác định và masking các hướng cập nhật nhạy cảm có thể phức tạp khi dữ liệu mới quá khác biệt so với mô hình gốc.", "Cần tinh chỉnh siêu tham số hệ số co giãn gộp trọng số (merging scaling) phù hợp cho từng phân phối dữ liệu."], "category": "Research", "entities": ["OPSD (On-Policy Self-Distillation)", "STaR", "Pedagogical RL", "SFT (Supervised Fine-Tuning)", "Grafting"], "summary_vi": "Nghiên cứu chứng minh rằng phương pháp gộp trọng số ngoại chính sách (off-policy merging), cụ thể qua kỹ thuật grafting, vượt trội hơn phương pháp tự chưng cất nội chính sách (OPSD) trong học liên tục (continual learning) cho các mô hình hậu huấn luyện (post-trained). Phương pháp grafting gồm ba cơ chế chính: học cập nhật trọng số trên checkpoint hiến tặng sớm (donor checkpoint) rồi áp lên mô hình post-trained; co giãn cập nhật trọng số (model merging); và tùy chọn mask các hướng nhạy cảm. Thử nghiệm chỉ ra grafting tối ưu Pareto so với SFT và OPSD ở cả hiệu năng tác vụ mới lẫn tác vụ cũ, đồng thời loại bỏ nhu cầu lấy mẫu on-policy tốn kém và ngăn chặn hiện tượng suy thoái suy luận (reasoning collapse).", "key_changes": ["Thách thức giả định phổ biến cho rằng huấn luyện on-policy là bắt buộc đối với học liên tục (continual learning) trên các mô hình hậu huấn luyện (post-trained/RL).", "Chỉ ra rằng SFT trực tiếp làm can thiệp tiêu cực vào năng lực sẵn có, trong khi OPSD dễ gây sụp đổ suy luận (reasoning collapse) và tốn kém chi phí lấy mẫu on-policy.", "Đề xuất kỹ thuật 'grafting' gồm: (1) học cập nhật trọng số trên donor checkpoint trước khi kết thúc pretraining và áp lên mô hình post-trained; (2) co giãn cập nhật trọng số như một dạng model merging; (3) tùy chọn mặt nạ (masking) các hướng nhạy cảm khi dữ liệu phân phối mới cách xa mô hình.", "Chứng minh grafting tối ưu Pareto vượt trội hơn cả SFT và OPSD trên cả tác vụ mới và tác vụ cũ trong chưng cất chuyên gia, tự cải thiện (STaR, Pedagogical RL) và nạp tri thức sau thời điểm cutoff."], "sub_category": "Continual Learning", "novelty_score": 82, "business_score": 72, "research_score": 90, "why_it_matters": "Nghiên cứu phá vỡ định kiến cho rằng học liên tục bắt buộc phải dựa vào huấn luyện on-policy tốn kém trên các mô hình qua RL. Grafting mở ra giải pháp chi phí thấp, khả thi và bảo toàn năng lực suy luận để liên tục cập nhật và nâng cấp các mô hình ngôn ngữ lớn trong thực tế.", "developer_score": 80, "importance_score": 85, "possible_use_cases": ["Cập nhật tri thức mới sau thời điểm cutoff cho LLM mà không làm suy giảm năng lực suy luận sẵn có.", "Chưng cất tri thức từ dữ liệu vết chuyên gia (expert traces) vào mô hình hậu huấn luyện mà không cần hạ tầng lấy mẫu on-policy đắt đỏ.", "Tự cải thiện mô hình liên tục (self-improvement) trong các bài toán reasoning/code kết hợp cùng STaR hoặc Pedagogical RL.", "Tiết kiệm chi phí hạ tầng huấn luyện cho doanh nghiệp khi định kỳ cập nhật mô hình nghiệp vụ bằng dữ liệu ngoại chính sách (off-policy)."], "actionability_score": 78}