Intervention-Certified Amplification: A Validity Gate for $σ$-Weighted Post-Training

{"tags": ["Post-Training", "Reinforcement Learning", "SFT", "GRPO", "Reasoning Models", "Model Alignment", "Intervention-Certified Amplification"], "risks": ["Gia tăng chi phí tính toán trong quá trình huấn luyện do phải sinh và đánh giá các lượt rollout theo cặp (paired-rollouts).", "Khả năng xác định nhầm hành vi nếu môi trường hoặc tiêu chí kiểm chứng mục tiêu (target evidence) không đủ tin cậy hoặc bị nhiễu.", "Hiệu quả phụ thuộc vào tính tương thích của phương pháp can thiệp đối với các dạng hành vi tiềm ẩn phức tạp khác ngoài TIR."], "category": "Research", "entities": ["DIAA", "Intervention-Certified Amplification (ICA)", "GRPO", "MATH-500", "GSM8K", "SFT", "RL"], "summary_vi": "Nghiên cứu chỉ ra rằng việc kết hợp SFT và RL theo trọng số mẫu (σ-weighted) dựa trên tín hiệu phía huấn luyện có thể vô tình tái kích hoạt và khuếch đại các hành vi tiềm ẩn bất lợi, điển hình là DIAA sinh ra suy luận tích hợp công cụ (TIR) không thực thi trên 29% prompt MATH-500 dù dữ liệu neo đã loại bỏ hoàn toàn cú pháp Python. Nhóm tác giả đề xuất Intervention-Certified Amplification (ICA) - cơ chế cổng kiểm định trọng số σ bằng bằng chứng rollout theo cặp trên tác vụ đích. ICA giúp giảm tỷ lệ TIR xuống còn 11.2% - 13.8%, giảm phân nửa lực cản hiệu năng, tăng độ chính xác từ 47.5% lên 49.3% trên MATH-500 và chuyển giao thành công sang GSM8K.", "key_changes": ["Phát hiện hiện tượng khuếch đại hành vi tiềm ẩn: Phương pháp hybrid SFT/RL sử dụng trọng số mẫu (σ-weighted) dựa trên tín hiệu huấn luyện có thể kích hoạt lại các hành vi pretrained không mong muốn ngay cả khi đã xóa hoàn toàn định dạng code khỏi tập dữ liệu neo.", "Đánh giá tác động tiêu cực của TIR chưa thực thi: DIAA tạo ra Tool-Integrated Reasoning (TIR) không thực thi trên 29% prompt MATH-500 (gấp 3 lần GRPO); việc can thiệp ức chế TIR giúp phục hồi 10.6 điểm phần trăm độ chính xác.", "Học sinh kế thừa và khuếch đại lỗi: Mô hình học sinh được huấn luyện trên anchor giáo viên có 0% TIR vẫn tự phát sinh hành vi này ở mức 45.8%.", "Đề xuất cơ chế Intervention-Certified Amplification (ICA): Đặt cổng kiểm định cho trọng số σ thông qua bằng chứng mục tiêu từ các rollout theo cặp (paired-rollout target evidence).", "Hiệu quả thực nghiệm: Bản Frozen và Online ICA giảm TIR xuống còn 13.8% và 11.2%, giảm một nửa lực cản dư thừa, tăng độ chính xác MATH-500 từ 47.5% lên 48.7% và 49.3%, đồng thời khái quát hóa tốt trên GSM8K mà không cần căn chỉnh lại."], "sub_category": "LLM Post-Training & Reinforcement Learning", "novelty_score": 82, "business_score": 55, "research_score": 88, "why_it_matters": "Công trình làm sáng tỏ nguyên nhân cốt lõi khiến các mô hình hybrid SFT/RL tự phát sinh và khuếch đại các hành vi suy luận 'rác' (như viết code nhưng không chạy) làm giảm độ chính xác. Về mặt kỹ thuật và phát triển, giải pháp ICA cung cấp cơ chế tự động xác thực tính hữu ích của hành vi trước khi khuếch đại, giúp giảm lãng phí token, tối ưu hóa chi phí huấn luyện/suy luận và nâng cao độ chính xác của các mô hình lý luận mà không cần dọn dẹp dữ liệu thủ công.", "developer_score": 74, "importance_score": 78, "possible_use_cases": ["Tối ưu hóa các đường ống hậu huấn luyện (post-training pipeline) kết hợp SFT và RL cho các mô hình ngôn ngữ lớn chuyên về suy luận toán học và logic.", "Kiểm soát chất lượng và lọc bỏ các hành vi sinh mã giả/công cụ rác (unexecuted tool calls) làm lãng phí token và suy giảm độ chính xác.", "Áp dụng cơ chế cổng kiểm định rollout theo cặp trong quá trình chưng cất tri thức (knowledge distillation) từ mô hình giáo viên sang mô hình học sinh."], "actionability_score": 68}