Steering the Teacher: Improving On-Policy Self-Distillation for Thinking Models

{"tags": ["ST-OPSD", "OPSD", "On-Policy Self-Distillation", "Thinking Models", "Activation Steering", "Reasoning Models", "Hallucination Reduction"], "risks": ["Chi phí tính toán và độ phức tạp kỹ thuật gia tăng khi phải trích xuất chính xác các hướng điều hướng kích hoạt và hiệu chuẩn marker-family.", "Nguy cơ suy giảm hiệu năng ở các tác vụ tổng quát khác nếu việc điều hướng kích hoạt vô tình làm lệch các biểu diễn tri thức không liên quan.", "Thực nghiệm mới được chứng minh trên hai tập dữ liệu toán/suy luận chuẩn (AIME, HMMT); khả năng khái quát hóa trên miền tri thức mở hoặc tác vụ ngôn ngữ tự nhiên phức tạp cần thêm kiểm chứng độc lập."], "category": "Research", "entities": ["ST-OPSD", "OPSD", "AIME", "HMMT"], "summary_vi": "Nghiên cứu giới thiệu Steered-Teacher OPSD (ST-OPSD), một cải tiến cho phương pháp chưng cất tự thân on-policy (OPSD) ở các mô hình tư duy (thinking models). OPSD tiêu chuẩn khiến mô hình giáo viên dễ gây ra ảo giác tham chiếu và ức chế khả năng tự rà soát, sửa sai của mô hình học sinh. ST-OPSD khắc phục điều này bằng cách sử dụng kỹ thuật điều hướng kích hoạt (activation steering) tác động lên các trạng thái ẩn của giáo viên để triệt tiêu hành vi viện dẫn tài liệu và thúc đẩy việc cân nhắc lại tại các bước suy luận không chắc chắn. Kết quả trên AIME và HMMT chứng minh ST-OPSD tăng độ chính xác và phục hồi hành vi suy luận lành mạnh về mức mô hình nền mà không cần can thiệp trực tiếp lên học sinh.", "key_changes": ["Xác định hai khiếm khuyết lớn của phương pháp chưng cất tự thân on-policy (OPSD) truyền thống: ảo giác tham chiếu (reference hallucinations) và triệt tiêu khả năng tự đánh giá lại (reconsideration suppression).", "Đề xuất Steered-Teacher OPSD (ST-OPSD), áp dụng kỹ thuật điều hướng kích hoạt (activation steering) lên trạng thái ẩn của mô hình giáo viên (teacher) trong quá trình tính toán phân phối mục tiêu chưng cất.", "Trích xuất hai hướng vector từ quỹ đạo suy luận của mô hình nhằm đồng thời ức chế hành vi trích dẫn tài liệu tham khảo và khuyến khích hành vi xem xét lại thông qua hiệu chuẩn marker-family.", "Mô hình học sinh (student) tiếp thu phân phối tối ưu từ giáo viên mà không cần phải can thiệp điều hướng kích hoạt trực tiếp trong quá trình học hay suy luận.", "Kết quả thực nghiệm trên AIME và HMMT cho thấy ST-OPSD nâng cao độ chính xác so với OPSD tiêu chuẩn và đưa tỷ lệ ảo giác cũng như tần suất xem xét lại về ngang mức của mô hình gốc (base model)."], "sub_category": "Model Distillation", "novelty_score": 78, "business_score": 55, "research_score": 85, "why_it_matters": "Giải quyết mâu thuẫn cốt lõi trong chưng cất mô hình suy luận: giáo viên có xu hướng rò rỉ thông tin tham chiếu và làm thui chột khả năng tự phản biện của học sinh. ST-OPSD cung cấp giải pháp can thiệp can thiệp tinh gọn qua activation steering ở khâu đào tạo, giúp tạo ra các mô hình suy luận độc lập, ít ảo giác và tự sửa lỗi tốt hơn mà không làm tăng chi phí suy luận thực tế.", "developer_score": 72, "importance_score": 75, "possible_use_cases": ["Cải tiến quy trình hậu huấn luyện (post-training) và chưng cất tri thức cho các mô hình ngôn ngữ lớn chuyên về suy luận logic (thinking/reasoning models).", "Khắc phục triệt để lỗi mô hình suy luận tự tạo nguồn dẫn hoặc viện dẫn dữ liệu tham chiếu không tồn tại trong ngữ cảnh thực tế.", "Gia tăng năng lực tự kiểm tra, rà soát và sửa lỗi (self-verification & self-correction) của mô hình AI khi giải quyết các bài toán phức tạp trong toán học và lập trình."], "actionability_score": 68}