VASPO: Self-Distillation with Privileged Value Estimation

{"tags": ["VASPO", "PPO", "Self-Distillation", "Reinforcement Learning", "Reasoning Models", "Mathematical Reasoning", "Privileged Information"], "risks": ["Gia tăng phụ tải tính toán trong quá trình huấn luyện do phải xử lý thông tin đặc quyền đồng thời ở cả critic và self-teacher.", "Phụ thuộc vào chất lượng của thông tin đặc quyền; nếu thông tin này thiếu tin cậy, critic có thể ước lượng sai lệch.", "Mức độ hiệu quả trên các tác vụ suy luận ngoài miền toán học/logic hình thức chưa được kiểm chứng trong dữ liệu cung cấp."], "category": "Research", "entities": ["VASPO", "PPO", "GRPO", "Qwen3-4B", "OLMo3-7B", "Knights and Knaves", "GitHub (cii030/VASPO)"], "summary_vi": "VASPO (Value-Augmented Self-Distillation Policy Optimization) là phương pháp tối ưu hóa chính sách kết hợp chưng cất tự thân với ước lượng giá trị đặc quyền trong PPO. Dựa trên phát hiện về động lực học vị trí bổ trợ (critic chính xác hơn về cuối câu trả lời, còn self-teacher hiệu quả ở đầu và cuối), VASPO dùng critic tính toán PPO advantage cấp token và dùng self-teacher điều biến các advantage dương thông qua tỷ lệ xác suất có chặn. Trên 6 benchmark suy luận toán học, VASPO tăng độ chính xác trung bình so với PPO thêm 2.59% trên Qwen3-4B và 1.81% trên OLMo3-7B, đồng thời dẫn đầu trên benchmark Knights and Knaves. Mã nguồn được công khai tại GitHub.", "key_changes": ["Phát hiện động lực học vị trí bổ trợ: thông tin đặc quyền nâng cao độ chính xác dự đoán giá trị của critic về cuối phản hồi, trong khi hướng dẫn từ self-teacher mạnh ở đầu, giảm giữa chừng và tăng trở lại ở cuối.", "Thay thế cách kết hợp truyền thống với GRPO bằng phương thức tích hợp tối ưu hơn trong khuôn khổ PPO.", "Critic tính toán token-level PPO advantages từ lợi nhuận tiếp nối dự đoán (predicted continuation returns) dựa trên tiền tố do student sinh ra.", "Self-teacher điều biến các advantage dương được chọn lọc thông qua tỷ lệ xác suất có giới hạn (bounded probability ratios).", "Cải thiện độ chính xác trung bình trên 6 benchmark toán học thêm 2.59% (Qwen3-4B) và 1.81% (OLMo3-7B), đồng thời đạt kết quả cao nhất trên Knights and Knaves."], "sub_category": "Reinforcement Learning & Reasoning", "novelty_score": 82, "business_score": 62, "research_score": 88, "why_it_matters": "On-policy self-distillation thông thường chỉ cung cấp phản hồi token cục bộ thay vì lợi nhuận kỳ vọng của chuỗi sinh unguided. VASPO giải quyết hạn chế này bằng cách đồng bộ hóa thông tin đặc quyền giữa critic và self-teacher trong PPO, giúp các mô hình ngôn ngữ kích thước vừa/nhỏ (4B, 7B) đạt bước tiến rõ rệt về năng lực suy luận toán học với chi phí triển khai tối ưu hơn.", "developer_score": 74, "importance_score": 78, "possible_use_cases": ["Hậu huấn luyện (post-training) tăng cường năng lực suy luận toán học và logic cho các mô hình mã nguồn mở quy mô 4B-7B.", "Tối ưu hóa pipeline học tăng cường (RL fine-tuning) cho các bài toán giải đố hoặc lập luận nhiều bước mà không cần gọi API giáo viên thương mại đắt đỏ.", "Ứng dụng kết hợp critic đặc quyền và self-distillation để ổn định tín hiệu thưởng ở cấp độ token."], "actionability_score": 76}