Branching On-Policy Distillation

{"tags": ["On-Policy Distillation", "BranchOPD", "Knowledge Distillation", "AI Agents", "Mathematical Reasoning", "Sample Efficiency", "Protocol-Boundary Repair"], "risks": ["Đòi hỏi cơ chế đo độ bất định và bất đồng thời gian thực, có thể tăng độ phức tạp trong hạ tầng huấn luyện.", "Hiệu quả giám sát vẫn phụ thuộc vào chất lượng của mô hình teacher tại các nhánh rẽ.", "Cần tinh chỉnh ngưỡng quyết định phân nhánh để tránh bùng nổ số lượng nhánh tính toán."], "category": "Research", "entities": ["BranchOPD", "On-Policy Distillation (OPD)", "Vanilla OPD", "Multi-Rollout OPD", "ALFWorld", "WebShop", "Protocol-Boundary Repair (PBR)"], "summary_vi": "BranchOPD (Branching On-Policy Distillation) là phương pháp chưng cất tri thức on-policy mới nhằm khắc phục hạn chế về độ bao phủ giám sát của một quỹ đạo đơn lẻ dưới ngân sách lấy mẫu hữu hạn. Phương pháp xác định các điểm quyết định quan trọng dựa trên độ bất định của mô hình học sinh (student) và sự bất đồng giữa giáo viên (teacher) - học sinh, sau đó tái lấy mẫu các nhánh từ tiền tố dùng chung và áp dụng giám sát cấp token cho cả quỹ đạo chính lẫn các nhánh. Ngoài ra, kỹ thuật Protocol-Boundary Repair (PBR) được tích hợp để ngăn ngừa lặp lại và sinh thừa theo ràng buộc giao thức. Thực nghiệm cho thấy BranchOPD giúp giảm 19% chi phí token trên ALFWorld và 31% trên WebShop so với 7 quỹ đạo độc lập, đồng thời tăng 18.55 điểm phần trăm độ chính xác toán học (avg@16) và 13.8 điểm phần trăm tỷ lệ thành công trên ALFWorld so với Vanilla OPD.", "key_changes": ["Đề xuất BranchOPD (Branching On-Policy Distillation) lựa chọn các điểm quyết định giàu thông tin dựa trên độ bất định của student và sự bất đồng teacher-student.", "Tái lấy mẫu các nhánh tiếp diễn (continuations) từ các tiền tố dùng chung (shared prefixes) thay vì sinh toàn bộ quỹ đạo mới độc lập.", "Áp dụng giám sát giáo viên cấp token (token-level teacher supervision) lên cả quỹ đạo chính lẫn các nhánh rẽ.", "Tái sử dụng tiền tố giúp giảm chi phí sinh token của student khoảng 19% trên ALFWorld và 31% trên WebShop so với 7 rollout độc lập.", "Giới thiệu Protocol-Boundary Repair (PBR) cung cấp giám sát có mục tiêu theo ràng buộc giao thức nhằm giảm thiểu hiện tượng lặp lại và sinh thừa.", "Vượt trội so với Vanilla OPD: tăng 18.55 điểm phần trăm độ chính xác toán trung bình (avg@16) và 13.8 điểm phần trăm tỷ lệ thành công ALFWorld ID/OOD."], "sub_category": "Knowledge Distillation", "novelty_score": 80, "business_score": 70, "research_score": 85, "why_it_matters": "BranchOPD giải quyết bài toán cốt lõi trong chưng cất on-policy: cân bằng giữa độ bao phủ giám sát và chi phí lấy mẫu. Bằng cách tập trung phân nhánh tại các điểm quyết định bất định hoặc bất đồng thay vì lấy mẫu ngẫu nhiên hay rollout toàn bộ, phương pháp này vừa tiết kiệm 19-31% chi phí token vừa nâng cao đáng kể năng lực suy luận toán học và tác tử, mang lại giá trị thực tiễn cao cho quy trình hậu huấn luyện (post-training) mô hình nhỏ.", "developer_score": 75, "importance_score": 78, "possible_use_cases": ["Tối ưu hóa quy trình chưng cất tri thức on-policy từ mô hình nền tảng lớn sang mô hình nhỏ với ngân sách token giới hạn.", "Huấn luyện mô hình tác tử AI (AI agents) thực hiện chuỗi quyết định nhiều bước (như WebShop, ALFWorld) với chi phí lấy mẫu thấp hơn.", "Cải thiện năng lực suy luận toán học và logic thông qua việc tập trung giám sát vào các điểm rẽ phân vân/sai lệch cao.", "Kiểm soát lỗi giao thức, vòng lặp vô hạn và suy thoái định dạng đầu ra của LLM bằng cơ chế PBR."], "actionability_score": 72}