DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation

{"tags": ["DIAL-OPD", "On-Policy Distillation", "Token Selection", "LLM Distillation", "Mathematical Reasoning", "Model Compression", "Logarithmic Mean", "Low-Low Tokens"], "risks": ["Phụ thuộc vào siêu tham số beta: Cần tinh chỉnh beta cẩn thận để cân bằng giữa việc loại bỏ 'low-low tokens' và bảo toàn các bất đồng thực sự có ích.", "Phạm vi thực nghiệm chủ yếu trên suy luận toán học: Dù đạt kết quả vượt bậc trên 7 benchmark toán học, hiệu quả trên các tác vụ phi toán học (như ngôn ngữ tự nhiên, code tổng quát, hội thoại) cần được kiểm chứng thêm.", "Chi phí tính toán xác suất ban đầu: Dù giảm số token dùng để huấn luyện, vẫn cần tính toán xác suất của teacher và student trên chuỗi sinh ra để tính logarithmic mean và xếp hạng token."], "category": "Research", "entities": ["DIAL-OPD", "Vanilla OPD", "AIME25"], "summary_vi": "DIAL-OPD là phương pháp chọn lọc token mới cho quá trình chưng cất on-policy (OPD), chứng minh rằng huấn luyện trên ít token hơn (chỉ 40%) có thể vượt trội hơn full-token OPD. Bằng cách gán trọng số cho độ lớn phần thưởng bằng trung bình logarit của xác suất mô hình giáo viên và học sinh, DIAL-OPD triệt tiêu hiệu quả các 'low-low token' (token có xác suất cực thấp ở cả hai mô hình gây nhiễu học tập) trong khi giữ lại các token có giá trị suy luận cốt lõi, giúp giáo viên 4B vượt qua giáo viên 8B và nhân đôi tỷ lệ giải toán AIME25 Pass@16.", "key_changes": ["Phát hiện nghịch lý giám sát: Huấn luyện trên ít token hơn có thể vượt trội hơn full-token OPD, thách thức trực giác cho rằng nhiều dữ liệu giám sát hơn sẽ giúp mô hình học tốt hơn.", "Xác định điểm yếu của tiêu chí chọn token cũ: Các tiêu chí dựa trên sự bất đồng (disagreement) bỏ qua thang đo xác suất, khiến các token có xác suất không đáng kể ở cả hai mô hình ('low-low tokens') nhận thưởng log-ratio lớn và cản trở việc học.", "Đề xuất DIAL-OPD: Cầu nối giữa không gian log-probability và probability bằng cách gán trọng số cho độ lớn reward bằng trung bình logarit của xác suất teacher và student, kiểm soát qua tham số beta.", "Giữ lại 40% token nhưng đạt hiệu năng cao: Vượt qua Vanilla OPD tới 5.25 điểm phần trăm độ chính xác trung bình trên 7 benchmark toán và nhân đôi Pass@16 trên AIME25 từ 13.33% lên 26.67%.", "Tối ưu hóa giám sát vượt qua scaling giáo viên: Teacher 4B áp dụng DIAL-OPD vượt qua baseline full-token mạnh nhất sử dụng teacher 8B trên cả hai quy mô student."], "sub_category": "On-Policy Distillation", "novelty_score": 84, "business_score": 80, "research_score": 88, "why_it_matters": "Nghiên cứu này thay đổi căn bản tư duy về giám sát token trong on-policy distillation, chứng minh rằng chất lượng và giá trị học tập của token quan trọng hơn số lượng giám sát toàn diện. Bằng việc giải quyết triệt để vấn đề 'low-low tokens' thông qua cơ chế trọng số trung bình logarit, DIAL-OPD cho phép mô hình giáo viên 4B vượt trội hơn giáo viên 8B và nhân đôi hiệu suất AIME25 chỉ với 40% lượng token. Đối với các nhà phát triển và doanh nghiệp, đây là giải pháp thực tiễn giúp cắt giảm mạnh mẽ chi phí tài nguyên GPU và thời gian huấn luyện trong quá trình hậu huấn luyện (post-training) các mô hình suy luận, đồng thời giảm yêu cầu về quy mô mô hình giáo viên.", "developer_score": 85, "importance_score": 85, "possible_use_cases": ["Tối ưu hóa chi phí huấn luyện on-policy distillation: Các kỹ sư ML có thể tích hợp DIAL-OPD vào pipeline huấn luyện để chỉ cần tính toán và giám sát 40% token, tiết kiệm đáng kể GPU compute.", "Chưng cất mô hình lý luận (reasoning models): Nâng cao năng lực giải toán và tư duy logic cho các mô hình nhỏ (SLMs) phục vụ triển khai on-device hoặc ứng dụng biên.", "Giảm kích thước mô hình giáo viên (teacher scaling efficiency): Doanh nghiệp có thể sử dụng các mô hình teacher kích thước nhỏ (như 4B thay vì 8B) mà vẫn đạt chất lượng vượt trội, giảm chi phí bản quyền và hạ tầng phục vụ giáo viên.", "Lọc nhiễu dữ liệu cho RL và căn chỉnh mô hình: Áp dụng cơ chế lọc bỏ các token có reward cao ảo ('low-low tokens') cho các thuật toán căn chỉnh hoặc chưng cất chính sách khác."], "actionability_score": 82}