Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-30 10:08:54 +0000 UTC
{"tags": ["Self-Distillation", "Reasoning Models", "WISD", "Quantization", "Model Pruning", "Qwen"], "risks": ["Hiệu quả phụ thuộc vào phương pháp và mức độ làm suy yếu mô hình; suy yếu không đúng mức có thể làm sai lệch tín hiệu đối sánh.", "Chi phí tính toán on-policy phát sinh khi phải duy trì và suy luận đồng thời giữa mô hình gốc và mô hình suy yếu trong quá trình huấn luyện.", "Cần kiểm chứng thêm tính tổng quát hóa trên các miền tác vụ ngoài toán học và lập trình."], "category": "Research", "entities": ["WISD", "Qwen3.5-4B", "Qwen3.6-35B-A3B", "HMMT 2025", "LiveCodeBench v6"], "summary_vi": "Nghiên cứu giới thiệu WISD (Weakening-Induced On-Policy Self-Distillation), một phương pháp tự chưng cất on-policy cho các mô hình suy luận lớn chỉ sử dụng prompt chưa gán nhãn và không cần thông tin đặc quyền. Khác với cách tiếp cận thông thường cần mô hình giáo viên mạnh hơn, WISD tạo ra phiên bản mô hình yếu hơn bằng lượng tử hóa bit thấp hoặc cắt tỉa độ lớn, sau đó sử dụng sự tương phản giữa hai phiên bản làm tín hiệu huấn luyện. Thực nghiệm trên Qwen3.5-4B và Qwen3.6-35B-A3B cho thấy phương pháp giúp tăng độ chính xác đáng kể trên các bài kiểm tra toán (HMMT 2025) và lập trình (LiveCodeBench v6).", "key_changes": ["Đề xuất khung tự chưng cất on-policy mới mang tên WISD (Weakening-Induced On-Policy Self-Distillation) dành cho mô hình suy luận lớn (LRM).", "Thay vì dùng giáo viên mạnh hơn cần thông tin đặc quyền, phương pháp tạo ra một phiên bản mô hình yếu hơn để làm đối trọng tạo tín hiệu huấn luyện.", "Khảo sát hai kỹ thuật làm yếu mô hình: lượng tử hóa bit thấp (low-bit quantization) và cắt tỉa độ lớn (magnitude pruning).", "Không yêu cầu thông tin đặc quyền (privileged information), chỉ cần các câu lệnh (prompts) chưa được gán nhãn.", "Cải thiện độ chính xác trung bình: lượng tử hóa tăng 4,0 điểm phần trăm và cắt tỉa tăng 5,5 điểm phần trăm trên các tác vụ suy luận toán học và lập trình.", "Nâng độ chính xác của Qwen3.5-4B từ 57,7% lên 70,5% trên HMMT 2025 và từ 39,1% lên 56,7% trên LiveCodeBench v6 khi dùng cắt tỉa.", "Nâng độ chính xác của Qwen3.6-35B-A3B từ 68,5% lên 74,6% trên HMMT 2025 và từ 61,8% lên 69,5% trên LiveCodeBench v6 khi dùng lượng tử hóa."], "sub_category": "Self-Distillation & Reasoning Models", "novelty_score": 85, "business_score": 72, "research_score": 88, "why_it_matters": "Phương pháp giải quyết rào cản phụ thuộc vào mô hình giáo viên mạnh bên ngoài hoặc dữ liệu có nhãn đặc quyền trong huấn luyện suy luận. Việc tiếp cận theo hướng 'làm yếu để làm mạnh' mở ra cách thức tối ưu mô hình lý luận hiệu quả và tiết kiệm chi phí cho cộng đồng mã nguồn mở.", "developer_score": 80, "importance_score": 82, "possible_use_cases": ["Tự cải thiện và tinh chỉnh các mô hình ngôn ngữ suy luận nguồn mở mà không cần tập dữ liệu gán nhãn đắt đỏ.", "Tận dụng kho dữ liệu prompt thô chưa gán nhãn trong doanh nghiệp để huấn luyện mô hình giải toán và sinh mã nguồn.", "Quy trình post-training chi phí thấp cho các phòng nghiên cứu AI thiếu hạ tầng xây dựng mô hình giáo viên lớn (external teacher)."], "actionability_score": 75}