What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models

{"tags": ["Diffusion LLMs", "Masked Diffusion", "Unmasking Policy", "LLaDA", "Parallel Decoding", "Inference Efficiency", "NFE"], "risks": ["Mô hình diffusion cho văn bản vẫn chưa phổ biến trong sản xuất thực tế bằng mô hình tự hồi quy (autoregressive).", "Hiệu năng trên HumanEval và MATH-500 mới chỉ ở mức cạnh tranh tại các mốc NFE trung bình, chưa bứt phá vượt trội hoàn toàn.", "Khả năng tổng quát hóa trên các tác vụ tạo văn bản sáng tạo hoặc ngữ cảnh siêu dài chưa được đánh giá toàn diện."], "category": "Research", "entities": ["LLaDA-8B-Instruct", "Dream-7B-Instruct", "GSM8K", "MATH-500", "HumanEval"], "summary_vi": "Nghiên cứu thực nghiệm có kiểm soát về các chính sách mở mặt nạ (learned unmasking) trong Masked Diffusion LLMs. Nghiên cứu chỉ ra rằng việc gán nhãn theo đầu ra cuối cùng quá lỏng lẻo ở NFE thấp, còn hidden states hỗ trợ tốt cho confidence. Chỉ cần giảm ~10% NFE là đủ bù đắp chi phí overhead của policy (tới 7.5M tham số). Từ đó, nhóm tác giả đề xuất huấn luyện policy 856K tham số theo mục tiêu co cụm quỹ đạo (trajectory-contraction targets) kết hợp confidence và hidden states, giúp LLaDA-8B-Instruct đạt biên đánh đổi accuracy-NFE tối ưu và thông lượng cao nhất trên GSM8K, đồng thời chuyển giao hiệu quả sang Dream-7B-Instruct.", "key_changes": ["Phân rã và kiểm tra độc lập 4 yếu tố cấu thành chính sách unmasking có giám sát: tiêu chí gán nhãn của teacher, trạng thái bắt chước, đặc trưng đầu vào quan sát và ngưỡng giảm NFE cần thiết để bù đắp overhead.", "Chỉ ra rằng việc gán nhãn dự đoán khớp output cuối cùng là quá lỏng lẻo ở NFE thấp; đề xuất mục tiêu co cụm quỹ đạo (trajectory-contraction targets) chỉ chấp nhận cam kết bám sát quỹ đạo tham chiếu.", "Xác định trạng thái ẩn (hidden states) nếu đứng riêng lẻ thì yếu nhưng bổ trợ rất hiệu quả cho độ tin cậy (confidence).", "Xác lập ngưỡng hòa vốn tính toán: giảm ~10% NFE là đủ bù đắp chi phí runtime cho các policy kích thước lên đến 7.5M tham số.", "Xây dựng policy siêu nhẹ 856K tham số cho LLaDA-8B-Instruct, đạt Pareto frontier accuracy-NFE tốt nhất và thông lượng cao nhất trên GSM8K, có khả năng chuyển giao tốt sang Dream-7B-Instruct."], "sub_category": "Diffusion Language Models", "novelty_score": 78, "business_score": 62, "research_score": 86, "why_it_matters": "Làm sáng tỏ cơ chế tối ưu hóa tốc độ giải mã của mô hình ngôn ngữ khuếch tán, chứng minh có thể dùng policy cực nhẹ (856K tham số) để giảm số lượt đánh giá hàm (NFE) mà vẫn bảo toàn độ chính xác, giúp thu hẹp khoảng cách triển khai thực tế của dLLM so với LLM tự hồi quy.", "developer_score": 70, "importance_score": 74, "possible_use_cases": ["Tăng tốc độ giải mã song song và giảm độ trễ suy luận trên các mô hình ngôn ngữ khuếch tán (Masked Diffusion LLMs).", "Tích hợp chính sách mở mặt nạ tối ưu vào inference runtime để nâng cao thông lượng cho tác vụ giải toán và sinh code.", "Chuyển giao và áp dụng trực tiếp policy nhẹ đã huấn luyện sang các mô hình diffusion khác mà không cần tái huấn luyện tốn kém."], "actionability_score": 72}