D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding

{"tags": ["Speculative Decoding", "Diffusion Drafter", "LLM Inference", "Asynchronous Decoding", "Model Pruning", "Qwen3"], "risks": ["Độ phức tạp tích hợp vào runtime thực tế: Cần hệ thống serving hỗ trợ cơ chế thực thi bất đồng bộ giữa drafter và target model trên phần cứng GPU.", "Gia tăng tải bộ nhớ VRAM do cần duy trì thêm mô hình drafter 31-36 tầng song song với mô hình đích.", "Chưa có số liệu về chi phí và tài nguyên cần thiết để huấn luyện mô hình drafter độc lập từ đầu cho các kiến trúc khác ngoài Qwen3.", "Hiệu quả gia tốc phụ thuộc vào bài toán; các tác vụ có tính ngẫu nhiên cao có thể làm suy giảm tỷ lệ token được chấp nhận."], "category": "Research", "entities": ["D3D", "Qwen3-8B", "Qwen3-32B", "DFlash", "GSM8K", "fudan-generative-vision"], "summary_vi": "D3D (Decoupled Diffusion Drafting) là phương pháp drafter khuếch tán độc lập cho suy đoán bất đồng bộ trong LLM. Bằng cách kết hợp khử nhiễu theo khối với giám sát tự hồi quy phụ trợ, D3D loại bỏ hoàn toàn sự phụ thuộc vào hidden states của mô hình đích, cho phép dự đoán các khối token kế tiếp song song trong lúc mô hình đích đang xác thực. Phương pháp áp dụng kỹ thuật tỉa 5/36 tầng để giảm chi phí mà vẫn giữ hơn 99% độ dài chấp nhận, mang lại tốc độ giải mã trung bình 5,00x trên Qwen3-8B và 5,71x trên Qwen3-32B (đạt đỉnh 7,48x trên GSM8K), vượt trội so với DFlash. Mã nguồn đã được công bố mở.", "key_changes": ["Loại bỏ phụ thuộc trạng thái ẩn liên vòng: D3D là drafter khuếch tán độc lập, không cần hidden states từ mô hình đích để dự đoán token kế tiếp.", "Kích hoạt giải mã suy đoán bất đồng bộ (Asynchronous Speculative Decoding): Cho phép dự đoán (drafting) các khối kế tiếp song song ngay trong lúc mô hình đích đang thực hiện xác thực (verification).", "Kết hợp blockwise denoising với giám sát tự hồi quy phụ trợ: Đạt tiền tố chấp nhận dài mà không cần thông tin trạng thái ẩn từ mô hình chính.", "Tỉa tầng lũy tiến (Progressive layer pruning): Loại bỏ 5 trên 36 tầng giúp giảm chi phí tính toán packed drafting mà vẫn giữ trên 99% độ dài chấp nhận trung bình trên Qwen3-8B.", "Tốc độ giải mã vượt trội: Tăng tốc trung bình 5,00x trên Qwen3-8B và 5,71x trên Qwen3-32B qua 7 benchmark (so với 4,03x và 3,67x của DFlash), đạt đỉnh 7,48x trên GSM8K."], "sub_category": "Speculative Decoding", "novelty_score": 82, "business_score": 78, "research_score": 85, "why_it_matters": "Suy đoán truyền thống thường bị giới hạn tốc độ vì drafter buộc phải đợi tuần tự hidden states và kết quả xác thực từ mô hình đích. D3D giải quyết triệt để nút thắt cổ chai này nhờ cơ chế tách rời hoàn toàn và suy đoán bất đồng bộ trong một lượt đóng gói (packed pass). Mức tăng tốc 5x đến gần 7,5x giúp các nhà phát triển và doanh nghiệp giảm trực tiếp chi phí phần cứng suy luận, nâng cao trải nghiệm người dùng cuối trong các ứng dụng thời gian thực mà không làm suy giảm chất lượng đầu ra của mô hình gốc.", "developer_score": 82, "importance_score": 78, "possible_use_cases": ["Tăng tốc suy luận và giảm độ trễ phản hồi (time-to-first-token và inter-token latency) cho hệ thống chatbot/trợ lý ảo AI.", "Tối ưu hóa chi phí hạ tầng máy chủ GPU cho các nhà cung cấp dịch vụ LLM API khi phục vụ mô hình Qwen3-8B và Qwen3-32B.", "Cải thiện thông lượng xử lý các tác vụ suy luận chuỗi dài như giải toán (GSM8K), sinh mã nguồn và suy luận logic.", "Tích hợp vào các engine suy luận phân tán hoặc serving framework (như vLLM, SGLang) để hỗ trợ async speculative decoding."], "actionability_score": 72}