Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Bidirectional Centered Score Matching for Discrete Diffusion Distillation

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

64 RADAR
Research Discrete Diffusion Distillation · 1 nguồn đối chiếu · 2026-11-03 04:05:41 +0000 UTC

Bidirectional Centered Score Matching for Discrete Diffusion Distillation

Nguồn: arXiv AI
↗

Nghiên cứu đề xuất Bidirectional Centered Score Matching (BCSM), một mục tiêu chưng cất nội vị trí hiệu quả cho các mô hình khuếch tán rời rạc (discrete diffusion models). Bằng cách xây dựng tập hoạt động hai chiều O(K) và phân rã các so sánh từng cặp từ O(|V|²) về O(K), kết hợp với căn chỉnh chuyển tiếp xuyên bước thời gian, BCSM giúp giảm tới 6 lần số bước suy luận (NFE) đồng thời cải thiện 16.9% trên HumanEval và 15.1% trên MMMU khi suy luận đơn bước.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Mô hình khuếch tán rời rạc có tiềm năng giải mã song song thay thế mô hình tự hồi quy, nhưng bị cản trở bởi số bước lấy mẫu lớn và độ phức tạp cao của các phương pháp score matching hiện tại. BCSM giải quyết triệt để điểm nghẽn độ phức tạp từ bậc hai O(|V|²) xuống tuyến tính O(K), mở đường cho việc ứng dụng thực tế các mô hình diffusion tạo sinh văn bản và đa phương thức với tốc độ siêu nhanh chỉ trong 1 bước suy luận.

Developer 69
Business 70
Novelty 80
Actionable 68

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Discrete diffusion models with parallel decoding are often distilled using token-wise KL objectives. Although token-wise KL exactly matches the corresponding product-form block distributions, its probability-space optimization geometry and teacher-only candidate truncation may provide insufficient supervision under aggressive few-step distillation. Concrete Score Matching (CSM) provides an alternative within-position objective by aligning relative logit geometry, but its complete pairwise form incurs $\mathcal{O}(|\mathcal{V}|^2)$ complexity. We propose Bidirectional Centered Score Matching (BCSM), an efficient within-position distillation objective that constructs an $\mathcal{O}(K)$ bidirectional active set, reduces pairwise comparisons to $\mathcal{O}(K^2)$, and factorizes them into an $\mathcal{O}(K)$ objective. We further introduce cross-timestep transition alignment. Experiments demonstrate strong quality--efficiency trade-offs, including up to $6\times$ NFE reduction with a 16.9\% relative HumanEval gain and a 15.1\% relative MMMU gain at single-step inference.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-04 09:38:34 +0000 UTC
{"tags": ["Discrete Diffusion", "Model Distillation", "Score Matching", "BCSM", "Parallel Decoding", "Fast Inference"], "risks": ["Việc chọn kích thước tập hoạt động K có thể cần tinh chỉnh để cân bằng giữa độ chính xác hình học và tài nguyên tính toán.", "Cần kiểm chứng trên quy mô dữ liệu và mô hình lớn hơn ngoài HumanEval và MMMU.", "Quy trình chưng cất đòi hỏi mô hình giáo viên (teacher model) chất lượng cao và chi phí huấn luyện ban đầu."], "category": "Research", "entities": ["BCSM", "Concrete Score Matching (CSM)", "HumanEval", "MMMU"], "summary_vi": "Nghiên cứu đề xuất Bidirectional Centered Score Matching (BCSM), một mục tiêu chưng cất nội vị trí hiệu quả cho các mô hình khuếch tán rời rạc (discrete diffusion models). Bằng cách xây dựng tập hoạt động hai chiều O(K) và phân rã các so sánh từng cặp từ O(|V|²) về O(K), kết hợp với căn chỉnh chuyển tiếp xuyên bước thời gian, BCSM giúp giảm tới 6 lần số bước suy luận (NFE) đồng thời cải thiện 16.9% trên HumanEval và 15.1% trên MMMU khi suy luận đơn bước.", "key_changes": ["Khắc phục hạn chế của hàm mục tiêu token-wise KL và độ phức tạp O(|V|²) của Concrete Score Matching (CSM).", "Đề xuất Bidirectional Centered Score Matching (BCSM) xây dựng tập hoạt động hai chiều O(K), giảm và phân rã các so sánh logit về độ phức tạp O(K).", "Bổ sung cơ chế căn chỉnh chuyển đổi xuyên bước thời gian (cross-timestep transition alignment).", "Đạt mức giảm số lần đánh giá hàm (NFE) lên tới 6 lần, cải thiện 16.9% tương đối trên HumanEval và 15.1% trên MMMU ở chế độ suy luận 1 bước."], "sub_category": "Discrete Diffusion Distillation", "novelty_score": 80, "business_score": 74, "research_score": 85, "why_it_matters": "Mô hình khuếch tán rời rạc có tiềm năng giải mã song song thay thế mô hình tự hồi quy, nhưng bị cản trở bởi số bước lấy mẫu lớn và độ phức tạp cao của các phương pháp score matching hiện tại. BCSM giải quyết triệt để điểm nghẽn độ phức tạp từ bậc hai O(|V|²) xuống tuyến tính O(K), mở đường cho việc ứng dụng thực tế các mô hình diffusion tạo sinh văn bản và đa phương thức với tốc độ siêu nhanh chỉ trong 1 bước suy luận.", "developer_score": 72, "importance_score": 78, "possible_use_cases": ["Tăng tốc suy luận cho các mô hình sinh mã nguồn và đa phương thức dựa trên discrete diffusion.", "Triển khai các hệ thống giải mã song song (parallel decoding) với độ trễ thấp chỉ qua 1 bước suy luận.", "Tiết kiệm chi phí phần cứng phục vụ mô hình AI tạo sinh lớn mà không làm suy giảm chất lượng đầu ra."], "actionability_score": 68}
← Trang trước Trang 1