ITC-MoE: Importance-guided Token-aware Compression for MoE Diffusion Language Models

{"tags": ["ITC-MoE", "MoE", "Diffusion Language Models", "Model Compression", "Tucker Decomposition", "Inference Optimization"], "risks": ["Hiệu năng tổng quát cần được kiểm nghiệm thêm trên nhiều tác vụ tạo sinh ngôn ngữ tự nhiên phức tạp ngoài MultiArith.", "Quá trình nén ban đầu (IATC) yêu cầu tính toán trước activation và gradient, tạo thêm chi phí xử lý offline.", "Việc giới hạn tập chuyên gia cho cold token có thể tiềm ẩn sai lệch nhỏ trong các trường hợp suy luận ngoại lệ (edge cases)."], "category": "Research", "entities": ["ITC-MoE", "IATC", "TCR", "SDAR-30B-A3B-Chat-b32", "MultiArith", "GitHub"], "summary_vi": "ITC-MoE là khung nén mô hình dựa trên độ quan trọng và đặc tính token dành cho các mô hình ngôn ngữ khuếch tán kết hợp chuyên gia (MoE DLMs). Phương pháp này giải quyết tình trạng dư thừa tham số không đồng nhất giữa các chiều và sự biến thiên sử dụng giữa hot/cold token thông qua hai thành phần: IATC (nén Tucker thích ứng dựa trên activation và gradient) và TCR (bù trừ low-rank cho hot token và tối ưu định tuyến cho cold token). Thử nghiệm trên SDAR-30B-A3B-Chat-b32 với ngân sách nén 30%, ITC-MoE đạt tốc độ tăng tốc end-to-end lên tới 7.22x và duy trì độ chính xác 96.33% trên MultiArith.", "key_changes": ["Xác định 2 hạn chế chính của nén MoE truyền thống trên DLM: dư thừa tham số không đồng nhất giữa các mode (input, output, expert) và sự chênh lệch phân phối/kích hoạt giữa hot token và cold token.", "Đề xuất IATC (Importance-guided Adaptive Tucker Compression): tích hợp độ quan trọng của activation và gradient để phân tích Tucker đa chiều và phân bổ rank thích ứng dưới ngân sách cố định.", "Đề xuất TCR (Token-aware Compensation and Routing): áp dụng bù trừ low-rank nhẹ cho hot token nhạy cảm nén và thu hẹp tập expert ứng viên cho cold token có mẫu định tuyến tập trung.", "Đạt tốc độ tăng tốc suy luận end-to-end lên tới 7.22x trên mô hình SDAR-30B-A3B-Chat-b32 với ngân sách nén 30%, duy trì độ chính xác 96.33% trên MultiArith.", "Mã nguồn thuật toán được công khai trên GitHub."], "sub_category": "Model Compression", "novelty_score": 82, "business_score": 72, "research_score": 85, "why_it_matters": "Mô hình ngôn ngữ khuếch tán MoE mang lại khả năng giải mã song song mạnh mẽ nhưng bị cản trở bởi chi phí tham số và bộ nhớ khổng lồ. ITC-MoE khắc phục nút thắt này thông qua việc kết hợp nén tensor thích ứng và điều phối tài nguyên động theo từng token, giúp tăng tốc độ suy luận hơn 7 lần mà vẫn bảo toàn chất lượng, tạo tiền đề quan trọng cho việc thương mại hóa MoE DLMs trên hạ tầng thực tế.", "developer_score": 78, "importance_score": 78, "possible_use_cases": ["Tối ưu hóa và giảm chi phí phần cứng VRAM khi triển khai suy luận cho các mô hình Diffusion Language Models quy mô lớn.", "Tăng tốc độ sinh chuỗi và thông lượng giải mã song song (parallel decoding) cho các hệ thống AI phục vụ thời gian thực.", "Áp dụng cơ chế nén tensor đa chiều và định tuyến phân tầng token cho các kiến trúc MoE khác trong môi trường production."], "actionability_score": 75}