Experts Exhibit Structured Redundancy: Structure-Preserving Expert Pruning for Mixture-of-Experts Large Language Models

{"tags": ["MoE", "Expert Pruning", "Model Compression", "PEEP", "DCEP", "LLM Efficiency"], "risks": ["Cắt tỉa 50% experts có thể làm suy giảm chất lượng trên các tác vụ chuyên biệt hoặc biên (edge cases) vốn dựa vào các expert ít kích hoạt.", "Phụ thuộc vào chất lượng dữ liệu hiệu chuẩn để tính toán router weights và ma trận chiếu, rủi ro lệch phân phối khi triển khai thực tế.", "Cần thêm thử nghiệm trên các mô hình MoE quy mô cực lớn (hàng trăm tỷ tham số) để kiểm chứng tính mở rộng."], "category": "Research", "entities": ["DeepSeek-V2-Lite", "Qwen3-30B-A3B", "PEEP", "DCEP", "Mixture-of-Experts"], "summary_vi": "Nghiên cứu chỉ ra rằng các chuyên gia (experts) trong mô hình Mixture-of-Experts (MoE) có sự dư thừa có cấu trúc, với hạng hiệu dụng và số mode phân phối thấp hơn nhiều so với số lượng expert danh định. Nhóm tác giả đề xuất khung cắt tỉa bảo toàn cấu trúc với hai phương pháp: PEEP (bảo tồn không gian hàm bằng năng lượng chiếu) và DCEP (bảo tồn hình học phân phối bằng sai số bao phủ), tối ưu hóa bằng thuật toán tham lam kết hợp trọng số router. Thử nghiệm trên DeepSeek-V2-Lite và Qwen3-30B-A3B ở tỷ lệ giữ lại 75% và 50% cho thấy hiệu năng vượt trội so với các phương pháp SOTA trên cả tác vụ tổng quát và suy luận toán học.", "key_changes": ["Phát hiện hiện tượng dư thừa có cấu trúc (structured redundancy) trong các tầng MoE: stable rank và entropy effective rank thấp hơn nhiều so với số lượng expert thực tế.", "Định hình lại bài toán cắt tỉa expert thành bài toán chọn tập con bảo toàn cấu trúc (structure-preserving subset selection) và tối ưu hóa bằng thuật toán tham lam hiệu quả.", "Đề xuất phương pháp PEEP (Projection Energy Expert Pruning) giúp duy trì không gian hàm thông qua tối đa hóa năng lượng chiếu có trọng số.", "Đề xuất phương pháp DCEP (Distributional Coverage Expert Pruning) giúp duy trì hình học phân phối thông qua tối thiểu hóa sai số bao phủ có trọng số.", "Kết hợp trọng số từ bộ định tuyến (router weights) làm tiên nghiệm để đồng thời bảo tồn cấu trúc toàn cục và tầm quan trọng cục bộ của từng expert."], "sub_category": "Model Compression", "novelty_score": 82, "business_score": 80, "research_score": 85, "why_it_matters": "Mô hình MoE mang lại hiệu năng cao nhưng chi phí bộ nhớ VRAM để lưu toàn bộ experts là rào cản lớn nhất trong triển khai thực tế. Nghiên cứu cung cấp cả cơ sở lý thuyết mới lẫn công cụ thực tiễn giúp nén 25-50% số expert mà vẫn giữ vững độ chính xác, giúp giảm đáng kể chi phí hạ tầng phục vụ suy luận LLM.", "developer_score": 78, "importance_score": 82, "possible_use_cases": ["Nén các mô hình MoE lớn (như DeepSeek, Qwen MoE) để giảm dung lượng VRAM khi triển khai trên phần cứng giới hạn.", "Cắt giảm chi phí hạ tầng máy chủ phục vụ suy luận (inference serving) bằng cách loại bỏ 25% - 50% experts mà vẫn giữ vững hiệu năng.", "Tối ưu hóa bộ nhớ lưu trữ trọng số cho các hệ thống phục vụ đa mô hình hoặc hệ thống AI biên (edge deployment)."], "actionability_score": 75}