Routing Drift Alone Does Not Diagnose Failure in Merged MoE LLMs

{"tags": ["MoE", "Mixture of Experts", "Model Merging", "Routing Drift", "Selective Router Repair", "DeepSeekMoE", "OLMoE", "Qwen3-MoE"], "risks": ["Lãng phí tài nguyên và rủi ro suy giảm hiệu năng nếu cố gắng khôi phục định tuyến gốc mà không kiểm chứng can thiệp ở cấp độ tác vụ.", "Khó khăn trong việc chẩn đoán và khắc phục do trôi định tuyến bắt nguồn từ dịch chuyển biểu diễn đầu vào tích lũy qua nhiều tầng.", "Nghiên cứu mới đánh giá trên DeepSeekMoE, OLMoE và Qwen3-MoE; cần kiểm chứng thêm trên các kiến trúc MoE và phương pháp merge khác."], "category": "Research", "entities": ["DeepSeekMoE", "OLMoE", "Qwen3-MoE", "Selective Router Repair (SRR)"], "summary_vi": "Nghiên cứu chỉ ra rằng hiện tượng trôi định tuyến (routing drift) khi merge các mô hình Mixture-of-Experts (MoE) không đồng nghĩa với lỗi định tuyến (routing failure). Thực nghiệm trên DeepSeekMoE, OLMoE và Qwen3-MoE cho thấy việc tái phân bổ chuyên gia chủ yếu do dịch chuyển đầu vào (input shifts) thay vì biến đổi tham số router, và việc khôi phục định tuyến gốc không giúp cải thiện hiệu năng tin cậy do các chuyên gia khác nhau vẫn có thể sinh output tương đồng. Nhóm tác giả định nghĩa lại lỗi định tuyến dựa trên tổn thất tác vụ có thể can thiệp phục hồi, đề xuất Selective Router Repair (SRR) và mở mã nguồn bộ công cụ phân tích.", "key_changes": ["Chứng minh hiện tượng trôi định tuyến (routing drift) trong mô hình MoE sau khi merge không đồng nghĩa với lỗi định tuyến (routing failure).", "Xác định nguyên nhân chính của việc tái chỉ định chuyên gia là do dịch chuyển biểu diễn đầu vào (input shifts) qua các tầng thay vì thay đổi tham số router cùng tầng.", "Chỉ ra rằng khôi phục lộ trình chuyên gia gốc không đem lại cải thiện nhất quán về next-token likelihood hay hiệu năng tác vụ do các chuyên gia khác nhau có thể tạo output tương đồng về hướng.", "Tái định nghĩa lỗi định tuyến thành tổn thất tác vụ có thể phục hồi thông qua can thiệp định tuyến xác định khi cố định các tham số non-routing.", "Đề xuất ca nghiên cứu Selective Router Repair (SRR) và công bố mã nguồn toolkit phân tích định tuyến MoE."], "sub_category": "MoE Model Merging", "novelty_score": 82, "business_score": 62, "research_score": 88, "why_it_matters": "Hợp nhất mô hình (model merging) là giải pháp tiết kiệm chi phí để kết hợp các LLM chuyên biệt mà không cần huấn luyện lại từ đầu. Kết quả nghiên cứu bác bỏ giả định phổ biến rằng trôi định tuyến là hư hỏng cần sửa, giúp kỹ sư AI tránh lãng phí tài nguyên vào các can thiệp router không hiệu quả và thiết lập chuẩn mực đánh giá dựa trên tác động tác vụ thực tế.", "developer_score": 78, "importance_score": 76, "possible_use_cases": ["Kiểm định và đánh giá chất lượng mô hình MoE sau khi kết hợp (merge) mà không cần sửa chữa router cục bộ một cách cảm tính.", "Ứng dụng toolkit can thiệp phản thực nghiệm (counterfactual intervention) để phân tích hành vi định tuyến ở cấp độ token.", "Tối ưu hóa tài nguyên tính toán trong quy trình merge và hậu xử lý MoE LLM, tránh lãng phí compute vào việc ép router khớp với nguồn.", "Thử nghiệm phương pháp Selective Router Repair (SRR) có kiểm chứng tác động ở cấp độ tác vụ cho các mô hình mã nguồn mở."], "actionability_score": 74}