When Does Muon Actually Win? A Paired Data-, Time-, and Tuning-Budget Benchmark

{"tags": ["Muon", "AdamW", "Optimizer", "Deep Learning", "Benchmark", "Wall-clock Efficiency", "Vision Transformers", "Language Models"], "risks": ["Tăng thời gian và chi phí GPU thực tế: Overhead của reference Muon kernel rất lớn, khiến tốc độ hoàn thành huấn luyện (wall-clock) của mô hình ngôn ngữ chậm hơn AdamW dù hội tụ step tốt hơn.", "Chi phí tinh chỉnh siêu tham số cao: Expected regret lớn đòi hỏi ngân sách dò tìm hyperparameter rộng hơn để đạt hiệu năng tối ưu.", "Rủi ro ngoại suy sai: Thứ hạng trên mô hình nhỏ dưới 34M tham số trên 1 GPU không đảm bảo phản ánh đúng hiệu năng trên LLM quy mô lớn hoặc môi trường phân tán."], "category": "Research", "entities": ["Muon", "AdamW", "A100 GPU", "Vision Transformers", "Causal Language Models"], "summary_vi": "Nghiên cứu thực nghiệm so sánh ghép cặp giữa optimizer Muon (bản tham chiếu trên một GPU A100) và AdamW trên causal language models (17,7M và 33,6M tham số) cùng vision transformers (2,70M tham số) dưới ngân sách 23 ứng viên cấu hình. Kết quả chứng minh Muon vượt trội về hiệu quả dữ liệu: giảm diện tích validation loss từ 3,25% đến 22,44% và hạ test loss ở toàn bộ 20 cặp thử nghiệm. Tuy nhiên, bước tối ưu của Muon chiếm tới 56,1% - 69,6% tổng thời gian huấn luyện (so với 6,1% - 9,1% của AdamW). Do đó, xét theo thời gian thực (wall-clock), Muon chỉ thắng trên Vision (cải thiện 19,68% - 22,31%), trong khi AdamW lại tốt hơn trên Language (vượt 3,38% - 6,96%). Ngoài ra, Muon đòi hỏi chi phí tinh chỉnh siêu tham số cao hơn do expected regret lớn hơn khi bị hạn chế cấu hình.", "key_changes": ["Đánh giá ghép cặp có kiểm soát ngân sách dữ liệu, thời gian thực và chi phí tinh chỉnh siêu tham số giữa Muon (reference kernel) và AdamW trên đơn GPU A100.", "Muon vượt trội về hiệu quả dữ liệu: giảm validation-loss AUC từ 3,25% đến 22,44% ở cùng lượng dữ liệu và giảm test loss trên toàn bộ 20 cặp chính.", "Về thời gian thực (wall-clock time-normalized loss), Muon cải thiện 19,68% - 22,31% trên Vision Transformers, nhưng AdamW lại tốt hơn 3,38% - 6,96% trên Causal Language Models.", "Lần gọi optimizer Muon (gồm cả cập nhật AdamW phụ trợ) chiếm tới 56,1% - 69,6% tổng thời gian training, so với chỉ 6,1% - 9,1% của AdamW.", "Muon có expected regret cao hơn khi bị giới hạn nhóm ứng viên cấu hình, cho thấy mức độ nhạy cảm cao hơn với việc chọn siêu tham số.", "Nghiên cứu chỉ rõ kết quả này trên mô hình nhỏ (2,7M - 33,6M) với reference kernel không đại diện cho mô hình lớn hoặc kernel đã tối ưu."], "sub_category": "Deep Learning Optimization", "novelty_score": 75, "business_score": 70, "research_score": 88, "why_it_matters": "Nghiên cứu mang lại cái nhìn thực tế và phản biện quan trọng đối với làn sóng quan tâm dành cho Muon optimizer. Mặc dù Muon cải thiện rõ rệt hiệu quả dữ liệu, nhưng việc bước tính toán optimizer chiếm tới gần 70% thời gian huấn luyện cho thấy hiệu quả dữ liệu không đồng nghĩa với tiết kiệm chi phí tính toán thực tế (wall-clock time) nếu thiếu kernel tối ưu hóa cao độ. Báo cáo giúp các kỹ sư ML cân nhắc kỹ lưỡng bài toán chi phí phần cứng và ngân sách tinh chỉnh trước khi thay thế AdamW trong môi trường huấn luyện thực tế.", "developer_score": 85, "importance_score": 78, "possible_use_cases": ["Lựa chọn optimizer cho Vision Transformers quy mô nhỏ khi ngân sách dữ liệu bị hạn chế để tận dụng khả năng hội tụ nhanh theo step của Muon.", "Thiết lập chuẩn benchmark đo lường wall-clock time và tuning budget thay vì chỉ so sánh theo loss/step khi đánh giá optimizer mới.", "Định hướng nghiên cứu viết custom CUDA/Triton kernels tối ưu cho Muon nhằm triệt tiêu phần overhead 56-70% thời gian chạy."], "actionability_score": 80}