Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon

{"tags": ["Subspace Optimization", "LLM Training", "Memory Efficiency", "Muon", "Momentum SGD", "Residual Correction", "Machine Learning Theory"], "risks": ["Chi phí tính toán bổ sung khi định kỳ làm mới cơ sở trực chuẩn (basis recomputation) trong các biến thể đa giai đoạn.", "Độ phức tạp kỹ thuật khi tích hợp các phép chiếu và hiệu chỉnh biên vào hệ thống huấn luyện phân tán (như FSDP, Megatron-LM).", "Cần kiểm nghiệm thực nghiệm thêm trên nhiều quy mô mô hình cực lớn và các tác vụ đa dạng khác nhau."], "category": "Research", "entities": ["SMRC", "PMRC", "Muon", "Momentum SGD"], "summary_vi": "Nghiên cứu đề xuất khung tối ưu hóa không gian con (subspace optimization) tiết kiệm bộ nhớ kết hợp hiệu chỉnh phần dư (residual correction) cho huấn luyện LLM. Nhằm giải quyết tình trạng nhiễu gradient chi phối không gian con ở giai đoạn sau gây mất hội tụ, phương pháp duy trì trạng thái optimizer trong không gian con và cộng gradient phần dư trực giao vào bước cập nhật. Khung này được áp dụng cho Momentum SGD (tạo thành SMRC) và bộ tối ưu hóa Muon (tạo thành PMRC). Cả hai thuật toán cùng các biến thể đa giai đoạn (định kỳ làm mới cơ sở với cơ chế hiệu chỉnh biên boundary correction) đều đạt tốc độ hội tụ O(T^(-1/4)), ngang bằng với các bộ tối ưu hóa toàn không gian tương ứng.", "key_changes": ["Đề xuất khung hiệu chỉnh phần dư (residual correction framework): lưu trữ optimizer states trong không gian con (subspace) và cộng thêm gradient phần dư trực giao vào cập nhật tham số để ngăn nhiễu gradient gây mất hội tụ ở giai đoạn cuối.", "Xây dựng thuật toán SMRC (từ Momentum SGD) với tốc độ hội tụ O(T^(-1/4)) tương đương Momentum SGD toàn không gian (full-space), sử dụng kỹ thuật subspace virtual iterate để giải quyết liên kết giữa momentum và residual correction.", "Phát triển biến thể multi-stage SMRC với cơ chế boundary correction: căn chỉnh các virtual iterate khi định kỳ tính toán lại cơ sở trực chuẩn (basis refresh) nhằm theo dõi không gian con chiếm ưu thế.", "Tích hợp vào bộ tối ưu hóa Muon tạo thành PMRC: áp dụng hàm matrix sign lên momentum chiếu và chứng minh tốc độ hội tụ O(T^(-1/4)) ngang bằng full-space Muon thông qua weighted momentum tracking."], "sub_category": "Tối ưu hóa bộ nhớ huấn luyện LLM", "novelty_score": 85, "business_score": 78, "research_score": 92, "why_it_matters": "Bộ nhớ cho optimizer states là một trong những rào cản lớn nhất khi mở rộng quy mô LLM. Nghiên cứu giải quyết triệt để điểm yếu mất hội tụ của các phương pháp tối ưu không gian con trước đây mà vẫn giữ được tốc độ hội tụ chuẩn lý thuyết O(T^(-1/4)), đồng thời mở rộng thành công sang bộ tối ưu hóa thế hệ mới Muon, giúp tiết kiệm chi phí phần cứng đáng kể trong đào tạo mô hình lớn.", "developer_score": 75, "importance_score": 82, "possible_use_cases": ["Giảm đáng kể bộ nhớ VRAM dành cho optimizer states khi huấn luyện mô hình ngôn ngữ lớn (LLM).", "Đào tạo các mô hình quy mô lớn trên hạ tầng phần cứng GPU bị giới hạn dung lượng bộ nhớ.", "Triển khai bộ tối ưu hóa Muon và Momentum SGD tiết kiệm bộ nhớ với bảo đảm hội tụ lý thuyết vững chắc trong các framework huấn luyện AI."], "actionability_score": 70}