DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention

{"tags": ["Linear Attention", "Dual-Axis Memory Initialization", "Long-Context Retrieval", "State Space Models", "Mamba-2", "RWKV-7", "Gated DeltaNet", "Model Initialization"], "risks": ["Chỉ áp dụng ở giai đoạn khởi tạo trước khi huấn luyện, không thể áp dụng trực tiếp cho mô hình đã huấn luyện hoàn thiện mà không retrain/finetune.", "Mức cải thiện chủ yếu ghi nhận trên benchmark truy xuất dạng RULER, hiệu năng thực tế trên các tác vụ đọc hiểu phức tạp cần thêm dữ liệu kiểm chứng.", "Quá trình hiệu chuẩn phụ thuộc vào mẫu kích hoạt nhỏ, có thể bị ảnh hưởng nếu phân phối dữ liệu mẫu không đại diện."], "category": "Research", "entities": ["DAMI", "Gated DeltaNet (GDN)", "Mamba-2", "RWKV-7", "KDA", "GDN2", "RULER", "SpeedAI"], "summary_vi": "Nghiên cứu giới thiệu DAMI (Dual-Axis Memory Initialization), phương pháp khởi tạo tham số cổng (A_log và dt_bias) trước huấn luyện cho các mô hình Gated Linear Attention nhằm giải quyết hạn chế về truy xuất ngữ cảnh dài. DAMI phân bổ thang thời gian hình học giữa các head và áp dụng hồ sơ độ nhạy đầu vào low-high-low qua các tầng, kết hợp mẫu kích hoạt nhỏ để hiệu chuẩn mà không làm tăng tham số mô hình. Thực nghiệm trên GDN, KDA, GDN2, Mamba-2 và RWKV-7 cho thấy DAMI giúp cải thiện độ chính xác truy xuất RULER từ 5,29 đến 16,71 điểm phần trăm so với khởi tạo ngẫu nhiên.", "key_changes": ["Phát hiện tham số cổng (A_log và dt_bias) trong Gated DeltaNet duy trì tương quan cao với giá trị khởi tạo ban đầu sau quá trình huấn luyện.", "Đề xuất DAMI (Dual-Axis Memory Initialization) cấu hình đồng thời các tham số cổng trước khi huấn luyện mà không thêm tham số có thể học.", "Gán thang thời gian hình học (geometric timescales) qua các head để xử lý đa dạng khoảng cách truy xuất.", "Thiết lập hồ sơ độ nhạy đầu vào theo dạng low-high-low qua các tầng mô hình.", "Sử dụng mẫu kích hoạt nhỏ để hiệu chuẩn mô hình dòng GDN khớp với các mục tiêu hành vi.", "Cải thiện độ chính xác truy xuất RULER trung bình từ 5,29 đến 16,71 điểm phần trăm trên GDN, KDA, GDN2, Mamba-2 và RWKV-7, trong khi giữ nguyên hiệu năng language modeling và commonsense reasoning."], "sub_category": "Linear Attention / Model Initialization", "novelty_score": 78, "business_score": 65, "research_score": 86, "why_it_matters": "DAMI khắc phục điểm yếu lớn nhất của kiến trúc Linear Attention là khả năng ghi nhớ và truy xuất thông tin trong ngữ cảnh siêu dài mà không làm tăng chi phí tính toán hay tham số mô hình. Điều này tạo cơ sở vững chắc để triển khai các mô hình ngôn ngữ tuyến tính O(N) trong thực tế với chi phí bộ nhớ và suy luận thấp hơn nhiều so với Softmax Attention truyền thống.", "developer_score": 78, "importance_score": 80, "possible_use_cases": ["Áp dụng khởi tạo trọng số khi tiền huấn luyện (pre-training) hoặc fine-tuning các mô hình Gated Linear Attention và SSM (Mamba-2, RWKV-7, GDN) cho ngữ cảnh dài.", "Nâng cao độ chính xác truy xuất thông tin (RAG / Needle-in-a-haystack) trên các kiến trúc mô hình có độ phức tạp tuyến tính O(N).", "Xây dựng các trợ lý AI xử lý tài liệu dài với chi phí suy luận thấp hơn đáng kể so với Transformer Softmax Attention truyền thống."], "actionability_score": 80}