Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention

{"tags": ["sparse attention", "long context", "subquadratic attention", "latent sparse attention", "D-LSA", "N-LSA", "agentic workflows", "LLM efficiency"], "risks": ["Độ phức tạp kỹ thuật khi tối ưu hóa kernel phân cụm phân cấp trên các kiến trúc phần cứng GPU/TPU cụ thể", "Distilled-LSA yêu cầu tài nguyên tính toán bổ sung để chưng cất cho từng mô hình pre-trained hiện có", "Khả năng suy giảm hiệu năng đối với các tác vụ truy tìm chi tiết vi mô (fine-grained retrieval) nếu cụm phân cấp bỏ sót key quan trọng"], "category": "Research", "entities": ["Latent Sparse Attention", "LSA", "Distilled-LSA", "Native-LSA", "GLM-5.3-FLASH", "QWEN-3.8-27B"], "summary_vi": "Latent Sparse Attention (LSA) là phương pháp chú ý thưa hiệu quả giúp duy trì độ chính xác ở ngữ cảnh siêu dài (>1M token) bằng cách phân cụm phân cấp các key trong không gian tiềm ẩn đã học, giúp query chấm điểm theo cụm thay vì từng key riêng lẻ. Nghiên cứu giới thiệu hai biến thể: Distilled-LSA (D-LSA) áp dụng cho mô hình pre-trained qua chưng cất và Native-LSA (N-LSA) huấn luyện trực tiếp qua next-token loss. Trên GLM-5.3-FLASH (QWEN-3.8-27B) ở 10M token, D-LSA tăng tốc một lớp attention lên 22,7x (72,4x) khi prefill và 4,6x (42,5x) khi decode so với sparse (full) attention gốc mà vẫn giữ độ chính xác; N-LSA đạt chất lượng tương đương full attention với tốc độ huấn luyện nhanh hơn 1,6x/layer ở 128k token.", "key_changes": ["Phân cụm phân cấp các key trong không gian tiềm ẩn (learned latent space), cho phép query chấm điểm theo cụm thay vì tính toán từng key riêng lẻ", "Giới thiệu Distilled-LSA (D-LSA) để áp dụng vào các mô hình pre-trained thông qua kỹ thuật chưng cất tri thức", "Giới thiệu Native-LSA (N-LSA) được huấn luyện từ đầu chỉ với hàm mất mát next-token loss", "Tăng tốc một lớp attention ở 10M token trên GLM-5.3-FLASH / QWEN-3.8-27B: D-LSA nhanh hơn 22,7x (so với sparse attention gốc) và 72,4x (so với full attention) khi prefill, cùng 4,6x - 42,5x khi decode mà vẫn duy trì độ chính xác tương đương", "N-LSA đạt độ chính xác ngang full attention với tốc độ huấn luyện nhanh hơn 1,6x mỗi lớp ở 128k token"], "sub_category": "Efficient Attention", "novelty_score": 82, "business_score": 80, "research_score": 88, "why_it_matters": "Các quy trình AI Agent phức tạp ngày càng phụ thuộc vào cửa sổ ngữ cảnh siêu dài, nhưng cơ chế full attention có độ phức tạp bậc hai gây tắc nghẽn tài nguyên nghiêm trọng ở quy mô trên 1M token. LSA khắc phục hạn chế về chi phí tính toán và hiện tượng giảm độ chính xác của các kỹ thuật sparse attention trước đây, cho phép mở rộng ngữ cảnh lên 10M token với tốc độ prefill/decode khả thi cao cho cả nghiên cứu lẫn ứng dụng thương mại.", "developer_score": 80, "importance_score": 85, "possible_use_cases": ["Tối ưu hóa chi phí hạ tầng và độ trễ phục vụ suy luận (inference serving) cho mô hình LLM ở ngữ cảnh siêu dài (lên tới 10M token)", "Xây dựng các agent tự hành xử lý quy trình làm việc dài hạn (long-horizon agentic workflows) như nghiên cứu khoa học mở hoặc phân tích toàn diện kho mã nguồn lớn", "Truy xuất và tổng hợp thông tin từ khối tài liệu đồ sộ (hồ sơ pháp lý, tài chính, y khoa) vượt ngưỡng 1M token mà không cần chunking phức tạp", "Tăng tốc độ và giảm chi phí GPU khi huấn luyện tiền kỳ (pre-training) hoặc fine-tuning mô hình ngữ cảnh dài"], "actionability_score": 70}