CompKV: Compensation-Aware KV Selection for Long-Context LLM Inference

{"tags": ["CompKV", "KV Cache", "Sparse Attention", "Long-Context LLMs", "LLM Inference", "Memory Traffic"], "risks": ["Việc xấp xỉ phần dư theo khối có thể làm mất mát thông tin đối với các tác vụ yêu cầu độ chính xác cực đoan ở từng vị trí token đơn lẻ.", "Chưa rõ mức độ phức tạp khi tích hợp cơ chế thực thi bất đồng bộ vào các kiến trúc inference engine hiện tại ngoài môi trường thử nghiệm.", "Hiệu quả thực tế có thể phụ thuộc vào đặc tính phân bổ attention của từng kiến trúc mô hình khác nhau."], "category": "Research", "entities": ["CompKV", "RULER", "LongBench-Pro"], "summary_vi": "CompKV là khung sparse attention nhận biết bù trừ (compensation-aware) đầu tiên cho suy luận LLM ngữ cảnh dài. Khác với các phương pháp hiện tại chọn token trước rồi mới bù trừ độc lập cho phần đuôi bị lược bỏ, CompKV chia token thành các khối và tối ưu hóa việc chọn lọc dựa trên sai số bù trừ ước tính (kết hợp giữa attention mass và độ biến thiên logit nội khối). Cùng với kỹ thuật thực thi bất đồng bộ, CompKV đạt hiệu năng dẫn đầu trong các phương pháp sparse attention trên RULER và LongBench-Pro, đồng thời tăng tốc độ self-attention lên đến 6,85 lần so với full attention.", "key_changes": ["Giới thiệu CompKV: Khung sparse attention nhận biết bù trừ (compensation-aware) đầu tiên, gắn kết trực tiếp khâu chọn lọc KV token với cơ chế bù trừ downstream.", "Phân tích lý thuyết chứng minh phần dư (residual) của phép bù trừ giá trị trung bình cấp khối phụ thuộc vào cả attention mass của khối và độ biến thiên logit nội khối.", "Xây dựng tiêu chí chọn lọc khả thi bằng cách xấp xỉ phần dư qua các chỉ số thống kê cấp khối gọn nhẹ.", "Thiết kế cơ chế thực thi bất đồng bộ hiệu quả giúp tối ưu hóa luồng tính toán.", "Đạt tốc độ self-attention nhanh hơn tới 6,85 lần so với full attention và vượt trội hơn các baseline sparse attention trên RULER và LongBench-Pro."], "sub_category": "KV Cache & Sparse Attention", "novelty_score": 82, "business_score": 72, "research_score": 85, "why_it_matters": "Băng thông bộ nhớ KV cache là nút thắt cổ chai lớn nhất trong suy luận LLM ngữ cảnh dài. CompKV giải quyết sự thiếu liên kết giữa chọn lọc token và bù trừ phần đuôi, chứng minh khả năng tăng tốc độ self-attention 6,85 lần mà vẫn duy trì chất lượng vượt trội so với các giải pháp sparse attention hiện nay.", "developer_score": 78, "importance_score": 78, "possible_use_cases": ["Tích hợp vào các engine phục vụ suy luận LLM (như vLLM, TensorRT-LLM, SGLang) để giảm nghẽn băng thông bộ nhớ KV cache khi xử lý văn bản dài.", "Tối ưu hóa các hệ thống RAG và trợ lý AI phân tích tài liệu quy mô lớn (hợp đồng pháp lý, sách, mã nguồn) với độ trễ thấp hơn.", "Giảm chi phí hạ tầng GPU khi chạy inference cho các mô hình ngữ cảnh dài (long-context LLMs)."], "actionability_score": 68}