KV$^2$: A Self-Refining KV Cache

{"tags": ["KV Cache", "LLM Inference", "Model Compression", "Long-Context", "Selective Reconstruction", "Memory Optimization"], "risks": ["Mã nguồn hiện tại mới ở dạng kho lưu trữ ẩn danh (anonymous repo), cần đánh giá tính ổn định trước khi đưa vào môi trường sản xuất.", "Nguy cơ mất mát thông tin quan trọng nếu proxy scorer giai đoạn đầu phân loại nhầm token (false negatives).", "Cần công sức tích hợp và tương thích sâu vào kernel suy luận của các framework serving hiện hành."], "category": "Research", "entities": ["KV^2", "RULER", "LongBench", "Needle-in-a-Haystack"], "summary_vi": "KV^2 là phương pháp nén KV cache độc lập với truy vấn (query-agnostic) dành cho mô hình ngữ cảnh dài trong kịch bản tái sử dụng ngữ cảnh (reusable context). Thay vì phải chọn giữa các bộ ước lượng nhẹ kém chính xác hoặc tái cấu trúc toàn bộ prompt gây tốn kém tính toán, KV^2 áp dụng cơ chế tái cấu trúc chọn lọc: dùng proxy scorer nhẹ để lọc ra tập con token quan trọng, sau đó chỉ xử lý lại tập con này để tính điểm loại bỏ (eviction score). Kết quả thực nghiệm cho thấy KV^2 vượt trội hơn 40 điểm phần trăm so với baseline trên RULER 16K ở mức ngân sách KV cache chỉ 2%, đồng thời duy trì điểm số cao nhất trên LongBench với thời gian nén và bộ nhớ đỉnh thấp hơn.", "key_changes": ["Đề xuất cơ chế nén KV cache độc lập truy vấn (query-agnostic) dựa trên tái cấu trúc chọn lọc (selective reconstruction).", "Sử dụng proxy scorer nhẹ ở giai đoạn đầu để lọc các token giàu thông tin thay vì quét toàn bộ prompt.", "Chỉ xử lý lại (reprocess) tập con token được chọn để tính điểm loại bỏ (eviction score) cuối cùng, giảm thiểu runtime và đỉnh tiêu thụ bộ nhớ.", "Vượt qua baseline tốt nhất hơn 40 điểm phần trăm trên benchmark RULER 16K khi ngân sách KV cache bị siết còn 2%.", "Đạt kết quả trung bình cao nhất trên LongBench trong phạm vi ngân sách KV cache 2%-10%."], "sub_category": "KV Cache Compression", "novelty_score": 76, "business_score": 80, "research_score": 85, "why_it_matters": "Bộ nhớ KV cache là rào cản lớn nhất về mặt chi phí và phần cứng khi triển khai các mô hình ngữ cảnh dài phục vụ hàng loạt truy vấn. KV^2 chứng minh rằng không cần phải tính toán lại toàn bộ ngữ cảnh để đạt chất lượng nén cao, mở ra hướng tối ưu hóa đáng kể dung lượng bộ nhớ và chi phí suy luận GPU ngay cả ở mức ngân sách bộ nhớ cực thấp.", "developer_score": 84, "importance_score": 78, "possible_use_cases": ["Tối ưu hóa chi phí lưu trữ KV cache cho các hệ thống phục vụ LLM có ngữ cảnh tái sử dụng nhiều lần (reusable prefilled context) như RAG hoặc chat trên tài liệu lớn.", "Triển khai các mô hình ngôn ngữ ngữ cảnh dài (long-context LLM) trên GPU có dung lượng VRAM hạn chế.", "Tăng batch size và throughput phục vụ truy vấn đồng thời trong các inference engine (như vLLM, SGLang, TensorRT-LLM)."], "actionability_score": 72}