ValueDiff: Value-Geometric KV Cache Eviction for Sink-Suppressed LLMs

{"tags": ["KV Cache Eviction", "LLM Inference", "Value Geometry", "Attention Sinks", "Gated Attention", "Context Compression"], "risks": ["Chi phí tính toán bổ sung (overhead) khi phải tính giá trị trung bình cache và khoảng cách L2 tại mỗi bước decoding và ranh giới block prefill.", "Vẫn có sự suy giảm hiệu năng nhất định (1-12%) so với cache đầy đủ (dense cache) trên một số tác vụ phức tạp.", "Giả định max-entropy về attention tương lai có thể chưa tối ưu cho các tác vụ có mẫu chú ý cục bộ đặc thù."], "category": "Research", "entities": ["ValueDiff", "RULER", "LongBench", "MATH-500"], "summary_vi": "ValueDiff là phương pháp giải phóng bộ nhớ đệm KV (KV cache eviction) dựa trên đặc tính hình học của vector Value dành cho các LLM hiện đại bị triệt tiêu attention sink (do áp dụng QK-norm, gated attention, learned sinks, logit softcapping). Thay vì dựa vào attention sink hay vector Key vốn kém hiệu quả trên các kiến trúc này, ValueDiff xếp hạng và loại bỏ token dựa trên độ lệch L2 của vector Value so với trung bình cache (tối thiểu hóa xáo trộn dưới giả định max-entropy). Phương pháp giúp giữ lại 88-99% hiệu năng trên RULER (budget 2k), 92% trên LongBench (budget 4k), và vượt baseline tới ~20 điểm trên MATH-500 ở mức 25% cache.", "key_changes": ["Phát hiện mối liên hệ: ở các LLM hiện đại (dùng QK-normalization, gated attention, learned attention sinks, logit softcapping), sự suy yếu của attention sink đi kèm với độ phân tán vector Value cao hơn Key.", "Đề xuất ValueDiff: phương pháp giải phóng (eviction) KV cache dựa trên hình học vector Value, xếp hạng token theo độ lệch chuẩn L2 của vector Value so với giá trị trung bình của cache.", "Chứng minh cơ sở lý thuyết: điểm số ValueDiff tương ứng với phương pháp giảm thiểu xáo trộn tối thiểu (minimal-disturbance) dưới giả định max-entropy về attention trong tương lai.", "Đánh giá thực nghiệm: trên RULER (budget 2k) giữ 88-99% hiệu năng dense trên 7 model (tốt nhất 6/7); trên LongBench (budget 4k) đạt trung bình 92% (so với 83% của baseline mạnh nhất); trên MATH-500 ở mức 25% cache vượt baseline tới ~20 điểm trên mô hình gated-attention."], "sub_category": "KV Cache Optimization", "novelty_score": 85, "business_score": 80, "research_score": 88, "why_it_matters": "Các kỹ thuật nén KV cache truyền thống phụ thuộc lớn vào attention sink - hiện tượng bị suy giảm mạnh trong các kiến trúc LLM mới. ValueDiff cung cấp giải pháp dựa trên hình học vector Value độc lập với query, cho phép cắt giảm tới 75% dung lượng KV cache mà vẫn duy trì 88-99% hiệu năng so với dense cache. Điều này giúp giảm trực tiếp chi phí phần cứng GPU và tăng hiệu quả phục vụ mô hình ngữ cảnh dài trong thực tế mà không cần huấn luyện lại.", "developer_score": 84, "importance_score": 82, "possible_use_cases": ["Tối ưu hóa dung lượng VRAM cho inference engine phục vụ các LLM hiện đại có gated attention hoặc QK-normalization.", "Duy trì khả năng xử lý ngữ cảnh dài (long-context reasoning, RAG) với ngân sách bộ nhớ đệm KV bị giới hạn (ví dụ: chỉ giữ 25% cache).", "Tăng thông lượng (throughput) và giảm chi phí hạ tầng khi phục vụ LLM đồng thời cho nhiều người dùng."], "actionability_score": 78}