DCKV: Learned Transform Coding of the Prompt KV Cache in Hybrid Language Models

{"tags": ["KV Cache", "Model Compression", "Hybrid Models", "DCKV", "Transform Coding", "Long Context", "Inference Optimization"], "risks": ["Chi phí tính toán giải mã (codec overhead) có thể làm tăng nhẹ độ trễ nếu thiếu GPU kernel chuyên dụng.", "Mức độ khái quát hóa trên các kiến trúc mô hình khác ngoài mô hình ngôn ngữ lai chưa được đề cập rõ.", "Suy giảm hiệu năng từ 1.8 đến 3.6 điểm có thể ảnh hưởng đến các tác vụ đòi hỏi độ chính xác tuyệt đối."], "category": "Research", "entities": ["DCKV", "Qwen3.5-2B", "bf16"], "summary_vi": "DCKV là bộ codec khả vi đầu tiên được huấn luyện end-to-end để nén prompt KV cache trong các mô hình ngôn ngữ lai (hybrid language models). Bằng cách tối ưu hóa đồng thời phép biến đổi, lượng tử hóa và mô hình entropy cùng với mô hình ngôn ngữ đóng băng, DCKV giúp giảm kích thước lưu trữ token hơn 55 lần so với bf16 (suy hao tối đa 1.8 điểm) và hơn 100 lần (suy hao tối đa 3.6 điểm) trên 3 benchmark ngữ cảnh dài với Qwen3.5-2B.", "key_changes": ["Giới thiệu DCKV - bộ codec khả vi (differentiable codec) đầu tiên được huấn luyện end-to-end cho prompt KV cache trong hybrid language models.", "Tối ưu đồng thời transform, quantizer và entropy models (có điều kiện theo prompt tokens và vị trí lân cận) đối ứng với mô hình ngôn ngữ đóng băng.", "Hàm mục tiêu cân bằng giữa độ dài mã nén và độ lệch đầu ra của mô hình.", "Đạt tỷ lệ nén trên Qwen3.5-2B: giảm hơn 55 lần dung lượng so với bf16 với độ suy hao tối đa 1.8 điểm, và hơn 100 lần với độ suy hao tối đa 3.6 điểm trên 3 benchmark long-context."], "sub_category": "KV Cache Compression", "novelty_score": 85, "business_score": 80, "research_score": 88, "why_it_matters": "KV cache là nút thắt lớn nhất về bộ nhớ và I/O khi xử lý ngữ cảnh dài. DCKV chứng minh kỹ thuật learned transform coding có thể nén KV cache tới 55x-100x với suy hao hiệu năng rất thấp, giúp cắt giảm mạnh chi phí hạ tầng lưu trữ và truyền tải prompt cache trong thực tế.", "developer_score": 75, "importance_score": 78, "possible_use_cases": ["Lưu trữ và tái sử dụng prompt cache dung lượng lớn cho hệ thống RAG và xử lý văn bản dài.", "Giảm băng thông truyền tải KV cache giữa các node GPU hoặc giữa VRAM và bộ nhớ CPU.", "Tăng thông lượng (throughput) phục vụ mô hình ngôn ngữ lai trên hạ tầng VRAM hạn chế."], "actionability_score": 60}