GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices

{"tags": ["KV Cache", "Lossless Compression", "LLM Inference", "Edge AI", "Fused Kernel", "Personal Devices", "Memory Optimization"], "risks": ["Mức tăng tốc decode end-to-end trên W4A16 còn khiêm tốn (1.04–1.15×) do độ trễ giải nén bù trừ một phần băng thông tiết kiệm được.", "Hiệu quả nén trên định dạng FP8 E4M3 còn thấp (chỉ 1.09–1.14×) so với BF16.", "Cần duy trì các custom fused kernel trên từng kiến trúc phần cứng chuyên biệt (NVIDIA GPU, Apple Silicon), làm tăng chi phí bảo trì kỹ thuật."], "category": "Research", "entities": ["Group-Adaptive Additive Codec (GAAC)", "NVIDIA DGX Spark", "Apple M4", "BF16", "FP8 E4M3", "FP8 E5M2", "LLM"], "summary_vi": "GAAC (Group-Adaptive Additive Codec) là hệ thống nén và phục vụ KV cache không tổn hao (lossless) dành cho suy luận LLM trên thiết bị cá nhân. Bằng cách khai thác phần mũ dư thừa trong định dạng BF16 thông qua mã hóa base-plus-offset theo từng kênh và nhóm nhỏ, GAAC nén dữ liệu bit-for-bit mà không làm suy giảm chất lượng. Hệ thống tích hợp fused attention kernel giúp giải nén KV tiles trực tiếp khi chạy mà không cần bung toàn bộ cache, hỗ trợ cập nhật tăng dần và paged serving. Thử nghiệm trên 5 mô hình cho thấy GAAC đạt tỷ lệ nén 1.405–1.407× với BF16, giảm khoảng 26% bộ nhớ KV resident, tăng thông lượng serving 13–29%, đồng thời tăng tốc attention 1.19–1.27× trên NVIDIA DGX Spark (ngữ cảnh 64K) và 1.02–1.25× trên Apple M4.", "key_changes": ["Nén KV cache không tổn hao (lossless): Đạt tỷ lệ nén 1.405–1.407× trên BF16 và 1.09–1.30× trên FP8 (E4M3, E5M2) mà vẫn bảo toàn chính xác từng bit.", "Cơ chế mã hóa GAAC: Khai thác tính dư thừa của phần mũ (exponent redundancy) trong BF16 qua mã base-plus-offset theo kênh và thích ứng độ rộng mã theo các nhóm nhỏ.", "Fused attention kernel on-the-fly: Tái tạo các tile KV trực tiếp trong kernel attention khi tính toán, loại bỏ nhu cầu giải nén toàn bộ cache vào bộ nhớ.", "Tối ưu cho serving và paged attention: Hỗ trợ nén theo khối (block-wise) và các slot dung lượng cố định cho việc cập nhật cache tăng dần và paged serving.", "Cải thiện hiệu năng trên nhiều nền tảng: Tăng tốc decode attention ngữ cảnh 64K token từ 1.19–1.27× trên NVIDIA DGX Spark và 1.02–1.25× trên Apple M4; giảm 26% bộ nhớ KV resident và tăng thông lượng phục vụ 13–29%."], "sub_category": "LLM Inference Optimization", "novelty_score": 80, "business_score": 70, "research_score": 85, "why_it_matters": "KV cache là điểm nghẽn bộ nhớ chính hạn chế khả năng xử lý ngữ cảnh dài của LLM trên các thiết bị cá nhân. Khác với các phương pháp lượng tử hóa lossy làm giảm độ chính xác, GAAC đạt tỷ lệ nén lossless ~1.4× và tăng tốc độ xử lý thực tế trên cả GPU NVIDIA lẫn chip Apple M4, mang lại giải pháp mở rộng cửa sổ ngữ cảnh và tăng thông lượng phục vụ mà không đánh đổi chất lượng đầu ra.", "developer_score": 82, "importance_score": 78, "possible_use_cases": ["Triển khai LLM ngữ cảnh dài (long-context) trên thiết bị cá nhân và thiết bị biên có dung lượng VRAM hạn chế (như Mac Apple Silicon, PC GPU rời).", "Tối ưu hạ tầng serving LLM (như vLLM, TensorRT-LLM) để phục vụ nhiều luồng người dùng hơn trong cùng một hạn mức bộ nhớ KV cache.", "Tăng tốc các bước decode token dài ở chế độ W4A16 mà không làm giảm độ chính xác của mô hình."], "actionability_score": 72}