Request Order Matters: Cache-History Sensitivity in Selective KV-Cache Reuse for Rolling Agents

{"tags": ["KV-Cache", "Rolling Agents", "LLM Inference", "Cache-History Sensitivity", "Selective Recomputation", "TTFT", "CacheBlend"], "risks": ["Vẫn tồn tại 26,1% tỷ lệ biến thiên câu trả lời ở ngân sách tái tính toán 5%, chưa đạt độ chính xác 100% như full prefill.", "Phương pháp phụ thuộc vào việc phân định rõ ranh giới tài liệu để đảm bảo tính liền kề (contiguity), khó áp dụng nếu dữ liệu đầu vào phân mảnh hoặc không có cấu trúc.", "Đòi hỏi can thiệp sâu vào tầng bộ nhớ cache của inference engine, làm tăng độ phức tạp trong khâu lập lịch request."], "category": "Research", "entities": ["CacheBlend", "LLM", "TTFT"], "summary_vi": "Nghiên cứu chỉ ra hiện tượng phụ thuộc lịch sử cache (cache-history sensitivity) trong các agent chạy dài hạn sử dụng cơ chế tái sử dụng KV-cache phi tiền tố: cùng một prompt không đổi có thể trả về câu trả lời khác nhau tùy thuộc vào thứ tự các request được xử lý trước đó. Với ngân sách tái tính toán 5%, phương pháp document-aligned recomputation giúp giảm độ biến thiên câu trả lời từ 69,0% (ở chính sách token top-k của CacheBlend) xuống còn 26,1%, đồng thời tăng độ trung thực so với full prefill thêm 34,5–52,5 điểm phần trăm. Cả hai chính sách đều đạt mức tăng tốc TTFT trung vị 5,7 lần, và nghiên cứu xác định tính liền kề (contiguity) là yếu tố quyết định độ ổn định của selective recomputation.", "key_changes": ["Phát hiện hiện tượng cache-history sensitivity: thứ tự request xử lý trước đó khiến cùng một prompt sinh ra câu trả lời khác nhau khi tái sử dụng KV-cache phi tiền tố.", "Đề xuất phương pháp document-aligned recomputation thay vì chính sách token top-k của CacheBlend.", "Giảm tỷ lệ biến thiên câu trả lời theo thứ tự request từ 69,0% (token top-k) xuống còn 26,1% ở cùng mức ngân sách tái tính toán 5%.", "Tăng độ trung thực (fidelity) so với prefill đầy đủ từ 34,5 đến 52,5 điểm phần trăm so với token top-k.", "Đạt mức tăng tốc thời gian tới token đầu tiên (TTFT) trung vị khoảng 5,7 lần.", "Xác định tính liền kề (contiguity) là yếu tố then chốt giúp selective recomputation đạt độ ổn định cao."], "sub_category": "KV-Cache Optimization", "novelty_score": 82, "business_score": 70, "research_score": 88, "why_it_matters": "Nghiên cứu phát hiện lỗ hổng nghiêm trọng về tính bất định trong các kỹ thuật tối ưu hóa KV-cache phi tiền tố hiện nay, nơi thứ tự xử lý request làm biến đổi câu trả lời của mô hình. Việc áp dụng phương pháp tái tính toán căn chỉnh theo tài liệu dựa trên tính liền kề giúp giải quyết sự thiếu nhất quán này cho các agent dài hạn, đồng thời duy trì khả năng tăng tốc độ phản hồi (TTFT) tới 5,7 lần.", "developer_score": 85, "importance_score": 80, "possible_use_cases": ["Tối ưu hóa hạ tầng LLM serving cho long-running agents có cửa sổ tài liệu trượt (rolling document window).", "Nâng cấp cơ chế quản lý và tái sử dụng KV-cache phi tiền tố trong các inference engine (như CacheBlend, vLLM, SGLang).", "Đảm bảo tính nhất quán (consistency) và tái lập kết quả cho các trợ lý AI đọc và cập nhật tài liệu liên tục.", "Cắt giảm độ trễ TTFT trong các ứng dụng RAG đa vòng mà không làm suy giảm nghiêm trọng độ chính xác."], "actionability_score": 74}