ACCT: Asymmetric Cross-LLM Context Transfer

{"tags": ["LLM", "KV Cache", "Inference Optimization", "Heterogeneous Systems", "Sparse KV", "Context Prefill", "Model Serving"], "risks": ["Hiện tại phương pháp chỉ áp dụng được cho các mô hình trong cùng một họ mô hình (cùng kiến trúc/biểu diễn tương đồng).", "Rủi ro mất mát thông tin cục bộ trên các tác vụ cực kỳ nhạy cảm với từng chi tiết nhỏ do cơ chế sparse KV.", "Độ phức tạp kỹ thuật khi tích hợp 3 thành phần chuyển đổi vào các inference engine tiêu chuẩn (như vLLM, TensorRT-LLM)."], "category": "Research", "entities": ["ACCT", "Cartographer", "Allocator", "Compiler"], "summary_vi": "ACCT (Asymmetric Cross-LLM Context Transfer) là phương pháp chuyển giao KV cache giữa các mô hình ngôn ngữ lớn có quy mô khác nhau trong cùng họ mô hình. Thay vì buộc mô hình đích phải xử lý lại toàn bộ ngữ cảnh (prefill) gây tốn kém tài nguyên trong các hệ thống triển khai đa mô hình, ACCT biến đổi KV cache của mô hình nguồn thành các trạng thái KV thưa (sparse KV) để mô hình đích sử dụng trực tiếp. Phương pháp gồm 3 thành phần: Cartographer (xác định token liên quan), Allocator (phân bổ ngân sách token theo từng layer và head) và Compiler (chuyển đổi KV). Thực nghiệm chứng minh ACCT giúp tăng tốc 6,5 đến 21,2 lần khi xử lý ngữ cảnh ~19K token và duy trì hiệu năng ổn định ngay cả khi giảm 75% dung lượng KV cache.", "key_changes": ["Đề xuất kỹ thuật ACCT cho phép tái sử dụng và chuyển giao KV cache giữa các LLM khác kích thước trong cùng một họ mô hình.", "Tách rời (decouple) việc tính toán ngữ cảnh (context computation) khỏi quá trình suy luận (inference) của mô hình đích.", "Xây dựng kiến trúc 3 thành phần gọn nhẹ: Cartographer (chọn lọc token), Allocator (phân bổ ngân sách KV cache), và Compiler (biến đổi KV sang dạng thưa cho mô hình đích).", "Tăng tốc từ 6,5x đến 21,2x so với prefill ngữ cảnh truyền thống ở độ dài khoảng 19K token.", "Đạt hoặc vượt hiệu năng suy luận gốc ngay cả khi cắt giảm tới 75% dung lượng KV cache."], "sub_category": "LLM Inference Optimization", "novelty_score": 85, "business_score": 78, "research_score": 88, "why_it_matters": "Trong các hệ thống AI phục vụ thực tế, việc luân chuyển ngữ cảnh lớn giữa các mô hình khác nhau thường chịu nút thắt cổ chai lớn ở chi phí tính toán prefill. ACCT mở ra khả năng tái sử dụng tính toán ngữ cảnh xuyên mô hình, giúp giảm đáng kể chi phí hạ tầng phần cứng GPU và độ trễ suy luận, tạo tiền đề quan trọng cho kiến trúc phục vụ mô hình bất đồng nhất quy mô lớn.", "developer_score": 80, "importance_score": 82, "possible_use_cases": ["Hệ thống định tuyến LLM phân tầng (speculative decoding hoặc model cascading): sử dụng mô hình nhỏ xử lý context rồi chuyển KV cache sang mô hình lớn suy luận.", "Tối ưu hóa hạ tầng serving LLM không đồng nhất, giảm tải chi phí GPU cho giai đoạn prefill ngữ cảnh dài lặp lại.", "Hệ thống đa tác vụ và Agentic workflows cần luân chuyển ngữ cảnh lớn giữa các model chuyên biệt cùng họ mà không phải tính toán lại từ đầu."], "actionability_score": 60}