ARK: Avoiding Routing Collisions for KV Cache Transfer in Disaggregated LLM Inference

{"tags": ["LLM Inference", "Disaggregated Inference", "KV Cache", "ECMP", "RDMA", "Network Routing", "ARK"], "risks": ["Kết quả hiện mới được kiểm chứng qua mô phỏng RDMA cấp gói tin (simulation), chưa có dữ liệu đo đạc thực tế trên cụm GPU quy mô lớn.", "Chi phí overhead của việc điều phối one-to-all giữa các nút gửi có thể tăng khi số lượng luồng và quy mô cụm mở rộng mạnh.", "Chưa đánh giá đầy đủ tác động khi môi trường mạng có nhiều luồng dữ liệu ngắn (mice flows) xen kẽ phức tạp."], "category": "Research", "entities": ["ARK", "ECMP", "RDMA", "GPU"], "summary_vi": "ARK là giải pháp điều phối phân tán đặt trước đường truyền cho các luồng dữ liệu lớn (elephant flows) khi truyền KV cache trong mô hình suy luận LLM phân tách. Bằng cách chủ động chọn cổng nguồn để phân bổ luồng qua các spine switch khác nhau trên cơ chế băm ECMP mà không cần sửa đổi switch mạng, ARK giảm FCT trung bình tới 27,3%, giảm FCT P95 tới 34,0% và giảm thời gian tạo token đầu tiên (TTFT) tới 12,9% theo mô phỏng RDMA.", "key_changes": ["Chỉ ra điểm nghẽn của giao thức ECMP không trạng thái khi truyền KV cache giữa các cụm GPU prefill và decode: các luồng elephant kéo dài gây xung đột băm (hash collisions) làm nghẽn liên kết spine và kéo dài thời gian truyền.", "Đề xuất ARK: cơ chế phân tán điều phối đặt trước đường truyền cho các luồng elephant flow mà không cần can thiệp phần cứng switch hay sắp xếp lại gói tin ở phía nhận.", "ARK điều phối các nút gửi lựa chọn cổng nguồn (source ports) sao cho hàm băm định tuyến các luồng đồng thời vào các switch spine riêng biệt.", "Mô phỏng RDMA cấp gói tin cho thấy ARK giúp giảm FCT trung bình tới 27,3%, giảm FCT P95 tới 34,0% ở mức tải trung bình và giảm TTFT trung bình tới 12,9%."], "sub_category": "LLM Inference Networking", "novelty_score": 75, "business_score": 70, "research_score": 85, "why_it_matters": "Xu hướng suy luận LLM tách rời prefill và decode giúp tăng hiệu suất sử dụng GPU nhưng lại biến việc truyền tải KV cache thành điểm nghẽn mạng nghiêm trọng. ARK giải quyết tình trạng xung đột định tuyến ECMP bằng giải pháp thuần phần mềm tại sender (thông qua chọn source port) mà không cần thay đổi phần cứng switch đắt đỏ, giúp cải thiện trực tiếp chỉ số TTFT và FCT của cụm suy luận AI.", "developer_score": 72, "importance_score": 80, "possible_use_cases": ["Tối ưu hóa băng thông mạng cho các hệ thống suy luận LLM phân tách cụm prefill và decode (Disaggregated Serving).", "Tăng tốc độ truyền KV cache qua mạng RDMA RoCEv2/InfiniBand trong các trung tâm dữ liệu AI mà không cần thay thế switch mạng.", "Cải thiện chỉ số độ trễ phản hồi token đầu tiên (TTFT) và đảm bảo SLA P95/P99 cho các dịch vụ LLM API thương mại."], "actionability_score": 65}