On the Fundamental Limits of Prefill-Based Decoding Length Prediction

{"tags": ["LLM Inference", "Decoding Length Prediction", "Inference Scheduling", "KV Cache", "Stochastic Processes", "Benchmarking"], "risks": ["Bộ lập lịch suy luận nếu chỉ dùng dự đoán giá trị trung bình mà bỏ qua phương sai ngẫu nhiên sẽ dễ gặp lỗi tràn bộ nhớ (OOM) hoặc phân bổ thừa gây lãng phí tài nguyên GPU.", "Kết quả benchmark dự đoán độ dài thiếu tin cậy nếu không kiểm soát chặt chẽ cấu hình lấy mẫu (temperature, top-p) và tập dữ liệu kiểm thử."], "category": "Research", "entities": ["MLP", "EGTP", "FiLM", "Mixture-of-Experts", "DecodingPredict"], "summary_vi": "Nghiên cứu phân tích giới hạn cơ bản của việc dự đoán độ dài sinh token (decode length) từ trạng thái ẩn của pha prefill trong suy luận LLM. Bằng cách mô hình hóa quá trình autoregressive decoding như một quá trình ngẫu nhiên dừng, tác giả chứng minh độ dài sinh tuân theo phân phối chuẩn từng prompt và quy luật phương sai affine. Kết quả thực nghiệm cho thấy sai số hệ thống từ việc lấy mẫu chi phối sai số mô hình, khiến nhiều kiến trúc predictor khác nhau (MLP, MoE, FiLM) đều tiệm cận giới hạn lý thuyết này, đồng thời đề xuất chuẩn benchmark mới cố định tham số suy luận.", "key_changes": ["Chứng minh độ dài decoding tuân theo phân phối chuẩn từng prompt với quy luật phương sai affine σ = αμ + b xuất phát từ bản chất quá trình ngẫu nhiên dừng (stopped stochastic process).", "Xác định sai số hệ thống do tính ngẫu nhiên khi lấy mẫu chi phối sai số mô hình, khiến các kiến trúc dự đoán khác nhau (MLP, FiLM, MoE...) đều hội tụ sát ngưỡng giới hạn lý thuyết.", "Chỉ ra các benchmark hiện tại nhầm lẫn giữa chất lượng bộ dự đoán và độ khó tác vụ khi thay đổi mô hình mục tiêu, bộ dữ liệu hoặc cấu hình lấy mẫu.", "Đề xuất quy chuẩn benchmark mới: cố định cấu hình mô hình, dữ liệu, tham số sampling và bổ sung các chỉ số sai số tương đối bên cạnh sai số tuyệt đối."], "sub_category": "LLM Inference Scheduling", "novelty_score": 82, "business_score": 70, "research_score": 88, "why_it_matters": "Xác lập giới hạn toán học cho bài toán dự đoán độ dài token từ prefill, chứng minh việc tối ưu kiến trúc predictor phức tạp mang lại hiệu quả biên không đáng kể do tính ngẫu nhiên cố hữu của quá trình decoding; từ đó định hình lại cách thiết kế thuật toán lập lịch và cấp phát tài nguyên cho hệ thống LLM serving quy mô lớn.", "developer_score": 80, "importance_score": 78, "possible_use_cases": ["Cải tiến bộ lập lịch suy luận LLM (vLLM, TensorRT-LLM) bằng cách kết hợp khoảng phương sai vào việc cấp phát bộ nhớ KV cache thay vì chỉ dựa vào dự đoán điểm.", "Đánh giá và chuẩn hóa các công cụ dự đoán tải trước (prefill predictor) phục vụ định tuyến truy vấn trong hạ tầng LLM serving.", "Tránh lãng phí tài nguyên R&D vào việc thiết kế mô hình dự đoán độ dài quá phức tạp khi các mô hình gọn nhẹ (MLP) đã chạm ngưỡng giới hạn."], "actionability_score": 75}