TokenCast: Forecasting Token Consumption During LLM Agent Execution

{"tags": ["LLM Agents", "Token Forecasting", "Cost Optimization", "SWE-bench", "Budget Control", "Context Growth"], "risks": ["Thử nghiệm kiểm soát ngân sách mới thực hiện ở dạng phát lại ngoại tuyến (offline replay), cần kiểm chứng thêm trong môi trường tương tác trực tiếp (online execution).", "Biểu diễn chi phí có thể phụ thuộc vào tác vụ và mẫu prompt cụ thể, cần dữ liệu huấn luyện phù hợp khi áp dụng cho miền bài toán mới."], "category": "Agents", "entities": ["TokenCast", "SWE-bench Verified", "DEFENSE-SEU"], "summary_vi": "TokenCast là giải pháp dự báo lượng token tiêu thụ theo thời gian thực trong quá trình thực thi của LLM agent. Bằng cách học biểu diễn chi phí có thể kết hợp (composable cost representation) cho từng phân đoạn tác vụ và tính toán sự phình to ngữ cảnh, TokenCast cập nhật dự báo liên tục mà không tốn thêm lệnh gọi LLM (thời gian tính toán trung bình 32,8 ms trên SWE-bench Verified), giúp giảm 14,5% sai số dự báo và giảm 21,3% lượng token tiêu thụ trong bài toán kiểm soát ngân sách.", "key_changes": ["Đề xuất cơ chế biểu diễn chi phí dạng kết hợp (composable cost representation) cho từng phân đoạn thực thi, ghi nhận cả lượng token tiêu thụ riêng và mức tăng kích thước ngữ cảnh.", "Tính toán chi phí tích lũy khi ngữ cảnh tích tụ từ các phân đoạn trước bị đọc lại nhiều lần ở các bước suy luận sau.", "Cập nhật dự báo theo thời gian thực khi có quan sát mới mà không cần gọi thêm LLM, độ trễ trung bình chỉ 32,8 ms trên SWE-bench Verified.", "Giảm sai số tuyệt đối trung bình (MAE) 14,5% so với mô hình so sánh tốt nhất và tiết kiệm 21,3% token so với chính sách ngân sách cố định trong thử nghiệm offline replay."], "sub_category": "Agent Cost Optimization", "novelty_score": 80, "business_score": 86, "research_score": 83, "why_it_matters": "Lượng token tiêu thụ của LLM agent thường biến động hơn 1 bậc độ lớn và ngữ cảnh phình to làm tăng vọt chi phí ở các bước sau, gây rủi ro ngân sách lớn khi triển khai sản phẩm. TokenCast cung cấp giải pháp dự báo siêu nhẹ, không tốn thêm token, giúp doanh nghiệp và kỹ sư kiểm soát chi phí thực tế và tăng tính ổn định của hệ thống agent.", "developer_score": 84, "importance_score": 82, "possible_use_cases": ["Tự động kiểm soát ngân sách và kích hoạt cơ chế dừng sớm (early stopping) cho các coding agent hoặc agent tự động hóa phức tạp.", "Cấp phát hạn mức token động (dynamic token quota allocation) trong các hệ thống multi-agent chạy production.", "Ước lượng và báo giá chi phí theo thời gian thực cho các dịch vụ cung cấp giải pháp LLM agent cho khách hàng B2B."], "actionability_score": 85}