Bellman Language Models: Solving the Recurring Decisions of LLM Agents

{"tags": ["LLM Agents", "Markov Decision Process", "Bellman Language Models", "Discretize Then Decide", "Agent Optimization", "Cost Reduction", "Workflow Automation"], "risks": ["Không hiệu quả với các bài toán mở hoặc tác vụ đòi hỏi tạo nội dung chuyên sâu (như sửa lỗi mã nguồn SymPy) do không gian trạng thái không bão hòa.", "Phụ thuộc vào chất lượng và độ phủ của dữ liệu nhật ký (logs) ban đầu để ước lượng chính xác xác suất chuyển trạng thái và ma trận chi phí.", "Rủi ro gán nhãn sai hoặc mất ngữ cảnh quan trọng trong quá trình rời rạc hóa trạng thái (discretization), dẫn đến hành động sai lệch trước khi kịp chuyển giao về LLM."], "category": "Agents", "entities": ["Bellman Language Model (BLM)", "Richard Bellman", "Qwen3.8-27B", "Claude Opus 5.5", "τ²-bench telecom", "InventoryBench", "SymPy"], "summary_vi": "Nghiên cứu giới thiệu Bellman Language Model (BLM) cùng phương pháp 'Discretize, Then Decide' nhằm giải quyết các quyết định lặp lại trong các workflow agent có giới hạn. Thay vì để LLM suy luận lại quyết định qua từng lượt prompt, phương pháp này rời rạc hóa các cuộc hội thoại thành các trạng thái, ước lượng xác suất kết quả và chi phí để giải bài toán quá trình quyết định Markov (MDP). Nghiệm của MDP hoạt động như một bộ điều khiển (controller): tự động thực thi các hành động cố định (gọi tool, trả lời mẫu) đối với trạng thái đã biết và chỉ kích hoạt LLM đối với trạng thái mới. Kết quả cho thấy BLM giúp giảm từ 93% đến 98% số lần gọi LLM, hạ chi phí vận hành đột phá trên τ²-bench telecom và InventoryBench, nhưng ít hiệu quả với các bài toán sinh nội dung tự do như SymPy.", "key_changes": ["Tách biệt việc ra quyết định hành động khỏi quá trình sinh nội dung ngôn ngữ trong các quy trình agent có giới hạn (bounded agentic workflows).", "Đề xuất phương pháp 'Discretize, Then Decide': chuyển đổi lịch sử hội thoại thành các trạng thái rời rạc, ước tính xác suất và chi phí để mô hình hóa thành quá trình quyết định Markov (MDP).", "Giải tối ưu MDP một lần bằng phương trình Bellman và sử dụng nghiệm làm bộ điều khiển (controller) điều phối trước LLM.", "Controller tự động thực thi các hành vi cố định (gọi tool, câu trả lời mẫu) cho các trạng thái đã biết và chỉ gọi LLM khi gặp trạng thái mới.", "Cắt giảm 93% lượt gọi mô hình đối với Qwen3.8-27B (tăng độ chính xác từ 29% lên 96%) và giảm 98% chi phí gọi mô hình đối với Claude Opus 5.5 trên tập chuẩn τ²-bench telecom.", "Xác định rõ giới hạn: phương pháp không mang lại nhiều hiệu quả cho các tác vụ tập trung vào sáng tạo nội dung tự do hoặc giải quyết lỗi code phức tạp (như SymPy)."], "sub_category": "Agent Optimization & Control Theory", "novelty_score": 84, "business_score": 86, "research_score": 83, "why_it_matters": "Giải quyết điểm nghẽn lớn nhất của LLM agent trong môi trường production: chi phí vận hành cao, độ trễ lớn và tính bất định do phải suy luận lại các quyết định lặp lại. Bằng cách kết hợp lý thuyết điều khiển tối ưu cổ điển (phương trình Bellman) với LLM hiện đại, BLM chứng minh các mô hình mã nguồn mở nhỏ (như Qwen3.8-27B) có thể vượt qua mô hình thương mại cao cấp với chi phí vận hành giảm tới 98%.", "developer_score": 88, "importance_score": 86, "possible_use_cases": ["Tối ưu hóa hệ thống agent chăm sóc khách hàng và hỗ trợ kỹ thuật viễn thông có kịch bản lặp lại.", "Tự động hóa hệ thống quản lý kho vận và kiểm soát hàng tồn kho (Inventory Management) với chi phí tính toán tối thiểu.", "Xây dựng kiến trúc Hybrid Agent cho doanh nghiệp: kết hợp bộ điều khiển chính sách tiền tính toán với LLM dự phòng để giảm thiểu chi phí API và độ trễ.", "Tối ưu hóa các workflow gọi công cụ (tool-use workflows) có không gian trạng thái hữu hạn và bão hòa theo thời gian."], "actionability_score": 82}