BLPO: Beyond-Local Policy Optimization for Long-Horizon LLM Agents

{"tags": ["LLM Agents", "Reinforcement Learning", "Policy Optimization", "Long-Horizon Planning", "Credit Assignment", "BLPO"], "risks": ["Việc trừu tượng hóa hành động và trạng thái tiến độ có thể gặp lỗi biểu diễn khi áp dụng vào các miền tác vụ phức tạp ngoài môi trường mô phỏng chuẩn.", "Nhiễu từ việc gom nhóm các tác vụ quá dị biệt có thể ảnh hưởng tiêu cực đến ước lượng nếu cơ chế gán trọng số độ tin cậy không đủ chặt chẽ.", "Thực nghiệm mới kiểm chứng trên môi trường benchmark (ALFWorld, WebShop) với mô hình 1.5B và 7B, chưa đánh giá trên các mô hình siêu lớn hoặc môi trường sản xuất thực tế."], "category": "Agents", "entities": ["BLPO (Beyond-Local Policy Optimization)", "LLM Agents", "ALFWorld", "WebShop"], "summary_vi": "BLPO (Beyond-Local Policy Optimization) là phương pháp tối ưu hóa chính sách RL từng bước cho LLM agent thực hiện các tác vụ dài hạn. Thay vì bị giới hạn bởi số lượng rollout ít ỏi trong từng tác vụ riêng lẻ, BLPO ước lượng lợi thế tiến độ tác vụ bằng cách chia sẻ kinh nghiệm giữa các tác vụ và các bước cập nhật huấn luyện. Bằng cách trừu tượng hóa hành động theo chức năng, tóm lược tiền tố quỹ đạo và lưu trữ lợi nhuận trong bộ nhớ toàn cục có trọng số tin cậy, BLPO giúp mô hình 1.5B và 7B trên ALFWorld và WebShop nâng cao tỷ lệ thành công, rút ngắn quỹ đạo và hội tụ nhanh hơn mà không cần mạng critic hay tăng chi phí rollout.", "key_changes": ["Ước lượng task-progress advantage xuyên suốt các tác vụ và các đợt cập nhật huấn luyện thay vì chỉ dựa vào rollout cục bộ của từng tác vụ.", "Tóm lược tiền tố quỹ đạo (trajectory prefixes) thành các trạng thái tiến độ và trừu tượng hóa hành động theo chức năng để chia sẻ kinh nghiệm giữa các quyết định tương ứng.", "Tích lũy context-relative returns trong bộ nhớ toàn cục (global memory) kết hợp tổng hợp cân bằng và gán trọng số độ tin cậy để giảm độ lệch và nhiễu từ các tác vụ không đồng nhất.", "Bổ sung ưu thế toàn cục cho so sánh cục bộ và phân bổ tín nhiệm cấp quỹ đạo mà không cần mạng critic riêng hay rollout bổ sung."], "sub_category": "Reinforcement Learning & Policy Optimization", "novelty_score": 78, "business_score": 68, "research_score": 82, "why_it_matters": "BLPO giải quyết nút thắt lớn trong việc phân bổ tín nhiệm (credit assignment) của học tăng cường cho agent khi thực hiện chuỗi hành động dài hạn. Phương pháp giúp các mô hình ngôn ngữ kích thước vừa và nhỏ đạt hiệu suất vượt trội mà không đòi hỏi thêm tài nguyên tính toán cho mô hình critic hoặc số lượng rollout bổ sung.", "developer_score": 74, "importance_score": 76, "possible_use_cases": ["Huấn luyện các tác nhân AI (LLM agents) xử lý quy trình tương tác nhiều bước (long-horizon tasks) như điều hướng web và tự động hóa thao tác phức tạp.", "Cải thiện hiệu quả huấn luyện RL cho các mô hình kích thước nhỏ (1.5B, 7B) với ngân sách tính toán (compute budget) giới hạn.", "Tối ưu hóa độ dài hành trình thực thi (trajectory length) giúp giảm độ trễ và chi phí token trong hệ thống agent vận hành thực tế."], "actionability_score": 70}