Lifted Bellman Linear Programming for Offline Reinforcement Learning

{"tags": ["Offline RL", "Reinforcement Learning", "Bellman Optimality", "Linear Programming", "ALBUM", "LBLP", "Critic Training", "OGBench"], "risks": ["Tính bảo toàn nghiệm tối ưu phụ thuộc vào giả định môi trường có động lực học tất định (deterministic dynamics), chưa rõ hiệu quả trên môi trường ngẫu nhiên cao.", "Việc điều chỉnh hệ số phạt hinge penalty trong mạng nơ-ron có thể đòi hỏi tinh chỉnh siêu tham số cẩn thận giữa các bài toán khác nhau."], "category": "Research", "entities": ["Lifted Bellman Linear Program (LBLP)", "Approximate Lifted Bellman Unconstrained Minimization (ALBUM)", "OGBench", "FQL", "Bellman Optimality"], "summary_vi": "Nghiên cứu giới thiệu Lifted Bellman Linear Program (LBLP) và thuật toán ALBUM cho học tăng cường ngoại tuyến (Offline RL). Thay vì huấn luyện critic bằng hồi quy sai số bình phương với mục tiêu bootstrap cần target network và EMA, LBLP thiết lập tính tối ưu Bellman in-sample qua ràng buộc bất đẳng thức trên không gian liên hợp (Q, V). ALBUM chuyển đổi ràng buộc thành hàm phạt hinge loss và kỹ thuật stop-gradient, loại bỏ hoàn toàn nhu cầu dùng target network. Trên OGBench, ALBUM đạt hiệu năng ngang ngửa FQL và các phương pháp action-chunking, đồng thời tiêu tốn ít tham số và bộ nhớ GPU đỉnh thấp nhất.", "key_changes": ["Đề xuất Lifted Bellman Linear Program (LBLP) đưa bài toán tối ưu Bellman lên không gian liên hợp (Q, V) chỉ áp dụng ràng buộc trên tập dữ liệu mẫu (in-sample).", "Phát triển thuật toán ALBUM nới lỏng ràng buộc thành hinge penalties kết hợp stop-gradient, loại bỏ hoàn toàn target networks và cập nhật EMA.", "Sử dụng discounted returns trên quỹ đạo K-bước làm cận dưới tự nhiên mà không cần off-policy correction hoặc kỹ thuật action chunking.", "Đạt hiệu năng tương đương FQL và các phương pháp action-chunking trên OGBench nhưng sử dụng ít tham số nhất và mức đỉnh VRAM thấp nhất."], "sub_category": "Offline Reinforcement Learning", "novelty_score": 85, "business_score": 65, "research_score": 90, "why_it_matters": "Giải quyết bài toán bất ổn định cốt lõi của huấn luyện critic trong Offline RL bằng nền tảng lý thuyết quy hoạch tuyến tính vững chắc; loại bỏ cơ chế target network và EMA giúp đơn giản hóa kiến trúc và tiết kiệm đáng kể tài nguyên tính toán (VRAM).", "developer_score": 80, "importance_score": 80, "possible_use_cases": ["Huấn luyện tác tử Offline RL cho robot hoặc xe tự hành từ tập dữ liệu hành trình tĩnh với tài nguyên GPU hạn chế.", "Tối ưu hóa chính sách vận hành trong sản xuất công nghiệp và chuỗi cung ứng mà không cần tương tác thử-sai tốn kém.", "Đơn giản hóa pipeline huấn luyện học tăng cường ngoại tuyến, giảm độ phức tạp kỹ thuật khi loại bỏ cơ chế target network/EMA."], "actionability_score": 75}