Hierarchical Residual Policy Learning for Real-World Mobile Manipulation with Sparse Human Guidance

{"tags": ["Robotics", "Mobile Manipulation", "Reinforcement Learning", "Residual Learning", "Fine-Tuning", "Human-in-the-Loop", "TIAGo++"], "risks": ["Vẫn cần sự giám sát và can thiệp ban đầu từ con người để cung cấp tín hiệu định hình hàm giá trị.", "Nguy cơ rủi ro vật lý hoặc va chạm trong quá trình robot tự khám phá trực tuyến nếu chính sách cơ sở (base policy) có hiệu năng ban đầu quá thấp.", "Hiệu quả tổng quát hóa trên các dòng robot phần cứng có cấu trúc cơ khí khác biệt ngoài nền tảng TIAGo++ cần kiểm chứng thêm."], "category": "Research", "entities": ["HiRe-MoMa", "TIAGo++", "Mobile Manipulation (MoMa)", "Hierarchical Residual Architecture", "Expert-Guided Value Alignment", "Policy-Agnostic Residual"], "summary_vi": "HiRe-MoMa là khung làm việc hỗ trợ tinh chỉnh chính sách trực tiếp trên robot thao tác di động (MoMa) trong thế giới thực một cách ổn định và tiết kiệm mẫu. Phương pháp này đóng băng chính sách cơ sở (base policy) và học phần dư phân cấp (hierarchical residual) phân tách giữa đế di động và cánh tay cơ học, kết hợp định hướng giá trị critic từ can thiệp thưa của con người (<20% độ phủ) để hoàn tất tinh chỉnh chỉ sau khoảng 30 phút tương tác thực nghiệm.", "key_changes": ["Đề xuất HiRe-MoMa: khung tinh chỉnh tại chỗ (on-robot fine-tuning) cho hệ thống robot thao tác di động trong thế giới thực.", "Kiến trúc Hierarchical Residual: học các hiệu chỉnh cộng dồn (additive corrections) trên một base policy đã đóng băng bất kể kiến trúc nền tảng.", "Kỹ thuật Hierarchical Decoupling: phân tách residual thành 2 nhánh (đế di động và cánh tay thao tác) với điều kiện hóa một chiều nhằm giảm xung đột gradient.", "Cơ chế Expert-Guided Value Alignment: dùng can thiệp thưa từ con người (<20% độ phủ huấn luyện) để tái định hình hàm giá trị critic, dẫn hướng robot tự khám phá hiệu quả.", "Thực nghiệm thành công trên nền tảng TIAGo++ với chỉ khoảng 30 phút tương tác trực tuyến."], "sub_category": "Robotics & Mobile Manipulation", "novelty_score": 82, "business_score": 75, "research_score": 86, "why_it_matters": "Việc tinh chỉnh robot di động có cánh tay thao tác trong môi trường thực tế trước nay rất khó khăn do không gian hành động lớn và chi phí thử sai cao. HiRe-MoMa chứng minh khả năng tinh chỉnh hiệu quả trực tiếp trên robot thực chỉ trong 30 phút với rất ít sự can thiệp của con người, mở ra bước tiến thực tế cho việc triển khai robot tự hành trong đời sống.", "developer_score": 78, "importance_score": 80, "possible_use_cases": ["Tinh chỉnh nhanh robot dịch vụ trong môi trường động có con người như bệnh viện, văn phòng hoặc khách sạn.", "Tối ưu hóa thao tác gắp, chuyển hàng và phân loại sản phẩm trong nhà kho thông minh hoặc dây chuyền logistics.", "Thích nghi chính sách điều khiển từ mô phỏng sang thực tế (Sim-to-Real) trên phần cứng robot thực với chi phí thời gian và dữ liệu tối thiểu."], "actionability_score": 72}