When, Where, and What to Correct: Human-Guided Adaptive Residual Correction for Robot Policies

{"tags": ["Robotics", "Reinforcement Learning", "Imitation Learning", "Residual Policy", "Robot Manipulation"], "risks": ["Vẫn phụ thuộc vào việc con người phải can thiệp thủ công ban đầu để trích xuất không gian con hình học.", "Cần thiết kế hàm thưởng (task reward) phù hợp để RL định hướng được hành vi tối ưu trong không gian phần dư.", "Quy mô thử nghiệm hiện tại dừng lại ở 3 tác vụ thao tác cánh tay robot cụ thể, cần thêm đánh giá trên các hệ thống đa dạng hoặc robot di động."], "category": "Research", "entities": ["Adaptive Residual Correction", "ARC"], "summary_vi": "Nghiên cứu giới thiệu Adaptive Residual Correction (ARC), một mô-đun hậu huấn luyện tinh gọn sử dụng học tăng cường (RL) để học phần bù hiệu chỉnh trên nền chính sách bắt chước (imitation policy) đã đóng băng. Thay vì xem can thiệp của con người là mục tiêu bắt chước tuyệt đối, ARC dùng trạng thái tiền can thiệp để xác định thời điểm kích hoạt ('when'), dùng hình học can thiệp để thu hẹp không gian khám phá xuống không gian con 2-3 chiều ('where'), và dùng phần thưởng tác vụ để chốt hành động tối ưu ('what'). Thử nghiệm trên robot thực với 3 tác vụ chính xác cao cho thấy ARC nâng tỷ lệ thành công từ 33,3% lên 75,0%.", "key_changes": ["Đề xuất cơ chế Adaptive Residual Correction (ARC) - mô-đun hậu huấn luyện (post-training) bằng học tăng cường (RL) trên nền chính sách đã đóng băng (frozen policy).", "Tách biệt bài toán can thiệp thành 3 thành phần: 'when' (khi nào kích hoạt qua trạng thái tiền can thiệp), 'where' (khám phá ở đâu dựa trên hình học can thiệp), và 'what' (hành động thực thi tối ưu theo phần thưởng).", "Giới hạn không gian khám phá từ 7 bậc tự do xuống không gian con chỉ 2-3 chiều dựa trên can thiệp thưa của con người, giữ lại 96,0% - 97,7% độ lớn hiệu chỉnh bình phương.", "Cải thiện tỷ lệ hoàn thành tác vụ trung bình trên robot thực từ 33,3% lên 75,0% qua 3 nhiệm vụ đòi hỏi độ chính xác cao."], "sub_category": "Robot Learning / Reinforcement Learning", "novelty_score": 82, "business_score": 68, "research_score": 85, "why_it_matters": "Mô hình học bắt chước robot thường làm tốt phần lớn quỹ đạo nhưng dễ hỏng ở bước tiếp xúc chính xác cuối cùng. ARC giải quyết bài toán cục bộ này mà không cần cập nhật toàn bộ mô hình hay dò tìm mù quáng trên toàn không gian khớp, biến can thiệp của con người thành công cụ định hướng không gian con thay vì mục tiêu sao chép cứng nhắc, giúp tăng độ chính xác và giảm chi phí huấn luyện thực tế.", "developer_score": 76, "importance_score": 78, "possible_use_cases": ["Tinh chỉnh các tác vụ thao tác cơ khí, lắp ráp vi mạch hoặc cắm giắc linh kiện đòi hỏi độ chính xác chặng cuối (last-mile precision).", "Hậu huấn luyện an toàn cho cánh tay robot công nghiệp mà không làm hỏng hoặc thay đổi hành vi toàn cục đã học trước đó.", "Hệ thống robot hỗ trợ người dùng có khả năng tự động học hỏi và tinh chỉnh sai số cục bộ từ vài can thiệp mẫu thưa thớt của kỹ thuật viên."], "actionability_score": 70}