Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

67 RADAR
Research Robotics & Embodied AI · 1 nguồn đối chiếu · 2026-09-17 16:38:37 +0000 UTC

HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface

Nguồn: arXiv AI
↗

HIL-UMI là khung làm việc hậu huấn luyện có con người can thiệp (Human-in-the-Loop) cho mô hình Vision-Language-Action (VLA) sử dụng Universal Manipulation Interface (UMI) cầm tay mà không cần chạy trực tiếp trên robot vật lý. Trong quá trình thao tác, hệ thống truy vấn policy song song trên cùng luồng quan sát, dùng Energy Score để phát hiện trạng thái lệch phân phối (OOD) nhằm kích hoạt thu thập dữ liệu có chủ đích, đồng thời tinh chỉnh hàm ước lượng lợi thế để dẫn đường cho quá trình Advantage-conditioned Behavioral Cloning. Phương pháp vượt trội hơn SFT và HG-DAgger trên các tác vụ thực tế với thời gian thu thập tối ưu hơn.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

HIL-UMI giải quyết điểm nghẽn lớn nhất trong việc tinh chỉnh mô hình VLA cho robot: chi phí cao, rủi ro an toàn và sự hao mòn khi phải chạy thử nghiệm trên robot vật lý. Bằng cách tách rời việc thu thập dữ liệu tương tác khỏi robot thực thông qua UMI cầm tay, phương pháp này mở đường cho việc thu thập dữ liệu có con người can thiệp trên quy mô lớn, phi tập trung và tối ưu chi phí.

Developer 73
Business 74
Novelty 82
Actionable 74

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Large-scale vision-language-action (VLA) models provide powerful priors for robot manipulation, yet adapting them to a specific deployment remains challenging. Supervised fine-tuning (SFT) on task-specific demonstrations provides a step toward deployment, but faces two persistent limitations: static data provide limited coverage of out-of-distribution states, and standard imitation objectives do not distinguish progressing behavior from less useful data. Interactive post-training can address these limitations, but typically requires repeated policy execution and human intervention on a physical robot. We introduce HIL-UMI, a policy-guided Universal Manipulation Interface (UMI) framework for robot-free human-in-the-loop VLA post-training. During handheld UMI demonstrations, HIL-UMI queries the current policy on the same observation stream without executing its predictions. The Energy Score compares the human action trajectory with policy inference and triggers collection when their discrepancy indicates an out-of-distribution region. In a separate feedback loop, low online advantage predictions identify essential segments for refining a progress-based advantage estimator. The updated estimator then guides advantage-conditioned behavioral cloning using a balanced mixture of base demonstrations and new policy data. This design preserves the iterative and policy-aware nature of human-in-the-loop learning while decoupling data collection from robot deployment. Experiments on four real-world tasks spanning long-horizon and precise manipulation show that HIL-UMI achieves consistent improvement over SFT and benefits from both targeted collection and advantage refinement. Moreover, HIL-UMI outperforms HG-DAgger on Clean Up Table with lower per-frame collection time, suggesting a scalable path for VLA post-training across operators and locations.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-09-18 10:24:45 +0000 UTC
{"tags": ["VLA", "Robotics", "Embodied AI", "HIL-UMI", "Human-in-the-Loop", "Post-Training", "Behavioral Cloning", "UMI"], "risks": ["Khoảng cách động học và phần cứng (embodiment gap) giữa thiết bị cầm tay UMI và cánh tay robot thực tế khi triển khai.", "Rủi ro phân loại sai trạng thái OOD nếu ngưỡng Energy Score không được hiệu chuẩn chính xác giữa các tác vụ khác nhau.", "Chất lượng dữ liệu vẫn phụ thuộc vào kỹ năng thao tác chuẩn xác của người cầm thiết bị UMI."], "category": "Research", "entities": ["HIL-UMI", "Universal Manipulation Interface (UMI)", "Vision-Language-Action (VLA)", "HG-DAgger", "SFT"], "summary_vi": "HIL-UMI là khung làm việc hậu huấn luyện có con người can thiệp (Human-in-the-Loop) cho mô hình Vision-Language-Action (VLA) sử dụng Universal Manipulation Interface (UMI) cầm tay mà không cần chạy trực tiếp trên robot vật lý. Trong quá trình thao tác, hệ thống truy vấn policy song song trên cùng luồng quan sát, dùng Energy Score để phát hiện trạng thái lệch phân phối (OOD) nhằm kích hoạt thu thập dữ liệu có chủ đích, đồng thời tinh chỉnh hàm ước lượng lợi thế để dẫn đường cho quá trình Advantage-conditioned Behavioral Cloning. Phương pháp vượt trội hơn SFT và HG-DAgger trên các tác vụ thực tế với thời gian thu thập tối ưu hơn.", "key_changes": ["Khung làm việc robot-free Human-in-the-Loop: Cho phép truy vấn mô hình VLA theo thời gian thực trên luồng dữ liệu của UMI cầm tay mà không cần thực thi hành động trên robot vật lý.", "Kích hoạt thu thập mẫu OOD bằng Energy Score: Tự động phát hiện trạng thái lệch phân phối bằng cách so sánh quỹ đạo của người dùng với suy luận của policy.", "Tinh chỉnh bộ ước lượng lợi thế tiến độ (Progress-based Advantage Estimator): Sử dụng các phân đoạn có giá trị advantage dự đoán thấp để cải thiện độ chính xác của hàm ước lượng.", "Huấn luyện Advantage-conditioned Behavioral Cloning: Áp dụng cơ chế nhân bản hành vi có điều kiện lợi thế trên tập dữ liệu cân bằng giữa mẫu cơ sở và dữ liệu policy mới.", "Cải thiện hiệu năng và giảm thời gian thu thập: Vượt trội hơn phương pháp SFT và HG-DAgger trên tác vụ Clean Up Table với thời gian thu thập trên mỗi khung hình thấp hơn."], "sub_category": "Robotics & Embodied AI", "novelty_score": 82, "business_score": 78, "research_score": 86, "why_it_matters": "HIL-UMI giải quyết điểm nghẽn lớn nhất trong việc tinh chỉnh mô hình VLA cho robot: chi phí cao, rủi ro an toàn và sự hao mòn khi phải chạy thử nghiệm trên robot vật lý. Bằng cách tách rời việc thu thập dữ liệu tương tác khỏi robot thực thông qua UMI cầm tay, phương pháp này mở đường cho việc thu thập dữ liệu có con người can thiệp trên quy mô lớn, phi tập trung và tối ưu chi phí.", "developer_score": 76, "importance_score": 80, "possible_use_cases": ["Thu thập dữ liệu diện rộng cho robot thao tác khéo léo thông qua nhân sự phân tán sử dụng UMI cầm tay giá rẻ.", "Thích ứng và hậu huấn luyện nhanh các mô hình VLA nền tảng cho dây chuyền đóng gói, lắp ráp linh kiện mà không chiếm dụng robot vật lý.", "Huấn luyện tác vụ dịch vụ gia đình dài hạn (long-horizon) như dọn dẹp bàn, phân loại đồ vật với độ an toàn cao."], "actionability_score": 74}