Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

DexPort: A Hand-Held Skill Interface for Dexterous Hand Data Collection

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

61 RADAR
Research Robotics / Dexterous Manipulation · 1 nguồn đối chiếu · 2026-10-23 17:56:28 +0000 UTC

DexPort: A Hand-Held Skill Interface for Dexterous Hand Data Collection

Nguồn: arXiv AI
↗

DexPort là giao diện cầm tay di động giúp thu thập dữ liệu thao tác khéo léo cho bàn tay robot nhiều bậc tự do (high-DoF) mà không cần cánh tay robot hoàn chỉnh. Thiết bị sử dụng chính phần cứng bàn tay robot để tránh khoảng cách hiện thân (embodiment gap), đồng thời ghi lại cả lệnh điều khiển khớp mục tiêu và trạng thái khớp thực tế. Thay vì điều khiển từng khớp ngón tay phức tạp, người vận hành chỉ cần định hướng cổ tay và kích hoạt các kỹ năng phối hợp ngón tay có sẵn. Nhóm tác giả áp dụng behavior cloning để huấn luyện trực tiếp chính sách visuomotor từ chuyển động cổ tay và lệnh điều khiển (không cần nhãn kỹ năng). Với hơn 2.500 bản trình diễn thu thập trong phòng lab và môi trường thực tế (in-the-wild), tỷ lệ thành công của robot tăng từ 11% lên 64% khi dùng lệnh thay cho trạng thái, và từ 36% lên 78% nhờ dữ liệu in-the-wild qua 4 tác vụ khéo léo.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nút thắt lớn nhất của việc học thao tác khéo léo ở robot là sự thiếu hụt dữ liệu trình diễn chất lượng cao do hệ thống teleoperation cồng kềnh và khó điều phối hàng chục khớp ngón tay. DexPort giải quyết vấn đề này bằng thiết bị cầm tay tiện lợi kết hợp trừu tượng hóa kỹ năng, cho phép thu thập dữ liệu nhanh chóng ngay trong môi trường thực tế phi cấu trúc. Kết quả chứng minh việc huấn luyện trên lệnh điều khiển robot (thay vì trạng thái đo được) kết hợp dữ liệu in-the-wild cải thiện đáng kể hiệu suất thực thi, mở đường cho việc nhân rộng quy mô dữ liệu cho robot học trong công nghiệp và đời sống.

Developer 70
Business 64
Novelty 80
Actionable 70

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Collecting high-quality demonstrations remains a central bottleneck for learning dexterous manipulation. Teleoperation records executable robot actions, but it requires a complete robot setup and places the burden of coordinating many finger joints on the operator. Human demonstrations are easier to collect, but their motions must be estimated and retargeted to the robot, and they do not directly provide robot actions. In this paper, we introduce DexPort, a portable data-collection interface for high-DoF robot hands. It uses the same hand hardware for collection and deployment, avoiding a hand embodiment gap, and records both commanded joint targets and measured joint states. Our key observation is that a small set of skills can support a wide range of dexterous tasks. During collection, the operator moves the hand-held interface to specify the robot wrist motion and selects or adjusts skills that coordinate the finger motion. This removes the need to control each joint independently while retaining behaviors such as precise grasping and in-hand manipulation. We collect demonstrations across several real-world tasks and in unstructured environments without a robot arm. We then use behavior cloning to train visuomotor policies directly on the recorded wrist motions and hand commands, without skill labels. We evaluate across 4 tasks: pick-and-place with diverse objects, screwing with in-hand tool use, drawer stowage which requires simultaneous grasp and pulling, and a bimanual scanning task. We collect over 2,500 demonstrations with our portable device, in both laboratory and in-the-wild settings. Across our tasks, we see an improvement from 11% to 64% when using recorded robot commands instead of states, and an improvement from 36% to 78% for task success when using in-the-wild data.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-26 09:31:36 +0000 UTC
{"tags": ["Robotics", "Dexterous Manipulation", "DexPort", "Data Collection", "Behavior Cloning", "Visuomotor Policies", "Embodied AI"], "risks": ["Giới hạn bởi tập kỹ năng định sẵn (skill set), có thể khó thích ứng với những cử động ngón tay phức tạp bất thường chưa được thiết kế trước.", "Thiếu cơ chế phản hồi lực/xúc giác trực tiếp tới tay người điều khiển, gây khó khăn cho các tác vụ đòi hỏi cảm giác lực tinh vi.", "Chênh lệch động học giữa tay người cầm thiết bị và cánh tay robot thực tế khi lắp đặt có thể đòi hỏi hiệu chỉnh bổ sung khi chuyển giao.", "Khó mở rộng cho các mẫu bàn tay robot có trọng lượng lớn hoặc kích thước cồng kềnh khó cầm nắm thao tác."], "category": "Research", "entities": ["DexPort"], "summary_vi": "DexPort là giao diện cầm tay di động giúp thu thập dữ liệu thao tác khéo léo cho bàn tay robot nhiều bậc tự do (high-DoF) mà không cần cánh tay robot hoàn chỉnh. Thiết bị sử dụng chính phần cứng bàn tay robot để tránh khoảng cách hiện thân (embodiment gap), đồng thời ghi lại cả lệnh điều khiển khớp mục tiêu và trạng thái khớp thực tế. Thay vì điều khiển từng khớp ngón tay phức tạp, người vận hành chỉ cần định hướng cổ tay và kích hoạt các kỹ năng phối hợp ngón tay có sẵn. Nhóm tác giả áp dụng behavior cloning để huấn luyện trực tiếp chính sách visuomotor từ chuyển động cổ tay và lệnh điều khiển (không cần nhãn kỹ năng). Với hơn 2.500 bản trình diễn thu thập trong phòng lab và môi trường thực tế (in-the-wild), tỷ lệ thành công của robot tăng từ 11% lên 64% khi dùng lệnh thay cho trạng thái, và từ 36% lên 78% nhờ dữ liệu in-the-wild qua 4 tác vụ khéo léo.", "key_changes": ["Phát triển DexPort: thiết bị cầm tay di động thu thập dữ liệu thao tác khéo léo dùng chính phần cứng bàn tay robot, xóa bỏ khoảng cách phần cứng (embodiment gap).", "Ứng dụng cơ chế trừu tượng hóa kỹ năng (skill abstraction): người vận hành chỉ cần di chuyển cổ tay và chọn kỹ năng phối hợp ngón tay thay vì điều khiển từng khớp riêng lẻ.", "Ghi nhận đồng thời cả lệnh mục tiêu khớp (commanded joint targets) và trạng thái khớp đo được (measured joint states) mà không cần cánh tay robot đầy đủ.", "Hỗ trợ thu thập dữ liệu linh hoạt trong môi trường thực tế phi cấu trúc (in-the-wild) ngoài phòng thí nghiệm với hơn 2.500 lượt trình diễn.", "Áp dụng behavior cloning để huấn luyện chính sách visuomotor trực tiếp từ chuyển động cổ tay và lệnh bàn tay mà không cần gán nhãn kỹ năng.", "Nâng tỷ lệ thành công tác vụ từ 11% lên 64% khi dùng lệnh robot thay vì trạng thái đo được, và từ 36% lên 78% khi bổ sung dữ liệu in-the-wild."], "sub_category": "Robotics / Dexterous Manipulation", "novelty_score": 80, "business_score": 65, "research_score": 85, "why_it_matters": "Nút thắt lớn nhất của việc học thao tác khéo léo ở robot là sự thiếu hụt dữ liệu trình diễn chất lượng cao do hệ thống teleoperation cồng kềnh và khó điều phối hàng chục khớp ngón tay. DexPort giải quyết vấn đề này bằng thiết bị cầm tay tiện lợi kết hợp trừu tượng hóa kỹ năng, cho phép thu thập dữ liệu nhanh chóng ngay trong môi trường thực tế phi cấu trúc. Kết quả chứng minh việc huấn luyện trên lệnh điều khiển robot (thay vì trạng thái đo được) kết hợp dữ liệu in-the-wild cải thiện đáng kể hiệu suất thực thi, mở đường cho việc nhân rộng quy mô dữ liệu cho robot học trong công nghiệp và đời sống.", "developer_score": 75, "importance_score": 78, "possible_use_cases": ["Thu thập dữ liệu trình diễn thao tác khéo léo cho bàn tay robot nhiều bậc tự do trong môi trường thực tế đời thường (nhà bếp, kho hàng, xưởng sản xuất).", "Huấn luyện chính sách visuomotor cho các tác vụ cầm nắm chính xác và thao tác công cụ trong tay (như bắt vít, cất đồ vào ngăn kéo).", "Đào tạo các kỹ năng phối hợp hai tay (bimanual tasks) như vừa giữ vừa quét vật thể.", "Cắt giảm chi phí và đơn giản hóa quy trình thu thập dữ liệu cho robot học mà không phụ thuộc vào hệ thống teleoperation cồng kềnh."], "actionability_score": 70}
← Trang trước Trang 1