Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

60 RADAR
Research Robotics · 1 nguồn đối chiếu · 2026-10-02 17:57:51 +0000 UTC

EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras

Nguồn: arXiv AI
↗

EyeRobot 2.0 là khung điều khiển robot thao tác hai tay tinh tế chỉ sử dụng một camera stereo có khả năng chủ động chuyển hướng nhìn (active gaze), loại bỏ hoàn toàn nhu cầu về camera gắn cổ tay. Lấy cảm hứng từ mắt người, hệ thống khóa tiêu điểm vào điểm cố định 3D (Active Visual Fixation), dồn tài nguyên visual token vào tâm ảnh và chuẩn hóa tọa độ tay kẹp theo hệ quy chiếu SE(3) tương đối. Thực nghiệm qua hơn 1.000 thử nghiệm thực tế và 1.800 mô phỏng chứng minh hệ thống vượt trội 40% so với stereo thụ động và duy trì hiệu quả cao (48% so với 22%) khi xảy ra che khuất tầm nhìn cổ tay.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Chứng minh tầm nhìn chủ động mô phỏng mắt người có thể thay thế camera cổ tay, giúp giảm chi phí phần cứng và dây dẫn cơ học đồng thời giải quyết triệt để điểm yếu che khuất tầm nhìn khi thao tác vật thể.

Developer 68
Business 66
Novelty 82
Actionable 58

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Inspired by human vision, we introduce a framework using active gaze to enable fine-grained bimanual manipulation with only a single stereo camera. EyeRobot 2.0 physically attends to a 3D fixation point in the scene by swiveling two eye viewpoints to center their gaze on it. The resulting images are processed foveally by allocating more visual tokens to the image centers, focusing computation on task-relevant features. Such Active Visual Fixation (AVF) requires carefully coordinated gaze during task execution, which we accomplish hierarchically by first training a low-level gaze servoing policy conditioned on a goal object, then training a target selector which emits fixation goals based on task progress. Both modules are trained with RL on real-world data: the first is trained with a dense geometric reward and the second co-trains with the BC gripper policy which allows it to discover fixation sequences that can resemble a human's fixation sequence while performing the task. EyeRobot 2.0 further takes advantage of fixation by canonicalizing gripper information into a fixation-relative SE(3) frame, which compacts the size of the action distribution to learn. We collect teleoperation data for 7 real-world and 6 simulated tasks, and conduct over 1000 physical and 1800 simulated robot trials comparing EyeRobot 2.0 against passive stereo and ego + wrist camera policies trained on the same data. Removing wrist cameras is costly for standard policies: with only passive stereo, real-world success drops from 52% to 27%. EyeRobot 2.0 closes this gap with only stereo, outperforming passive stereo by 40% in real and 20% in sim. It matches ego + wrist policies when their wrist views are clear (69% vs. 64%), and more than doubles their success when grasped objects occlude the wrist cameras (48% vs. 22%)

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-05 12:03:08 +0000 UTC
{"tags": ["Robotics", "Active Gaze", "Computer Vision", "Embodied AI", "Reinforcement Learning", "Bimanual Manipulation"], "risks": ["Đòi hỏi cơ cấu cơ học xoay camera có độ chính xác cao và độ trễ thấp để bám tiêu điểm theo thời gian thực.", "Độ phức tạp khi đồng bộ giữa chính sách điều khiển điểm nhìn và hành vi tay kẹp trong môi trường động.", "Tỷ lệ thành công thực tế tổng thể vẫn ở mức 48-69%, cần cải thiện thêm để đáp ứng tiêu chuẩn sản xuất công nghiệp khắt khe."], "category": "Research", "entities": ["EyeRobot 2.0", "Active Visual Fixation (AVF)", "SE(3)"], "summary_vi": "EyeRobot 2.0 là khung điều khiển robot thao tác hai tay tinh tế chỉ sử dụng một camera stereo có khả năng chủ động chuyển hướng nhìn (active gaze), loại bỏ hoàn toàn nhu cầu về camera gắn cổ tay. Lấy cảm hứng từ mắt người, hệ thống khóa tiêu điểm vào điểm cố định 3D (Active Visual Fixation), dồn tài nguyên visual token vào tâm ảnh và chuẩn hóa tọa độ tay kẹp theo hệ quy chiếu SE(3) tương đối. Thực nghiệm qua hơn 1.000 thử nghiệm thực tế và 1.800 mô phỏng chứng minh hệ thống vượt trội 40% so với stereo thụ động và duy trì hiệu quả cao (48% so với 22%) khi xảy ra che khuất tầm nhìn cổ tay.", "key_changes": ["Loại bỏ camera gắn cổ tay (wrist cameras), chỉ dùng một camera stereo chủ động xoay theo tiêu điểm (active gaze) để thực hiện thao tác hai tay chính xác.", "Cơ chế Active Visual Fixation (AVF) xoay 2 góc nhìn vào điểm cố định 3D và xử lý foveal tập trung visual token vào trung tâm ảnh.", "Kiến trúc điều khiển phân cấp: chính sách servoing góc nhìn cấp thấp học bằng RL với dense geometric reward, kết hợp bộ chọn mục tiêu cấp cao đồng huấn luyện cùng chính sách kẹp BC.", "Chuẩn hóa thông tin tay kẹp vào hệ quy chiếu tương đối theo tiêu điểm SE(3), giúp tinh gọn phân phối hành động cần học.", "Tăng tỷ lệ thành công thực tế thêm 40% so với stereo thụ động và tăng gấp đôi tỷ lệ thành công (48% so với 22%) khi vật thể che khuất góc nhìn cổ tay."], "sub_category": "Robotics", "novelty_score": 82, "business_score": 70, "research_score": 88, "why_it_matters": "Chứng minh tầm nhìn chủ động mô phỏng mắt người có thể thay thế camera cổ tay, giúp giảm chi phí phần cứng và dây dẫn cơ học đồng thời giải quyết triệt để điểm yếu che khuất tầm nhìn khi thao tác vật thể.", "developer_score": 72, "importance_score": 78, "possible_use_cases": ["Hệ thống robot thao tác hai tay lắp ráp cơ khí hoặc đóng gói không cần đi dây phức tạp cho camera ở cổ tay.", "Thao tác gắp đặt các vật thể kích thước lớn hoặc hình dạng phức tạp dễ gây che khuất tầm nhìn camera cổ tay.", "Tối ưu phần cứng và giảm tải trọng đầu cuối cho các cánh tay robot công nghiệp và dịch vụ."], "actionability_score": 58}
← Trang trước Trang 1