Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

MOMASPLAT: Dynamic Novel-View Demonstration Augmentation for Mobile Manipulation

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

66 RADAR
Research Robotics & Embodied AI · 1 nguồn đối chiếu · 2026-11-05 17:50:35 +0000 UTC

MOMASPLAT: Dynamic Novel-View Demonstration Augmentation for Mobile Manipulation

Nguồn: arXiv AI
↗

MOMASPLAT là khung tăng cường dữ liệu biểu diễn góc nhìn mới (novel-view demonstration augmentation) dành cho robot thao tác di động (MoMa), giải quyết độ nhạy cảm của visuomotor policy trước sự thay đổi góc nhìn camera do trôi dạt định vị hoặc sai lệch vị trí đế. Bằng cách kết hợp 3D Gaussian Splatting, mô hình nền tảng 3D feed-forward và tái định vị hành động theo động học, MOMASPLAT tái tạo riêng biệt cảnh tĩnh và vật thể thao tác, tổng hợp quỹ đạo thao tác hoàn chỉnh từ các vị trí đế chưa từng thấy kèm tương tác động và hành động tương ứng. Phương pháp giúp tăng gấp đôi tỷ lệ thành công so với baseline mạnh nhất trên 5 tác vụ thực tế mà không cần tăng cường thu thập dữ liệu thực địa quy mô lớn.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Sự sai lệch vị trí đế robot và góc nhìn camera là rào cản lớn khiến chính sách học bắt chước thất bại ngoài môi trường thực. MOMASPLAT khắc phục hạn chế của các giải pháp NVS tĩnh bằng cách tổng hợp được cả tương tác động với vật thể, tăng độ bền vững của robot trước sai lệch vị trí lớn và tiết kiệm đáng kể chi phí thu thập dữ liệu thực nghiệm.

Developer 74
Business 67
Novelty 82
Actionable 70

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Visuomotor policies trained through imitation learning are highly sensitive to changes in camera viewpoint. This is particularly problematic for mobile manipulation (MoMa), where robots rarely execute manipulation from the exact same base pose used during demonstration collection due to navigation uncertainty, localization drift, and environmental constraints. Recent approaches use novel-view synthesis (NVS) to augment demonstrations with unseen viewpoints, but they assume static scenes and therefore fail to re-render the manipulated object during the post-contact interaction phase, leaving the most critical parts of the demonstration unaugmented. We present MOMASPLAT, a novel-view demonstration augmentation framework for mobile manipulation that synthesizes full manipulation trajectories from unseen robot base poses, including dynamic object interactions. Our key insight is that standard MoMa data collection naturally provides the multiview observations needed to reconstruct both the static scene and the manipulated object in 3D. MOMASPLAT combines 3D Gaussian Splatting, feed-forward 3D foundation models, and kinematics-based action retargeting to separately reconstruct the scene and manipulated object, render them from novel viewpoints, and generate geometrically consistent synthetic demonstrations paired with transformed actions. We evaluate MOMASPLAT on five real-world mobile manipulation tasks involving both rigid and articulated objects across three scenes, and validate the fidelity of its synthesized demonstrations against ground truth in simulation. MOMASPLAT substantially improves robustness to unseen base poses, more than doubling the average success rate of the strongest baseline and maintaining non-trivial success at large base displacements where all baselines fail, while reducing the need for largescale real-world data collection.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-06 12:01:59 +0000 UTC
{"tags": ["Robotics", "Mobile Manipulation", "3D Gaussian Splatting", "Imitation Learning", "Novel-View Synthesis", "Data Augmentation", "Visuomotor Policy"], "risks": ["Chi phí tính toán và thời gian render khi mở rộng cho tập dữ liệu biểu diễn lớn.", "Chưa kiểm chứng trên các vật thể mềm dẻo (deformable objects) hoặc trường hợp bị che khuất nghiêm trọng.", "Sai số tiềm ẩn từ mô hình 3D feed-forward và phép ánh xạ động học khi môi trường có va chạm phức tạp."], "category": "Research", "entities": ["MOMASPLAT", "3D Gaussian Splatting (3DGS)", "Novel-View Synthesis (NVS)", "Mobile Manipulation (MoMa)"], "summary_vi": "MOMASPLAT là khung tăng cường dữ liệu biểu diễn góc nhìn mới (novel-view demonstration augmentation) dành cho robot thao tác di động (MoMa), giải quyết độ nhạy cảm của visuomotor policy trước sự thay đổi góc nhìn camera do trôi dạt định vị hoặc sai lệch vị trí đế. Bằng cách kết hợp 3D Gaussian Splatting, mô hình nền tảng 3D feed-forward và tái định vị hành động theo động học, MOMASPLAT tái tạo riêng biệt cảnh tĩnh và vật thể thao tác, tổng hợp quỹ đạo thao tác hoàn chỉnh từ các vị trí đế chưa từng thấy kèm tương tác động và hành động tương ứng. Phương pháp giúp tăng gấp đôi tỷ lệ thành công so với baseline mạnh nhất trên 5 tác vụ thực tế mà không cần tăng cường thu thập dữ liệu thực địa quy mô lớn.", "key_changes": ["Tách biệt tái tạo 3D cho cảnh nền tĩnh và vật thể thao tác bằng 3D Gaussian Splatting kết hợp 3D foundation model feed-forward.", "Mở rộng Novel-View Synthesis (NVS) cho toàn bộ quỹ đạo thao tác, bao gồm cả pha tương tác động sau tiếp xúc (post-contact interaction).", "Kết hợp tái định vị hành động dựa trên động học (kinematics-based action retargeting) để sinh cặp dữ liệu thị giác - hành động nhất quán về hình học.", "Tận dụng góc nhìn đa chiều tự nhiên trong quy trình thu thập dữ liệu MoMa tiêu chuẩn mà không cần thêm thiết bị chuyên dụng."], "sub_category": "Robotics & Embodied AI", "novelty_score": 82, "business_score": 68, "research_score": 85, "why_it_matters": "Sự sai lệch vị trí đế robot và góc nhìn camera là rào cản lớn khiến chính sách học bắt chước thất bại ngoài môi trường thực. MOMASPLAT khắc phục hạn chế của các giải pháp NVS tĩnh bằng cách tổng hợp được cả tương tác động với vật thể, tăng độ bền vững của robot trước sai lệch vị trí lớn và tiết kiệm đáng kể chi phí thu thập dữ liệu thực nghiệm.", "developer_score": 78, "importance_score": 78, "possible_use_cases": ["Huấn luyện visuomotor policy cho robot di động trong kho vận và dịch vụ khi vị trí đế robot bị sai lệch (localization drift).", "Tăng cường dữ liệu tự động cho các tác vụ gắp thả, thao tác vật thể cứng (rigid) và vật thể có khớp nối (articulated).", "Cắt giảm số lượng demonstration thực tế cần thu thập trên robot vật lý đắt đỏ."], "actionability_score": 70}
← Trang trước Trang 1