Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

67 RADAR
Research 3D Computer Vision & Generative AI · 1 nguồn đối chiếu · 2026-10-20 17:59:56 +0000 UTC

Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs

Nguồn: arXiv AI
↗

Nghiên cứu từ NVIDIA giới thiệu mô hình đồng tạo sinh chuyển động 3D và video cho cấu trúc khung xương (rig) bất kỳ, đồng thời ước tính góc quay camera để khớp chuyển động vào không gian 3D. Bằng cách tách biệt mô hình chuyển động 3D và gắn kết với mô hình video tiền huấn luyện qua các lớp cross-attention gọn nhẹ, hệ thống cho phép sinh hoạt ảnh cho nhiều loại sinh vật/robot từ văn bản, chuyển đổi hai chiều giữa video và chuyển động rig, cũng như hỗ trợ điều khiển hoạt ảnh dựa trên keyframe từ tập dữ liệu gần 200K mẫu huấn luyện.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Giải quyết rào cản cốt lõi của video AI hiện nay: video tạo sinh thông thường chỉ là các điểm ảnh 2D không thể can thiệp hay tái sử dụng. Bằng cách trích xuất đồng thời chuyển động 3D khớp khung xương và thông số camera tương thích với bối cảnh, công nghệ này mở đường tích hợp trực tiếp video AI vào các pipeline đồ họa 3D chuyên nghiệp (Unreal Engine, Unity, Maya) cho game, điện ảnh và mô phỏng robot.

Developer 74
Business 75
Novelty 86
Actionable 65

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Video generation models can now depict remarkably realistic motion. Yet it is unclear how to use this motion beyond pixels: to animate a specific 3D asset and replay the animation in its 3D scene. For instance, a video model can show a monkey jumping over a crossbar, but it cannot return that jump as replayable 3D motion placed in the 3D scene. Here we present a model that directly co-generates the video and 3D motion for any supplied rig, along with a camera that registers this motion to the scene. Prior video-motion models either handle only human skeletons, often adding billions of parameters, or triangulate 3D motion from generated 2D pose maps. We instead keep 3D motion in a separate model that supports arbitrary skeletons, and connect it to a pretrained video model through a small set of cross-attention layers. This separation lets the motion model first learn how skeletons move from motion-only data, which is easier to obtain and augment than paired video. Additionally, our model learns to locate each joint in the video frames, which lets us recover the camera and place the 3D motion in the scene. To train across many skeletons, we use a generative video editor to place animated 3D assets in scenes suited to their actions, curating the edits so their known motion remains valid. Together with human and robot video, this yields nearly 200K training pairs. Our evaluations demonstrate that our model animates diverse rigs from text more faithfully than video-first pipelines, and its motion responds to the surrounding scene. It also turns video into rig motion, rig motion into video, and enables keyframe-based control of the 3D motion. Videos and additional results are available on our project page: https://research.nvidia.com/labs/par/projects/jca/.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-21 09:52:16 +0000 UTC
{"tags": ["3D Motion", "Video Generation", "Arbitrary Rigs", "Camera Estimation", "Cross-Attention", "NVIDIA Research", "Generative AI"], "risks": ["Nguy cơ lỗi trượt chân (foot sliding) hoặc xuyên thấu vật lý (mesh penetration) khi tương tác với bề mặt địa hình phức tạp.", "Độ trễ tính toán và tài nguyên phần cứng lớn khi phải xử lý đồng thời mô hình video diffusion và mô hình chuyển động 3D.", "Hiện mới chỉ là nghiên cứu thử nghiệm (chưa có thông tin phát hành mã nguồn mở hoặc trọng số mô hình thương mại)."], "category": "Research", "entities": ["NVIDIA", "NVIDIA Research"], "summary_vi": "Nghiên cứu từ NVIDIA giới thiệu mô hình đồng tạo sinh chuyển động 3D và video cho cấu trúc khung xương (rig) bất kỳ, đồng thời ước tính góc quay camera để khớp chuyển động vào không gian 3D. Bằng cách tách biệt mô hình chuyển động 3D và gắn kết với mô hình video tiền huấn luyện qua các lớp cross-attention gọn nhẹ, hệ thống cho phép sinh hoạt ảnh cho nhiều loại sinh vật/robot từ văn bản, chuyển đổi hai chiều giữa video và chuyển động rig, cũng như hỗ trợ điều khiển hoạt ảnh dựa trên keyframe từ tập dữ liệu gần 200K mẫu huấn luyện.", "key_changes": ["Đồng tạo sinh (co-generation) chuyển động 3D và video tương ứng cho bộ khung xương (rig) tùy ý thay vì chỉ hỗ trợ khung người.", "Tách riêng mô hình chuyển động 3D và kết nối với mô hình tạo video tiền huấn luyện qua các lớp cross-attention gọn nhẹ.", "Học định vị vị trí từng khớp trong các khung hình video để tái tạo góc quay camera và đặt chuyển động 3D chuẩn xác vào môi trường.", "Sử dụng generative video editor để tạo tập dữ liệu huấn luyện gần 200.000 cặp dữ liệu hoạt ảnh 3D và video (kết hợp dữ liệu người và robot).", "Hỗ trợ điều khiển chuyển đổi hai chiều (Text/Video sang Rig Motion, Rig Motion sang Video) và điều khiển hoạt ảnh qua keyframe."], "sub_category": "3D Computer Vision & Generative AI", "novelty_score": 86, "business_score": 80, "research_score": 90, "why_it_matters": "Giải quyết rào cản cốt lõi của video AI hiện nay: video tạo sinh thông thường chỉ là các điểm ảnh 2D không thể can thiệp hay tái sử dụng. Bằng cách trích xuất đồng thời chuyển động 3D khớp khung xương và thông số camera tương thích với bối cảnh, công nghệ này mở đường tích hợp trực tiếp video AI vào các pipeline đồ họa 3D chuyên nghiệp (Unreal Engine, Unity, Maya) cho game, điện ảnh và mô phỏng robot.", "developer_score": 78, "importance_score": 82, "possible_use_cases": ["Ngành phát triển game và phim hoạt hình: Tự động hóa tạo hoạt cảnh (animation) cho nhân vật và sinh vật có cấu trúc xương phức tạp từ prompt văn bản.", "Kỹ xảo điện ảnh (VFX): Trích xuất chuyển động 3D của nhân vật và camera từ video cảnh quay thực để tái sử dụng trong 3D scene.", "Robotics và mô phỏng vật lý: Sinh dữ liệu chuyển động và tư thế cho robot trong môi trường tương tác thực tế.", "Chỉnh sửa đồ họa 3D tương tác: Cho phép nghệ sĩ hoạt họa can thiệp điều khiển cử động thông qua keyframe kết hợp sinh video bối cảnh."], "actionability_score": 65}
← Trang trước Trang 1