Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

DreamX: Video Diffusion Model is a Universal Latent Action Learner

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

66 RADAR
Research Embodied AI & Latent Action Models · 1 nguồn đối chiếu · 2026-11-03 18:59:56 +0000 UTC

DreamX: Video Diffusion Model is a Universal Latent Action Learner

Nguồn: arXiv AI
↗

DreamX là phương pháp tái sử dụng mô hình video diffusion tiền huấn luyện để học biểu diễn hành động tiềm ẩn phổ quát. Bằng cách nén mỗi khung hình video 300 lần (từ 1.200 xuống 4 token) và tận dụng generative prior, DreamX trích xuất các động lực học cốt lõi tách biệt khỏi diện mạo thị giác. Không gian tiềm ẩn này hoạt động như một giao diện chung giữa người và robot, đạt kết quả SOTA trên LARY-Bench, hỗ trợ zero-shot action transfer và giảm tải chi phí tính toán cho các chính sách dựa trên video diffusion.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

DreamX tháo gỡ điểm nghẽn lớn trong việc mở rộng dữ liệu cho robotics bằng cách biến các mô hình video diffusion thành bộ trích xuất hành vi độc lập với ngoại hình. Khả năng nén 300x và giao diện dùng chung giữa người - robot giúp giảm mạnh chi phí huấn luyện chính sách và mở đường cho việc tận dụng kho dữ liệu video đại chúng cho robot tự hành.

Developer 70
Business 67
Novelty 85
Actionable 65

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Learning a universal action representation from video requires modeling dynamics that are consistent across different executions of the same action yet invariant to changes in embodiment and appearance. Existing latent action models infer actions from visual transitions, but their representations often entangle the underlying action with irrelevant visual variations, limiting transfer across embodiments. We introduce DreamX, which repurposes a pretrained video diffusion model as a universal latent action learner. Our approach extracts compact latent actions from the video model's rich spatiotemporal features, compressing each latent video frame by $\boldsymbol{300\times}$ ($\boldsymbol{1{,}200 \rightarrow 4}$ tokens). In addition, by leveraging the video model's generative prior, these latent actions capture action-relevant dynamics disentangled from visual appearance. The resulting latent space serves as a shared action interface across embodiments (human and robot), environments, and action parameterizations. On LARY-Bench, DreamX achieves state-of-the-art performance among latent action models. Moreover, actions encoded in one setting remain effective in another: the latent space supports any-to-any video transfer and zero-shot action transfer across diverse embodiments and environments. Furthermore, this shared interface also enables policy learning in a compact latent action space, reducing the computational cost of video-diffusion-based policies.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-04 12:34:36 +0000 UTC
{"tags": ["DreamX", "Video Diffusion", "Latent Action Model", "Robotics", "Embodied AI", "Cross-Embodiment Transfer", "Policy Learning"], "risks": ["Phụ thuộc vào chất lượng, sự khái quát hóa và độ trễ suy luận của mô hình video diffusion nền tảng.", "Khả năng mất mát các chi tiết hành động vi mô chính xác cao khi nén biểu diễn xuống 4 token.", "Thử nghiệm mới tập trung vào benchmark (LARY-Bench), khả năng áp dụng ổn định trên phần cứng robot thực tế cần được kiểm chứng thêm."], "category": "Research", "entities": ["DreamX", "LARY-Bench"], "summary_vi": "DreamX là phương pháp tái sử dụng mô hình video diffusion tiền huấn luyện để học biểu diễn hành động tiềm ẩn phổ quát. Bằng cách nén mỗi khung hình video 300 lần (từ 1.200 xuống 4 token) và tận dụng generative prior, DreamX trích xuất các động lực học cốt lõi tách biệt khỏi diện mạo thị giác. Không gian tiềm ẩn này hoạt động như một giao diện chung giữa người và robot, đạt kết quả SOTA trên LARY-Bench, hỗ trợ zero-shot action transfer và giảm tải chi phí tính toán cho các chính sách dựa trên video diffusion.", "key_changes": ["Tái sử dụng mô hình video diffusion tiền huấn luyện làm bộ học biểu diễn hành động tiềm ẩn phổ quát (universal latent action learner).", "Nén đặc trưng không-thời gian của mỗi khung hình video 300 lần, từ 1.200 token xuống còn 4 token.", "Tách biệt động lực học hành động khỏi sự biến đổi ngoại hình và hình thái thể hiện (embodiment) nhờ generative prior.", "Xây dựng không gian hành động dùng chung cho phép any-to-any video transfer và zero-shot transfer giữa người và robot.", "Giảm chi phí tính toán trong quá trình huấn luyện chính sách điều khiển (policy learning) dựa trên video diffusion."], "sub_category": "Embodied AI & Latent Action Models", "novelty_score": 85, "business_score": 68, "research_score": 90, "why_it_matters": "DreamX tháo gỡ điểm nghẽn lớn trong việc mở rộng dữ liệu cho robotics bằng cách biến các mô hình video diffusion thành bộ trích xuất hành vi độc lập với ngoại hình. Khả năng nén 300x và giao diện dùng chung giữa người - robot giúp giảm mạnh chi phí huấn luyện chính sách và mở đường cho việc tận dụng kho dữ liệu video đại chúng cho robot tự hành.", "developer_score": 72, "importance_score": 82, "possible_use_cases": ["Chuyển giao hành vi từ video hành động của con người sang robot (human-to-robot transfer) không cần gắn nhãn vật lý.", "Huấn luyện chính sách robot (policy learning) hiệu năng cao trong không gian tiềm ẩn chỉ 4 token/khung hình.", "Tạo và biến đổi dữ liệu mô phỏng video giữa các môi trường và robot khác nhau (any-to-any video transfer).", "Xây dựng nền tảng học biểu diễn hành động tổng quát cho các hệ thống Embodied AI đa tác vụ."], "actionability_score": 65}