Vision-Language Models Are Joint Denoisers in Robotic Action Generation

{"tags": ["VLA", "Robotics", "Diffusion Models", "Vision-Language Models", "JADE", "Embodied AI", "Action Generation"], "risks": ["Tăng chi phí tính toán suy luận (inference overhead) do VLM phải chạy qua nhiều bước khử nhiễu lặp lại.", "Tỷ lệ thành công tổng thể trên benchmark RoboDojo vẫn còn ở mức khiêm tốn (12.67%), đòi hỏi tiếp tục cải tiến trước khi triển khai công nghiệp rộng rãi.", "Thách thức khi triển khai trên phần cứng biên (edge hardware) của robot do giới hạn tài nguyên tính toán cho mô hình VLM lớn."], "category": "Models", "entities": ["JADE", "RoboDojo", "RoboTwin 2.0", "π0.5", "WAM"], "summary_vi": "Nghiên cứu giới thiệu JADE (Joint Action DEnoiser), một kiến trúc mới cho các mô hình Vision-Language-Action (VLA) khuếch tán. Thay vì chỉ sử dụng VLM làm điều kiện tĩnh (static conditioning) khiến hạn chế khả năng điều khiển ngoài phân phối, JADE cho phép VLM và action expert cùng tham gia tinh chỉnh hành động tại mỗi bước khử nhiễu. Thông qua structured action latents và gated cross-attention, VLM tiếp nhận hành động nhiễu cùng quan sát thị giác để dẫn dắt sinh hành động động. VLM còn được huấn luyện phục hồi action latent sạch, giúp gắn kết trực tiếp nhận thức với điều khiển. JADE giúp giảm số bước lấy mẫu và kết hợp lịch trình bước thích ứng (adaptive step-size schedule). Mô hình đạt 12.67% tỷ lệ thành công trên RoboDojo (cao nhất trong các phương pháp dựa trên π0.5), cải thiện trên RoboTwin 2.0 và tăng 20.8 điểm phần trăm tỷ lệ thành công trên 4 tác vụ hai tay thực tế so với π0.5.", "key_changes": ["Cơ chế Joint Action Denoising (JADE): Thay vì chỉ dùng VLM làm điều kiện tĩnh (static conditioning), VLM tham gia khử nhiễu đồng thời cùng action expert ở từng bước sinh hành động.", "Biểu diễn Structured Action Latents: Cho phép VLM tiếp nhận và xử lý trực tiếp hành động nhiễu cùng với quan sát thị giác và chỉ dẫn ngôn ngữ.", "Gated Cross-Attention động: Hướng dẫn từ VLM liên tục tiến hóa và thích ứng theo tiến trình tinh chỉnh hành động thay vì giữ cố định từ đầu.", "Giám sát trực tiếp VLM (Direct Action-Learning Signal): Huấn luyện VLM khôi phục action latent sạch từ latent nhiễu, gắn kết chặt chẽ năng lực nhận thức với điều khiển vận động.", "Tối ưu hóa số bước lấy mẫu và độ trễ: Giảm số bước sampling cần thiết và sử dụng lịch trình bước thích ứng (adaptive step-size schedule) để cân bằng hiệu năng và độ trễ suy luận."], "sub_category": "Vision-Language-Action (VLA)", "novelty_score": 82, "business_score": 58, "research_score": 86, "why_it_matters": "JADE giải quyết hạn chế cốt lõi của các mô hình VLA khuếch tán hiện nay bằng cách chuyển VLM từ trạng thái cung cấp ngữ cảnh tĩnh sang vai trò bộ khử nhiễu tương tác động. Điều này giúp khai thác tối đa năng lực nhận thức và suy luận không gian của VLM trong từng bước vi chỉnh hành động của robot, mở ra hướng nâng cao đáng kể độ tin cậy trong các tác vụ thao tác phức tạp ngoài đời thực (+20.8% trên tác vụ hai tay).", "developer_score": 72, "importance_score": 78, "possible_use_cases": ["Điều khiển robot thao tác hai tay (bimanual manipulation) trong các môi trường thực tế phức tạp đòi hỏi độ chính xác cao.", "Cải thiện khả năng thích ứng và tổng quát hóa của robot trong các tình huống ngoài phân phối (out-of-distribution).", "Tối ưu hóa độ trễ suy luận cho các chính sách điều khiển robot dựa trên mô hình khuếch tán (diffusion policies)."], "actionability_score": 64}