Keeping JEPA World Models Plannable When Little of the Frame Moves

{"tags": ["JEPA", "World Models", "Robotics", "Latent Planning", "SLIM Benchmark", "Inverse Dynamics", "Language Grounding"], "risks": ["Một câu lệnh ngôn ngữ duy nhất rất khó hoàn thành toàn bộ tác vụ đẩy phức tạp, đòi hỏi phải phân rã thành chuỗi mục tiêu theo giai đoạn.", "Tỷ lệ thành công ở các tác vụ khó vẫn ở mức khiêm tốn (16% đến 25%), còn khoảng cách lớn so với bộ điều khiển dựa trên trạng thái simulator (100%).", "Nghiên cứu mới thử nghiệm trong môi trường mô phỏng (SLIM, PushT), chưa có dữ liệu đánh giá thực tế (sim-to-real gap)."], "category": "Research", "entities": ["JEPA", "LeWM", "SLIM", "PushT"], "summary_vi": "Nghiên cứu giải quyết điểm nghẽn nghiêm trọng của các mô hình thế giới JEPA (như LeWM) khi lập kế hoạch trong môi trường có ít biến đổi khung hình (vật thể thao tác nhỏ). Trên benchmark mới SLIM, mô hình LeWM tiêu chuẩn chỉ đạt tỷ lệ thành công dưới 1% do encoder mất độ nhạy với hành động (action-insensitive), khiến việc rollout latent bị tê liệt. Nhóm tác giả đề xuất hàm mất mát phụ trợ động lực nghịch đảo (inverse-dynamics auxiliary loss) tác động vào gradient của encoder, giúp khôi phục các probe và nâng tỷ lệ thành công lên 35% (16% ở màn khó). Nghiên cứu cũng phát triển một probe đo độ nhạy hành động không cần môi trường làm điều kiện cần cho khả năng lập kế hoạch, đồng thời tích hợp language-goal head cho phép robot lập kế hoạch theo chuỗi câu lệnh ngôn ngữ từng giai đoạn mà không cần huấn luyện lại world model.", "key_changes": ["Phát hiện nguyên nhân cốt lõi khiến mô hình JEPA thất bại khi frame ít thay đổi: encoder bị mất độ nhạy hành động (action-insensitive), không giải mã được vị trí vật thể/pusher và rollout chỉ sao chép latent hiện tại.", "Giới thiệu SLIM: benchmark kiểm thử tác vụ đẩy nhiều vật thể nhỏ với các mục tiêu kết cặp giữa hình ảnh và ngôn ngữ.", "Bổ sung inverse-dynamics auxiliary loss dùng chung một head (bỏ đi khi test) tác động gradient trực tiếp vào encoder, tăng tỷ lệ thành công từ 0.003 lên 0.35 và cải thiện bài toán PushT ở horizon gấp đôi.", "Xây dựng probe đo độ nhạy hành động chi phí thấp, không cần truy cập môi trường mô phỏng, dùng làm điều kiện cần để xác định khả năng lập kế hoạch của mô hình.", "Thiết kế language-goal head gọn nhẹ cho phép lập kế hoạch trực tiếp từ chuỗi câu lệnh ngôn ngữ theo giai đoạn mà không cần retrain world model, đạt kết quả ngang ngửa oracle dùng khung hình mục tiêu."], "sub_category": "World Models & Latent Planning", "novelty_score": 82, "business_score": 58, "research_score": 88, "why_it_matters": "Mô hình thế giới dạng Joint-Embedding Predictive Architecture (JEPA) là hướng đi đầy hứa hẹn cho robot tự chủ nhưng thường gặp lỗi sụp đổ biểu diễn (action insensitivity) khi mục tiêu thao tác chỉ chiếm tỷ lệ pixel rất nhỏ trong khung hình. Bằng việc chỉ ra cơ chế thất bại ở encoder và đề xuất hàm mất mát nghịch đảo phụ trợ đơn giản nhưng hiệu quả, giải pháp này giúp JEPA giữ được khả năng lập kế hoạch chính xác, đồng thời mở ra cách tiếp cận điều khiển bằng ngôn ngữ tự nhiên linh hoạt mà không tốn chi phí huấn luyện lại toàn bộ mô hình nền.", "developer_score": 75, "importance_score": 80, "possible_use_cases": ["Huấn luyện và điều khiển cánh tay robot công nghiệp thao tác với các linh kiện/vật thể nhỏ mà camera góc rộng bao quát.", "Lập kế hoạch hành động cho robot thông qua chuỗi chỉ dẫn ngôn ngữ tự nhiên nhiều bước (multi-stage instructions).", "Kiểm tra và sàng lọc nhanh độ nhạy hành động của các mô hình thế giới latent (World Model Probing) trước khi triển khai thực tế.", "Cải thiện khả năng lập kế hoạch tầm xa (long-horizon planning) trong học tăng cường dựa trên mô hình (Model-Based RL)."], "actionability_score": 78}