Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

TAPDreamer: Transferable Adversarial Patches for World Action Models

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

69 RADAR
Research Adversarial Robustness & Robotics · 1 nguồn đối chiếu · 2026-10-05 17:55:21 +0000 UTC

TAPDreamer: Transferable Adversarial Patches for World Action Models

Nguồn: arXiv AI
↗

Nghiên cứu giới thiệu TAPDreamer, phương pháp tạo miếng dán đối kháng (adversarial patch) có khả năng chuyển giao cao nhằm vào các mô hình hành động thế giới (World Action Models) trong điều khiển robot. TAPDreamer chỉ sử dụng visual encoder công khai để tạo một nhiễu cục bộ cố định (~6,5% khung hình) dựa trên 6 khung hình mẫu, mà không cần truy vấn mô hình mục tiêu. Đòn tấn công khai thác cơ chế attention để làm biến dạng toàn bộ biểu diễn hình ảnh, làm tê liệt tỷ lệ thành công của FastWAM từ trên 90% xuống 0% trên các bộ benchmark LIBERO và RoboTwin, đồng thời chuyển giao hiệu quả sang DreamWAM và Motus. Kết quả chứng minh sự cần thiết phải bảo vệ visual encoder thay vì chỉ bảo vệ tầng sinh hành động.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu chỉ ra lỗ hổng bảo mật nghiêm trọng trong xu hướng xây dựng hệ thống tự hành dựa trên World Models: bảo vệ chính sách điều khiển hạ nguồn là vô nghĩa nếu visual encoder dùng chung không có khả năng chống chịu nhiễu đối kháng cục bộ. Điều này định hình lại phương pháp thiết kế phòng thủ cho robot tự hành thế hệ mới.

Developer 76
Business 71
Novelty 86
Actionable 78

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

World models learn to predict how their environment will evolve, making them an important foundation for general-purpose robotic control. Yet world action models depend on camera inputs whose manipulation can corrupt the visual representations used across tasks and action policies. Existing attacks on these models optimize against the victim's actions or predicted futures and therefore require access to target-model outputs. In this paper, we propose an attack, TAPDreamer, against world action models that instead uses a public encoder alone to construct a fixed local perturbation that transfers across tasks and action architectures. TAPDreamer requires no target-policy queries. Our key insight is that interactions between patch-induced changes in attention weights and value vectors broadcast a nearly identical representation shift far beyond the patch footprint, and this shift remains stable across task observations. Guided by this insight, TAPDreamer uses six frames from one source task to maximize the global L1 distance between clean and patched encoder representations. In closed-loop evaluation, one frozen patch per benchmark, covering about 6.5% of the input, reduces FastWAM's success rate from 97.7% to 0.0% across 40 LIBERO tasks and from 90.8% to 0.0% across 50 RoboTwin tasks; matched random patches retain 81.5% and 79.2% success. The same patches reduce success to 2.1% and 0.8% on two DreamWAM configurations and to 10.0% on Motus. These results show that protecting downstream action generation alone is insufficient: defenses for world action models must also secure shared visual encoders against persistent local perturbations.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-06 13:17:38 +0000 UTC
{"tags": ["TAPDreamer", "World Action Models", "Adversarial Patch", "Robotics Security", "Visual Encoder", "AI Safety"], "risks": ["Nguy cơ tấn công vật lý ngoài đời thực: Miếng dán nhỏ (chiếm 6.5% khung hình) có thể được in ra để vô hiệu hóa hoàn toàn robot vận hành.", "Lỗ hổng từ encoder dùng chung: Việc các hệ sinh thái robot dùng chung các visual encoder công khai tạo điều kiện cho các đòn tấn công chuyển giao diện rộng.", "Phòng thủ hạ nguồn vô hiệu: Các cơ chế an toàn đặt ở tầng sinh hành động (action generation) không thể khắc phục lỗi khi biểu diễn thị giác đã bị bóp méo từ đầu."], "category": "Research", "entities": ["TAPDreamer", "FastWAM", "DreamWAM", "Motus", "LIBERO", "RoboTwin"], "summary_vi": "Nghiên cứu giới thiệu TAPDreamer, phương pháp tạo miếng dán đối kháng (adversarial patch) có khả năng chuyển giao cao nhằm vào các mô hình hành động thế giới (World Action Models) trong điều khiển robot. TAPDreamer chỉ sử dụng visual encoder công khai để tạo một nhiễu cục bộ cố định (~6,5% khung hình) dựa trên 6 khung hình mẫu, mà không cần truy vấn mô hình mục tiêu. Đòn tấn công khai thác cơ chế attention để làm biến dạng toàn bộ biểu diễn hình ảnh, làm tê liệt tỷ lệ thành công của FastWAM từ trên 90% xuống 0% trên các bộ benchmark LIBERO và RoboTwin, đồng thời chuyển giao hiệu quả sang DreamWAM và Motus. Kết quả chứng minh sự cần thiết phải bảo vệ visual encoder thay vì chỉ bảo vệ tầng sinh hành động.", "key_changes": ["Phát hiện lỗ hổng: Các mô hình World Action Models (WAM) dễ bị thao túng bởi miếng dán đối kháng cục bộ cố định mà không cần truy vấn chính sách mục tiêu.", "Cơ chế TAPDreamer: Khai thác sự tương tác giữa attention weights và value vectors trong visual encoder công khai để phát tán độ lệch biểu diễn ra toàn bộ khung hình.", "Tối ưu hóa tối giản: Chỉ cần 6 khung hình từ một tác vụ nguồn để tối đa hóa khoảng cách L1 toàn cục giữa biểu diễn gốc và bị nhiễu.", "Hiệu quả triệt tiêu: Giảm tỷ lệ thành công của FastWAM từ 97.7% xuống 0.0% trên 40 tác vụ LIBERO và từ 90.8% xuống 0.0% trên 50 tác vụ RoboTwin với miếng dán chiếm ~6.5% khung hình.", "Khả năng chuyển giao liên kiến trúc: Miếng dán vô hiệu hóa hiệu quả các kiến trúc khác như DreamWAM (còn 0.8% - 2.1%) và Motus (còn 10.0%)."], "sub_category": "Adversarial Robustness & Robotics", "novelty_score": 86, "business_score": 72, "research_score": 90, "why_it_matters": "Nghiên cứu chỉ ra lỗ hổng bảo mật nghiêm trọng trong xu hướng xây dựng hệ thống tự hành dựa trên World Models: bảo vệ chính sách điều khiển hạ nguồn là vô nghĩa nếu visual encoder dùng chung không có khả năng chống chịu nhiễu đối kháng cục bộ. Điều này định hình lại phương pháp thiết kế phòng thủ cho robot tự hành thế hệ mới.", "developer_score": 80, "importance_score": 85, "possible_use_cases": ["Đánh giá bảo mật và red-teaming cho các hệ thống robot tự hành sử dụng World Action Models.", "Xây dựng giải pháp phòng thủ và lọc nhiễu trực tiếp trên visual encoder trước khi đưa vào chính sách điều khiển.", "Thiết lập tiêu chuẩn an toàn thị giác cho robot công nghiệp và phương tiện tự hành tránh các đòn tấn công vật lý qua camera."], "actionability_score": 78}
← Trang trước Trang 1