Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Editing the Goal: Per-Token SAE Steering and Its Depth Limits in $π_{0.5}$

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

58 RADAR
Research Mechanistic Interpretability & Embodied AI · 1 nguồn đối chiếu · 2026-10-31 03:56:08 +0000 UTC

Editing the Goal: Per-Token SAE Steering and Its Depth Limits in $π_{0.5}$

Nguồn: arXiv AI
↗

Nghiên cứu chứng minh khả năng điều hướng hành vi của mô hình robot nền tảng π₀.₅ trong mô phỏng LIBERO bằng cách hoán đổi đặc trưng Sparse Autoencoders (SAEs) của một từ khóa mục tiêu mà không cần đổi câu lệnh văn bản. Phương pháp BatchTopK ở tầng 0 đạt tỷ lệ thành công 20/20 lượt thử nghiệm, đồng thời lập bản đồ độ sâu cho thấy can thiệp từ ngữ hiệu quả đến tầng 2 (danh tính vật thể), tầng 6 (vị trí vật thể) và mở rộng tới tầng 13 nếu can thiệp thêm cả camera tokens.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Công trình mở ra hướng tiếp cận mới trong việc hiểu và kiểm soát trực tiếp cơ chế ra quyết định của Robot Foundation Models (RFMs) thông qua biểu diễn nội tại thay vì chỉ phụ thuộc vào prompt. Việc vạch rõ giới hạn độ sâu can thiệp giữa thông tin ngôn ngữ và thị giác cung cấp nền tảng quan trọng cho việc thiết kế cơ chế điều khiển chính xác cũng như phòng chống các nguy cơ thao túng mô hình robot trong tương lai.

Developer 66
Business 53
Novelty 82
Actionable 60

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Sparse autoencoders (SAEs) have recovered interpretable, causally relevant features in robot foundation models (RFMs) such as $π_{0.5}$ (arXiv:2603.19183, arXiv:2603.19233). SAE features on individual instruction tokens are less interpretable than timestep-pooled ones (arXiv:2603.19183), and whether they can redirect a robot's goal remains untested. We show that replacing the SAE features of a single goal word with those of an alternative goal word, leaving the instruction text unchanged, steers $π_{0.5}$-LIBERO into completing the alternative task. At layer 0, BatchTopK feature swaps redirect behavior in up to 20/20 rollouts in a scene where random-feature swaps redirect none, with success varying across six scenes in two LIBERO suites and across layers. The effect depends on SAE architecture: word-selected Matryoshka edits largely do not outperform random ones. SAEs are also not required. Adding a fixed difference-in-means vector at twice its natural magnitude redirects 8-10/10 rollouts. Layer-wise activation patching shows that goal-word edits remain effective up to layer 6 for object location and layer 2 for object identity, and up to layer 13 in both cases when patching also covers camera tokens. These results are proof of existence in an RFM in simulation and an initial map of how deep goal-redirecting edits remain effective. Visit https://doubleblind-sae-pi05.github.io for video rollouts.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-03 09:35:31 +0000 UTC
{"tags": ["Robot Foundation Models", "Sparse Autoencoders", "Mechanistic Interpretability", "Activation Steering", "pi0.5", "LIBERO", "AI Safety"], "risks": ["Nguy cơ tấn công can thiệp nội vi tiềm ẩn: robot bị chuyển hướng mục tiêu mà câu lệnh chỉ dẫn bên ngoài vẫn trông hoàn toàn hợp lệ.", "Hiệu quả can thiệp biến thiên mạnh giữa các bối cảnh (6 scenes thử nghiệm) và suy giảm nhanh theo độ sâu các tầng mạng.", "Kết quả hiện mới chỉ được kiểm chứng trên môi trường mô phỏng (simulation LIBERO), chưa phản ánh đầy đủ nhiễu và độ trễ trên phần cứng vật lý thực tế."], "category": "Research", "entities": ["π0.5", "LIBERO", "Sparse Autoencoders (SAEs)", "BatchTopK SAE", "Matryoshka SAE"], "summary_vi": "Nghiên cứu chứng minh khả năng điều hướng hành vi của mô hình robot nền tảng π₀.₅ trong mô phỏng LIBERO bằng cách hoán đổi đặc trưng Sparse Autoencoders (SAEs) của một từ khóa mục tiêu mà không cần đổi câu lệnh văn bản. Phương pháp BatchTopK ở tầng 0 đạt tỷ lệ thành công 20/20 lượt thử nghiệm, đồng thời lập bản đồ độ sâu cho thấy can thiệp từ ngữ hiệu quả đến tầng 2 (danh tính vật thể), tầng 6 (vị trí vật thể) và mở rộng tới tầng 13 nếu can thiệp thêm cả camera tokens.", "key_changes": ["Chứng minh khả năng điều hướng mục tiêu (goal steering) của mô hình robot nền tảng (RFM) π₀.₅ ở cấp độ từng token bằng cách tráo đổi đặc trưng SAE của từ mục tiêu mà không đổi prompt văn bản.", "Hoán đổi đặc trưng BatchTopK SAE ở tầng 0 chuyển hướng thành công tới 20/20 lượt chạy (rollouts) trong môi trường mô phỏng LIBERO, trong khi hoán đổi ngẫu nhiên đạt 0%.", "Kiến trúc SAE ảnh hưởng đáng kể: BatchTopK hiệu quả cao nhưng SAE Matryoshka không vượt trội hơn ngẫu nhiên; đồng thời cộng vector chênh lệch trung bình (difference-in-means vector x2) cũng đủ để chuyển hướng 8-10/10 lượt mà không nhất thiết dùng SAE.", "Lập bản đồ độ sâu can thiệp qua activation patching: can thiệp từ mục tiêu hiệu quả tới tầng 6 với vị trí vật thể (location), tầng 2 với danh tính vật thể (identity), và đạt tầng 13 khi kết hợp can thiệp cả camera tokens."], "sub_category": "Mechanistic Interpretability & Embodied AI", "novelty_score": 82, "business_score": 50, "research_score": 90, "why_it_matters": "Công trình mở ra hướng tiếp cận mới trong việc hiểu và kiểm soát trực tiếp cơ chế ra quyết định của Robot Foundation Models (RFMs) thông qua biểu diễn nội tại thay vì chỉ phụ thuộc vào prompt. Việc vạch rõ giới hạn độ sâu can thiệp giữa thông tin ngôn ngữ và thị giác cung cấp nền tảng quan trọng cho việc thiết kế cơ chế điều khiển chính xác cũng như phòng chống các nguy cơ thao túng mô hình robot trong tương lai.", "developer_score": 70, "importance_score": 75, "possible_use_cases": ["Can thiệp và điều hướng hành vi robot theo thời gian thực (runtime goal steering) mà không cần cấu trúc lại prompt văn bản.", "Kiểm thử bảo mật nội tại và đánh giá nguy cơ tấn công chiếm quyền điều khiển kích hoạt (activation hijacking) trên Robot Foundation Models.", "Nghiên cứu khả năng giải thích cơ chế (mechanistic interpretability) để xây dựng rào chắn an toàn (safety guardrails) cho robot tự hành."], "actionability_score": 60}