Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

When Does Test-Time Search Help World Action Models? An Empirical Audit of Candidate Selection and Simulator Integrity

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

62 RADAR
Research Robotics & Test-Time Search · 1 nguồn đối chiếu · 2026-10-30 16:21:07 +0000 UTC

When Does Test-Time Search Help World Action Models? An Empirical Audit of Candidate Selection and Simulator Integrity

Nguồn: arXiv AI
↗

Nghiên cứu thực nghiệm trên Cosmos Policy và RoboCasa kiểm định tính hiệu quả của test-time scaling trong các mô hình world-action. Kết quả chỉ ra rằng việc mở rộng tính toán lúc suy luận không mang lại hiệu quả như kỳ vọng: bộ chọn giá trị học được (learned value selector) kém hơn lựa chọn ngẫu nhiên 1.66 pp, 82% trạng thái có kết quả ứng viên như nhau, và token pruning giảm 47% FLOPs nhưng chỉ tăng tốc thực tế 1.15x. Nghiên cứu cũng phát hiện và phát hành bản vá cho lỗi silent rendering corruption trong trình mô phỏng làm sai lệch kết quả đánh giá.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu chỉ ra rằng test-time scaling trong mô hình hành động robot không thể chỉ đo bằng tỷ lệ thành công bề mặt mà cần kiểm định toàn bộ chuỗi: tín hiệu quyết định, hiệu quả thực tế và tính toàn vẹn của mô phỏng. Đối với doanh nghiệp và kỹ sư, việc này ngăn chặn lãng phí tài nguyên GPU cho các kỹ thuật lập kế hoạch suy luận không tạo ra giá trị thực tế, đồng thời loại bỏ lỗi môi trường mô phỏng gây nhiễu kết quả đo lường.

Developer 75
Business 66
Novelty 76
Actionable 75

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

World-action models increasingly apply test-time scaling, spending extra inference computation on candidate selection and adaptive allocation to improve control. Such gains are credible only when candidates carry exploitable signal, nominal compute savings become real speedup, and evaluation stays reliable. We audit all three on Cosmos Policy and RoboCasa with a premise-first, pre-registered methodology. On clean data, a learned value selector is 1.66 pp worse than random; a hindsight oracle gains only 1.40 pp, with an episode-level interval spanning zero; and 82% of states show identical candidate outcomes, leaving little selection headroom. Token pruning cuts per-forward FLOPs by up to 47% but yields at most a measured 1.15$\times$ end-to-end speedup on the deployed path (1.25$\times$ on a decode-excluded path), short of a 1.5$\times$ target, and our adaptive-allocation experiment is inconclusive under a power gate. We further identify and fix a silent rendering corruption whose rate rises sharply along compute-heavy planning paths while leaving the official direct-policy result unaffected, and release a detector, fix, and scripts. These findings show why test-time scaling should be audited as a chain of premises (decision signal, realized efficiency, evaluationintegrity) rather than by success rate alone. Conclusions are scoped to the tested configuration.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-02 11:29:43 +0000 UTC
{"tags": ["World Action Models", "Test-Time Search", "Cosmos Policy", "RoboCasa", "Token Pruning", "Robotics", "Simulator Integrity", "Embodied AI"], "risks": ["Lãng phí chi phí phần cứng và điện năng cho test-time compute khi ứng viên hành động thiếu tín hiệu khai thác khác biệt.", "Đánh giá sai lệch hiệu năng mô hình robot do lỗi hiển thị ngầm của trình mô phỏng chỉ xuất hiện khi tải tính toán lập kế hoạch cao.", "Kết luận hiện tại bị giới hạn trong phạm vi cấu hình thử nghiệm cụ thể của Cosmos Policy và RoboCasa."], "category": "Research", "entities": ["Cosmos Policy", "RoboCasa"], "summary_vi": "Nghiên cứu thực nghiệm trên Cosmos Policy và RoboCasa kiểm định tính hiệu quả của test-time scaling trong các mô hình world-action. Kết quả chỉ ra rằng việc mở rộng tính toán lúc suy luận không mang lại hiệu quả như kỳ vọng: bộ chọn giá trị học được (learned value selector) kém hơn lựa chọn ngẫu nhiên 1.66 pp, 82% trạng thái có kết quả ứng viên như nhau, và token pruning giảm 47% FLOPs nhưng chỉ tăng tốc thực tế 1.15x. Nghiên cứu cũng phát hiện và phát hành bản vá cho lỗi silent rendering corruption trong trình mô phỏng làm sai lệch kết quả đánh giá.", "key_changes": ["Đánh giá thực nghiệm cho thấy learned value selector kém hơn chọn ngẫu nhiên 1.66 pp; hindsight oracle chỉ tăng 1.40 pp với khoảng tin cậy bao hàm số 0.", "82% trạng thái cho ra kết quả ứng viên giống hệt nhau, cho thấy dư địa lựa chọn (selection headroom) của test-time search rất hạn chế.", "Token pruning giảm tới 47% FLOPs mỗi forward pass nhưng chỉ đạt tốc độ tăng tốc thực tế (end-to-end) tối đa 1.15x trên pipeline triển khai (không đạt mục tiêu 1.5x).", "Phát hiện lỗi render ngầm (silent rendering corruption) tăng mạnh khi chạy các đường dẫn lập kế hoạch tốn nhiều tính toán trong simulator.", "Công bố bộ công cụ phát hiện (detector), bản sửa lỗi (fix) và kịch bản thực nghiệm (scripts) cho cộng đồng."], "sub_category": "Robotics & Test-Time Search", "novelty_score": 76, "business_score": 68, "research_score": 88, "why_it_matters": "Nghiên cứu chỉ ra rằng test-time scaling trong mô hình hành động robot không thể chỉ đo bằng tỷ lệ thành công bề mặt mà cần kiểm định toàn bộ chuỗi: tín hiệu quyết định, hiệu quả thực tế và tính toàn vẹn của mô phỏng. Đối với doanh nghiệp và kỹ sư, việc này ngăn chặn lãng phí tài nguyên GPU cho các kỹ thuật lập kế hoạch suy luận không tạo ra giá trị thực tế, đồng thời loại bỏ lỗi môi trường mô phỏng gây nhiễu kết quả đo lường.", "developer_score": 82, "importance_score": 80, "possible_use_cases": ["Kiểm thử và đánh giá độc lập (audit) chuỗi giả định trước khi quyết định đầu tư chi phí suy luận vào test-time search cho robot.", "Sử dụng công cụ phát hiện và bản sửa lỗi silent rendering corruption trong các quy trình mô phỏng với RoboCasa và Cosmos Policy.", "Đo kiểm độ trễ thực tế trên phần cứng thay vì chỉ ước tính FLOPs khi áp dụng kỹ thuật cắt tỉa token (token pruning)."], "actionability_score": 75}
← Trang trước Trang 1