Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

AdvSim2Real : Training Web Agents Against Adaptive Prompt Injection in a Web World Model

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

69 RADAR
Agents Web Agent Security · 1 nguồn đối chiếu · 2026-10-06 17:56:43 +0000 UTC

AdvSim2Real : Training Web Agents Against Adaptive Prompt Injection in a Web World Model

Nguồn: arXiv AI
↗

AdvSim2Real giới thiệu kỹ thuật đồng tiến hóa giáo trình nhiệm vụ, đối thủ tạo prompt injection thích ứng và web agent bên trong một web world model đóng băng. Phương pháp này giúp tác nhân 4B nâng cao cả năng lực thực thi lẫn độ vững chắc, tăng 33,6% tỷ lệ hoàn thành tác vụ trên 150 nhiệm vụ web thực tế trước đối thủ là frontier model chưa từng gặp trong quá trình huấn luyện.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Web agent bắt buộc phải đọc nội dung từ trang web bên thứ ba để lấy dữ liệu điều khiển, khiến chúng cực kỳ dễ bị tấn công bởi prompt injection. AdvSim2Real chứng minh giải pháp huấn luyện đối kháng kết hợp giáo trình thích ứng trong mô hình thế giới có thể giúp agent nhỏ vừa thông minh hơn vừa phòng thủ tốt trước các cuộc tấn công thích ứng thực tế.

Developer 76
Business 77
Novelty 88
Actionable 75

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Web agents complete user requests by reading and acting on pages that third parties write, so an instruction planted on a page can redirect the agent away from the user's goal. The agent cannot simply ignore the page, because the page also holds the values and controls the task requires. Current defenses fine-tune the agent on injections fixed before training, and attackers that adapt to the trained model bypass them. Adversarial training lets the attacker adapt but keeps the tasks fixed, so a task stops teaching once the agent solves it. We introduce AdvSim2Real, which co-evolves a task curriculum, an injection adversary, and the agent inside a frozen web world model. The curriculum is rewarded for tasks the agent solves about half of the time, and the adversary only for a success flip, an injection that turns a judged success into a failure. Training in the simulator makes a 4B agent both more capable and more robust: its completion rises with and without attacks, holds against a frontier-model adversary it never trained against, and its capability gain carries over to a real browser. On 150 web tasks, AdvSim2Real raises completion under this unseen adversary by 33.6\% relative to the base agent.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-07 10:17:45 +0000 UTC
{"tags": ["Web Agents", "Prompt Injection", "Adversarial Training", "World Model", "Sim2Real", "AI Security"], "risks": ["Khoảng cách sim-to-real tiềm ẩn nếu web world model không bao quát hết các kịch bản web thực tế phức tạp.", "Chi phí huấn luyện đồng tiến hóa đa thành phần (agent, curriculum, adversary) tương đối lớn.", "Khả năng đối thủ thực tế sử dụng các vector tấn công vượt ra ngoài không gian mô phỏng của adversary."], "category": "Agents", "entities": ["AdvSim2Real"], "summary_vi": "AdvSim2Real giới thiệu kỹ thuật đồng tiến hóa giáo trình nhiệm vụ, đối thủ tạo prompt injection thích ứng và web agent bên trong một web world model đóng băng. Phương pháp này giúp tác nhân 4B nâng cao cả năng lực thực thi lẫn độ vững chắc, tăng 33,6% tỷ lệ hoàn thành tác vụ trên 150 nhiệm vụ web thực tế trước đối thủ là frontier model chưa từng gặp trong quá trình huấn luyện.", "key_changes": ["Đồng tiến hóa đồng thời ba thành phần: giáo trình nhiệm vụ (task curriculum), kẻ tấn công injection (adversary) và web agent trong web world model đóng băng.", "Thiết kế phần thưởng giáo trình tối ưu cho các nhiệm vụ có tỷ lệ hoàn thành khoảng 50% nhằm duy trì độ khó phù hợp liên tục.", "Thiết kế phần thưởng kẻ tấn công chỉ khi tạo ra 'success flip' (biến một tác vụ thành công thành thất bại).", "Chuyển giao năng lực thành công từ mô phỏng sang trình duyệt thực tế (sim-to-real), giúp mô hình 4B tăng 33,6% tỷ lệ hoàn thành trước đối thủ frontier model chưa từng thấy."], "sub_category": "Web Agent Security", "novelty_score": 88, "business_score": 82, "research_score": 88, "why_it_matters": "Web agent bắt buộc phải đọc nội dung từ trang web bên thứ ba để lấy dữ liệu điều khiển, khiến chúng cực kỳ dễ bị tấn công bởi prompt injection. AdvSim2Real chứng minh giải pháp huấn luyện đối kháng kết hợp giáo trình thích ứng trong mô hình thế giới có thể giúp agent nhỏ vừa thông minh hơn vừa phòng thủ tốt trước các cuộc tấn công thích ứng thực tế.", "developer_score": 80, "importance_score": 85, "possible_use_cases": ["Huấn luyện web agents tự hành có khả năng kháng prompt injection gián tiếp để tự động hóa quy trình nghiệp vụ trên trình duyệt.", "Xây dựng môi trường benchmark và kiểm thử bảo mật tự động cho các mô hình agent trước khi đưa vào sản xuất.", "Tối ưu hóa các mô hình agent kích thước nhỏ (như 4B) đạt độ tin cậy và an toàn cao mà không cần dựa hoàn toàn vào frontier models đắt đỏ."], "actionability_score": 75}
← Trang trước Trang 1