Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

64 RADAR
Agents Agent Security & Benchmarking · 1 nguồn đối chiếu · 2026-10-02 11:22:36 +0000 UTC

EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents

Nguồn: arXiv AI
↗

EvoRiskBench là bộ benchmark đánh giá rủi ro an ninh runtime cho các workspace agent thực thi tác vụ đa bước truy cập tài nguyên ngoài. Dựa trên khung EP-Path-EF (gồm 9 điểm xâm nhập và 5 hệ quả kỹ thuật), benchmark này tự động hóa quy trình xây dựng, thực thi trong môi trường cô lập và xác minh 450 tác vụ đối kháng qua 6 kịch bản. Đánh giá trên 9 cấu hình (3 mô hình: GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5 kết hợp 3 harness: Claude Code, Codex, OpenClaw) cho thấy lỗ hổng an ninh nghiêm trọng; trong đó Codex kết hợp DeepSeek-V4-Pro-0813 ghi nhận tỷ lệ tấn công thành công (ASR) lên tới 68,44%.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Khi các workspace agent ngày càng được cấp quyền can thiệp trực tiếp vào mã nguồn, tệp tin và hạ tầng doanh nghiệp, việc thiếu các tiêu chuẩn kiểm thử rủi ro runtime là lỗ hổng nguy hiểm. EvoRiskBench cung cấp phương pháp luận thực nghiệm chuẩn hóa, chứng minh bằng số liệu thực tế rằng các biện pháp bảo vệ hiện tại vẫn chưa đủ an toàn trước các cuộc tấn công đối kháng.

Developer 80
Business 75
Novelty 82
Actionable 80

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Workspace agents combine large language models with execution harnesses to perform stateful, multi-step tasks that access or modify external resources. Existing benchmarks leave gaps in executable coverage of their runtime security risks, while evolving model capabilities, harnesses, tools, and threats motivate benchmark evolution. We introduce EvoRiskBench, an evolving benchmark organized around the EP-Path-EF framework, which links an initial risk entry point to a one-hop technical effect through an agent-mediated risk path. The framework defines nine entry-point categories and five effect categories; a 20-participant study supports their interpretability and classification consistency on representative cases. Guided by this framework, an automated end-to-end workflow constructs and executes risk cases in isolated environments and independently verifies outcomes using runtime traces and environment states. The benchmark provides a reproducible dataset of 450 adversarial tasks across six scenarios. We evaluate nine model-harness configurations spanning three models (GPT-5.6 Sol, DeepSeek-V4-Pro-0813, and Claude Opus 5) and three harnesses (Claude Code, Codex, and OpenClaw). Our results reveal substantial vulnerabilities across systems. The most vulnerable configuration, Codex with DeepSeek-V4-Pro-0813, reaches a 68.44% attack success rate (ASR), indicating that configuration of workspace agent is insufficient to ensure secure autonomous execution. ASR varies more across models than harnesses, and harness differences depend on the model. The benchmark cases and evaluation platform will be released after completion of artifact safety and reproducibility checks.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-05 09:08:47 +0000 UTC
{"tags": ["AI Agents", "Workspace Agents", "Runtime Security", "Benchmark", "EvoRiskBench", "EP-Path-EF", "Attack Success Rate", "LLM Security"], "risks": ["Tỷ lệ tấn công thành công cao (lên đến 68,44%) cho thấy nguy cơ agent bị khai thác để can thiệp hoặc gây hại trực tiếp tới tài nguyên hệ thống.", "Cấu hình harness thông thường hiện tại chưa đủ để đảm bảo an toàn cho quá trình thực thi tự động của workspace agent.", "Dữ liệu benchmark và nền tảng đánh giá chưa được công bố ngay lập tức do đang hoàn thiện kiểm tra an toàn và tính tái lập."], "category": "Agents", "entities": ["EvoRiskBench", "EP-Path-EF", "GPT-5.6 Sol", "DeepSeek-V4-Pro-0813", "Claude Opus 5", "Claude Code", "Codex", "OpenClaw"], "summary_vi": "EvoRiskBench là bộ benchmark đánh giá rủi ro an ninh runtime cho các workspace agent thực thi tác vụ đa bước truy cập tài nguyên ngoài. Dựa trên khung EP-Path-EF (gồm 9 điểm xâm nhập và 5 hệ quả kỹ thuật), benchmark này tự động hóa quy trình xây dựng, thực thi trong môi trường cô lập và xác minh 450 tác vụ đối kháng qua 6 kịch bản. Đánh giá trên 9 cấu hình (3 mô hình: GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5 kết hợp 3 harness: Claude Code, Codex, OpenClaw) cho thấy lỗ hổng an ninh nghiêm trọng; trong đó Codex kết hợp DeepSeek-V4-Pro-0813 ghi nhận tỷ lệ tấn công thành công (ASR) lên tới 68,44%.", "key_changes": ["Đề xuất khung EP-Path-EF kết nối điểm xâm nhập rủi ro (9 danh mục) đến hệ quả kỹ thuật (5 danh mục) thông qua đường dẫn rủi ro qua agent.", "Xây dựng quy trình tự động hóa end-to-end tạo và thực thi các trường hợp rủi ro trong môi trường cô lập, xác minh qua runtime trace và trạng thái môi trường.", "Cung cấp tập dữ liệu gồm 450 tác vụ đối kháng có khả năng tái lập qua 6 kịch bản thực tế.", "Đánh giá 9 cấu hình kết hợp giữa 3 mô hình (GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5) và 3 harness (Claude Code, Codex, OpenClaw).", "Phát hiện tỷ lệ tấn công thành công (ASR) cao nhất đạt 68,44% (Codex + DeepSeek-V4-Pro-0813); ASR biến thiên theo mô hình nhiều hơn là harness."], "sub_category": "Agent Security & Benchmarking", "novelty_score": 82, "business_score": 80, "research_score": 86, "why_it_matters": "Khi các workspace agent ngày càng được cấp quyền can thiệp trực tiếp vào mã nguồn, tệp tin và hạ tầng doanh nghiệp, việc thiếu các tiêu chuẩn kiểm thử rủi ro runtime là lỗ hổng nguy hiểm. EvoRiskBench cung cấp phương pháp luận thực nghiệm chuẩn hóa, chứng minh bằng số liệu thực tế rằng các biện pháp bảo vệ hiện tại vẫn chưa đủ an toàn trước các cuộc tấn công đối kháng.", "developer_score": 88, "importance_score": 85, "possible_use_cases": ["Thiết lập quy trình kiểm thử bảo mật (red-teaming) tự động cho các agentic coding assistant và workspace agent trước khi triển khai nội bộ.", "Đánh giá và lựa chọn cặp mô hình - harness phù hợp nhằm giảm thiểu rủi ro bảo mật cho các hệ thống tự động hóa tác vụ.", "Xây dựng cơ chế sandbox runtime và hệ thống kiểm soát quyền hạn (guardrails) nhằm ngăn chặn đường dẫn rủi ro qua agent."], "actionability_score": 80}