Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Step-Zero Attack: Agent Safety Before Observability

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

67 RADAR
Agents Agent Security & Vulnerabilities · 1 nguồn đối chiếu · 2026-11-01 14:33:09 +0000 UTC

Step-Zero Attack: Agent Safety Before Observability

Nguồn: arXiv AI
↗

Nghiên cứu chỉ ra tấn công 'Step-Zero' nhắm vào coding agent trước khi dữ liệu kịp đi vào context của mô hình hoặc qua các lớp kiểm duyệt. Khi xử lý dữ liệu thô (tệp nén, mạng, hình ảnh), 32/42 cặp harness-mô hình đã bị tràn hạn ngạch 4 MiB đĩa (26/42 bị trước khi mô hình thấy nội dung) và agent thường lưu file theo tên do dữ liệu độc hại chỉ định. Nghiên cứu đề xuất cổng kiểm soát số byte ở tầng xử lý primitive, giúp ngăn chặn hoàn toàn việc tràn đĩa mà vẫn hoàn thành 25/28 tác vụ, kết hợp với huấn luyện kiểm tra an toàn đầu vào.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu phơi bày điểm mù chí mạng trong bảo mật agent: các cơ chế guardrail hiện hành đều hoạt động sau khi dữ liệu đã vào context, trong khi tổn hại thực tế có thể xảy ra ngay từ bước tiền xử lý thô ở tầng hệ thống (Step Zero). Do đó, việc bảo vệ agent bắt buộc phải kết hợp kiểm soát tài nguyên chặt chẽ ở tầng runtime primitive thay vì chỉ trông cậy vào LLM alignment.

Developer 82
Business 72
Novelty 86
Actionable 84

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Existing attacks and defenses for coding agents act once content enters the model context: injected text persuades the model, and guards inspect what the model reads. Yet to judge whether processing an unknown archive, network response, or image is safe, an agent often must process it first, and that step can do harm before any content reaches the model. We call this first processing Step Zero, and harm done by it a Step-Zero attack. Across seven harnesses and six models, each agent received only a path or URL to a crafted input, paired with a benign twin showing the same visible fields. Step Zero is where most agents are already unsafe: 32/42 harness-model pairs overran a 4 MiB disk budget, 26/42 before the model saw any member, and four of the six models did so in every round (84/84), so the damage precedes any model-side defense. Every twin stayed within budget, so the attacker's bytes alone cause the harm. On network and image inputs the risk moves to what the agent writes: agents stored the body under the name the input declared, letting the input decide what is written, and their checks faded once cues were removed. Model-free tests trace the harm to the processing primitive, so we defend it there: a gate that counts the bytes each call produces held every routed extraction within budget while agents completed 25/28 tasks. Vendors should pair such gates with safety-alignment training that teaches agents to inspect an input before processing it.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-03 11:37:38 +0000 UTC
{"tags": ["Step-Zero Attack", "AI Agents", "Coding Agents", "Agent Security", "Vulnerability", "Decompression Bomb", "Sandboxing", "Resource Exhaustion"], "risks": ["Tấn công từ chối dịch vụ (DoS) và cạn kiệt tài nguyên lưu trữ (disk exhaustion) bằng zip bomb/decompression bomb mà LLM guardrails hoàn toàn không thể phát hiện.", "Nguy cơ ghi đè file hệ thống hoặc thực thi mã ngoài ý muốn do agent tin cậy tên tệp do dữ liệu thô cung cấp.", "Lỗ hổng bảo mật bị bỏ sót do nhà phát triển chỉ tập trung chống prompt injection ở tầng context mà quên bảo vệ tầng runtime primitive."], "category": "Agents", "entities": ["Step-Zero Attack", "Coding Agents"], "summary_vi": "Nghiên cứu chỉ ra tấn công 'Step-Zero' nhắm vào coding agent trước khi dữ liệu kịp đi vào context của mô hình hoặc qua các lớp kiểm duyệt. Khi xử lý dữ liệu thô (tệp nén, mạng, hình ảnh), 32/42 cặp harness-mô hình đã bị tràn hạn ngạch 4 MiB đĩa (26/42 bị trước khi mô hình thấy nội dung) và agent thường lưu file theo tên do dữ liệu độc hại chỉ định. Nghiên cứu đề xuất cổng kiểm soát số byte ở tầng xử lý primitive, giúp ngăn chặn hoàn toàn việc tràn đĩa mà vẫn hoàn thành 25/28 tác vụ, kết hợp với huấn luyện kiểm tra an toàn đầu vào.", "key_changes": ["Khái niệm 'Step-Zero Attack': Lỗ hổng xảy ra trong giai đoạn tiền xử lý đầu vào thô (archive, network response, image), gây hại trước khi dữ liệu kịp tiến vào context hoặc qua các lớp guardrail của LLM.", "Thực nghiệm diện rộng: 32/42 cặp harness-model vượt ngưỡng hạn ngạch 4 MiB đĩa; 26/42 cặp bị quá tải trước khi model đọc bất kỳ file nào bên trong archive; 4/6 model bị khai thác trong toàn bộ các lượt thử (84/84).", "Lỗ hổng đặt tên và ghi file: Agent tự động lưu nội dung tải về theo tên tệp do dữ liệu độc hại khai báo, trao quyền kiểm soát ghi file cho kẻ tấn công.", "Giải pháp phòng vệ tầng primitive: Triển khai cổng đếm byte (byte-counting gate) ở hàm xử lý cấp thấp, giúp chặn hoàn toàn tình trạng tràn đĩa mà vẫn đảm bảo agent hoàn thành 25/28 tác vụ."], "sub_category": "Agent Security & Vulnerabilities", "novelty_score": 86, "business_score": 74, "research_score": 86, "why_it_matters": "Nghiên cứu phơi bày điểm mù chí mạng trong bảo mật agent: các cơ chế guardrail hiện hành đều hoạt động sau khi dữ liệu đã vào context, trong khi tổn hại thực tế có thể xảy ra ngay từ bước tiền xử lý thô ở tầng hệ thống (Step Zero). Do đó, việc bảo vệ agent bắt buộc phải kết hợp kiểm soát tài nguyên chặt chẽ ở tầng runtime primitive thay vì chỉ trông cậy vào LLM alignment.", "developer_score": 90, "importance_score": 85, "possible_use_cases": ["Tích hợp cơ chế giới hạn dung lượng và kiểm soát byte (byte-counting gate) vào các tool giải nén và tải dữ liệu trong agent harness.", "Chuẩn hóa và làm sạch (sanitize) đường dẫn lưu tệp, ngăn agent tự ý lấy tên file từ network response hay metadata ảnh của kẻ tấn công.", "Huấn luyện alignment an toàn để agent chủ động kiểm tra cấu trúc metadata trước khi kích hoạt lệnh đọc/giải nén tệp."], "actionability_score": 84}
← Trang trước Trang 1