Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Prefilling the Reasoning Channel: Output-Prefix Attacks on Reasoning LLMs

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

69 RADAR
Research AI Security & Safety · 1 nguồn đối chiếu · 2026-09-24 13:18:21 +0000 UTC

Prefilling the Reasoning Channel: Output-Prefix Attacks on Reasoning LLMs

Nguồn: arXiv AI
↗

Nghiên cứu kiểm soát đầu tiên phân tích có hệ thống về vector tấn công tiền tố đầu ra (output-prefix attack) nhắm vào kênh suy luận (scratchpad reasoning) của các mô hình lý luận (Reasoning LLMs). Thử nghiệm trên 1.800 ca kiểm thử từ AdvBench với 3 mô hình biên giới năm 2026 (Gemini 3 Flash Preview, DeepSeek V4 Flash, Claude Haiku 4.5) chỉ ra rằng: tiêm suy luận độc hại đơn lẻ gần như vô hại (~0% thành công), nhưng khi kết hợp với một tiền tố đầu ra đơn giản, tỷ lệ tấn công thành công tăng vọt lên tới 99%, trong đó tiền tố ngữ cảnh mang lại hiệu quả vượt trội.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Kênh suy luận (scratchpad reasoning) là cải tiến cốt lõi giúp các mô hình thế hệ mới tăng cường năng lực suy luận và an toàn, tuy nhiên việc các API cho phép chỉnh sửa hoặc prefill kênh này tạo ra kẽ hở lớn. Nghiên cứu chứng minh rằng kết hợp suy luận độc hại với tiền tố đầu ra phá vỡ gần như hoàn toàn phòng tuyến an toàn của các frontier model (lên đến 99%), buộc các nhà cung cấp nền tảng và lập trình viên phải lập tức siết chặt quyền can thiệp vào kênh reasoning ở cấp độ API.

Developer 76
Business 70
Novelty 85
Actionable 80

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Large Language Models (LLMs) consume and produce a single sequence of text; hence, if text can be added to the beginning of the LLM's response, i.e., an output prefix, then all subsequent tokens will be conditioned on it. This output-prefix attack technique is a cheap black-box prompt injection. Prior work has shown this type of attack can reliably jailbreak non-reasoning models. Most reasoning models add an intermediate scratchpad reasoning step before the assistant's final response. The ability to edit this reasoning channel is exposed by some APIs and attack vectors can be leveraged for reasoning injection attacks. We present the first systematic, controlled study that isolates the scratchpad reasoning channel as an output-prefix attack vector, and the first to compare reasoning-only, output-prefix-only and reasoning-plus-output-prefix attacks across both exposed- and hidden-reasoning models. Using a factorial design of 3 prefix types $\times$ 2 reasoning injections over $1{,}800$ test cases drawn from AdvBench, we attack three 2026-era frontier models Gemini 3 Flash Preview, DeepSeek V4 Flash, and Claude Haiku 4.5. We find that injecting malicious reasoning alone is essentially inert ($\approx0\%$ attack success), but injecting the same reasoning together with a trivial output prefix raises the attack success rate to as high as $99\%$ for some models. For this type of attack we find that contextual prefixes work better than static prefixes; and that susceptibility is dependent on the model.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-09-25 09:01:47 +0000 UTC
{"tags": ["AI Security", "Jailbreak", "Reasoning LLMs", "Output-Prefix Attack", "Prompt Injection", "AdvBench", "AI Safety"], "risks": ["Kẻ tấn công có thể vượt qua toàn bộ cơ chế bảo vệ (guardrails) của các frontier model với chi phí thấp và tỷ lệ thành công tới 99%.", "Các API cho phép tùy biến/prefill reasoning channel vô tình mở ra bề mặt tấn công nguy hiểm cho ứng dụng downstream.", "Nguy cơ các mô hình phát sinh nội dung độc hại mà không bị các chốt kiểm duyệt truyền thống phát hiện."], "category": "Research", "entities": ["Gemini 3 Flash Preview", "DeepSeek V4 Flash", "Claude Haiku 4.5", "AdvBench"], "summary_vi": "Nghiên cứu kiểm soát đầu tiên phân tích có hệ thống về vector tấn công tiền tố đầu ra (output-prefix attack) nhắm vào kênh suy luận (scratchpad reasoning) của các mô hình lý luận (Reasoning LLMs). Thử nghiệm trên 1.800 ca kiểm thử từ AdvBench với 3 mô hình biên giới năm 2026 (Gemini 3 Flash Preview, DeepSeek V4 Flash, Claude Haiku 4.5) chỉ ra rằng: tiêm suy luận độc hại đơn lẻ gần như vô hại (~0% thành công), nhưng khi kết hợp với một tiền tố đầu ra đơn giản, tỷ lệ tấn công thành công tăng vọt lên tới 99%, trong đó tiền tố ngữ cảnh mang lại hiệu quả vượt trội.", "key_changes": ["Cô lập và chứng minh kênh suy luận (scratchpad reasoning) là một vector tấn công output-prefix mới trên reasoning LLMs.", "Tấn công chỉ bằng việc tiêm suy luận độc hại (reasoning-only) gần như không hiệu quả (~0% tỷ lệ thành công).", "Kết hợp tiêm suy luận với một tiền tố đầu ra đơn giản (reasoning-plus-output-prefix) làm tăng vọt tỷ lệ bẻ khóa (jailbreak) lên đến 99% trên một số mô hình.", "Tiền tố theo ngữ cảnh (contextual prefixes) đạt hiệu quả cao hơn tiền tố tĩnh (static prefixes).", "Mức độ nhạy cảm trước kiểu tấn công này có sự khác biệt rõ rệt tùy theo từng mô hình cụ thể."], "sub_category": "AI Security & Safety", "novelty_score": 85, "business_score": 70, "research_score": 88, "why_it_matters": "Kênh suy luận (scratchpad reasoning) là cải tiến cốt lõi giúp các mô hình thế hệ mới tăng cường năng lực suy luận và an toàn, tuy nhiên việc các API cho phép chỉnh sửa hoặc prefill kênh này tạo ra kẽ hở lớn. Nghiên cứu chứng minh rằng kết hợp suy luận độc hại với tiền tố đầu ra phá vỡ gần như hoàn toàn phòng tuyến an toàn của các frontier model (lên đến 99%), buộc các nhà cung cấp nền tảng và lập trình viên phải lập tức siết chặt quyền can thiệp vào kênh reasoning ở cấp độ API.", "developer_score": 80, "importance_score": 85, "possible_use_cases": ["Kiểm thử thâm nhập (Red Teaming) và đánh giá độ an toàn cho các API và ứng dụng triển khai reasoning LLMs.", "Thiết kế lại chính sách và cơ chế kiểm soát đầu vào tại tầng API (ngăn chặn hoặc kiểm duyệt prefill ở kênh reasoning và assistant message).", "Phát triển các bộ lọc phát hiện sớm hành vi can thiệp trái phép vào kênh suy luận trung gian."], "actionability_score": 80}
← Trang trước Trang 1