SecPO: Principled Adversarial Training for Prompt Injection Security

{"tags": ["SecPO", "Prompt Injection", "AI Security", "Adversarial Training", "AgentDojo", "DPO", "Qwen3.6-27B", "AI Agents"], "risks": ["Tỷ lệ ASR 8,8% trên AgentDojo cho thấy mô hình chưa miễn nhiễm 100% trước các kịch bản tấn công tinh vi.", "Chi phí tính toán của pipeline tổng hợp mẫu tấn công thích ứng (best@240) có thể tốn kém khi mở rộng lên mô hình quy mô lớn hơn.", "Nguy cơ xuất hiện các kỹ thuật tấn công thích ứng mới nằm ngoài không gian mẫu đối kháng đã được huấn luyện."], "category": "Research", "entities": ["SecPO", "Meta-SecAlign", "AgentDojo", "Qwen3.6-27B", "Hugging Face", "GitHub"], "summary_vi": "SecPO giới thiệu phương pháp huấn luyện đối kháng (AT) có cơ sở lý thuyết nhằm giải quyết triệt để nguy cơ prompt injection trên AI agent. Nghiên cứu chỉ ra điểm yếu của Meta-SecAlign (dùng DPO) là neo vào reference model không an toàn, dẫn đến ASR gần 100% trước tấn công thích ứng. SecPO khắc phục bằng hàm mất mát mới xấp xỉ oracle bất biến với injection cùng pipeline AT tổng hợp tấn công mạnh (best@240). Áp dụng trên Qwen3.6-27B, SecPO + AT giảm ASR trên benchmark AgentDojo từ 78,8% xuống 8,8% mà không làm suy giảm hiệu năng trên 9 benchmark thông thường. Toàn bộ code, dữ liệu và mô hình đã được công khai.", "key_changes": ["Chỉ ra hạn chế chí mạng của phương pháp DPO khi phòng thủ prompt injection do bị neo vào reference model chưa được bảo vệ.", "Đề xuất hàm mất mát SecPO dựa trên việc xấp xỉ phân phối xác suất của oracle reference model bất biến với injection.", "Xây dựng pipeline huấn luyện đối kháng (AT) hiệu quả, tổng hợp mẫu tấn công thích ứng mạnh mẽ (best@240).", "Giảm tỷ lệ tấn công thành công (ASR) từ 1,5 - 14,5 lần so với Meta-SecAlign nhờ AT, và giảm thêm 2,4 - 4,6 lần nhờ loss SecPO.", "Đạt ASR chỉ 8,8% trên AgentDojo (AttackerMovesSecond) với mô hình Qwen3.6-27B, vượt trội so với 78,8% của Meta-SecAlign.", "Bảo toàn năng lực thực thi tác vụ thông thường (benign utility) trên 9 bộ benchmark bao gồm tool-calling, toán và khoa học.", "Công khai mã nguồn, bộ dữ liệu huấn luyện tối ưu hóa và trọng số mô hình Qwen3.6-27B-Instruct-SecPO."], "sub_category": "AI Security & Alignment", "novelty_score": 82, "business_score": 80, "research_score": 88, "why_it_matters": "Prompt injection là rào cản bảo mật nghiêm trọng nhất đối với việc triển khai AI agent trong thực tế khi tiếp xúc với dữ liệu không đáng tin cậy. SecPO khắc phục nhược điểm nền tảng của DPO truyền thống bằng cơ sở toán học chặt chẽ và huấn luyện đối kháng thực thụ, chứng minh khả năng phòng thủ vượt bậc (ASR giảm từ 78,8% xuống 8,8%) mà không làm tổn hại đến năng lực hữu ích thông thường của mô hình.", "developer_score": 85, "importance_score": 85, "possible_use_cases": ["Bảo vệ AI agent tự động hóa trong doanh nghiệp khi cần xử lý dữ liệu đầu vào không tin cậy (email, web, tài liệu tải lên).", "Áp dụng quy trình huấn luyện đối kháng AT và SecPO loss vào fine-tuning các mô hình ngôn ngữ nội bộ.", "Sử dụng trực tiếp mô hình nguồn mở Qwen3.6-27B-Instruct-SecPO làm tác nhân thực thi công cụ an toàn trong quy trình agentic."], "actionability_score": 85}