Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

LTBD: Learnable Trust-Boundary Delimiters for Prompt Injection Defense

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

67 RADAR
Research LLM Security · 1 nguồn đối chiếu · 2026-10-08 10:13:24 +0000 UTC

LTBD: Learnable Trust-Boundary Delimiters for Prompt Injection Defense

Nguồn: arXiv AI
↗

Nghiên cứu giới thiệu Learnable Trust-Boundary Delimiters (LTBD), giải pháp phòng thủ gọn nhẹ chống tấn công prompt injection cho LLM bằng cách mã hóa rõ ràng ranh giới nguồn gốc tin cậy (trust provenance) ngay trong đầu vào mà không cần thay đổi trọng số mô hình. LTBD sử dụng một lượng nhỏ ký tự phân cách có thể học được để phân biệt giữa chỉ thị tin cậy từ người dùng và dữ liệu ngoài chưa tin cậy, đạt ASR 0.00% trên AlpacaFarm và 0.11-0.19% trên TaskTracker với chi phí suy luận không đáng kể và khả năng chống chịu tốt trước adaptive attacks.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Prompt injection là rủi ro an ninh nghiêm trọng hàng đầu khi đưa LLM vào sản xuất. LTBD mở ra hướng phòng thủ hiệu quả cao mà không cần tốn kém chi phí fine-tuning hay làm tăng đáng kể độ trễ suy luận, đồng thời duy trì khả năng bảo vệ vững chắc ngay cả khi kẻ tấn công biết rõ cơ chế phòng thủ.

Developer 77
Business 74
Novelty 80
Actionable 75

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Large language models (LLMs) perform remarkably well on complex tasks, yet remain highly vulnerable to prompt injection attacks, where malicious instructions embedded in external data can override user intent. Existing defenses remain limited by model fine-tuning requirements, vulnerability to adaptive attacks, or reliance on brittle handcrafted prompts. We argue that a fundamental source of this vulnerability is the lack of an explicit representation of trust provenance. To address this, we introduce Learnable Trust-Boundary Delimiters (LTBD), a lightweight defense that explicitly encodes trust boundaries in the input while keeping the LLM parameters unchanged. LTBD uses a small number of learnable delimiters to distinguish trusted user instructions from untrusted external data, enabling the model to better respect the intended trust hierarchy. Experimental results show that LTBD substantially outperforms inference-time defenses and performs competitively with training-based approaches, while preserving benign-task utility and introducing negligible inference overhead. In particular, LTBD achieves 0.00% ASR on AlpacaFarm and only 0.11-0.19% ASR on TaskTracker. LTBD also remains effective under adaptive attacks, where adversaries have full knowledge of the defense and explicitly attempt to bypass it.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-09 08:39:36 +0000 UTC
{"tags": ["Prompt Injection", "LLM Security", "LTBD", "Trust Provenance", "AI Defense", "Adaptive Attacks"], "risks": ["Cần khả năng can thiệp vào tầng embedding đầu vào của mô hình, có thể gặp rào cản với các API dạng black-box đóng kín", "Cần kiểm chứng thêm trên các kịch bản thực tế phức tạp vượt ngoài phạm vi benchmark AlpacaFarm và TaskTracker", "Khả năng xử lý các kịch bản có nhiều cấp độ tin cậy phức tạp thay vì chỉ hai mức tin cậy/không tin cậy"], "category": "Research", "entities": ["LTBD", "Learnable Trust-Boundary Delimiters", "AlpacaFarm", "TaskTracker"], "summary_vi": "Nghiên cứu giới thiệu Learnable Trust-Boundary Delimiters (LTBD), giải pháp phòng thủ gọn nhẹ chống tấn công prompt injection cho LLM bằng cách mã hóa rõ ràng ranh giới nguồn gốc tin cậy (trust provenance) ngay trong đầu vào mà không cần thay đổi trọng số mô hình. LTBD sử dụng một lượng nhỏ ký tự phân cách có thể học được để phân biệt giữa chỉ thị tin cậy từ người dùng và dữ liệu ngoài chưa tin cậy, đạt ASR 0.00% trên AlpacaFarm và 0.11-0.19% trên TaskTracker với chi phí suy luận không đáng kể và khả năng chống chịu tốt trước adaptive attacks.", "key_changes": ["Đề xuất Learnable Trust-Boundary Delimiters (LTBD) để mã hóa rõ ràng nguồn gốc độ tin cậy (trust provenance) trong đầu vào", "Giữ nguyên toàn bộ tham số của mô hình ngôn ngữ lớn (frozen parameters), không cần fine-tune toàn bộ LLM", "Sử dụng số lượng nhỏ delimiter có thể học để phân biệt câu lệnh người dùng tin cậy và dữ liệu ngoài chưa tin cậy", "Đạt tỷ lệ tấn công thành công (ASR) 0.00% trên AlpacaFarm và 0.11 - 0.19% trên TaskTracker", "Duy trì hiệu năng trên tác vụ thông thường, chi phí suy luận tăng thêm không đáng kể và chống chịu tốt trước adaptive attacks"], "sub_category": "LLM Security", "novelty_score": 80, "business_score": 78, "research_score": 88, "why_it_matters": "Prompt injection là rủi ro an ninh nghiêm trọng hàng đầu khi đưa LLM vào sản xuất. LTBD mở ra hướng phòng thủ hiệu quả cao mà không cần tốn kém chi phí fine-tuning hay làm tăng đáng kể độ trễ suy luận, đồng thời duy trì khả năng bảo vệ vững chắc ngay cả khi kẻ tấn công biết rõ cơ chế phòng thủ.", "developer_score": 82, "importance_score": 85, "possible_use_cases": ["Bảo vệ hệ thống RAG khi tích hợp tài liệu từ web hoặc nguồn dữ liệu ngoài chưa kiểm chứng", "Bảo vệ AI Agent khi xử lý nội dung từ email, duyệt web hoặc API bên thứ ba", "Xây dựng lớp bảo vệ an ninh nhẹ tại API Gateway hoặc lớp tiền xử lý prompt mà không cần đổi trọng số mô hình"], "actionability_score": 75}
← Trang trước Trang 1