Deep Noir: Autonomous Steering Discovery via Architectural Chronometry in Transformer Models

{"tags": ["Deep Noir", "Activation Steering", "Transformer", "Logit Lens", "Mechanistic Interpretability", "Prompt Injection", "AI Safety"], "risks": ["Bề mặt tấn công prompt-injection tăng tỷ lệ thuận với cường độ can thiệp steering, tạo nguy cơ mất an toàn bảo mật nghiêm trọng.", "Hệ thống autonomous agent triển khai steered classifiers có thể bị qua mặt nếu kẻ tấn công khai thác lỗ hổng từ việc khuếch đại vector steering."], "category": "Research", "entities": ["Deep Noir", "Transformer", "Logit Lens", "RepE", "SST-2"], "summary_vi": "Deep Noir là framework tự động tìm kiếm vị trí và cường độ can thiệp tối ưu cho kỹ thuật activation steering trên mô hình Transformer dựa trên sự hội tụ Logit Lens và causal head-level attribution. Phương pháp giúp tăng 16.7 đến 42 điểm phần trăm độ chính xác lọc spam trên các mô hình từ 1B đến 9B và cải thiện 13.1 điểm phần trăm trên SST-2 mà không cần sửa đổi mã nguồn, vượt trội so với RepE. Đồng thời, nghiên cứu chỉ ra rằng kỹ thuật steering làm tăng lỗ hổng prompt injection tỷ lệ thuận với cường độ can thiệp.", "key_changes": ["Đề xuất cơ chế tự động hóa việc xác định tham số can thiệp activation steering thông qua Logit Lens convergence và causal head-level attribution thay vì căn chỉnh thủ công.", "Cải thiện 16.7 điểm phần trăm trên tác vụ phân loại spam ở quy mô 1B và đạt mức tăng từ 21 đến 42 điểm phần trăm trên các mô hình 7-9B thuộc 4 kiến trúc khác nhau.", "Đạt mức cải thiện 13.1 điểm phần trăm trên tập dữ liệu cảm xúc SST-2 mà không cần sửa đổi mã nguồn mô hình.", "Khắc phục điểm yếu của RepE khi không dùng head masking (vốn không cải thiện so với baseline), giúp Deep Noir đạt kết quả vượt trội có ý nghĩa thống kê (p < 0.01).", "Phát hiện bề mặt tấn công prompt injection mới với mức độ tổn thương tăng đơn điệu theo cường độ can thiệp (steering magnitude)."], "sub_category": "Mechanistic Interpretability & Model Steering", "novelty_score": 85, "business_score": 75, "research_score": 88, "why_it_matters": "Deep Noir giải quyết điểm nghẽn lớn nhất của kỹ thuật activation steering là phải tinh chỉnh vị trí và cường độ thủ công, giúp mở rộng khả năng kiểm soát mô hình Transformer ở quy mô lớn với chi phí tính toán thấp. Quan trọng hơn, việc chỉ ra mối tương quan trực tiếp giữa cường độ steering và lỗ hổng prompt injection mang lại cảnh báo thiết yếu cho các kỹ sư khi xây dựng hệ sinh thái AI agent an toàn.", "developer_score": 80, "importance_score": 82, "possible_use_cases": ["Tự động tối ưu hóa và tinh chỉnh hành vi của mô hình ngôn ngữ lớn tại thời điểm suy luận (inference) mà không cần tốn chi phí fine-tuning hoặc huấn luyện lại.", "Xây dựng các bộ phân loại spam và nội dung độc hại có độ chính xác cao trên các mô hình kích thước nhỏ và vừa (1B–9B).", "Triển khai các lớp bảo vệ kiểm duyệt (guardrails) và định hướng phong cách phản hồi cho các hệ thống autonomous agent."], "actionability_score": 78}