Towards interpreting any residual stream direction by scaling activation inversion

{"tags": ["Mechanistic Interpretability", "Residual Stream", "Activation Inversion", "MAEM", "AI Safety", "Sparse Autoencoders", "LoRA Backdoor"], "risks": ["Chi phí tài nguyên cao khi phải huấn luyện metamodel kích thước lớn (như Qwen3.6-27B) để thực hiện đảo ngược kích hoạt.", "Nguy cơ bị khai thác bởi kẻ tấn công để tìm kiếm các prompt kích hoạt điểm yếu hoặc vector hành vi không an toàn của mô hình.", "Khả năng văn bản mẫu tập trung vào các cực trị kích hoạt mà bỏ sót phân phối dữ liệu tự nhiên phức tạp hơn."], "category": "Research", "entities": ["MAEM (Maximally-Activating Example Metamodels)", "Qwen3.6-27B", "NLA (Natural-Language Autoencoder)", "SAE (Sparse Autoencoder)", "LoRA"], "summary_vi": "Nghiên cứu giới thiệu Maximally-Activating Example Metamodels (MAEMs), phương pháp sử dụng mô hình ngôn ngữ được tối ưu hóa bằng RL không nhãn để đảo ngược kích hoạt (activation inversion), chuyển đổi các hướng trong residual stream thành văn bản mẫu kích hoạt tối đa. Thử nghiệm với Qwen3.6-27B cho thấy MAEM vượt trội hơn corpus search và NLA, kích hoạt 89% SAE features, phát hiện backdoor LoRA và mang lại cơ chế diễn giải có thể kiểm chứng trực tiếp bằng forward pass.", "key_changes": ["Giới thiệu Maximally-Activating Example Metamodels (MAEMs): Mô hình ngôn ngữ ánh xạ trực tiếp hướng residual stream của mô hình mục tiêu thành các văn bản mẫu kích hoạt mạnh nhất.", "Sử dụng hàm mục tiêu Reinforcement Learning không nhãn (label-free RL) nhằm tối đa hóa độ tương đồng cosine giữa hướng mục tiêu và kích hoạt của văn bản do MAEM sinh ra.", "Mô hình Qwen3.6-27B MAEM chứng minh hiệu năng vượt trội so với tìm kiếm ngữ liệu tĩnh (corpus search) và natural-language autoencoders (NLA), kích hoạt thành công 89% đặc trưng SAE được giữ lại.", "Có khả năng kiểm chứng khách quan: Văn bản mẫu do MAEM tạo ra có thể xác thực tính chính xác ngay lập tức qua một lượt forward pass trên mô hình mục tiêu.", "Phát hiện và phục hồi payload backdoor trong LoRA adapter hiệu quả hơn tìm kiếm ngữ liệu, đồng thời diễn giải được steering vector và độc thoại nội tâm của mô hình."], "sub_category": "Mechanistic Interpretability", "novelty_score": 85, "business_score": 52, "research_score": 90, "why_it_matters": "Thay vì bị giới hạn bởi các tập ngữ liệu tĩnh hoặc các lời giải thích ngôn ngữ tự nhiên trừu tượng khó kiểm chứng từ NLA, MAEM mở ra hướng đi mới có khả năng mở rộng quy mô và kiểm chứng toán học trực tiếp qua forward pass. Đây là bước tiến quan trọng cho an toàn AI, kiểm toán mô hình tự động và giải thích sâu các biểu diễn ẩn trong mô hình ngôn ngữ lớn.", "developer_score": 72, "importance_score": 82, "possible_use_cases": ["Kiểm toán bảo mật AI: Quét và khôi phục payload backdoor tiềm ẩn trong các bản tinh chỉnh LoRA trước khi đưa vào sản xuất.", "Giải thích cơ chế mô hình (Mechanistic Interpretability): Tự động tạo dữ liệu mẫu để phân tích ý nghĩa các đặc trưng SAE và hướng biểu diễn ẩn.", "Phân tích steering vectors: Xác định khái niệm chi phối đằng sau các vector can thiệp hành vi LLM.", "Giám sát suy luận nội tâm: Diễn giải không gian tư duy ẩn (inner monologue) của các mô hình reasoning."], "actionability_score": 65}