Task Context Shapes Component Roles in Language Models

{"tags": ["Mechanistic Interpretability", "Attention Heads", "Task Context", "Linear Response Maps", "Activation Editing", "Model Steering", "LLM Internals"], "risks": ["Mức độ giảm lỗi MSE chênh lệch đáng kể giữa các họ mô hình (Gemma đạt 53.6% trong khi Qwen chỉ đạt 5.0%), cho thấy cơ chế phản ứng tuyến tính có thể khác biệt sâu sắc giữa các kiến trúc.", "Thử nghiệm mới giới hạn trên các dữ kiện đồ thị định hướng (graph facts), chưa rõ mức độ tổng quát hóa trên suy luận ngôn ngữ phức tạp trong thực tế.", "Chi phí tính toán và đo lường linear response maps lớn, khó triển khai trực tiếp trong thời gian thực khi phục vụ mô hình."], "category": "Research", "entities": ["Gemma-2-9B", "Qwen3-14B"], "summary_vi": "Nghiên cứu chỉ ra rằng ngữ cảnh nhiệm vụ (task context) tái định hình vai trò và mức độ ảnh hưởng của các attention head dùng chung trong LLM, lấy cảm hứng từ góc nhìn mạng lưới tương tác thần kinh. Khảo sát trên 5 mô hình mã nguồn mở (1.5B–14B tham số, gồm Gemma-2-9B và Qwen3-14B) với các dữ kiện đồ thị (graph facts) cho thấy can thiệp kích hoạt sớm làm thay đổi dữ kiện được đọc dù prompt giữ nguyên, khiến cùng một attention head phản ứng khác biệt và đổi hướng ảnh hưởng lên các tầng sau. Sử dụng bản đồ phản hồi tuyến tính (linear response maps), phương pháp giúp giảm sai số MSE dự đoán phản ứng tầng sau tới 53.6% trên Gemma và 5.0% trên Qwen.", "key_changes": ["Chứng minh các attention head dùng chung thay đổi mức độ ảnh hưởng và vai trò tùy theo ngữ cảnh nhiệm vụ thay vì giữ chức năng tĩnh cố định.", "Khảo sát và xác thực trên 5 mô hình mã nguồn mở thuộc 4 họ mô hình khác nhau (quy mô từ 1.5B đến 14B tham số).", "Áp dụng can thiệp kích hoạt sớm (activation edit) để đổi dữ kiện mô hình đọc mà không cần sửa đổi câu lệnh văn bản (written instruction).", "Xây dựng bản đồ phản hồi tuyến tính (linear response maps) giúp giảm sai số MSE khi dự đoán phản ứng tầng sau (53.6% trên Gemma-2-9B và 5.0% trên Qwen3-14B)."], "sub_category": "Mechanistic Interpretability", "novelty_score": 80, "business_score": 45, "research_score": 90, "why_it_matters": "Phát hiện này bác bỏ giả định rằng các attention head trong LLM đảm nhận chức năng đơn lẻ cố định, cho thấy cơ chế xử lý thông tin mang tính mạng lưới động tương tự não bộ. Việc hiểu rõ sự tái phân phối ảnh hưởng theo ngữ cảnh mở ra phương pháp can thiệp có chủ đích (targeted model editing), giúp lập trình viên và nhà nghiên cứu điều chỉnh một hành vi sai lệch cụ thể mà không làm suy giảm các tri thức hay khả năng khác của mô hình.", "developer_score": 60, "importance_score": 75, "possible_use_cases": ["Định hướng can thiệp mô hình (model steering / activation editing) chính xác nhằm sửa đổi hành vi mục tiêu mà không phá vỡ các năng lực khác.", "Kiểm toán an toàn AI (AI Safety & Interpretability) bằng cách giải mã cách các mạch thông tin (circuits) tái phân phối trong mạng nội bộ.", "Nghiên cứu cắt tỉa tham số (model pruning/quantization) thích ứng theo ngữ cảnh nhiệm vụ thay vì loại bỏ tĩnh các attention heads."], "actionability_score": 65}