Hallucination Neurons and Where to Find Them: An Investigation into the existence of Hallucination Neurons

{"tags": ["Mechanistic Interpretability", "Hallucination Neurons", "LLM Auditing", "Sparse Probing", "Gemma 3", "Model Steering", "AI Safety"], "risks": ["Rủi ro can thiệp sai lệch (side effects / over-intervention): Can thiệp hoặc tắt các H-neuron có thể làm suy giảm các năng lực khác của mô hình do 19/22 neuron có tương quan Pearson |r| > 0.7 với nhiều đặc trưng khác.", "Ảo tưởng về khả năng giải thích (interpretability illusion): Nhầm lẫn giữa năng lực phát hiện (detection) và định vị độc bản (localization), dẫn đến kết luận vội vã về cơ chế hoạt động bên trong của mô hình.", "Độ ổn định không cao: Việc chọn lọc neuron chỉ đạt mức ổn định trung bình qua bootstrap và phụ thuộc đáng kể vào phân phối dữ liệu của từng tập benchmark."], "category": "Research", "entities": ["Gemma 3 4B", "MedGemma 4B", "TriviaQA", "BioASQ", "NQ-Open", "Hallucination Neurons (H-Neurons)", "L1-regularized probing"], "summary_vi": "Nghiên cứu kiểm chứng tính hợp lệ của các 'Hallucination Neurons' (H-neurons) trong LLM, vốn được xác định qua phương pháp sparse probing (điều chuẩn L1). Nhóm tác giả đề xuất quy trình chẩn đoán 5 bước nhằm kiểm tra tương quan đặc trưng, độ ổn định bootstrap, bất đồng xếp hạng sparse/dense, baseline can thiệp và đánh giá chéo tập dữ liệu. Thử nghiệm trên Gemma 3 4B và MedGemma 4B với các tập TriviaQA, BioASQ, NQ-Open cho thấy khả năng phát hiện ảo giác tái lập tốt và vượt chênh lệch AUROC gốc, đồng thời can thiệp nhân quả (n=500, 5 seeds) có ý nghĩa thống kê. Tuy nhiên, các neuron này không mang tính định vị độc bản (19/22 neuron trong Gemma 3 4B có |r| > 0.7 với đặc trưng khác, độ ổn định bootstrap trung bình, trùng lặp thứ hạng yếu). Nghiên cứu kết luận cấu trúc dự đoán thưa có thể đồng tồn tại với neuron không độc bản, đòi hỏi kiểm chuẩn chẩn đoán để phân biệt giữa năng lực phát hiện và định vị thực sự.", "key_changes": ["Đề xuất quy trình chẩn đoán 5 bước (tương quan đặc trưng, độ ổn định bootstrap, so sánh thứ hạng sparse/dense, baseline can thiệp nhân quả, đánh giá chéo tập dữ liệu) làm tiêu chuẩn tối thiểu cho các công bố định vị neuron.", "Tái lập thành công khả năng phát hiện ảo giác trên Gemma 3 4B và MedGemma 4B trên TriviaQA, BioASQ và NQ-Open với chênh lệch AUROC vượt trội so với báo cáo ban đầu.", "Xác thực quan hệ nhân quả (n = 500, 5 random seeds) chứng minh can thiệp lên H-neurons tạo ra hiệu ứng có ý nghĩa thống kê so với baseline ngẫu nhiên cùng layer.", "Phát hiện rằng các H-neuron không mang tính định vị duy nhất: 19/22 neuron trong Gemma 3 4B có tương quan Pearson |r| > 0.7 với các đặc trưng khác, độ ổn định chọn lọc qua bootstrap chỉ ở mức trung bình và độ trùng lặp thứ hạng thưa/dày rất yếu.", "Khẳng định cấu trúc dự đoán thưa (sparse predictive structure) có thể cùng tồn tại với việc lựa chọn neuron không độc bản, bác bỏ giả định rằng neuron tìm được là vị trí duy nhất điều khiển hành vi."], "sub_category": "Mechanistic Interpretability", "novelty_score": 75, "business_score": 55, "research_score": 92, "why_it_matters": "Nghiên cứu làm sáng tỏ ngộ nhận phổ biến trong mechanistic interpretability: việc tìm ra một nhóm nhỏ neuron dự đoán được ảo giác và có tác động nhân quả không đồng nghĩa chúng là vị trí duy nhất chịu trách nhiệm. Trong không gian đặc trưng đa chiều và có tương quan cao của LLM, L1-regularized sparse probing dễ chọn tùy ý một trong nhiều neuron tương quan mạnh. Phát hiện này cảnh báo các kỹ sư và chuyên gia AI safety không nên vội vã triển khai các giải pháp can thiệp hay triệt tiêu neuron đơn lẻ (neuron ablation/steering) mà thiếu quy trình chẩn đoán nghiêm ngặt.", "developer_score": 65, "importance_score": 78, "possible_use_cases": ["Áp dụng quy trình chẩn đoán 5 bước vào pipeline kiểm toán mô hình (model auditing) trước khi triển khai các kỹ thuật can thiệp hành vi.", "Tích hợp bộ kiểm tra tương quan đa chiều và bootstrap stability cho các hệ thống phát hiện ảo giác (hallucination detection) dựa trên probing trong LLM.", "Đánh giá lại độ an toàn và độ tin cậy của các giải pháp can thiệp hành vi mô hình (steering/ablation) nhằm tránh tác dụng phụ khi triệt tiêu các neuron có tương quan cao.", "Xây dựng tiêu chuẩn benchmark cho nghiên cứu khả năng diễn giải cơ chế (mechanistic interpretability) trên các mô hình ngôn ngữ mã nguồn mở."], "actionability_score": 68}