Encoding and Propagation of Grammatical Number in Large Language Models

{"tags": ["Mechanistic Interpretability", "Sparse Autoencoders", "SAE", "Grammatical Number", "LLM", "Pythia-70M", "Llama-3.1", "Gemma-2"], "risks": ["Việc can thiệp và triệt tiêu đặc trưng ẩn có thể gây tác động phụ không mong muốn lên các cấu trúc ngữ nghĩa hoặc cú pháp khác của câu.", "Chi phí tính toán để huấn luyện và vận hành SAEs ở quy mô mô hình ngôn ngữ lớn (hàng chục/trăm tỷ tham số) còn tốn kém."], "category": "Research", "entities": ["Pythia-70M", "Gemma-2-2b", "Llama-3.1-8b", "Sparse Autoencoders (SAEs)"], "summary_vi": "Nghiên cứu ứng dụng Sparse Autoencoders (SAEs) để phân tích cơ chế biểu diễn và lan truyền hiện tượng hòa hợp số ngữ pháp (grammatical number agreement) trong các mô hình ngôn ngữ lớn. Qua thử nghiệm trên Pythia-70M và đối chiếu trên Gemma-2-2b cùng Llama-3.1-8b, nhóm tác giả xác định được các đặc trưng kích hoạt dạng số nhiều và chứng minh việc can thiệp vào các đặc trưng này có thể làm thay đổi lựa chọn động từ số ít/số nhiều của mô hình. Kết quả cũng chỉ ra LLM sử dụng cơ chế biểu diễn privative, trong đó số nhiều được đánh dấu tường minh còn số ít là mặc định.", "key_changes": ["Sử dụng Sparse Autoencoders (SAEs) để giải mã và theo dõi sự lan truyền của các đặc trưng ngữ pháp số nhiều ('plural noun', 'plural matrix subject', 'generate a plural verb') trong biểu diễn ẩn của LLM.", "Thực hiện can thiệp thành công: triệt tiêu các đặc trưng số nhiều khiến mô hình chuyển sang sinh động từ số ít và ngược lại.", "Phát hiện tính bất đối xứng trong biểu diễn (privative representation): ngữ pháp số nhiều được mã hóa bằng các đặc trưng chuyên biệt, trong khi số ít đóng vai trò là trạng thái mặc định (unmarked).", "Nhân rộng và kiểm chứng thành công phát hiện này từ mô hình nhỏ Pythia-70M sang các LLM lớn hơn như Gemma-2-2b và Llama-3.1-8b."], "sub_category": "Mechanistic Interpretability", "novelty_score": 75, "business_score": 45, "research_score": 88, "why_it_matters": "Nghiên cứu chứng minh LLM thực sự hình thành các khái niệm ngữ pháp nội tại có cấu trúc thay vì chỉ học vẹt bề mặt. Việc xác định và can thiệp thành công vào các đặc trưng SAE mở ra giải pháp kiểm soát vi mô, giảm tính 'hộp đen' và nâng cao độ tin cậy cho các mô hình AI.", "developer_score": 70, "importance_score": 72, "possible_use_cases": ["Can thiệp trực tiếp vào biểu diễn ẩn (activation steering/editing) để sửa lỗi hòa hợp ngữ pháp mà không cần fine-tune lại mô hình.", "Gỡ lỗi (debugging) và kiểm toán tính nhất quán của mô hình ngôn ngữ trong các tác vụ tạo sinh văn bản chính xác cao.", "Áp dụng trong nghiên cứu ngôn ngữ học tính toán và mechanistic interpretability để giải mã cấu trúc tri thức bên trong LLM."], "actionability_score": 65}