Beyond Accuracy: What Language-Subspace Interventions Capture, Remove, and Improve

{"tags": ["Multilingual LLMs", "Language-Subspace", "Mechanistic Interpretability", "Activation Intervention", "Representation Engineering", "DiffPCA", "MGSM"], "risks": ["Mô hình trả lời sai ngôn ngữ yêu cầu (ví dụ chuyển sang tiếng Anh) dù kết quả tính toán đúng, làm giảm trải nghiệm người dùng bản địa.", "Đánh giá sai hiệu quả can thiệp nếu chỉ dựa vào chỉ số accuracy truyền thống mà bỏ qua sự thay thế ngôn ngữ (language substitution trade-offs)."], "category": "Research", "entities": ["Qwen2.5-7B", "MATH", "MGSM", "Mean-SVD", "DiffPCA"], "summary_vi": "Nghiên cứu đánh giá các can thiệp không gian con ngôn ngữ nhằm cải thiện suy luận đa ngôn ngữ trên 4 mô hình LLM mở qua bộ dữ liệu MATH và MGSM. Kết quả chỉ ra rằng cả phương pháp Mean-SVD và DiffPCA mới đều thu giữ được biến thiên dịch thuật nhưng không loại bỏ triệt để thông tin ngôn ngữ (linear probe vẫn nhận diện được). Đáng chú ý trên Qwen2.5-7B, can thiệp tăng accuracy nhiều nhất thực chất làm tổn hại tính trung thực ngôn ngữ phản hồi, và chỉ có một cấu hình cải thiện nhẹ độ chính xác kết hợp (vừa đúng vừa đúng ngôn ngữ) thêm 1.60 điểm. Nghiên cứu khuyến nghị cần đánh giá can thiệp đa ngôn ngữ vượt ra ngoài thước đo accuracy đơn thuần.", "key_changes": ["Chứng minh việc chiếu bỏ (projecting out) không gian con ngôn ngữ không triệt tiêu hoàn toàn thông tin ngôn ngữ; linear probe vẫn phân loại chính xác ngôn ngữ từ kích hoạt đã chiếu.", "Phát hiện sự đánh đổi: can thiệp giúp tăng độ chính xác MGSM nhiều nhất lại làm suy giảm tính trung thực ngôn ngữ phản hồi (response-language fidelity).", "Chỉ có một cấu hình can thiệp cải thiện được độ chính xác kết hợp (joint accuracy - vừa đúng vừa đúng ngôn ngữ đích) với mức tăng khiêm tốn 1.60 điểm trên Qwen2.5-7B.", "Phát hiện những thay đổi tinh tế trong prompt cũng có thể tái tạo mức tăng độ chính xác tương đương can thiệp kích hoạt nhưng cũng gây tổn hại đến ngôn ngữ phản hồi."], "sub_category": "Multilingual LLMs & Mechanistic Interpretability", "novelty_score": 75, "business_score": 52, "research_score": 88, "why_it_matters": "Nghiên cứu vạch rõ cạm bẫy trong việc đánh giá LLM đa ngôn ngữ: các can thiệp kích hoạt tưởng chừng cải thiện tư duy logic thực chất có thể chỉ đang ép mô hình trả lời bằng ngôn ngữ khác (như tiếng Anh). Điều này đặt ra yêu cầu cấp thiết cho các nhà phát triển và nhà nghiên cứu phải đo lường độ chính xác kết hợp (joint accuracy) để đảm bảo mô hình vừa giải quyết đúng bài toán vừa phản hồi đúng ngôn ngữ người dùng yêu cầu.", "developer_score": 64, "importance_score": 72, "possible_use_cases": ["Thiết lập lại quy chuẩn benchmark đa ngôn ngữ bằng cách đo độ chính xác kết hợp (joint accuracy) thay vì chỉ đo độ chính xác câu trả lời.", "Nghiên cứu và phát triển các kỹ thuật can thiệp biểu diễn (representation engineering) và phân tích tính diễn giải cơ học (mechanistic interpretability) trên LLM.", "Tối ưu hóa câu lệnh (prompt engineering) đa ngôn ngữ thay thế cho việc can thiệp kích hoạt tầng giữa phức tạp."], "actionability_score": 58}