Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Linguistic Loopholes in LLM Unlearning: From a 174-Language Benchmark to Coverage-Aware Unlearning

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

67 RADAR
Research Multilingual LLM Unlearning · 1 nguồn đối chiếu · 2026-09-30 17:48:13 +0000 UTC

Linguistic Loopholes in LLM Unlearning: From a 174-Language Benchmark to Coverage-Aware Unlearning

Nguồn: arXiv AI
↗

Nghiên cứu chỉ ra 'lỗ hổng đa ngôn ngữ' (cross-lingual loophole) trong LLM unlearning: việc xóa tri thức ở một ngôn ngữ không đảm bảo tri thức đó biến mất ở các ngôn ngữ khác, trong khi xóa trên toàn bộ ngôn ngữ lại làm suy thoái năng lực chung của mô hình. Để giải quyết, nhóm tác giả giới thiệu bài toán unlearning đa ngôn ngữ có giới hạn ngân sách, xây dựng bộ benchmark Cross-Lingual Unlearning Tensor (174 cặp ngôn ngữ - chữ viết, 25 dạng diễn giải) và đề xuất thuật toán COVER. COVER lựa chọn tập ngôn ngữ nguồn tối ưu nhằm tối đa hóa độ bao phủ xóa tri thức mà chỉ cần dữ liệu hiệu chuẩn lành tính và mô hình đóng băng. Thực nghiệm cho thấy COVER giảm 7.8% - 27.3% lượng truy cập tri thức dư thừa so với lựa chọn đồng đều, hiệu quả trên cả dữ liệu tin tức thực tế từ ngữ liệu LORELEI.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Giải quyết thách thức an toàn và tuân thủ pháp lý quan trọng: ngăn chặn việc rò rỉ tri thức đã xóa thông qua các ngôn ngữ khác trong LLM, đồng thời cung cấp phương pháp unlearning tối ưu chi phí mà không làm tổn hại năng lực chung của mô hình.

Developer 70
Business 72
Novelty 85
Actionable 70

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Unlearning a fact in one language does not guarantee its removal in others as changing the query or even the requested answer language can reopen seemingly forgotten knowledge -- a cross-lingual loophole. The most straightforward solution to this challenge -- unlearning in all languages -- is neither scalable nor desirable as it amplifies damage to unrelated model capabilities. We introduce the task of language budgeted multilingual unlearning where the goal is to select a subset of languages that maximizes cross-lingual erasure. To study this task we introduce the Cross-Lingual Unlearning Tensor, an unlearning benchmark that spans 174 language--script pairs and 25 atomic paraphrase types to examine when forgetting generalizes across linguistic expressions of the same knowledge. We further propose COVER, which selects source languages to maximize predicted COVERage of languages receiving no forget supervision, enabling unlearning on a language budget. Surprisingly, we find naively selecting strong individual sources does not reliably compose into strong source sets motivating our development of COVER. At deployment COVER only requires benign calibration data and access to the frozen model. Across three model families and two disjoint forget sets, COVER reduces mean held-out residual access by 7.8--27.3% relative to uniform source selection. We find these gains extend beyond synthetic benchmarks to real news documents in low-resource language settings using human translated data from the Low Resource Languages for Emergent Incidents (LORELEI) corpus.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-01 09:44:38 +0000 UTC
{"tags": ["LLM Unlearning", "Cross-Lingual", "AI Safety", "Multilingual Benchmark", "COVER", "Knowledge Erasure"], "risks": ["Vẫn tồn tại tỷ lệ tri thức dư thừa chưa được xóa hoàn toàn, tiềm ẩn nguy cơ bị khai thác qua các phương thức phức tạp.", "Nguy cơ suy giảm ngoài ý muốn đến các năng lực ngôn ngữ khác nếu việc chọn tập nguồn chưa thực sự cân bằng.", "Phụ thuộc vào chất lượng và tính đại diện của dữ liệu hiệu chuẩn lành tính (benign calibration data)."], "category": "Research", "entities": ["Cross-Lingual Unlearning Tensor", "COVER", "LORELEI", "Low Resource Languages for Emergent Incidents"], "summary_vi": "Nghiên cứu chỉ ra 'lỗ hổng đa ngôn ngữ' (cross-lingual loophole) trong LLM unlearning: việc xóa tri thức ở một ngôn ngữ không đảm bảo tri thức đó biến mất ở các ngôn ngữ khác, trong khi xóa trên toàn bộ ngôn ngữ lại làm suy thoái năng lực chung của mô hình. Để giải quyết, nhóm tác giả giới thiệu bài toán unlearning đa ngôn ngữ có giới hạn ngân sách, xây dựng bộ benchmark Cross-Lingual Unlearning Tensor (174 cặp ngôn ngữ - chữ viết, 25 dạng diễn giải) và đề xuất thuật toán COVER. COVER lựa chọn tập ngôn ngữ nguồn tối ưu nhằm tối đa hóa độ bao phủ xóa tri thức mà chỉ cần dữ liệu hiệu chuẩn lành tính và mô hình đóng băng. Thực nghiệm cho thấy COVER giảm 7.8% - 27.3% lượng truy cập tri thức dư thừa so với lựa chọn đồng đều, hiệu quả trên cả dữ liệu tin tức thực tế từ ngữ liệu LORELEI.", "key_changes": ["Phát hiện lỗ hổng đa ngôn ngữ (cross-lingual loophole) khi tri thức bị xóa ở ngôn ngữ này vẫn có thể bị truy xuất thông qua ngôn ngữ khác.", "Thiết lập bài toán unlearning đa ngôn ngữ có giới hạn ngân sách (language budgeted multilingual unlearning).", "Xây dựng benchmark Cross-Lingual Unlearning Tensor bao phủ 174 cặp ngôn ngữ - hệ chữ viết và 25 kiểu diễn giải nguyên tử.", "Đề xuất thuật toán COVER giúp chọn tập ngôn ngữ nguồn tối ưu để tối đa hóa độ bao phủ xóa tri thức, chỉ cần dữ liệu hiệu chuẩn lành tính và mô hình đóng băng.", "Giảm 7.8% - 27.3% lượng truy cập tri thức dư thừa (residual access) so với lựa chọn đồng đều trên 3 họ mô hình và tập ngữ liệu LORELEI."], "sub_category": "Multilingual LLM Unlearning", "novelty_score": 85, "business_score": 75, "research_score": 88, "why_it_matters": "Giải quyết thách thức an toàn và tuân thủ pháp lý quan trọng: ngăn chặn việc rò rỉ tri thức đã xóa thông qua các ngôn ngữ khác trong LLM, đồng thời cung cấp phương pháp unlearning tối ưu chi phí mà không làm tổn hại năng lực chung của mô hình.", "developer_score": 72, "importance_score": 80, "possible_use_cases": ["Xóa bỏ dữ liệu cá nhân theo yêu cầu pháp lý (GDPR) hoặc bản quyền khỏi LLM đa ngữ mà không cần huấn luyện lại từ đầu.", "Loại bỏ tri thức nguy hại, bảo mật nhằm ngăn chặn tấn công jailbreak lợi dụng truy vấn bằng ngôn ngữ hiếm.", "Tối ưu hóa chi phí tính toán và bảo toàn năng lực tổng thể của LLM trong quá trình unlearning có giới hạn ngân sách."], "actionability_score": 70}