DISCERN: Distributional Synthetic Replay for Retain-Free Incremental Machine Unlearning

{"tags": ["Machine Unlearning", "Incremental Class Unlearning", "Vision Transformer", "Privacy", "Retain-Free", "Synthetic Replay"], "risks": ["Mới chỉ được kiểm nghiệm trên các tập dữ liệu thị giác quy mô nhỏ và vừa (MNIST, CIFAR-10, CIFAR-100), chưa được xác thực trên các mô hình đa phương thức (multimodal) hoặc mô hình ngôn ngữ lớn (LLM).", "Chi phí tính toán để kiểm định và lựa chọn phân phối tham số cho từng lớp có thể gia tăng khi số lượng lớp cần quản lý quá lớn.", "Nguy cơ suy giảm hiệu năng tích lũy nếu số vòng unlearning liên tiếp vượt quá ngưỡng thử nghiệm."], "category": "Research", "entities": ["DISCERN", "ViT-B/16", "MNIST", "CIFAR-10", "CIFAR-100"], "summary_vi": "DISCERN là phương pháp unlearning (quên máy) phân lớp tăng dần tuần tự (ICU) mà không cần truy cập vào tập dữ liệu cần giữ lại (retain-free). Thay vì giả định phân phối Gaussian đẳng hướng quanh centroid, DISCERN mô hình hóa embedding bằng cách khớp các họ phân phối tham số không gian Euclidean (Gaussian, Laplace, Student's t) và định hướng (von Mises-Fisher, Fisher-Bingham) cho từng lớp dựa trên kiểm định thống kê và log-likelihood kiểm định chéo. Thiết kế này tối ưu cho hình học tiềm ẩn dạng siêu cầu của Transformer, giúp duy trì độ ổn định vượt trội sau 20 lượt xóa tuần tự trên ViT-B/16 (đạt harmonic mean 0.797 so với mức sụt giảm 0.048 của baseline mạnh nhất) và hạn chế tối đa hiện tượng lớp đã quên bị trỗi dậy trở lại.", "key_changes": ["Đề xuất DISCERN: phương pháp unlearning phân lớp tăng dần (Incremental Class Unlearning - ICU) không cần truy cập lại tập dữ liệu cần giữ (retain-free).", "Thay thế prototype Gaussian đẳng hướng truyền thống bằng việc khớp đa dạng họ phân phối tham số Euclidean (Gaussian, Laplace, Student's t) và định hướng (von Mises–Fisher, Fisher–Bingham) riêng biệt cho từng lớp.", "Lựa chọn phân phối tối ưu dựa trên kiểm định thống kê và cross-validated log-likelihood để thích ứng với hình học siêu cầu của embedding trên Transformer.", "Đạt độ ổn định vượt trội trong ICU trên Transformer: giữ harmonic mean 0.797 sau 20 lần xóa liên tiếp trên ViT-B/16, trong khi baseline mạnh nhất rơi từ 0.918 xuống 0.048.", "Ngăn chặn hiệu quả hiện tượng kiến thức của lớp đã xóa bị tái xuất hiện (resurfacing) theo thời gian."], "sub_category": "Machine Unlearning", "novelty_score": 82, "business_score": 82, "research_score": 88, "why_it_matters": "Trong triển khai thực tế, yêu cầu xóa dữ liệu luôn diễn ra tuần tự theo thời gian và các quy định bảo mật thường cấm lưu trữ vĩnh viễn tập dữ liệu gốc (retain set), khiến việc huấn luyện lại từ đầu trở nên quá tốn kém và không khả thi. DISCERN giải quyết bài toán unlearning tăng dần không cần retain set với độ ổn định cao trên kiến trúc Transformer, cung cấp giải pháp khả thi cho doanh nghiệp tuân thủ quyền riêng tư (GDPR) với chi phí tính toán thấp.", "developer_score": 66, "importance_score": 78, "possible_use_cases": ["Tuân thủ các yêu cầu pháp lý về quyền được lãng quên (Right to be Forgotten theo GDPR) khi yêu cầu xóa dữ liệu đến liên tục theo thời gian mà không cần retrain từ đầu.", "Gỡ bỏ các lớp dữ liệu nhạy cảm, vi phạm bản quyền hoặc dữ liệu lỗi thời khỏi mô hình thị giác máy tính trong môi trường cấm lưu trữ dữ liệu huấn luyện cũ (retain-free).", "Duy trì hiệu năng và độ ổn định cho các hệ thống AI phân loại hình ảnh dựa trên Vision Transformer khi phải cập nhật vòng đời dữ liệu thường xuyên."], "actionability_score": 68}