Detecting Pretraining Data in Large Language Models from a Free-Energy Perspective

{"tags": ["LLM", "Pretraining Data Detection", "Membership Inference", "Helmholtz Free Energy", "Predictive Entropy", "Data Auditing"], "risks": ["Yêu cầu quyền truy cập vào loss/logits và predictive entropy của mô hình (chủ yếu khả thi với mô hình white-box hoặc API trả về logprobs).", "Nâng cao hiệu quả phát hiện dữ liệu huấn luyện có thể bị khai thác trong các cuộc tấn công Membership Inference Attack (MIA) nhắm vào dữ liệu nhạy cảm."], "category": "Research", "entities": ["ETD (Energy Transfer Detection)", "Helmholtz Free Energy", "Large Language Models (LLMs)", "AUROC", "TPR@5%FPR"], "summary_vi": "Nghiên cứu đề xuất Energy Transfer Detection (ETD), phương pháp phát hiện dữ liệu tiền huấn luyện trong mô hình ngôn ngữ lớn (LLM) dựa trên góc nhìn năng lượng tự do Helmholtz. Bằng cách thay thế ranh giới ngang của các bộ phát hiện dựa trên likelihood truyền thống bằng một ranh giới nghiêng so sánh prediction loss với predictive entropy, ETD giảm thiểu việc nhận nhầm các mẫu không thuộc tập huấn luyện nhưng dễ đoán. Hiệu chỉnh entropy giúp bảo toàn tín hiệu thành viên và giảm phương sai, giúp cải thiện AUROC trung bình lên đến 3,5% và TPR@5%FPR lên đến 5,1%.", "key_changes": ["Chuyển từ ranh giới phân loại ngang (chỉ dựa vào likelihood/loss) sang ranh giới nghiêng kết hợp prediction loss tương đối với predictive entropy.", "Sử dụng hiệu chỉnh entropy để duy trì tín hiệu thành viên dự kiến đồng thời giảm phương sai, tăng cường khả năng phân tách chuẩn hóa giữa member và non-member.", "Diễn giải điểm số hiệu chỉnh entropy dưới góc nhìn năng lượng tự do Helmholtz vĩ mô, đặt tên phương pháp là Energy Transfer Detection (ETD).", "Mở rộng khung phân tích kỳ vọng - phương sai cho trường hợp tổng quát có khoảng cách entropy trung bình khác 0."], "sub_category": "Pretraining Data Detection", "novelty_score": 82, "business_score": 74, "research_score": 88, "why_it_matters": "Việc phân biệt giữa dữ liệu LLM thực sự ghi nhớ từ tập huấn luyện và dữ liệu mô hình đoán đúng nhờ năng lực tổng quát hóa là vấn đề cốt lõi trong pháp lý sở hữu trí tuệ và bảo mật AI. ETD giải quyết điểm yếu dương tính giả của các phương pháp truyền thống, mang lại công cụ kiểm toán dữ liệu và bản quyền chính xác, đáng tin cậy hơn cho cộng đồng nghiên cứu và doanh nghiệp.", "developer_score": 68, "importance_score": 78, "possible_use_cases": ["Kiểm toán vi phạm bản quyền dữ liệu: Xác minh xem các tài liệu hoặc tác phẩm có bản quyền có bị đưa vào tập dữ liệu tiền huấn luyện của LLM hay không.", "Đánh giá rò rỉ dữ liệu riêng tư (Privacy Auditing): Phát hiện khả năng rò rỉ thông tin cá nhân (PII) hoặc dữ liệu nhạy cảm từ các mô hình mã nguồn mở.", "Phân biệt ghi nhớ máy móc và tổng quát hóa: Hỗ trợ các nhà nghiên cứu AI đo lường chính xác mức độ ghi nhớ dữ liệu thực tế so với khả năng suy luận tổng quát của mô hình."], "actionability_score": 70}