PEARL: Prediction Error-Adaptive Regularized Learning for Selective Forgetting under Partial Preference Drift

{"tags": ["Neural Contextual Bandits", "Selective Forgetting", "Preference Drift", "LLM Personalization", "PRISM Benchmark", "Online Learning", "RLHF"], "risks": ["Hiệu quả phụ thuộc vào chất lượng không gian biểu diễn đặc trưng (feature space): nếu các chiều sở thích bị vướng víu (entangled), việc đảo ngược cập nhật ma trận Gram có thể ảnh hưởng ngoài ý muốn đến các chiều khác.", "Cần cơ chế hiệu chuẩn ngưỡng sai số dự đoán cẩn thận để tránh hiện tượng quên quá mức (over-forgetting) khi dữ liệu phản hồi có nhiều nhiễu ngẫu nhiên.", "Mới được kiểm chứng trên benchmark PRISM (1.500 người dùng, 21 LLM), cần đánh giá thêm trên hệ thống sản phẩm quy mô hàng triệu người dùng thực tế."], "category": "Research", "entities": ["PEARL", "PRISM", "Gram matrix", "MLP", "RLHF"], "summary_vi": "PEARL (Prediction Error-Adaptive Regularized Learning) là phương pháp neural contextual bandit giải quyết bài toán trôi dạt sở thích cục bộ (partial preference drift) trong cá nhân hóa LLM và hệ thống gợi ý. Thay vì quên đồng nhất mọi chiều đặc trưng như các phương pháp sliding-window hay discounted truyền thống, PEARL thực hiện quên có chọn lọc bằng cách đảo ngược cập nhật ma trận Gram dọc theo các hướng đặc trưng có sai số dự đoán bất thường, bảo toàn tri thức ở các chiều còn hợp lệ. Thuật toán có bảo đảm lý thuyết với regret tích lũy chỉ tỷ lệ theo số người dùng đổi sở thích (N_s) thay vì tổng dân số (N). Trên benchmark PRISM (1.500 người dùng, 21 LLM), PEARL vượt greedy +4,0 điểm, vượt neural bandit tốt nhất +2,5 điểm (p < 0,001) và vượt sliding-window/discounted từ 3–10 điểm. Chính sách là MLP ~100K tham số chạy mili-giây trên CPU, giữ nguyên trọng số LLM và hoạt động với mọi API LLM.", "key_changes": ["Đề xuất thuật toán PEARL (Prediction Error-Adaptive Regularized Learning) cho phép quên có chọn lọc (selective forgetting) khi sở thích người dùng bị trôi dạt một phần.", "Đảo ngược cập nhật ma trận Gram (Gram matrix) theo các hướng đặc trưng có sai số dự đoán bất thường, đồng thời giữ nguyên độ tin cậy ở các chiều đặc trưng còn lại.", "Chứng minh lý thuyết: mọi chính sách không thích ứng đều chịu linear regret; không có tỷ lệ thăm dò cố định nào tối ưu trên cả môi trường tĩnh lẫn biến động; cumulative regret của PEARL tỷ lệ thuận với số lượng người dùng thay đổi sở thích (N_s) thay vì tổng dân số (N).", "Đạt kết quả thực nghiệm vượt trội trên benchmark PRISM (1.500 người dùng, 21 LLM): vượt greedy +4,0 điểm, vượt baseline neural bandit tốt nhất +2,5 điểm (p < 0,001) và vượt các giải pháp sliding-window/discounted từ 3 đến 10 điểm.", "Triển khai siêu nhẹ: chính sách lựa chọn là mạng MLP ~100K tham số, thời gian thực thi mili-giây trên CPU, đóng băng hoàn toàn trọng số LLM và tương thích với mọi mô hình qua API."], "sub_category": "Contextual Bandits & Personalization", "novelty_score": 82, "business_score": 76, "research_score": 84, "why_it_matters": "Giải quyết điểm nghẽn lớn trong AI cá nhân hóa: sở thích người dùng thường chỉ thay đổi cục bộ ở một số khía cạnh thay vì toàn bộ. PEARL giúp hệ thống thích ứng ngay lập tức với thay đổi mà không xóa bỏ tri thức hợp lệ đã học, đạt hiệu suất cao với mô hình MLP siêu nhẹ (~100K tham số trên CPU), không yêu cầu can thiệp hay huấn luyện lại LLM nền tảng.", "developer_score": 82, "importance_score": 78, "possible_use_cases": ["Cá nhân hóa phản hồi LLM (personalized LLM response selection/routing) qua API thương mại theo thời gian thực mà không cần fine-tune trọng số mô hình.", "Hiệu chỉnh và cập nhật mô hình phần thưởng (reward models) trong pipeline RLHF khi thị hiếu người dùng thay đổi theo ngữ cảnh.", "Hệ thống gợi ý sản phẩm/nội dung cá nhân hóa (personalized recommendation) thích ứng nhanh với sự thay đổi nhu cầu mà không làm mất thông tin sở thích cũ vẫn còn giá trị."], "actionability_score": 85}