Reinforcement Learning with Conformal Action Sets: An Application to Sequential Recommendation

{"tags": ["Reinforcement Learning", "Sequential Recommendation", "Calibrated Pruning", "Conformal Prediction", "Recommender Systems", "Catalog Diversity"], "risks": ["Chất lượng phụ thuộc vào độ chính xác của hàm critic và tính đại diện của proxy target.", "Độ trễ tính toán tăng thêm khi cập nhật ngưỡng trực tuyến trong hệ thống thời gian thực yêu cầu độ trễ cực thấp.", "Nguy cơ cắt tỉa nhầm mục tiềm năng nếu tín hiệu phản hồi nhị phân của proxy chứa nhiều nhiễu."], "category": "Research", "entities": ["RLCP", "Reinforcement Learning with Calibrated Pruning", "KuaiRand-Pure", "MovieLens 1M"], "summary_vi": "Nghiên cứu đề xuất phương pháp Reinforcement Learning with Calibrated Pruning (RLCP) cho hệ thống gợi ý tuần tự, thay thế kích thước danh sách cố định bằng cơ chế tự điều chỉnh tập hành động dựa trên điểm critic và ngưỡng trực tuyến. Thuật toán có bảo đảm lý thuyết về chặn tỷ lệ bỏ lỡ proxy và phân rã tổn thất giá trị. Thử nghiệm trên KuaiRand-Pure và MovieLens 1M cho thấy RLCP cải thiện độ đa dạng danh mục từ 1.11x đến 5.21x so với baseline mạnh nhất trong khi vẫn duy trì độ sâu phiên tương đương.", "key_changes": ["Đề xuất cơ chế RLCP (Reinforcement Learning with Calibrated Pruning) nhằm thích ứng kích thước tập hành động thay vì giữ kích thước cố định trong gợi ý tuần tự.", "Cập nhật ngưỡng cắt tỉa trực tuyến (online threshold) dựa trên phản hồi nhị phân từ proxy target.", "Chứng minh chặn trên tiền định (deterministic bound) cho tỷ lệ bỏ lỡ proxy (proxy miss rate) dọc theo quỹ đạo thích ứng.", "Phân rã chính xác tổn thất giá trị (value loss) thành tổn thất lọc (filtering loss) và tổn thất lựa chọn (selection loss).", "Chứng minh chặn thưởng phiên hữu hạn (finite session reward bound) tính đến việc lựa chọn không hoàn hảo và cắt ngắn tập mà không cần hội tụ tham số học."], "sub_category": "Sequential Recommendation", "novelty_score": 82, "business_score": 75, "research_score": 86, "why_it_matters": "Các hệ thống gợi ý hiện nay thường áp đặt kích thước danh sách cố định dù số lượng lựa chọn hữu ích thay đổi liên tục trong phiên. RLCP cung cấp cơ sở toán học vững chắc để cắt tỉa không gian hành động linh hoạt, giúp tăng độ đa dạng danh mục lên tới 5.21 lần mà không làm giảm thời lượng tương tác hay đòi hỏi tăng tập ứng viên lưu giữ.", "developer_score": 72, "importance_score": 78, "possible_use_cases": ["Hệ thống gợi ý động trong thương mại điện tử và nền tảng video ngắn khi số lượng sản phẩm phù hợp thay đổi liên tục theo từng phiên.", "Cải thiện độ đa dạng danh mục (catalog diversity) và khám phá nội dung ngách trên các nền tảng streaming phim/nhạc.", "Thu hẹp không gian hành động động có bảo đảm sai số cho các tác nhân học tăng cường trong môi trường nhiều bước."], "actionability_score": 68}