REGER: Modeling inter-item Relations with Semantic IDs for Generative Recommendation

{"tags": ["Generative Recommendation", "Semantic IDs", "Recommender Systems", "Preference Distillation", "Prefix Tree", "Deep Learning"], "risks": ["Gia tăng chi phí tính toán và tài nguyên hạ tầng do yêu cầu huấn luyện mô hình teacher discriminative song song và thực hiện chưng cất tri thức trên cây tiền tố.", "Độ trễ khi suy luận thời gian thực (inference latency) của mô hình autoregressive sinh từng token SID so với các mô hình truy xuất xấp xỉ truyền thống (ANN).", "Chất lượng phụ thuộc chặt chẽ vào độ phân cấp và tính nhất quán của bộ mã hóa Semantic ID ban đầu."], "category": "Research", "entities": ["REGER", "Semantic IDs (SIDs)", "Generative Recommendation (GR)", "Prefix Tree", "KL Divergence"], "summary_vi": "REGER là khung kiến trúc thống nhất dành cho hệ thống gợi ý tạo sinh (Generative Recommendation - GR), giúp mô hình hóa rõ ràng quan hệ ngữ nghĩa và cộng tác giữa các vật phẩm. Khung làm việc bao gồm: tiền huấn luyện bằng cách sinh Semantic ID (SID) của các item láng giềng ngữ nghĩa, cơ chế attention lai (global kết hợp local theo ranh giới SID), và kỹ thuật chưng cất tri thức sở thích phân cấp từ mô hình discriminative teacher dựa trên nền tảng phân rã toán học trên cây tiền tố SID.", "key_changes": ["Tiền huấn luyện mô hình qua truy xuất ngữ nghĩa tạo sinh (generative semantic retrieval) bằng cách sinh SID của các item láng giềng ngữ nghĩa thay vì khởi tạo token embedding ngẫu nhiên.", "Kết hợp cơ chế global attention với local attention căn chỉnh theo ranh giới SID để vừa nắm bắt ngữ cảnh lịch sử dài hạn vừa theo dõi chuyển dịch thứ tự giữa các item liền kề.", "Xây dựng khung lý thuyết phân rã sở thích phân cấp trên cây tiền tố SID, chứng minh việc nhân tử hóa phân phối sở thích cộng tác và phân rã khoảng cách KL cấp item thành KL có điều kiện theo tiền tố.", "Chưng cất tri thức từ mô hình discriminative teacher qua toàn bộ phân phối điều kiện của các token hợp lệ tiếp theo tại các tiền tố ground-truth, tối ưu đồng thời với cross-entropy."], "sub_category": "Generative Recommender Systems", "novelty_score": 82, "business_score": 72, "research_score": 86, "why_it_matters": "Generative Recommendation sử dụng Semantic IDs đang là xu hướng thay thế các hệ thống gợi ý truyền thống, nhưng thường gặp khó khăn do token embedding ngẫu nhiên làm mất mát quan hệ ngữ nghĩa và chỉ học quan hệ cộng tác một cách ngầm định. REGER cung cấp nền tảng toán học vững chắc và giải pháp kỹ thuật toàn diện từ pretraining, encoding đến distillation, giúp thu hẹp khoảng cách hiệu năng giữa mô hình sinh và mô hình phân biệt trong các hệ thống gợi ý thực tế.", "developer_score": 70, "importance_score": 78, "possible_use_cases": ["Nâng cấp hệ thống gợi ý sản phẩm trên nền tảng thương mại điện tử quy mô lớn từ ID-based sang Generative Retrieval bằng Semantic IDs.", "Tối ưu hóa gợi ý nội dung đa phương tiện tuần tự (tin tức, video ngắn, âm nhạc) dựa trên lịch sử tương tác của người dùng.", "Tận dụng mô hình gợi ý discriminative sẵn có để chưng cất tri thức sang mô hình sinh thế hệ mới mà không phải huấn luyện lại từ đầu với chất lượng suy giảm."], "actionability_score": 65}