HiGenTrans: Hierarchical LLM Knowledge Transfer for Generative Recommendation

{"tags": ["Generative Recommendation", "LLM", "Knowledge Transfer", "Semantic ID", "Recommender Systems", "Beam Search", "Mixture of Experts"], "risks": ["Chi phí lưu trữ và tính toán định kỳ cho offline caching của các biểu diễn LLM trên quy mô tập người dùng lớn.", "Độ trễ bổ sung từ khâu hiệu chuẩn đa tín hiệu MoE (MDC) trong môi trường phục vụ thời gian thực nghiêm ngặt.", "Sự phụ thuộc vào chất lượng của biểu diễn Semantic IDs (SIDs) và mô hình ngôn ngữ nền tảng."], "category": "Research", "entities": ["HiGenTrans", "Global Semantic Priming (GSP)", "Hierarchical Representation Transfer (HRT)", "Multi-Signal Decision Calibration (MDC)", "Semantic IDs (SIDs)", "GenRec"], "summary_vi": "HiGenTrans là khung kiến trúc truyền tải tri thức phân cấp từ mô hình ngôn ngữ lớn (LLM) vào hệ thống gợi ý tạo sinh (GenRec) qua 3 cấp độ: input (GSP), representation (HRT) và decision (MDC). Giải pháp giải quyết hạn chế của GenRec khi chỉ dùng giám sát tương tác và khắc phục việc beam search xếp hạng chuỗi token thay vì độ liên quan vật phẩm. Tất cả đặc trưng ngữ nghĩa được tính từ tiền tố tương tác, tránh rò rỉ dữ liệu và có thể cache offline, giúp cải thiện Recall@10 tới 12.9% và NDCG@10 tới 33.7% trên ba benchmark công khai.", "key_changes": ["Đề xuất khung làm việc 3 cấp độ (input, representation, decision) nhằm chuyển giao tri thức từ LLM sang hệ thống Generative Recommendation (GenRec).", "Global Semantic Priming (GSP): Bổ sung biểu diễn người dùng từ LLM vào đầu chuỗi embedding để tạo prior ngữ nghĩa trước khi sinh SID.", "Hierarchical Representation Transfer (HRT): Căn chỉnh các biểu diễn trung gian của LLM với các tầng GenRec phù hợp về độ sâu bằng phép chiếu mean-centered và liên kết gated residual.", "Multi-Signal Decision Calibration (MDC): Sử dụng bộ hiệu chuẩn MoE gọn nhẹ để kết hợp độ liên quan ngữ nghĩa, độ tin cậy sinh và ngữ cảnh tập ứng viên khi rerank kết quả beam-search.", "Thiết kế tính toán chỉ từ tiền tố tương tác quan sát được giúp chống target leakage và cho phép tính toán trước/cache offline các đặc trưng ngữ nghĩa."], "sub_category": "Generative Recommender Systems", "novelty_score": 78, "business_score": 72, "research_score": 85, "why_it_matters": "Hệ thống gợi ý tạo sinh hứa hẹn thay thế pipeline đa tầng truyền thống cồng kềnh nhưng gặp trở ngại lớn trong môi trường công nghiệp do thiếu hụt ngữ nghĩa và hạn chế của beam search. HiGenTrans cung cấp giải pháp toàn diện từ đầu vào đến quyết định, đồng thời giải quyết bài toán hiệu năng thực tế nhờ khả năng cache offline, mở ra hướng ứng dụng LLM hiệu quả vào recommender systems quy mô lớn.", "developer_score": 75, "importance_score": 75, "possible_use_cases": ["Chuyển đổi hệ thống gợi ý truyền thống nhiều tầng trong thương mại điện tử sang mô hình tạo sinh tinh gọn dựa trên Semantic ID.", "Hệ thống gợi ý nội dung (video, bài viết, âm nhạc) cần tận dụng hiểu biết ngữ nghĩa sâu của LLM mà không làm tăng độ trễ thời gian thực.", "Tối ưu hóa bước reranking cho beam search trong các mô hình sinh autoregressive."], "actionability_score": 70}