Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

FORTE: A Production Framework for Feature Evaluation and Deprecation in Industrial Recommender Systems

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

61 RADAR
DevOps MLOps · 1 nguồn đối chiếu · 2026-10-09 16:18:39 +0000 UTC

FORTE: A Production Framework for Feature Evaluation and Deprecation in Industrial Recommender Systems

Nguồn: arXiv AI
↗

FORTE là framework production độc lập với mô hình (model-agnostic) giúp phát hiện, xác thực và loại bỏ các đặc trưng (features) không còn hiệu quả trong các hệ thống gợi ý công nghiệp. Bằng cách áp dụng cơ chế nhiễu loạn hiệu quả cho phép đánh giá đặc trưng hàng ngày, kỹ thuật loại bỏ theo nhóm (grouped ablation) nhằm xử lý tương tác đặc trưng và lineage tracing để truy vết các mô hình tiêu thụ hạ nguồn, FORTE cho kết quả offline có độ tương quan cao với online A/B test mà không gây suy thoái chỉ số. Thử nghiệm thực tế trên hai hệ thống quy mô lớn cho thấy FORTE loại bỏ 43,3% đặc trưng trên mô hình tìm kiếm và 8 đặc trưng trên mô hình xếp hạng, giúp giảm 29,9% tham số mô hình, tăng 19,8-25,5% serving throughput và tiết kiệm hàng trăm nghìn USD chi phí huấn luyện hàng năm.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Hiện tượng tích tụ đặc trưng ('feature bloat') là thách thức lớn trong MLOps công nghiệp, làm tăng chi phí hạ tầng và độ trễ phục vụ nhưng thường bị trì hoãn do lo ngại làm giảm hiệu năng mô hình. FORTE cung cấp giải pháp tự động hóa vòng đời gỡ bỏ đặc trưng một cách an toàn và có hệ thống, mang lại lợi ích kinh tế trực tiếp (tiết kiệm hàng trăm nghìn USD, tăng hơn 20% throughput) mà không gây rủi ro suy giảm trải nghiệm người dùng.

Developer 77
Business 77
Novelty 72
Actionable 80

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Production recommender systems have feature-lifecycle asymmetry: adding new features must produce gains on some metric, while feature removal must not regress any metric. In practice, feature deprecation is hard to prioritize as a feature can fail to be removed if it interacts with other features, its importance changes daily, it cannot be evaluated before production models change or data drift occurs, it is in contention for A/B test space with other launches, it causes regressions in an online A/B test, or it is consumed by multiple models that need to coordinate its deprecation. We present FORTE, a model-agnostic production framework for discovering, validating, and removing features. Its efficient perturbation implementation allows daily feature evaluation. To account for interactions, it evaluates candidate feature sets constructed from all the low-rank features through grouped ablation and its offline results are sufficiently predictive of online A/B tests to allow deprecations to proceed to online testing with confidence. Lineage tracing identifies all downstream consumer models to realize the full savings of removing a feature from the training set. We validate FORTE over 2 large-scale recommender systems and find that it identifies deprecable feature sets which do not cause online regressions, while the impact on efficiency depends on model characteristics. On a search-relevance model, FORTE resulted in 3 nested candidate sets of 32, 48, and 59 features. Online guardrails rejected the largest treatment. The 48-feature set was selected for deprecation, removing 43.3% of the model's features. On a large ranking model, FORTE identified 8 candidates for removal. Retraining and A/B testing confirmed no regression. Its launch reduced the trainable parameters by 29.9%, improved serving throughput by 19.8-25.5%, and reduced annual training costs by hundreds of thousands of dollars.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-12 09:57:21 +0000 UTC
{"tags": ["MLOps", "Recommender Systems", "Feature Deprecation", "Serving Optimization", "A/B Testing", "Cost Optimization", "Grouped Ablation"], "risks": ["Nguy cơ gây suy thoái chỉ số online nếu hệ thống guardrails không kịp thời chặn các tập đặc trưng bị loại bỏ quá mức (như nhóm 59 đặc trưng từng bị từ chối).", "Mức độ cải thiện hiệu quả tài nguyên phụ thuộc vào đặc tính kiến trúc riêng của từng mô hình.", "Độ phức tạp trong việc điều phối gỡ bỏ khi một đặc trưng được chia sẻ bởi nhiều mô hình hạ nguồn cùng lúc."], "category": "DevOps", "entities": ["FORTE", "Industrial Recommender Systems", "Online A/B testing", "Search-relevance model", "Ranking model"], "summary_vi": "FORTE là framework production độc lập với mô hình (model-agnostic) giúp phát hiện, xác thực và loại bỏ các đặc trưng (features) không còn hiệu quả trong các hệ thống gợi ý công nghiệp. Bằng cách áp dụng cơ chế nhiễu loạn hiệu quả cho phép đánh giá đặc trưng hàng ngày, kỹ thuật loại bỏ theo nhóm (grouped ablation) nhằm xử lý tương tác đặc trưng và lineage tracing để truy vết các mô hình tiêu thụ hạ nguồn, FORTE cho kết quả offline có độ tương quan cao với online A/B test mà không gây suy thoái chỉ số. Thử nghiệm thực tế trên hai hệ thống quy mô lớn cho thấy FORTE loại bỏ 43,3% đặc trưng trên mô hình tìm kiếm và 8 đặc trưng trên mô hình xếp hạng, giúp giảm 29,9% tham số mô hình, tăng 19,8-25,5% serving throughput và tiết kiệm hàng trăm nghìn USD chi phí huấn luyện hàng năm.", "key_changes": ["Giải quyết tính bất đối xứng trong vòng đời đặc trưng (thêm mới cần tăng metric, gỡ bỏ không được làm suy thoái bất kỳ metric nào).", "Đề xuất FORTE - framework production độc lập với mô hình (model-agnostic) giúp phát hiện, thẩm định và loại bỏ đặc trưng.", "Triển khai cơ chế nhiễu loạn (perturbation) hiệu năng cao cho phép đánh giá đặc trưng hàng ngày.", "Áp dụng kỹ thuật loại bỏ theo nhóm (grouped ablation) cho các đặc trưng thứ hạng thấp nhằm xử lý tương tác đặc trưng, đảm bảo kết quả offline dự đoán chính xác online A/B test.", "Tích hợp lineage tracing để định danh mọi mô hình tiêu thụ hạ nguồn, tối đa hóa việc tiết kiệm chi phí huấn luyện.", "Kiểm chứng thực tế: loại bỏ 43,3% đặc trưng trên mô hình tìm kiếm; loại bỏ 8 đặc trưng trên mô hình xếp hạng giúp giảm 29,9% tham số huấn luyện, tăng 19,8-25,5% serving throughput và tiết kiệm hàng trăm nghìn USD chi phí huấn luyện mỗi năm."], "sub_category": "MLOps", "novelty_score": 72, "business_score": 85, "research_score": 74, "why_it_matters": "Hiện tượng tích tụ đặc trưng ('feature bloat') là thách thức lớn trong MLOps công nghiệp, làm tăng chi phí hạ tầng và độ trễ phục vụ nhưng thường bị trì hoãn do lo ngại làm giảm hiệu năng mô hình. FORTE cung cấp giải pháp tự động hóa vòng đời gỡ bỏ đặc trưng một cách an toàn và có hệ thống, mang lại lợi ích kinh tế trực tiếp (tiết kiệm hàng trăm nghìn USD, tăng hơn 20% throughput) mà không gây rủi ro suy giảm trải nghiệm người dùng.", "developer_score": 85, "importance_score": 78, "possible_use_cases": ["Tự động hóa quy trình đánh giá và loại bỏ định kỳ các đặc trưng dư thừa trong hệ thống gợi ý và xếp hạng công nghiệp.", "Cắt giảm chi phí huấn luyện định kỳ và lưu trữ trong feature store nhờ truy vết mô hình tiêu thụ bằng lineage tracing.", "Tối ưu hóa thông lượng phục vụ (serving throughput) và giảm độ trễ cho các mô hình deep learning quy mô lớn.", "Đánh giá tác động của đặc trưng khi xảy ra trôi dữ liệu (data drift) mà không cần chiếm dụng không gian thử nghiệm A/B test trực tuyến liên tục."], "actionability_score": 80}
← Trang trước Trang 1