Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Revisiting Tabular Deep Regression: Objectives and the Limits of Global Early Stopping

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

60 RADAR
Research Tabular Deep Learning · 1 nguồn đối chiếu · 2026-10-09 17:49:32 +0000 UTC

Revisiting Tabular Deep Regression: Objectives and the Limits of Global Early Stopping

Nguồn: arXiv AI
↗

Nghiên cứu từ Yandex Research tái đánh giá thực nghiệm các hàm mục tiêu cho bài toán hồi quy deep learning trên dữ liệu bảng. Kết quả cho thấy phần lớn hàm loss mới không vượt trội nhất quán so với MSE được tinh chỉnh chuẩn mực, ngoại trừ quantile loss mang lại cải thiện ổn định. Nghiên cứu cũng chỉ ra hạn chế của cơ chế global early stopping khi đối mặt với dữ liệu có nhiễu không đồng nhất (heteroskedasticity), đồng thời đề xuất giải pháp mở rộng quantile loss kết hợp input-dependent label smoothing và công bố mã nguồn mở.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu cung cấp bức tranh thực nghiệm chuẩn xác về hàm mục tiêu trong tabular deep regression, giúp kỹ sư ML tránh lãng phí vào các hàm loss phức tạp không hiệu quả, đồng thời vạch rõ điểm nghẽn của global early stopping trong điều kiện nhiễu không đồng nhất.

Developer 73
Business 63
Novelty 70
Actionable 80

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

While deep learning models for tabular data have recently received significant research attention, the choice of objective functions for regression tasks remains an understudied degree of freedom. Several lines of research offer alternatives to the standard Mean Squared Error (MSE), but differences in datasets, backbones, and evaluation protocols make their practical benefits difficult to compare. In this work, we address this gap by performing a systematic re-evaluation of regression objectives across a broad collection of established tabular datasets and multiple neural backbones. Our comparison reveals that many proposed objectives provide limited or inconsistent gains over a properly tuned MSE baseline, while quantile loss yields consistent aggregate improvements over MSE across the tested backbones. We then identify a limitation that remains even with this strong objective: regions with different levels of target noise can reach their best predictive performance at different training epochs. Consequently, a single global early-stopping checkpoint can impose a compromise between uncertainty regions, even when the objective can represent heteroskedastic target distributions. Motivated by this limitation, we introduce a heteroskedasticity-aware extension of quantile loss that uses input-dependent label smoothing as a potential remedy and improves over quantile loss on several backbones. Overall, our results provide a modern empirical picture of regression objectives for tabular deep learning and highlight how differences in optimal stopping times across uncertainty regions can limit the effectiveness of global early stopping. The code is available at https://github.com/yandex-research/tabular-regression.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-12 09:48:49 +0000 UTC
{"tags": ["Tabular Data", "Deep Regression", "Loss Functions", "Quantile Loss", "Early Stopping", "Heteroskedasticity", "Label Smoothing", "Yandex Research"], "risks": ["Cơ chế global early stopping mặc định có thể làm giảm hiệu năng dự báo tại các vùng dữ liệu có độ nhiễu cao.", "Áp dụng các hàm loss phức tạp thay vì tối ưu kỹ MSE có thể gây lãng phí tài nguyên mà không tăng hiệu quả.", "Input-dependent label smoothing đòi hỏi tinh chỉnh thêm siêu tham số phù hợp với từng backbone và phân phối dữ liệu."], "category": "Research", "entities": ["Yandex Research", "GitHub", "MSE", "Quantile Loss"], "summary_vi": "Nghiên cứu từ Yandex Research tái đánh giá thực nghiệm các hàm mục tiêu cho bài toán hồi quy deep learning trên dữ liệu bảng. Kết quả cho thấy phần lớn hàm loss mới không vượt trội nhất quán so với MSE được tinh chỉnh chuẩn mực, ngoại trừ quantile loss mang lại cải thiện ổn định. Nghiên cứu cũng chỉ ra hạn chế của cơ chế global early stopping khi đối mặt với dữ liệu có nhiễu không đồng nhất (heteroskedasticity), đồng thời đề xuất giải pháp mở rộng quantile loss kết hợp input-dependent label smoothing và công bố mã nguồn mở.", "key_changes": ["Hệ thống hóa và đánh giá lại các hàm mục tiêu hồi quy trên nhiều bộ dữ liệu dạng bảng và kiến trúc mạng nơ-ron.", "Chứng minh baseline MSE được tinh chỉnh tốt (properly tuned MSE) có hiệu năng rất cạnh tranh; nhiều hàm loss đề xuất trước đây không mang lại cải thiện nhất quán.", "Xác nhận quantile loss đem lại cải thiện tổng thể ổn định nhất so với MSE trên các backbone được thử nghiệm.", "Phát hiện hạn chế của global early stopping khi dữ liệu có nhiễu không đồng nhất (heteroskedastic noise), do các vùng có mức nhiễu khác nhau đạt đỉnh hiệu năng ở các epoch khác nhau.", "Đề xuất phần mở rộng cho quantile loss sử dụng input-dependent label smoothing để thích ứng với heteroskedasticity và công bố mã nguồn mở."], "sub_category": "Tabular Deep Learning", "novelty_score": 70, "business_score": 65, "research_score": 85, "why_it_matters": "Nghiên cứu cung cấp bức tranh thực nghiệm chuẩn xác về hàm mục tiêu trong tabular deep regression, giúp kỹ sư ML tránh lãng phí vào các hàm loss phức tạp không hiệu quả, đồng thời vạch rõ điểm nghẽn của global early stopping trong điều kiện nhiễu không đồng nhất.", "developer_score": 80, "importance_score": 75, "possible_use_cases": ["Tối ưu hóa mô hình hồi quy deep learning trên dữ liệu bảng trong tài chính, bất động sản và thương mại điện tử.", "Sử dụng quantile loss thay thế MSE khi huấn luyện mạng nơ-ron tabular để nâng cao độ chính xác dự báo.", "Điều chỉnh chiến lược early stopping cho các mô hình học máy khi dữ liệu có độ bất định và phương sai biến thiên.", "Ứng dụng bộ mã nguồn mở tabular-regression làm benchmark đánh giá kiến trúc mô hình mới."], "actionability_score": 80}
← Trang trước Trang 1