When, Where, How: Active In-Context Learning for Tabular Foundation Models

{"tags": ["Tabular Foundation Models", "Active Learning", "In-Context Learning", "EPIC", "TANN", "GBDT", "Data Labeling"], "risks": ["Chi phí tính toán cho việc tính toán EPIC và tìm lân cận (TANN) có thể tăng đáng kể khi kích thước pool dữ liệu lớn.", "Khả năng suy diễn và ước lượng độ không chắc chắn phụ thuộc vào chất lượng của mô hình TFM nền tảng.", "Hiệu quả thực tế có thể thay đổi trên các bộ dữ liệu dạng bảng có độ nhiễu cực cao hoặc phân phối lệch xa 20 benchmark thử nghiệm."], "category": "Research", "entities": ["Tabular Foundation Models (TFMs)", "Gradient-Boosted Decision Trees (GBDTs)", "Target-Aware Nearest Neighbor (TANN)", "Expected Predictive Information Gain in Context (EPIC)"], "summary_vi": "Nghiên cứu về Active In-Context Learning cho các mô hình nền tảng dạng bảng (TFMs) nhằm giải quyết chi phí gán nhãn đắt đỏ trong thực tế. Khảo sát trên 20 benchmark với 2 TFM và mô hình GBDT chỉ ra ba nguyên tắc: (1) Khi nào: chọn mẫu theo độ đa dạng tốt nhất ở các vòng đầu; (2) Ở đâu: gán nhãn các dòng phục vụ trực tiếp input mục tiêu bằng quy tắc Target-Aware Nearest Neighbor (TANN) tạo khác biệt lớn; (3) Như thế nào: phương pháp EPIC giúp đạt 80-87% hiệu năng tối đa chỉ với 5-10% dữ liệu được gán nhãn và cải thiện cả hiệu năng của mô hình GBDT.", "key_changes": ["Áp dụng các quy tắc active learning cổ điển vào cơ chế in-context learning của các mô hình nền tảng dạng bảng (TFMs).", "Xác định chiến lược chọn mẫu theo độ đa dạng (diversity) đạt hiệu quả cao nhất ở các lượt gắn nhãn đầu tiên (When).", "Chứng minh việc chọn các dòng dữ liệu phục vụ trực tiếp cho input mục tiêu thông qua quy tắc Target-Aware Nearest Neighbor (TANN) mang lại hiệu quả vượt trội (Where).", "Phương pháp Expected Predictive Information Gain in Context (EPIC) tối ưu hóa hiệu năng theo ngân sách nhãn, đạt 80-87% hiệu năng so với dùng toàn bộ dữ liệu chỉ với 5-10% pool dữ liệu được gán nhãn (How).", "Tập nhãn do EPIC lựa chọn cũng đồng thời giúp cải thiện hiệu năng dự đoán của các mô hình GBDT truyền thống."], "sub_category": "Tabular Foundation Models", "novelty_score": 80, "business_score": 82, "research_score": 88, "why_it_matters": "Dữ liệu dạng bảng là dạng dữ liệu phổ biến nhất trong doanh nghiệp nhưng việc dán nhãn thường tốn kém vì đòi hỏi chuyên gia nghiệp vụ. Nghiên cứu cung cấp công thức cụ thể để giảm 90-95% chi phí gán nhãn cho TFMs mà vẫn giữ được 80-87% hiệu năng, đồng thời tạo ra tập dữ liệu chất lượng cao có thể dùng chung cho các mô hình GBDT truyền thống.", "developer_score": 78, "importance_score": 80, "possible_use_cases": ["Tối ưu ngân sách gán nhãn dữ liệu dạng bảng cho các bài toán đòi hỏi chuyên gia chuyên ngành (tài chính, y tế, thẩm định rủi ro).", "Thiết lập luồng Active In-Context Learning cho các mô hình TFM để thích ứng nhanh với tác vụ mới với số lượng nhãn tối thiểu.", "Chọn lọc mẫu dữ liệu chất lượng cao để tăng cường hiệu quả huấn luyện cho các mô hình GBDT (XGBoost, LightGBM, CatBoost)."], "actionability_score": 72}