Counterfactual Test-Time Augmentation for Shortcut Removal in Language Models

{"tags": ["LLM Robustness", "CTTA", "Test-Time Augmentation", "Shortcut Removal", "Spurious Correlations", "Select-CTTA"], "risks": ["Tăng độ trễ (latency) và chi phí suy luận do phải sinh nhiều chỉnh sửa phản thực nghiệm và thực hiện nhiều lượt suy luận LLM.", "Phụ thuộc đáng kể vào năng lực của mô hình phụ trợ trong việc tạo ra các counterfactual edits chính xác.", "Yêu cầu quyền truy cập xác suất token (token probabilities), vốn có thể bị giới hạn ở một số nhà cung cấp API đóng.", "Rủi ro suy giảm hiệu quả khi các giả định về phân phối bị vi phạm trong các tác vụ phức tạp thực tế."], "category": "Research", "entities": ["LLM", "CTTA", "Select-CTTA"], "summary_vi": "Nghiên cứu giới thiệu Counterfactual Test-Time Augmentation (CTTA) và phương pháp tổng hợp Select-CTTA nhằm loại bỏ các tương quan giả (shortcuts) trong mô hình ngôn ngữ lớn ngay tại thời điểm suy luận. Phương pháp sử dụng một mô hình phụ trợ tạo các chỉnh sửa phản thực nghiệm làm thay đổi giá trị shortcut, sau đó lấy trung bình có trọng số các dự đoán của LLM dựa trên xác suất token, giúp cải thiện độ chính xác và đạt hiệu năng tiệm cận các mô hình fine-tune mà không cần huấn luyện lại.", "key_changes": ["Đề xuất họ phương pháp Counterfactual Test-Time Augmentation (CTTA) giúp loại bỏ lối tắt (shortcut/spurious correlation) ngay tại thời điểm suy luận mà không cần huấn luyện lại hay truy cập trọng số mô hình.", "Chứng minh lý thuyết rằng bộ dự đoán bất biến lối tắt tối ưu (optimal shortcut-invariant predictor) thuộc họ CTTA và mô tả cấu trúc trọng số của nó.", "Đưa ra các giả định và kiểm định cho phép ước lượng trọng số thông qua xác suất token (token probabilities) của LLM đã huấn luyện.", "Phát triển phương pháp tổng hợp Select-CTTA tự động chọn cấu hình CTTA phù hợp, đạt hiệu năng vượt trội các baseline test-time và tiệm cận mô hình được fine-tune trên dữ liệu cân bằng."], "sub_category": "LLM Robustness", "novelty_score": 82, "business_score": 65, "research_score": 88, "why_it_matters": "Mở ra giải pháp kỹ thuật hiệu quả để loại bỏ thiên kiến và tương quan giả của LLM trực tiếp tại khâu suy luận, giúp doanh nghiệp tiết kiệm chi phí fine-tuning tốn kém và tăng cường độ tin cậy khi triển khai các mô hình black-box trong môi trường sản xuất.", "developer_score": 72, "importance_score": 78, "possible_use_cases": ["Nâng cao độ tin cậy và độ bền vững của LLM khi suy luận trong môi trường bị trôi dạt phân phối (distribution shift).", "Khắc phục tương quan giả và thiên kiến cho các mô hình thương mại dạng black-box API mà không cần can thiệp vào trọng số hay huấn luyện lại.", "Tối ưu hóa pipeline suy luận cho các tác vụ phân loại văn bản và đánh giá logic nhạy cảm với shortcut."], "actionability_score": 70}