Counterfactual Pairwise Augmentation Improves Small Pointwise LLM Judges

{"tags": ["CPA", "Counterfactual Augmentation", "LLM Judges", "Pointwise Judge", "Agentic Systems", "SLM", "Qwen3-8B", "LoRA"], "risks": ["Phụ thuộc lớn vào chất lượng sinh và kiểm duyệt phản hồi phản thực tế; nếu phản hồi mang nhãn đối lập không đạt chuẩn sẽ gây nhiễu ranh giới quyết định.", "Kết quả thực nghiệm hiện mới giới hạn trên 6 tiêu chí nhị phân với kiến trúc Qwen3-8B LoRA; cần thêm kiểm chứng trên các tiêu chí đa thang điểm hoặc mô hình khác."], "category": "Research", "entities": ["CPA", "Counterfactual Pairwise Augmentation", "Qwen3-8B", "Gemini 3.6 Flash", "LoRA"], "summary_vi": "Nghiên cứu giới thiệu phương pháp CPA (Counterfactual Pairwise Augmentation) giúp cải thiện năng lực của các mô hình ngôn ngữ nhỏ (SLM) khi làm giám khảo đơn điểm (pointwise judge) trong hệ thống agent. Bằng cách tổng hợp và kiểm duyệt phản hồi phản thực tế mang nhãn đối lập cho cùng truy vấn, CPA cho phép huấn luyện đồng thời trên cả tập dữ liệu đơn điểm và cặp so sánh, nhưng chỉ triển khai ở chế độ đơn điểm. Thực nghiệm trên Qwen3-8B LoRA với 6 tiêu chí nhị phân cho thấy CPA tăng 2,5 điểm macro-F1 so với chỉ huấn luyện đơn điểm, vượt qua kỹ thuật hợp nhất mô hình (model merging) trên mọi trọng số và vượt frontier model Gemini 3.6 Flash 11,8 điểm.", "key_changes": ["Đề xuất kỹ thuật CPA (Counterfactual Pairwise Augmentation): tự động tổng hợp và kiểm duyệt phản hồi phản thực tế (counterfactual response) mang nhãn đối lập cho cùng một truy vấn nhằm làm rõ ranh giới quyết định.", "Áp dụng huấn luyện đồng thời (joint fine-tuning) trên cả tập dữ liệu đơn điểm (pointwise) và cặp so sánh (pairwise), nhưng khi triển khai chỉ chạy ở chế độ đơn điểm.", "Cung cấp phân tích bậc hai (second-order analysis) giải thích cơ chế joint training vượt trội hơn việc hợp nhất mô hình (model merging): giữ nguyên điểm tối ưu đơn điểm ở các vùng mất mát phẳng và hấp thụ độ cong ở các vùng sắc nét.", "Thử nghiệm trên adapter LoRA của Qwen3-8B cho 6 tiêu chí nhị phân: CPA cải thiện macro-F1 trung bình 2,5 điểm so với huấn luyện đơn điểm, vượt qua model merging ở mọi tỷ lệ trọng số, và vượt mô hình frontier zero-shot Gemini 3.6 Flash 11,8 điểm."], "sub_category": "LLM Judges", "novelty_score": 76, "business_score": 74, "research_score": 84, "why_it_matters": "Trong các hệ thống agentic, việc dùng mô hình lớn làm giám khảo từng bước gây tốn kém và độ trễ cao, trong khi SLM thường học kém ranh giới quyết định khi chỉ huấn luyện pointwise do câu hỏi bị nhiễu bởi nhiều chiều biến thiên. CPA giải quyết bài toán này bằng cách đưa dữ liệu so sánh cặp phản thực tế vào quá trình huấn luyện nhưng vẫn giữ nguyên sự tinh gọn và tốc độ khi suy luận ở chế độ đơn điểm, giúp mô hình 8B vượt qua cả frontier model thương mại.", "developer_score": 85, "importance_score": 78, "possible_use_cases": ["Xây dựng cổng kiểm duyệt (gatekeeper/evaluator) cho từng bước thực thi trong các hệ thống AI Agent để đảm bảo độ tin cậy.", "Triển khai mô hình SLM 8B tự host làm giám khảo cục bộ nhằm tối ưu chi phí và giảm độ trễ so với việc gọi API frontier model.", "Áp dụng quy trình sinh dữ liệu phản thực tế để tăng cường dữ liệu huấn luyện cho các mô hình chấm điểm hoặc phân loại chất lượng câu trả lời."], "actionability_score": 82}