When Context Misleads: In-context Learning with Jurisdiction in Large Language Models

{"tags": ["In-Context Learning", "Context Authority", "FakeContextBench", "J-ICL", "LLM Robustness", "Post-training", "RAG Safety"], "risks": ["Nguy cơ mô hình từ chối hoặc bỏ qua ngữ cảnh hợp lệ (false positive) nếu cơ chế thẩm quyền ngữ cảnh hoạt động quá khắt khe.", "Dữ liệu benchmark hiện tập trung vào 7 lĩnh vực giả khoa học, cần kiểm chứng thêm trước các dạng tấn công đối kháng (adversarial context injection) phức tạp hơn."], "category": "Research", "entities": ["FakeContextBench", "J-ICL", "MetaICL", "Symbol Tuning", "ICLEval"], "summary_vi": "Nghiên cứu chỉ ra điểm mù lớn của các phương pháp ICL post-training hiện nay: tập trung vào trích xuất mẫu từ ngữ cảnh nhưng bỏ qua thẩm quyền ngữ cảnh (context authority), khiến độ chính xác thực tế giảm tới 14,95 điểm % khi gặp ngữ cảnh sai lệch. Nhóm tác giả giới thiệu bộ benchmark FakeContextBench trên 7 lĩnh vực và đề xuất khung huấn luyện Jurisdiction In-Context Learning (J-ICL) tích hợp xác thực ngữ cảnh. J-ICL giúp tăng ICLEval thêm 5,84 điểm %, độ chính xác thực tế thêm 9,20 điểm % trên 4 mô hình nền tảng và tăng Reality Rate thêm 18,09 điểm so với MetaICL và Symbol Tuning.", "key_changes": ["Chỉ ra điểm mù về thẩm quyền ngữ cảnh (context authority) của các phương pháp ICL post-training hiện nay, khiến mô hình dễ bị dẫn dắt bởi ngữ cảnh sai lệch và làm giảm độ chính xác thực tế tới 14,95 điểm % so với mô hình gốc.", "Giới thiệu FakeContextBench chứa các tuyên bố giả khoa học trên 7 lĩnh vực để đo lường khả năng phân biệt thẩm quyền ngữ cảnh của LLM.", "Đề xuất khung huấn luyện Jurisdiction In-Context Learning (J-ICL), đưa cơ chế xác thực ngữ cảnh trực tiếp vào mục tiêu huấn luyện post-training.", "Thực nghiệm trên 4 mô hình nền tảng cho thấy J-ICL giúp tăng điểm ICLEval trung bình 5,84 điểm % và độ chính xác thực tế 9,20 điểm % so với base model.", "Tăng tỷ lệ thực tế (Reality Rate) trung bình 18,09 điểm so với hai phương pháp phổ biến là MetaICL và Symbol Tuning."], "sub_category": "In-Context Learning Robustness", "novelty_score": 75, "business_score": 68, "research_score": 85, "why_it_matters": "Nghiên cứu giải quyết bài toán đánh đổi nghiêm trọng trong triển khai LLM và RAG: làm thế nào để mô hình vừa thích ứng nhanh với ngữ cảnh vừa không bị đánh lừa bởi thông tin sai lệch. J-ICL chứng minh khả năng ICL và năng lực phòng thủ ngữ cảnh hoàn toàn có thể được cải thiện đồng thời.", "developer_score": 72, "importance_score": 78, "possible_use_cases": ["Áp dụng vào pipeline RAG doanh nghiệp để ngăn chặn hiện tượng context poisoning và rủi ro LLM tin theo ngữ cảnh giả mạo.", "Huấn luyện hậu kỳ (post-training) cho các mô hình mã nguồn mở nhằm cân bằng giữa khả năng học theo mẫu (ICL) và bảo vệ tri thức thực tế.", "Sử dụng benchmark FakeContextBench để đánh giá độ tin cậy và khả năng kiểm chứng ngữ cảnh của các mô hình thương mại và mã nguồn mở."], "actionability_score": 70}