An Experimental Study of Hybrid Retrieval, NLI and Open-source LLMs for Scientific Claim Verification

{"tags": ["Claim Verification", "Natural Language Inference", "LLM", "Qwen3", "Llama 3.1", "Hybrid Retrieval", "Fact-Checking", "SciFact"], "risks": ["Áp dụng kết hợp cứng (conservative fusion) giữa NLI truyền thống và LLM gây phản tác dụng do năng lực suy luận đa câu của NLI hiện quá kém so với LLM hiện đại.", "LLM đơn lẻ vẫn có rủi ro suy luận vượt quá bằng chứng thực tế nếu context truy xuất không đủ chặt chẽ.", "Chất lượng xác minh phụ thuộc vào độ chính xác của bước truy xuất top 5 câu; nếu thiếu câu chứa bằng chứng then chốt, kết quả sẽ bị quy về thiếu thông tin hoặc sai lệch."], "category": "Research", "entities": ["SciFact", "CliniFact", "DeBERTa-v3-base-mnli-fever-anli", "Llama 3.1 8B", "Qwen3 8B", "Mistral 7B", "BM25"], "summary_vi": "Nghiên cứu thực nghiệm trên 2.035 tuyên bố khoa học từ SciFact và CliniFact đánh giá hiệu quả xác minh thông tin giữa mô hình NLI (DeBERTa-v3) và các LLM nguồn mở (Qwen3 8B, Llama 3.1 8B, Mistral 7B) dựa trên truy xuất lai (BM25 + Semantic). Kết quả cho thấy Qwen3 8B đạt Macro-F1 cao nhất (0,7937), trong khi NLI baseline chỉ đạt 0,3157. Đáng chú ý, cơ chế kết hợp thận trọng (chỉ chấp nhận nhãn khi cả NLI và LLM đồng thuận) đã làm giảm hiệu năng của toàn bộ LLM do NLI yếu kém trong việc xử lý bằng chứng rải rác trên nhiều câu, dẫn đến việc phủ quyết sai các dự đoán chính xác của LLM.", "key_changes": ["Truy xuất lai (kết hợp BM25 và ngữ nghĩa) chọn ra top 5 câu liên quan nhất đạt hiệu quả nhỉnh hơn khi dùng đơn lẻ từng phương pháp.", "Đánh giá trên 2.035 tuyên bố khoa học cho thấy Qwen3 8B đạt Macro-F1 cao nhất (0,7937), theo sau là Llama 3.1 8B (0,7204) và Mistral 7B (0,6388), vượt trội hoàn toàn baseline DeBERTa NLI (0,3157).", "Chiến lược kết hợp thận trọng (fusion rule - chỉ gán nhãn Support/Contradict khi cả NLI và LLM cùng đồng thuận) làm suy giảm hiệu năng của tất cả LLM (Qwen3 giảm xuống 0,7392, Llama 3.1 xuống 0,6730, Mistral xuống 0,5991).", "Phân tích lỗi chỉ ra NLI gặp khó khăn khi bằng chứng nằm rải rác trên nhiều câu, khiến quy tắc đồng thuận vô tình lật ngược nhiều phán đoán đúng của LLM thành 'Not Enough Evidence'."], "sub_category": "Scientific Claim Verification", "novelty_score": 72, "business_score": 68, "research_score": 85, "why_it_matters": "Nghiên cứu bác bỏ giả định phổ biến rằng việc kết hợp NLI truyền thống với LLM sẽ tạo ra phễu kiểm duyệt an toàn và chính xác hơn. Trong thực tế, các LLM nguồn mở 8B hiện đại đã có khả năng suy luận đa câu vượt trội; việc áp dụng cơ chế đồng thuận ngặt nghèo với NLI chỉ làm kéo tụt độ chính xác. Phát hiện này giúp kỹ sư hệ thống RAG và fact-checking đơn giản hóa kiến trúc, tiết kiệm chi phí suy luận và tránh các thiết kế ensemble kém hiệu quả.", "developer_score": 80, "importance_score": 74, "possible_use_cases": ["Xây dựng module kiểm chứng thông tin và phát hiện ảo giác (hallucination verification) cho pipeline RAG trong lĩnh vực y sinh và nghiên cứu học thuật.", "Hệ thống tự động rà soát, thẩm định bằng chứng khoa học và đối chiếu trích dẫn tài liệu kỹ thuật.", "Tối ưu kiến trúc pipeline thẩm định: loại bỏ tầng NLI chuyên dụng để tiết kiệm tài nguyên tính toán và cải thiện độ chính xác tổng thể."], "actionability_score": 82}