Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-03 11:35:02 +0000 UTC
{"tags": ["On-Policy Distillation", "Evidence Bypass", "EP-OPD", "Document QA", "Hallucination", "Model Distillation", "RAG", "Faithfulness"], "risks": ["Các mô hình chưng cất bằng OPD tiêu chuẩn dễ tạo ảo giác (hallucination) dựa trên thiên kiến có sẵn khi tài liệu thực tế bị thay đổi hoặc cập nhật.", "EP-OPD chấp nhận đánh đổi nhẹ, làm giảm 15-20% mức tăng độ chính xác gốc so với OPD thông thường.", "Tăng chi phí tiền xử lý do cần xây dựng các cặp tài liệu phản thực tế đối chứng và gán nhãn các đoạn bằng chứng then chốt."], "category": "Research", "entities": ["QASPER", "PeerQA", "Qwen3-4B", "EP-OPD", "Ruoran Xu"], "summary_vi": "Nghiên cứu phát hiện hiện tượng 'Evidence Bypass' trong On-Policy Distillation (OPD): dù cải thiện độ chính xác câu trả lời trên tài liệu gốc (+3,4% trên QASPER với Qwen3-4B), OPD lại làm giảm khả năng bám sát bằng chứng khi tài liệu bị can thiệp thay đổi nội dung (-5,3% độ chính xác phản thực tế, tăng bypass 15,7%). Để khắc phục, nhóm tác giả đề xuất Evidence-Paired OPD (EP-OPD) sử dụng cặp tài liệu đối ứng kèm hàm margin loss, giúp khôi phục 54-66% độ suy giảm phản thực tế mà vẫn bảo toàn 80-85% mức tăng độ chính xác gốc.", "key_changes": ["Phát hiện hiện tượng 'Evidence Bypass': On-policy distillation (OPD) tăng độ chính xác tổng thể nhưng làm suy yếu khả năng phản hồi theo bằng chứng dẫn chứng, khiến mô hình học sinh bám vào thiên kiến nội tại thay vì bối cảnh tài liệu.", "Đo lường định lượng trên QASPER (Qwen3-4B): OPD thông thường tăng 3,4% độ chính xác tài liệu gốc nhưng làm giảm 5,3% độ chính xác phản thực tế và tăng hiện tượng bypass thêm 15,7%.", "Xác định cơ chế can thiệp hiệu quả: Việc cung cấp trực tiếp các đoạn bằng chứng then chốt (answer-critical spans) cho mô hình giáo viên mang lại mức cải thiện cao nhất về phản hồi bằng chứng và hỗ trợ luận điểm.", "Đề xuất phương pháp EP-OPD (Evidence-Paired OPD): Kết hợp giám sát on-policy trên các cặp tài liệu đối chứng hỗ trợ các đáp án khác nhau với cơ chế margin ở cấp độ câu trả lời.", "Hiệu quả của EP-OPD: Khôi phục 54-66% tổn thất độ chính xác phản thực tế của OPD chuẩn trong khi vẫn giữ được 80-85% mức tăng độ chính xác trên tài liệu gốc."], "sub_category": "Knowledge Distillation & Grounding", "novelty_score": 82, "business_score": 65, "research_score": 88, "why_it_matters": "Hiện tượng Evidence Bypass chỉ ra rủi ro tiềm ẩn khi chưng cất mô hình cho RAG: mô hình có thể đạt điểm benchmark cao nhờ học vẹt tri thức nội tại nhưng lại bỏ qua tài liệu truy xuất thực tế. EP-OPD giải quyết trực tiếp bài toán này bằng cách đưa khả năng phản hồi bằng chứng thành mục tiêu huấn luyện độc lập, giúp doanh nghiệp và kỹ sư triển khai các mô hình nhỏ gọn vừa đạt hiệu năng cao vừa giảm thiểu rủi ro ảo giác khi ngữ cảnh thay đổi.", "developer_score": 72, "importance_score": 78, "possible_use_cases": ["Chưng cất mô hình nhỏ gọn (small LLMs) cho hệ thống RAG cần tuân thủ nghiêm ngặt ngữ cảnh tài liệu được cung cấp.", "Hệ thống hỏi đáp tài liệu khoa học, y khoa và pháp lý đòi hỏi khả năng cập nhật câu trả lời chính xác khi dữ liệu đầu vào thay đổi.", "Đánh giá độ bám ngữ cảnh (grounding/faithfulness) của mô hình ngôn ngữ thông qua can thiệp văn bản phản thực tế (counterfactual perturbations)."], "actionability_score": 75}