Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Not Until the Evidence Says So: Teaching LLM Investigators When to Close a Case

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

63 RADAR
Agents Investigative Agents · 1 nguồn đối chiếu · 2026-10-02 12:06:02 +0000 UTC

Not Until the Evidence Says So: Teaching LLM Investigators When to Close a Case

Nguồn: arXiv AI
↗

Nghiên cứu giải quyết bài toán cốt lõi của các LLM đóng vai trò điều tra sự cố: xác định thời điểm bằng chứng đã đủ để đóng án thay vì phóng đại suy diễn. Nhóm tác giả giới thiệu Nautil - bộ dữ liệu 731 ca điều tra thực tế từ nhiều ngành công nghiệp và sự cố server. Kết quả cho thấy fine-tuning và học tăng cường giúp mô hình 9B giảm mạnh tỷ lệ phóng đại bằng chứng từ 97% xuống 35% và đạt balanced accuracy 83.3 trong quyết định đóng án.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Trong các điều tra sự cố kỹ thuật và an toàn, quyết định 'chưa đủ bằng chứng để kết luận' quan trọng không kém việc tìm ra nguyên nhân. Nghiên cứu này cung cấp phương pháp luận và dữ liệu thực nghiệm giúp xây dựng các agent điều tra đáng tin cậy, ngăn ngừa tình trạng ảo giác và tự ý đóng án sai trong môi trường doanh nghiệp.

Developer 73
Business 74
Novelty 84
Actionable 74

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Accident, defect and outage investigations end with a decision that ordinary question answering never faces: whether the evidence gathered so far is enough to close the case. We study this decision for LLM investigators, which request evidence from a case file, revise their hypotheses, and either close the case with a conclusion grounded in what they read or leave it open and name what is missing. This judgment does not come with capability: an untrained 9B model overstates its evidence in 97% of its answers, and a frontier model that identifies the right cause in 84% of cases still overstates in 91% and closes 17 of the 41 cases whose official finding is "cause undetermined". Measuring it is also non-trivial: the source of a case largely predicts its label, and a rule that reads only the source reaches 83.0 balanced accuracy on our test cases. We therefore evaluate closure with three tests: closure accuracy, reported against this rule and within each source; evidence dependence, which removes the grounds of a conclusion and checks whether the model stops closing; and conclusion and gap quality, a judged checklist of what the model asserts and what it says is missing. We build Nautil, 731 audited cases from aviation, rail, maritime, chemical-safety and vehicle-defect reports and production server incidents, with teacher trajectories, an out-of-distribution test set and counterfactual evidence versions. Fine-tuning a 9B model on these trajectories makes its closures follow the evidence: removing the grounds lowers its closure rate by 26 points relative to a matched control, overstatement falls from 97% to 35%, and correct, non-overstated conclusions rise from 3% to 43%. Reinforcement learning that rewards only the closure decision then raises balanced accuracy from 69.2 to 83.3, on par with the teacher, and within-source accuracy from 60.4 to 74.1, at some cost in evidence dependence.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-05 09:06:44 +0000 UTC
{"tags": ["LLM Agents", "Root Cause Analysis", "Nautil", "Incident Investigation", "Reinforcement Learning", "Fine-Tuning", "Evidence Grounding"], "risks": ["Đánh đổi của phương pháp RL: tăng độ chính xác đóng án nhưng làm giảm mức độ phụ thuộc chặt chẽ vào bằng chứng thực tế.", "Tỷ lệ phóng đại sau fine-tuning vẫn còn ở mức 35%, đòi hỏi vẫn phải có chuyên gia con người giám sát trong các nhiệm vụ quan trọng.", "Hiện tượng thiên vị theo nguồn dữ liệu (chỉ dựa vào nguồn đã đoán trúng nhãn tới 83%), dễ tạo ra đánh giá sai lệch nếu không dùng đúng benchmark."], "category": "Agents", "entities": ["Nautil"], "summary_vi": "Nghiên cứu giải quyết bài toán cốt lõi của các LLM đóng vai trò điều tra sự cố: xác định thời điểm bằng chứng đã đủ để đóng án thay vì phóng đại suy diễn. Nhóm tác giả giới thiệu Nautil - bộ dữ liệu 731 ca điều tra thực tế từ nhiều ngành công nghiệp và sự cố server. Kết quả cho thấy fine-tuning và học tăng cường giúp mô hình 9B giảm mạnh tỷ lệ phóng đại bằng chứng từ 97% xuống 35% và đạt balanced accuracy 83.3 trong quyết định đóng án.", "key_changes": ["Phát hiện điểm yếu cố hữu của LLM trong vai trò điều tra: mô hình 9B phóng đại bằng chứng trong 97% câu trả lời; ngay cả mô hình frontier tìm đúng nguyên nhân ở 84% ca vẫn phóng đại tới 91% và đóng nhầm 17/41 ca vốn chưa rõ nguyên nhân.", "Giới thiệu Nautil - bộ dữ liệu chuẩn gồm 731 ca điều tra được thẩm định kỹ lưỡng từ hàng không, đường sắt, hàng hải, an toàn hóa chất, khuyết tật xe và sự cố hạ tầng máy chủ production.", "Đề xuất 3 tiêu chí đánh giá năng lực kết án: độ chính xác đóng án (closure accuracy so với rule nguồn), độ phụ thuộc bằng chứng (evidence dependence khi gỡ bỏ bằng chứng then chốt), và chất lượng kết luận cùng các khoảng trống thông tin còn thiếu.", "Fine-tuning mô hình 9B trên quỹ đạo mẫu (teacher trajectories) giúp giảm tỷ lệ phóng đại từ 97% xuống 35%, tăng kết luận đúng và có căn cứ từ 3% lên 43%.", "Áp dụng học tăng cường (RL) tối ưu riêng quyết định đóng án giúp nâng balanced accuracy từ 69.2 lên 83.3 (ngang hàng teacher model), dù có đánh đổi một phần độ phụ thuộc bằng chứng."], "sub_category": "Investigative Agents", "novelty_score": 84, "business_score": 80, "research_score": 86, "why_it_matters": "Trong các điều tra sự cố kỹ thuật và an toàn, quyết định 'chưa đủ bằng chứng để kết luận' quan trọng không kém việc tìm ra nguyên nhân. Nghiên cứu này cung cấp phương pháp luận và dữ liệu thực nghiệm giúp xây dựng các agent điều tra đáng tin cậy, ngăn ngừa tình trạng ảo giác và tự ý đóng án sai trong môi trường doanh nghiệp.", "developer_score": 78, "importance_score": 82, "possible_use_cases": ["Hệ thống AI Agent tự động điều tra sự cố hệ thống (SRE / DevOps incident post-mortem) biết nêu rõ thông tin còn thiếu thay vì kết luận bừa.", "Trợ lý phân tích nguyên nhân sự cố trong các ngành công nghiệp rủi ro cao: hàng không, giao thông vận tải, an toàn hóa chất và nhà máy.", "Hỗ trợ thẩm định hồ sơ khiếu nại bảo hiểm và bảo hành kỹ thuật phương tiện cơ giới với đối chiếu phản thực tế."], "actionability_score": 74}