Not Self-Decidable: LLMs Cannot Draw the Boundary of What an Agent Verifier Can Check

{"tags": ["AI Agents", "Agent Verifier", "Self-Decidability", "CoVer", "EU AI Act", "FINRA", "Runtime Verification", "AI Safety"], "risks": ["Tổn thất độ bao phủ (coverage cost): Cổng CoVer loại bỏ phần lớn vị từ được đồng thuận sai, có thể làm giảm tỷ lệ tự động hóa và gia tăng can thiệp thủ công.", "Điểm mù dùng chung (shared blind spots): Sử dụng LLM judge tham chiếu dễ tạo sự an tâm giả tạo do mô hình giám sát mắc cùng điểm mù với mô hình được kiểm định.", "Rủi ro bỏ sót vi phạm trong production: Agent có thể âm thầm vi phạm chính sách nếu kiến trúc an toàn phụ thuộc vào việc mô hình tự đánh giá tính khả kiểm."], "category": "Agents", "entities": ["CoVer", "EU AI Act", "FINRA"], "summary_vi": "Nghiên cứu chỉ ra LLM không có khả năng tự quyết định (not self-decidable) ranh giới giữa quy tắc có thể xác minh bằng kiểm tra cố định (fixed check) và quy tắc cần đánh giá viên (judge). Phân tích 22.000 nhãn từ 6 bộ dữ liệu (gồm EU AI Act và FINRA) trên 4 mô hình từ 3 lab cho thấy mô hình sụp đổ trước văn bản pháp lý và có xu hướng cùng ngộ nhận rằng kiểm tra cố định là đủ, làm vô hiệu hóa cơ chế leo thang (escalation). Nhóm nghiên cứu đề xuất CoVer (corroborate-then-verify), một cơ chế chỉ phê duyệt vị từ khi vượt qua thử nghiệm can thiệp, đọc trường bất biến và bền vững trước việc diễn đạt lại tất định.", "key_changes": ["Chứng minh tính không thể tự quyết định (not self-decidable): LLM không thể tự vẽ ranh giới chính xác giữa quy tắc có thể xử lý bằng kiểm tra cố định (fixed check) và quy tắc cần giám định viên (judge).", "Phát hiện lỗi sai hệ thống nguy hiểm: Trên bộ quy tắc của credit agent thực tế, các mô hình cùng ảo tưởng rằng kiểm tra cố định là đủ, dẫn đến việc triệt tiêu cơ chế chuyển tiếp/leo thang (escalation).", "Thực nghiệm quy mô lớn: Thu thập ~22.000 nhãn từ 4 mô hình thuộc 3 lab trên 6 bộ dữ liệu pháp lý và nghiệp vụ (bao gồm EU AI Act, FINRA).", "Bác bỏ việc dùng LLM judge tham chiếu: Tỷ lệ đồng thuận tăng từ 30% lên 77% theo dải hiệu chuẩn nhưng không phản ánh khả năng quyết định thực tế do các mô hình chia sẻ chung điểm mù.", "Đề xuất cơ chế CoVer (corroborate-then-verify): Coi sự đồng thuận giữa các mô hình chỉ là bước đề cử; chỉ chấp nhận vị từ khi vượt qua can thiệp thử nghiệm, đọc trường dữ liệu bất biến và bền vững trước diễn đạt lại tất định."], "sub_category": "Agent Verification & Governance", "novelty_score": 84, "business_score": 88, "research_score": 85, "why_it_matters": "Xóa bỏ giả định sai lầm rằng LLM có thể tự biết khi nào cần chuyển giao quyết định cho con người hoặc công cụ chuyên sâu. Nghiên cứu khẳng định tính tự quyết định không phải là năng lực có thể kích hoạt nội tại từ LLM qua prompting, mà là ranh giới kiến trúc hệ thống verifier bắt buộc phải chủ động thiết lập từ bên ngoài để đảm bảo tính an toàn và pháp lý.", "developer_score": 82, "importance_score": 86, "possible_use_cases": ["Thiết kế hệ thống kiểm định độc lập (verifier/guardrail) cho AI agent trong lĩnh vực chịu quản lý nghiêm ngặt (tài chính, bảo hiểm, y tế, pháp lý).", "Xây dựng quy trình tự động hóa tuân thủ Đạo luật AI của EU (EU AI Act) và hướng dẫn FINRA cho các agent cấp tín dụng hoặc giao dịch.", "Ngăn chặn rủi ro agent bỏ qua quy trình escalation đối với các quyết định vượt ngoài phạm vi của kiểm tra logic tĩnh."], "actionability_score": 76}