Lost in the Fallback: How Reliably Do Typed Decision Models Use Fallback Options?

{"tags": ["Typed Decision Models", "Fallback Mechanisms", "Model Routing", "PFR Test", "AI Reliability", "Model Selection", "Robustness"], "risks": ["Cơ chế fallback hoạt động sai khiến các truy vấn ngoài phạm vi không được chuyển giao tới chuyên gia hoặc mô hình mạnh hơn, gây giảm chất lượng dịch vụ.", "Sự nhạy cảm với cách diễn đạt tương đương của quy tắc khiến hệ thống định tuyến hoạt động thiếu ổn định và khó dự đoán.", "Tạo sự an tâm giả tạo cho đội ngũ vận hành khi cho rằng đã có lớp bảo vệ fallback an toàn."], "category": "Research", "entities": ["Typed Decision Models (TDMs)", "Paired Fallback Robustness (PFR) Test"], "summary_vi": "Nghiên cứu chỉ ra lỗ hổng độ tin cậy nghiêm trọng trong các mô hình ra quyết định theo kiểu (TDM) khi sử dụng tùy chọn dự phòng (fallback) để chuyển tiếp yêu cầu tới chuyên gia hoặc mô hình mạnh hơn. Tác giả giới thiệu bài kiểm tra Paired Fallback Robustness (PFR) Test để đánh giá việc chuyển đổi giữa lựa chọn thông thường - dự phòng và tính nhất quán dưới các định nghĩa tương đương logic. Kết quả trên 3 bộ benchmark cho thấy nhận diện đúng không đồng nghĩa với kích hoạt đúng fallback, lỗi vẫn tồn tại dù đã cung cấp đúng danh mục, và các cách diễn đạt tương đương của cùng quy tắc gây ra sự bất nhất lớn trong quyết định.", "key_changes": ["Giới thiệu bài kiểm tra Paired Fallback Robustness (PFR) Test nhằm đánh giá khả năng chuyển đổi sang fallback và tính nhất quán dưới các định nghĩa tương đương logic.", "Phát hiện việc nhận diện đúng danh mục không đảm bảo mô hình sẽ kích hoạt đúng tùy chọn fallback.", "Chỉ ra lỗi kích hoạt fallback vẫn tiếp diễn ngay cả khi danh mục chính xác được cung cấp tường minh.", "Chứng minh các định nghĩa tương đương về mặt logic của cùng một quy tắc fallback gây ra sự bất đồng và sai lệch đáng kể trong quyết định của mô hình.", "Chỉ ra lỗ hổng độ tin cậy: cơ chế fallback vốn dùng để tăng độ an toàn lại có thể trở thành nguồn phát sinh lỗi mới."], "sub_category": "Model Evaluation & AI Reliability", "novelty_score": 78, "business_score": 76, "research_score": 85, "why_it_matters": "Trong các hệ thống AI thực tế, TDM thường được tin tưởng làm tầng định tuyến (router) để tối ưu chi phí và chuyển giao trường hợp khó cho chuyên gia hoặc mô hình mạnh hơn. Việc cơ chế fallback thực thi không nhất quán và dễ lỗi ngay cả trong điều kiện không bị tấn công (non-adversarial) cho thấy các hệ sinh thái LLM/TDM hiện nay đang thiếu kiểm soát đối với tính toàn vẹn của quy tắc dự phòng, đòi hỏi phải áp dụng các chuẩn kiểm thử như PFR thay vì chỉ dựa vào độ chính xác nhận diện cơ bản.", "developer_score": 82, "importance_score": 80, "possible_use_cases": ["Đánh giá và kiểm thử độ tin cậy của bộ định tuyến yêu cầu (request routers) và bộ chọn mô hình (model selectors) trước khi đưa vào sản xuất.", "Xây dựng bộ benchmark kiểm tra tính nhất quán của prompt định nghĩa quy tắc fallback trong hệ thống phân loại AI.", "Tối ưu hóa quy trình phân luồng công việc giữa mô hình AI nhỏ, mô hình AI lớn và chuyên gia con người (human-in-the-loop)."], "actionability_score": 75}