Nothing threw: 84 AI agent failures in a live business, 10 caught automatically

{"tags": ["ai-agents", "agent-failures", "observability", "production-ai", "silent-failures", "ai-reliability"], "risks": ["Lỗi âm thầm (silent failures): Agent báo hoàn thành thành công nhưng kết quả xử lý nghiệp vụ bị sai lệch nghiêm trọng.", "Các công cụ APM và cơ chế bắt lỗi try/catch truyền thống bỏ lọt tới ~88% sự cố do mô hình không ném ra exception kỹ thuật.", "Tổn thất tài chính hoặc gián đoạn vận hành khi trao quyền tự động hóa cho agent mà thiếu cơ chế kiểm chứng độc lập."], "category": "Agents", "entities": ["Tayloran Capital", "GitHub", "Hacker News"], "summary_vi": "Báo cáo từ kho lưu trữ 'taylorancapital/nothing-threw' phân tích 84 sự cố thực tế của AI agent trong môi trường sản xuất của doanh nghiệp. Đáng chú ý, các sự cố này đều không ném ra ngoại lệ kỹ thuật ('nothing threw'), dẫn đến việc các công cụ giám sát tự động chỉ bắt được 10/84 trường hợp, để lọt tới 74 sự cố ngữ nghĩa/logic trong im lặng.", "key_changes": ["Ghi nhận và phân tích 84 sự cố thực tế của AI agent trong quy trình vận hành doanh nghiệp (live business).", "Chỉ ra điểm mù lớn của hệ thống giám sát: chỉ 10/84 sự cố (~12%) được phát hiện tự động, 74 trường hợp còn lại thất bại trong im lặng mà không phát sinh lỗi ngoại lệ ('nothing threw').", "Công bố phân tích chi tiết 10 ca điển hình (TEN_OF_EIGHTY_FOUR.md) trên GitHub làm tài liệu tham chiếu độ tin cậy của agent."], "sub_category": "Agent Reliability & Observability", "novelty_score": 72, "business_score": 80, "research_score": 70, "why_it_matters": "Là dẫn chứng thực tế cho thấy các biện pháp giám sát phần mềm truyền thống (HTTP code, try/catch, crash log) không đủ để đảm bảo an toàn cho AI agent. Doanh nghiệp và nhà phát triển bắt buộc phải chuyển hướng sang giám sát tính đúng đắn về mặt ngữ nghĩa và kết quả nghiệp vụ để tránh thiệt hại ngầm khi triển khai agent.", "developer_score": 82, "importance_score": 78, "possible_use_cases": ["Thiết kế hệ thống giám sát ngữ nghĩa (semantic observability) và kiểm tra tính hợp lệ logic thay vì chỉ theo dõi crash/exception truyền thống.", "Xây dựng các lớp chốt chặn nghiệp vụ (business guardrails/assertions) để thẩm định đầu ra của agent trước khi thực thi tác vụ quan trọng.", "Đánh giá rủi ro và xác định mức độ tự trị phù hợp cho AI agent trong các luồng công việc tài chính và vận hành."], "actionability_score": 75}