DAYJOB: A Benchmark for Long-Horizon Professional Work

{"tags": ["DAYJOB", "AI Agents", "Benchmark", "Long-Horizon Tasks", "Healthcare AI", "Finance AI", "Harbor", "Claude Opus 5.5"], "risks": ["Ảo tưởng về mức độ sẵn sàng của AI agent tự chủ trong các quy trình nghiệp vụ phức tạp, khi tỷ lệ thành công trung vị chỉ dưới 3%.", "Rủi ro sai sót dây chuyền khi agent chấp nhận giả định sai mà không đối chiếu tài liệu gốc, gây nguy hiểm trong các quyết định tài chính và y tế.", "Tiêu chí đánh giá nhị phân tuyệt đối (đạt 100% tiêu chí mới đỗ) có thể loại trừ các kết quả có giá trị thực tế nhưng mắc lỗi nhỏ về định dạng hoặc chi tiết thứ yếu."], "category": "Agents", "entities": ["DAYJOB", "Harbor", "Claude Opus 5.5"], "summary_vi": "DAYJOB là bộ benchmark gồm 130 tác vụ dài hạn do chuyên gia xây dựng trong lĩnh vực y tế (50 bài) và tài chính (80 bài), tương đương 13,6 đến 16,6 giờ làm việc của con người. Các tác vụ được triển khai trong môi trường container Harbor và chấm điểm tự động qua bộ tiêu chí nhị phân khắt khe (chỉ đỗ khi đạt toàn bộ tiêu chí). Kết quả trên 30 cấu hình mô hình cho thấy Claude Opus 5.5 dẫn đầu với tỷ lệ đỗ 24,7% (y tế) và 23,9% (tài chính), trong khi mức trung vị chỉ đạt 0,6% và 2,5%. Nghiên cứu chỉ ra agent thường chấp nhận các tiền đề sai lệch và để lỗi tích tụ, lan truyền qua toàn bộ chuỗi phân tích. Tác giả đã công bố 100 tác vụ, công cụ đánh giá và bảng xếp hạng.", "key_changes": ["Giới thiệu DAYJOB - bộ benchmark gồm 130 tác vụ dài hạn trong ngành y tế (50 bài) và tài chính (80 bài), tương đương 13,6 đến 16,6 giờ làm việc của chuyên gia.", "Mỗi tác vụ chạy trong môi trường container Harbor với bộ tiêu chí nhị phân khắt khe (trung vị 47,5 - 57,5 tiêu chí/tác vụ) do giám khảo agent đánh giá, yêu cầu đạt tuyệt đối 100% tiêu chí mới được tính là đỗ.", "Đánh giá 30 cấu hình mô hình từ 13 nhà phát triển; Claude Opus 5.5 đạt điểm cao nhất với 24,7% (y tế) và 23,9% (tài chính), trong khi mức trung vị của các cấu hình chỉ đạt 0,6% và 2,5%.", "Chỉ ra các điểm yếu điển hình của agent: dễ dàng chấp nhận các tiền đề sai lệch trái với tài liệu và lan truyền sai sót ban đầu xuyên suốt quá trình phân tích.", "Phát hành công khai toàn bộ 50 tác vụ y tế, 50/80 tác vụ tài chính, công cụ đánh giá (evaluation harness) và bảng xếp hạng (leaderboard)."], "sub_category": "Agent Benchmarks", "novelty_score": 85, "business_score": 86, "research_score": 90, "why_it_matters": "DAYJOB chứng minh khoảng cách lớn giữa khả năng thực tế của các mô hình AI hiện nay và yêu cầu khắt khe của công việc chuyên môn dài hạn. Việc mô hình mạnh nhất chỉ đạt dưới 25% tỷ lệ hoàn thành và mức trung vị dưới 3% cho thấy AI agent hiện tại chưa thể tự chủ trong các lĩnh vực có rủi ro cao như tài chính và y tế nếu không có sự giám sát của con người.", "developer_score": 82, "importance_score": 88, "possible_use_cases": ["Đánh giá và kiểm thử năng lực thực thi tác vụ dài hạn của các hệ thống AI agent trước khi đưa vào sản xuất.", "Kiểm tra khả năng phản biện và phát hiện mâu thuẫn giữa tiền đề yêu cầu và tài liệu thực tế của agent.", "Sử dụng bộ công cụ và môi trường Harbor của DAYJOB làm chuẩn đối sánh (baseline) khi xây dựng agent chuyên ngành tài chính và y tế."], "actionability_score": 78}