PatentAgentBench: Benchmarking LLM Agents with Professional Patent Task Suites

{"tags": ["PatentAgentBench", "LLM Agents", "Patent Practice", "Agent Benchmark", "Legal AI", "Prior Art Search", "Freedom-to-Operate"], "risks": ["Các LLM agent hiện tại chưa đủ tin cậy trong việc nhận diện tính mới và đánh giá chính xác rủi ro FTO, dễ dẫn đến rủi ro pháp lý nếu không có con người giám sát.", "AI còn gặp khó khăn trong việc hiểu sâu dụng ý kỹ thuật - pháp lý của chuyên gia, dễ tạo ra hồ sơ soạn thảo hoặc phản hồi công văn sai lệch.", "Quy trình truy xuất không có tập ứng viên sẵn dễ gây hiện tượng ảo giác (hallucination) hoặc bỏ sót tài liệu đối chứng quan trọng."], "category": "Agents", "entities": ["PatentAgentBench"], "summary_vi": "PatentAgentBench là bộ benchmark gồm 510 trường hợp thực tế trải rộng trên 8 bộ tác vụ nghiệp vụ bằng sáng chế (novelty search, FTO, design FTO, invalidity search, claim charting, drafting, office-action response, và patent translation). Benchmark yêu cầu các AI agent tự tìm kiếm trên kho dữ liệu thực tế mà không cung cấp sẵn tập ứng viên. Kết quả thử nghiệm trên 7 LLM và 4 khung agent harness cho thấy các hệ thống hiện tại vẫn gặp nhiều khó khăn trong việc xác định tính mới, phân tích rủi ro và nắm bắt ý định của chuyên viên sáng chế.", "key_changes": ["Ra mắt PatentAgentBench với 510 trường hợp thử nghiệm thực tế phân bổ qua 8 nhóm tác vụ chuyên môn về sáng chế: novelty search, FTO search, design FTO, invalidity search, claim charting, patent drafting, office-action response (OAR), và patent translation.", "Loại bỏ tập ứng viên tài liệu cung cấp sẵn đối với các tác vụ truy xuất, buộc các AI agent phải tự tìm kiếm và đối chiếu trên toàn bộ kho tài liệu sáng chế.", "Kết hợp các thang đo đặc thù cho từng tác vụ cùng hướng dẫn chấm điểm và nhãn chú thích đã qua chuyên gia thẩm định.", "Đánh giá 7 mô hình LLM trên 4 khung điều phối agent (agent harnesses), chỉ ra các hạn chế lớn của AI hiện nay trong việc phát hiện tính mới, đánh giá rủi ro và hiểu dụng ý của chuyên gia."], "sub_category": "Agent Benchmarking", "novelty_score": 80, "business_score": 80, "research_score": 85, "why_it_matters": "Nghiệp vụ bằng sáng chế là giao điểm phức tạp giữa kỹ thuật, luật pháp và ngôn ngữ với yêu cầu độ chính xác rất cao. PatentAgentBench thiết lập tiêu chuẩn đánh giá khắt khe và thực tế hơn cho AI agent bằng cách loại bỏ các giả định đơn giản hóa, phản ánh đúng khoảng cách giữa năng lực hiện tại của LLM và yêu cầu thực tế trong công tác sở hữu trí tuệ.", "developer_score": 75, "importance_score": 75, "possible_use_cases": ["Kiểm chuẩn và đánh giá năng lực các giải pháp LLM agent trong lĩnh vực pháp lý và sáng chế trước khi áp dụng vào thực tế.", "Phát triển công cụ hỗ trợ chuyên viên sáng chế trong việc tra cứu tính mới, kiểm tra FTO và lập bảng đối chiếu yêu cầu bảo hộ (claim chart).", "Tích hợp vào quy trình R&D và quản trị sở hữu trí tuệ để hỗ trợ phác thảo đơn sáng chế và dự thảo phản hồi công văn từ chối (OAR)."], "actionability_score": 70}