CivicBench: A Benchmark and Memory Framework for Web-Based Civic Data Analytics

{"tags": ["AI Agents", "CivicBench", "Task-State Memory", "Benchmark", "Civic Data", "Provenance", "Executable Contracts"], "risks": ["Dữ liệu cố định (frozen bundles) có thể không phản ánh đầy đủ sự biến động theo thời gian thực hoặc lỗi schema trên các cổng web thực tế.", "Độ trễ và chi phí tính toán phát sinh khi phân tích, biên dịch typed assertions và giải quyết ràng buộc phạm vi trong TSM.", "1/9 cặp mô hình thử nghiệm có khoảng tin cậy cắt qua mức 0, cho thấy hiệu quả của TSM có thể phụ thuộc vào năng lực của từng kiến trúc mô hình."], "category": "Agents", "entities": ["CivicBench", "Task-State Memory (TSM)"], "summary_vi": "CivicBench là benchmark gồm 400 tác vụ trên 4 thành phố trong 2 năm nhằm đánh giá khả năng tích hợp dữ liệu công dân đa nguồn của AI agent sử dụng công cụ. Dữ liệu web được đóng gói cố định (frozen bundles) để đảm bảo tính tái lập. Nghiên cứu cũng giới thiệu Task-State Memory (TSM), khung bộ nhớ biên dịch quan sát công cụ thành khẳng định có định kiểu, đối soát trong phạm vi tương thích và truy xuất trạng thái theo ràng buộc. Thử nghiệm trên 9 cặp mô hình cho thấy TSM giúp 8 cặp cải thiện điểm số có ý nghĩa thống kê.", "key_changes": ["Giới thiệu CivicBench: Bộ benchmark 400 tác vụ trên 4 thành phố trong 2 năm, đóng gói dữ liệu web công dân thành các gói cố định (frozen bundles) phục vụ đánh giá có tính tái lập.", "Đề xuất Task-State Memory (TSM): Kiến trúc bộ nhớ biên dịch quan sát từ công cụ thành các khẳng định có định kiểu (typed assertions), đối soát dữ liệu trong phạm vi tương thích và quản lý trạng thái theo ràng buộc chưa giải quyết.", "Cơ chế đánh giá bằng Executable Contracts: Đo lường tính toán, liên kết nguồn dữ liệu, độ bao phủ không gian/thời gian, câu trả lời kèm điều kiện và khả năng từ chối khi thiếu dẫn chứng.", "Kết quả thực nghiệm: 8/9 cặp mô hình đạt chênh lệch điểm trung bình dương với khoảng tin cậy bootstrap 95% có ý nghĩa thống kê (loại trừ giá trị 0)."], "sub_category": "Agent Evaluation & Memory Frameworks", "novelty_score": 80, "business_score": 68, "research_score": 85, "why_it_matters": "Khắc phục lỗ hổng lớn của các benchmark AI agent hiện nay là thiếu kiểm tra xem kết luận tính toán có thực sự được chứng minh bởi dữ liệu gốc hay không. Mô hình giúp các kết luận của AI có thể kiểm toán minh bạch đến từng bản ghi tại thời điểm ra quyết định và biết từ chối khi thiếu dữ liệu, yêu cầu sống còn cho các ứng dụng công dân và phân tích doanh nghiệp.", "developer_score": 78, "importance_score": 76, "possible_use_cases": ["Đánh giá và kiểm chuẩn năng lực tích hợp dữ liệu đa nguồn từ web của các AI agent trong lĩnh vực hành chính công.", "Ứng dụng mô hình Task-State Memory (TSM) để quản lý ngữ cảnh và trạng thái ràng buộc cho agent tương tác với nhiều công cụ/API.", "Xây dựng trợ lý phân tích dữ liệu công cộng có khả năng kiểm tra nguồn gốc (provenance) và tự động từ chối khi không đủ căn cứ.", "Hệ thống hỗ trợ ra quyết định công dân với khả năng truy vết và kiểm toán dữ liệu trực tiếp tại thời điểm quyết định."], "actionability_score": 72}