SqueezeBench: Saturation-Resilient Evaluation of Mathematical Capability

{"tags": ["SqueezeBench", "Lean", "Benchmark Saturation", "Formal Verification", "Extremal Combinatorics", "Mathematical Reasoning"], "risks": ["Vẫn cần maintainer can thiệp thủ công để kiểm tra gian lận tìm kiếm vét cạn ở các giá trị n lớn.", "Rào cản kỹ thuật cao do yêu cầu code và chứng minh toán học nghiêm ngặt bằng Lean.", "Phạm vi hiện tại mới chỉ giới hạn ở 10 bài toán trong lĩnh vực tổ hợp cực trị (extremal combinatorics)."], "category": "Research", "entities": ["SqueezeBench", "Lean"], "summary_vi": "SqueezeBench là benchmark đánh giá năng lực toán học của AI có khả năng chống bão hòa (saturation-resilient). Thay vì loại bỏ bài toán sau khi có lời giải, benchmark duy trì kỷ lục cận trên và cận dưới dạng hàm số khả tính được chứng minh bằng Lean cho mỗi hàm số nguyên f(n). Bài nộp mới phải đưa ra cận tốt hơn tại ít nhất một giá trị n và không tệ hơn ở mọi n. Tính đúng đắn được xác minh tự động qua hai nhân Lean độc lập.", "key_changes": ["Cơ chế benchmark chống bão hòa: Thành công mới nâng cao kỷ lục (kẹp chặt cận trên/dưới) thay vì loại bỏ bài toán khỏi benchmark.", "Xác minh hình thức tự động: Bài nộp gồm hàm Lean khả tính và chứng minh được kiểm tra bởi 2 nhân Lean độc lập, không cần trọng tài con người.", "Chống gian lận vét cạn: Công cụ tự động bác bỏ hàm tìm kiếm vét cạn ở n nhỏ; maintainer chỉ cần đọc báo cáo để kiểm tra ở n lớn.", "Công bố bộ dữ liệu mở đầu: 10 bài toán tổ hợp cực trị với 20 kỷ lục ban đầu kèm bộ công cụ tiếp nhận bài nộp (admission tools).", "Dư địa tiến bộ còn lớn: Dù các mô hình mới cải thiện 19/20 kỷ lục, 8/10 bài toán vẫn có ít nhất một cận tụt hậu về mặt tiệm cận so với y văn toán học."], "sub_category": "AI Benchmarking & Formal Mathematics", "novelty_score": 85, "business_score": 50, "research_score": 88, "why_it_matters": "SqueezeBench giải quyết điểm nghẽn lớn của các benchmark toán học hiện nay (bị bão hòa hoặc chỉ giải được một lần). Bằng cách chuyển đổi việc đánh giá thành bài toán thu hẹp khoảng cách cận trên/cận dưới có kiểm chứng hình thức, benchmark mang lại thước đo bền vững, tự động hóa và đáng tin cậy cho tiến bộ toán học của AI.", "developer_score": 75, "importance_score": 80, "possible_use_cases": ["Đánh giá và so chuẩn liên tục các mô hình nền tảng cùng agent giải toán / chứng minh định lý tự động.", "Xây dựng môi trường phản hồi chuẩn xác cho học tăng cường (RL) nhờ khả năng kiểm tra hình thức bằng Lean mà không sợ cạn bài toán.", "Áp dụng quy trình kiểm chứng toán học hình thức vào tối ưu thuật toán và xác minh phần mềm trong doanh nghiệp."], "actionability_score": 70}