BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories

{"tags": ["BEAKER", "Embodied AI", "Self-Driving Chemical Laboratories", "SDCL", "MLLM", "Benchmark", "Lab Automation", "Trajectory Planning"], "risks": ["Mô hình MLLM hiện tại chưa đủ độ tin cậy để vận hành tự chủ thực tế; sai số trong nhận diện vùng thao tác và lập quỹ đạo có thể gây tai nạn hóa chất nguy hiểm hoặc đổ vỡ thiết bị.", "Khả năng sắp xếp thứ tự thao tác ở quy trình trung hạn còn yếu, tiềm ẩn rủi ro phá hỏng mẫu thử hoặc quy trình tổng hợp.", "Benchmark hiện mới đánh giá ở thiết lập ngoại tuyến, đơn lượt (offline single-turn), chưa mô phỏng hết tương tác động đa lượt liên tục của thế giới thực."], "category": "Research", "entities": ["BEAKER", "Self-Driving Chemical Laboratories (SDCLs)", "Multimodal Large Language Models (MLLMs)", "Embodied AI"], "summary_vi": "BEAKER là bộ chuẩn đối sánh (benchmark) gồm 1.000 mẫu QA chuyên gia biên soạn thủ công trải rộng qua 11 tác vụ ảnh/video, đánh giá năng lực thực thi thể hiện (embodied execution) của MLLM trong phòng thí nghiệm hóa học tự hành (SDCL). Thử nghiệm trên 28 mô hình cho thấy MLLM hiện tại nắm được quy trình thô nhưng gặp khó khăn lớn trong định vị vùng thao tác, lập quỹ đạo khả thi và nhận diện trạng thái/an toàn chi tiết.", "key_changes": ["Giới thiệu BEAKER - bộ chuẩn đối sánh gồm 1.000 mẫu hỏi-đáp do chuyên gia con người biên soạn hoàn toàn thủ công trên 11 dạng tác vụ hình ảnh và video.", "Tập trung đánh giá năng lực thực thi thể hiện (affordance grounding, lập quỹ đạo, nhận biết thiết bị/trạng thái/an toàn, thiết lập dụng cụ) thay vì chỉ kiểm tra kiến thức hóa học tổng quát.", "Đánh giá toàn diện 28 mô hình MLLM (đa mục đích, chuyên ngành khoa học, hóa học và embodied) trong môi trường thử nghiệm ngoại tuyến đơn lượt.", "Chỉ ra khoảng cách lớn: các MLLM hiểu được quy trình thí nghiệm tổng thể ở mức thô nhưng thất bại trong việc định vị vùng thao tác chính xác, lập quỹ đạo khả thi và sắp xếp thứ tự bước quy trình."], "sub_category": "Embodied AI Benchmarking", "novelty_score": 82, "business_score": 70, "research_score": 88, "why_it_matters": "Nghiên cứu vạch rõ rào cản cốt lõi giữa việc mô hình hiểu quy trình lý thuyết và khả năng nhận thức - hành động chính xác ngoài đời thực, cung cấp công cụ chẩn đoán thiết yếu để hiện thực hóa phòng thí nghiệm tự hành an toàn.", "developer_score": 78, "importance_score": 78, "possible_use_cases": ["Chuẩn đoán và đánh giá năng lực của các mô hình MLLM trước khi ứng dụng làm bộ não điều khiển robot trong phòng thí nghiệm hóa học và dược phẩm.", "Xây dựng dữ liệu huấn luyện và định chuẩn cho bài toán affordance grounding và trajectory planning trong môi trường tự động hóa khoa học.", "Thiết lập hệ thống kiểm định và giám sát an toàn quy trình thí nghiệm cho các hệ thống SDCL."], "actionability_score": 68}