LIBERO-RIG: A Hardware-Setup Robustness Benchmark for Vision-Language-Action Models

{"tags": ["Robotics", "Vision-Language-Action", "VLA Models", "Benchmark", "Hardware Robustness", "Embodied AI", "LIBERO"], "risks": ["Các mô hình VLA hiện tại rất nhạy cảm với sai lệch phần cứng thực tế (va chạm camera, lệch hiệu chuẩn, hao mòn cơ khí), dễ dẫn đến thất bại nhiệm vụ khi vận hành.", "Ảo tưởng an toàn khi chỉ huấn luyện tăng cường dữ liệu thị giác mà bỏ qua các yếu tố vật lý và điều khiển bên trong robot.", "Mức độ suy giảm hiệu năng không đồng đều giữa các trục nhiễu loạn gây khó khăn cho việc dự đoán và cô lập nguyên nhân lỗi trong sản xuất."], "category": "Research", "entities": ["LIBERO-RIG", "LIBERO", "Vision-Language-Action (VLA)"], "summary_vi": "LIBERO-RIG là bộ benchmark đánh giá độ bền vững của các mô hình Vision-Language-Action (VLA) trước các biến đổi phần cứng và thiết lập vật lý của robot mà vẫn giữ cố định nhiệm vụ LIBERO. Bộ đánh giá gồm 11 trục nhiễu loạn (quang học/vị trí camera, hiệu chuẩn camera-cánh tay, độ lợi truyền động, tần số điều khiển, nhiễu cảm nhận bản thể, tư thế đế, chiều cao bàn, đệm kẹp) qua 5 mức độ nghiêm trọng (210 điều kiện trên 4 bộ LIBERO). Đánh giá trên 9 mô hình VLA (500 episode/điều kiện) cho thấy tỷ lệ thành công chung giảm từ 93,2% xuống 76,7% ở mức trung bình và còn 50,9% ở mức cao nhất. Nghiên cứu cũng chỉ ra rằng việc huấn luyện tăng cường dữ liệu thị giác không thể bù đắp cho các lỗi phần cứng không làm thay đổi hình ảnh camera.", "key_changes": ["Giới thiệu benchmark LIBERO-RIG gồm 11 trục nhiễu loạn phần cứng với 5 cấp độ nghiêm trọng, tạo thành 210 điều kiện thử nghiệm trên 4 bộ suite LIBERO.", "Đánh giá toàn diện 9 mô hình VLA với 500 episode mỗi điều kiện kết hợp kiểm định thống kê nghiêm ngặt.", "Phát hiện tỷ lệ thành công trung bình sụt giảm mạnh từ 93,2% xuống 76,7% ở mức nhiễu loạn trung bình và chỉ còn 50,9% ở mức tối đa.", "Chứng minh rằng việc huấn luyện tăng cường dữ liệu thị giác không khắc phục được các lỗi phần cứng phi thị giác (tần số điều khiển, độ lợi truyền động, hao mòn đệm kẹp).", "Phát hành công khai benchmark cùng tập tin manifest chỉ định tham số cố định cho từng episode để đảm bảo tính tái lập."], "sub_category": "Embodied AI & Robotics Robustness", "novelty_score": 80, "business_score": 72, "research_score": 88, "why_it_matters": "Nghiên cứu chỉ ra điểm mù lớn trong triển khai robot thực tế: các mô hình VLA hiện đại suy giảm hiệu năng nghiêm trọng trước các biến động phần cứng thông thường (camera lệch, trôi hiệu chuẩn, hao mòn đệm kẹp, trễ điều khiển). LIBERO-RIG cung cấp công cụ chuẩn hóa giúp các nhà phát triển và doanh nghiệp đo lường chính xác rủi ro phần cứng trước khi chuyển giao từ mô phỏng sang dây chuyền thực tế.", "developer_score": 80, "importance_score": 82, "possible_use_cases": ["Kiểm thử độ bền vững (robustness) của các mô hình VLA trước khi triển khai trên phần cứng robot thực tế.", "Đánh giá và so sánh khả năng thích ứng của các giao diện hành động (action interfaces) khác nhau trong robot học.", "Xây dựng các phương pháp huấn luyện và kỹ thuật dữ liệu mới nhằm chống chịu sai lệch phần cứng và nhiễu cảm nhận bản thể."], "actionability_score": 78}