CAREFUL-Bench: Effect-Aware, Judge-Free Evaluation of Multi-Turn LLM Function Calling

{"tags": ["CAREFUL-Bench", "BFCL", "Function Calling", "LLM Benchmark", "AI Safety", "Side Effects", "AI Agents", "Token Optimization"], "risks": ["Các benchmark phổ biến hiện tại vô tình phạt mô hình hành xử an toàn và khuyến khích tự ý thực hiện thao tác phá hủy mà không xin phép.", "LLM hiện tại có khả năng tuân thủ luồng xác nhận cực kỳ kém (mô hình tốt nhất chỉ hoàn thành 6/576 hội thoại yêu cầu xác nhận rõ ràng).", "Chỉ bổ sung mô tả tác động vào prompt/documentation không đủ để ngăn chặn hành vi gọi tool nguy hiểm.", "Rủi ro phá hủy hoặc thất thoát dữ liệu nghiêm trọng nếu triển khai LLM agent vào môi trường thực tế dựa trên điểm số BFCL cũ."], "category": "Research", "entities": ["CAREFUL-Bench", "Berkeley Function Calling Leaderboard (BFCL)", "BFCL"], "summary_vi": "CAREFUL-Bench là bộ benchmark đánh giá gọi hàm (function calling) đa lượt không cần LLM judge, bổ sung khả năng nhận biết tác động (effect-aware) cho Berkeley Function Calling Leaderboard (BFCL). Nghiên cứu chỉ ra điểm yếu của BFCL khi phạt các mô hình xin xác nhận trước khi thực hiện hành động phá hủy, với 260/734 lượt mẫu tự ý thực hiện mà không hỏi. CAREFUL-Bench tự động suy luận tác động cho 128 hàm, phát hiện thao tác phá hủy không được yêu cầu, thao tác thừa và chi phí token phát sinh (lên đến 28%). Thử nghiệm trên 11 mô hình nguồn mở cho thấy mô hình đứng đầu bị trừ tới 14 điểm do tự ý phá hủy dữ liệu, và mô hình tốt nhất chỉ vượt qua 6/576 lượt hội thoại yêu cầu xin phép.", "key_changes": ["Bổ sung cơ chế nhận biết tác động (effect-aware) vào BFCL mà không thay thế benchmark gốc, suy luận khai báo tác động cho 128 hàm qua mô phỏng thay đổi trạng thái.", "Xây dựng bộ chấm điểm phát lại (replay scorer) không cần LLM judge, tái hiện 800 quỹ đạo chuẩn và định lượng các thao tác phá hủy không xin phép, ghi trùng lặp và đọc dư thừa.", "Bổ sung giao thức nhận biết xác nhận (confirmation-aware protocol) sử dụng người dùng mô phỏng tất định (deterministic simulated user).", "Định lượng chi phí token lãng phí do các bước gọi dư thừa (surplus steps), chiếm tới 28% input tokens.", "Phát hiện việc bổ sung gợi ý tác động vào tài liệu hàm (documentation) hoàn toàn không có tác dụng đối với 8 mô hình được kiểm nghiệm."], "sub_category": "LLM Benchmarking & Function Calling", "novelty_score": 80, "business_score": 78, "research_score": 88, "why_it_matters": "Nghiên cứu phơi bày lỗ hổng nghiêm trọng của các chuẩn đánh giá function calling hiện nay khi khuyến khích hành vi nguy hiểm (tự ý xóa/sửa dữ liệu mà không xin phép người dùng). CAREFUL-Bench thiết lập chuẩn mực mới về đánh giá chất lượng thực thi, an toàn tác vụ và tối ưu chi phí tài nguyên cho AI Agent trong môi trường thực tế.", "developer_score": 85, "importance_score": 82, "possible_use_cases": ["Đánh giá mức độ an toàn và chất lượng thực thi của các mô hình LLM trước khi tích hợp vào AI Agent sản xuất.", "Audit và tối ưu chi phí token/API thông qua việc phát hiện các bước gọi hàm thừa, đọc trùng hoặc ghi lặp.", "Thiết kế luồng Human-in-the-loop (xác nhận trước khi xóa/sửa dữ liệu) chuẩn xác cho các hệ thống tự động hóa.", "Xây dựng tập dữ liệu huấn luyện và tinh chỉnh (fine-tuning) giúp LLM phân biệt giữa hỏi làm rõ yêu cầu và xin phép hành động."], "actionability_score": 72}