LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets

{"tags": ["LiveMACE", "LiveMACEBench", "LLM Agents", "Agent Evaluation", "Process-Aware Evaluation", "Financial Markets", "Decision Traces", "Multi-Agent Collaboration", "Persistent Memory"], "risks": ["Nhiễu thị trường thực tế: Môi trường tài chính biến động phức tạp đòi hỏi thời gian đánh giá kéo dài (từ 30 ngày trở lên) để loại trừ yếu tố may rủi ngoại cảnh.", "Chi phí vận hành thử nghiệm cao: Duy trì liên tục 5 frontier LLMs với trace chi tiết và đa tác tử trong thời gian dài tốn kém chi phí token/API và tài nguyên hạ tầng.", "Nguy cơ ngộ nhận năng lực (capability illusion): Doanh nghiệp chỉ nhìn vào lợi nhuận ngắn hạn có thể chọn nhầm agent có cơ chế vận hành kém ổn định hoặc thiếu an toàn."], "category": "Agents", "entities": ["LiveMACE", "LiveMACEBench"], "summary_vi": "LiveMACEBench là benchmark đánh giá nhận thức theo quy trình (process-aware benchmark) dành cho các tác tử LLM (LLM agents) hoạt động bền bỉ trên thị trường tài chính trực tiếp. Benchmark theo dõi 5 mô hình LLM hàng đầu (frontier LLMs) qua quỹ đạo vận hành liên tục 30 ngày dưới các cấu hình đồng chuẩn gồm Sử dụng công cụ (Tool Use), Bộ nhớ dài hạn (Persistent Memory), Tuân thủ quy tắc (Rule Following) và Phối hợp đa tác tử (Multi-Agent Collaboration). Kết quả thực nghiệm cho thấy sự phân kỳ rõ rệt giữa kết quả thực tế và năng lực cốt lõi (outcome-capability gap): kết quả tương tự nhau có thể đến từ các cơ chế vận hành hoàn toàn khác nhau. Phương pháp chẩn đoán dựa trên vết quyết định (decision traces) giúp xác định chính xác các điểm nghẽn năng lực thực tế thay vì chỉ dùng thị trường như một bảng xếp hạng kết quả đơn thuần.", "key_changes": ["Đề xuất LiveMACEBench: benchmark quy trình (process-aware) sử dụng thị trường tài chính trực tiếp làm môi trường kiểm thử cho LLM agent bền bỉ (persistent LLM agents).", "Thử nghiệm liên tục trong 30 ngày trên 5 frontier LLMs với 4 cấu hình đồng bộ: Tool Use, Persistent Memory, Rule Following, và Multi-Agent Collaboration.", "Phát hiện và chứng minh khoảng cách giữa kết quả và năng lực (outcome-capability gap): lợi nhuận thực tế thường phân kỳ so với năng lực cơ chế bên dưới, và kết quả tương tự có thể bắt nguồn từ các cách vận hành cơ chế rất khác nhau.", "Phát triển hệ thống chẩn đoán vết quyết định (trace-level diagnostics) để phân biệt rạch ròi giữa quyền truy cập cơ chế (mechanism access), hiệu quả sử dụng cơ chế (effective mechanism use), và hiệu năng đầu ra (downstream performance)."], "sub_category": "Agent Evaluation & Benchmarking", "novelty_score": 88, "business_score": 80, "research_score": 90, "why_it_matters": "Đánh giá tác tử AI chỉ qua kết quả đầu cuối (như PnL/lợi nhuận) che lấp năng lực thực sự và rủi ro tiềm ẩn, do kết quả trong môi trường biến động thường bị nhiễu bởi yếu tố ngẫu nhiên và biến động ngoại cảnh. LiveMACEBench mang tính đột phá khi chuyển đổi từ đo lường kết quả sang chẩn đoán quy trình (process-aware), cho phép các kỹ sư và doanh nghiệp phát hiện chính xác lỗ hổng về bộ nhớ, công cụ và khả năng phối hợp tác tử, đặt nền móng cho việc triển khai LLM agent an toàn và tin cậy trong các tác vụ kinh doanh quan trọng.", "developer_score": 82, "importance_score": 85, "possible_use_cases": ["Chẩn đoán và gỡ lỗi (debugging) vết quyết định của LLM agents trong môi trường thực tế biến động cao.", "Kiểm định và đánh giá rủi ro trước khi triển khai các agent tự động giao dịch hoặc phân tích tài chính bằng vốn thật.", "Đo lường độc lập năng lực thực sự về bộ nhớ dài hạn (Persistent Memory) và khả năng tuân thủ quy tắc (Rule Following) của các mô hình LLM thương mại.", "Xây dựng quy chuẩn đánh giá năng lực nội bộ cho các hệ thống đa tác tử (Multi-Agent Systems) trong doanh nghiệp."], "actionability_score": 75}