Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

64 RADAR
Agents Tool Retrieval & Execution Reliability · 1 nguồn đối chiếu · 2026-10-09 17:38:11 +0000 UTC

RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics

Nguồn: arXiv AI
↗

RATED là khung truy xuất công cụ cho AI agent kết hợp mô hình dual-encoder đóng băng (tinh chỉnh tương phản) với module contextual bandit nhẹ để xếp hạng lại công cụ dựa trên phản hồi thực thi thời gian thực. RATED giúp giảm tỷ lệ chọn công cụ lỗi từ 86,2% xuống 2,9% trong kịch bản API gặp sự cố (tỷ lệ lỗi 30%) và cải thiện 52,2% MRR so với ToolLLM, với độ trễ phát sinh dưới 1 ms. Nghiên cứu cũng giới thiệu benchmark EcoAgent với 5.172 công cụ thực tế.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Trong môi trường sản xuất, lỗi API hoặc downtime là nguyên nhân phổ biến khiến AI agent bị treo hoặc phá vỡ quy trình tự động hóa. RATED khắc phục hạn chế của việc chỉ so khớp ngữ nghĩa bằng cách bổ sung khả năng thích ứng động với trạng thái thực thi với độ trễ gần như bằng không (< 1 ms), đảm bảo độ tin cậy cao cho các hệ sinh thái agent quy mô lớn.

Developer 80
Business 74
Novelty 78
Actionable 85

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

As AI agents increasingly rely on external tools, accurate retrieval is essential for reliable behavior. Existing methods optimize semantic relevance but largely ignore tool availability during execution. To address this gap, we propose RATED (Reliability-Aware Tool Retrieval via Execution Dynamics), a retrieval framework that combines robust semantic matching with dynamic reliability adaptation. RATED employs a frozen dual-encoder with contrastive fine-tuning for semantic matching, and a lightweight contextual bandit module that re-ranks candidates based on real-time execution feedback. This design enables rapid adaptation to runtime tool failures without expensive model retraining. We introduce EcoAgent, a benchmark of 5,172 real-world tools and over 210,000 query-tool pairs for offline retrieval and dynamic reliability evaluation. Experimental results demonstrate that RATED achieves a 52.2% relative MRR improvement over the ToolLLM API retriever on real-world queries, and reduces fault selection rate from 86.2% to 2.9% under severe API outage scenarios with a 30% failure rate, while incurring negligible latency overhead of less than 1 ms over encode-only inference. The code and dataset are available at https://github.com/Elliotes/EcoAgent.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-12 09:51:25 +0000 UTC
{"tags": ["AI Agents", "Tool Retrieval", "Contextual Bandit", "EcoAgent", "API Reliability", "Execution Dynamics"], "risks": ["Contextual bandit cần phản hồi thực thi để học trạng thái lỗi, do đó có thể vẫn phát sinh lỗi ở các lần gọi đầu tiên trước khi cập nhật trọng số.", "Chiến lược cân bằng exploration - exploitation không tối ưu có thể làm chậm việc tái sử dụng API khi dịch vụ đã phục hồi.", "Đòi hỏi hệ thống phải có sẵn các công cụ thay thế tương đương về mặt ngữ nghĩa và chức năng trong tool pool."], "category": "Agents", "entities": ["RATED", "EcoAgent", "ToolLLM", "GitHub (Elliotes/EcoAgent)"], "summary_vi": "RATED là khung truy xuất công cụ cho AI agent kết hợp mô hình dual-encoder đóng băng (tinh chỉnh tương phản) với module contextual bandit nhẹ để xếp hạng lại công cụ dựa trên phản hồi thực thi thời gian thực. RATED giúp giảm tỷ lệ chọn công cụ lỗi từ 86,2% xuống 2,9% trong kịch bản API gặp sự cố (tỷ lệ lỗi 30%) và cải thiện 52,2% MRR so với ToolLLM, với độ trễ phát sinh dưới 1 ms. Nghiên cứu cũng giới thiệu benchmark EcoAgent với 5.172 công cụ thực tế.", "key_changes": ["Kết hợp dual-encoder đóng băng (contrastive fine-tuning) để so khớp ngữ nghĩa với contextual bandit nhẹ nhằm tái xếp hạng công cụ theo phản hồi thực tế.", "Tự động thích ứng với lỗi công cụ thời gian thực mà không cần huấn luyện lại mô hình tốn kém.", "Giới thiệu benchmark EcoAgent gồm 5.172 công cụ thực tế và hơn 210.000 cặp truy vấn - công cụ cho truy xuất offline và đánh giá độ tin cậy động.", "Cải thiện 52,2% MRR tương đối so với bộ truy xuất API của ToolLLM trên truy vấn thực tế.", "Giảm tỷ lệ chọn công cụ hỏng từ 86,2% xuống còn 2,9% khi API gặp sự cố nghiêm trọng (tỷ lệ lỗi 30%).", "Độ trễ bổ sung dưới 1 ms so với suy luận mã hóa thuần túy (encode-only)."], "sub_category": "Tool Retrieval & Execution Reliability", "novelty_score": 78, "business_score": 80, "research_score": 82, "why_it_matters": "Trong môi trường sản xuất, lỗi API hoặc downtime là nguyên nhân phổ biến khiến AI agent bị treo hoặc phá vỡ quy trình tự động hóa. RATED khắc phục hạn chế của việc chỉ so khớp ngữ nghĩa bằng cách bổ sung khả năng thích ứng động với trạng thái thực thi với độ trễ gần như bằng không (< 1 ms), đảm bảo độ tin cậy cao cho các hệ sinh thái agent quy mô lớn.", "developer_score": 88, "importance_score": 82, "possible_use_cases": ["Tích hợp vào AI agent doanh nghiệp để tự động bỏ qua các API bên thứ ba đang bị gián đoạn và chọn công cụ thay thế khả dụng.", "Xây dựng hạ tầng điều phối công cụ (agent tool orchestration) có khả năng tự phục hồi trong môi trường microservices.", "Sử dụng benchmark EcoAgent để đánh giá độ tin cậy và khả năng xử lý sự cố runtime của các framework agent."], "actionability_score": 85}