Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-05 12:50:09 +0000 UTC
{"tags": ["AI Agents", "Agent Evaluation", "SWE-bench", "Terminal-Bench", "Trace Embedding", "Item Response Theory", "Benchmarking"], "risks": ["Phụ thuộc vào chất lượng trích xuất tóm tắt trace của LLM; lỗi tóm tắt có thể gây sai lệch kết quả dự đoán.", "Yêu cầu phải có sẵn tập dữ liệu trace từ nhiều hệ thống tham chiếu từ trước để dựng không gian biểu diễn.", "Dự đoán dựa trên số lượng rất ít tác vụ vẫn tiềm ẩn phương sai đối với các bài toán có tính dị biệt cao."], "category": "Agents", "entities": ["SWE-bench Verified", "Terminal-Bench 2.0", "Wilcoxon"], "summary_vi": "Nghiên cứu đề xuất phương pháp đánh giá AI agent hiệu quả bằng cách khai thác nhật ký thực thi (trace) được tóm tắt có cấu trúc qua LLM và nhúng bằng text encoder. Cách tiếp cận này loại bỏ các tín hiệu nhiễu về định danh mô hình hay khung kiểm thử, giúp mô hình hình học kết hợp phản hồi câu hỏi (item-response) dự đoán chính xác điểm chuẩn toàn diện của agent (giảm MAE trên SWE-bench Verified từ 0.13 xuống 0.08) chỉ từ một tác vụ thực thi duy nhất.", "key_changes": ["Sử dụng LLM trích xuất tóm tắt có cấu trúc từ trace thực thi của agent thay vì chỉ dùng kết quả nhị phân đúng/sai.", "Dùng text encoder tiêu chuẩn nhúng bản tóm tắt nhằm lọc bỏ nhiễu từ danh tính mô hình hay harness, chỉ giữ lại tín hiệu thực thi và tác vụ.", "Xây dựng không gian biểu diễn chiều thấp cho các hệ thống tham chiếu để ước lượng điểm của hệ thống mới theo vị trí hình học.", "Tích hợp dự đoán hình học với mô hình phản hồi câu hỏi (item-response), giảm MAE từ 0.13 xuống 0.08 trên SWE-bench Verified chỉ với 1 tác vụ thực thi ngẫu nhiên."], "sub_category": "Agent Evaluation", "novelty_score": 80, "business_score": 76, "research_score": 85, "why_it_matters": "Đánh giá toàn diện các hệ thống agent hiện nay cực kỳ tốn kém về thời gian và chi phí tính toán. Giải pháp này cho phép suy đoán chính xác năng lực agent từ một số rất ít tác vụ thực thi bằng cách tận dụng ngữ cảnh giàu có trong trace, giúp các nhóm kỹ thuật và doanh nghiệp giảm mạnh chi phí kiểm thử và rút ngắn chu kỳ phát triển.", "developer_score": 82, "importance_score": 82, "possible_use_cases": ["Đánh giá nhanh năng lực agent trong quy trình CI/CD cho lập trình viên mà không cần chạy toàn bộ benchmark tốn kém.", "Doanh nghiệp thử nghiệm và sàng lọc các giải pháp agent khác nhau với chi phí API và thời gian tối thiểu.", "Tối ưu hóa quá trình benchmark định kỳ cho các nhà nghiên cứu phát triển mô hình agentic AI."], "actionability_score": 78}