Humanize MLE Agents: Multi-Agent Session Alternation Beyond Single-Agent Limits

{"tags": ["LLM Agents", "Multi-Agent Systems", "MLE-bench", "Context Reset", "CR-SMDP", "Long-Horizon Tasks", "Machine Learning Engineering"], "risks": ["Hiệu quả phụ thuộc vào việc thiết kế cấu trúc lưu trữ và bàn giao kết quả qua shared workspace sau mỗi lần reset ngữ cảnh giữa các agent.", "Cần xác định thực nghiệm giá trị ngưỡng số lượng thử nghiệm k phù hợp cho từng loại tác vụ cụ thể để bảo toàn lợi thế luân phiên.", "Chưa kiểm chứng trên các lĩnh vực phi kỹ thuật hoặc các quy trình đòi hỏi duy trì trạng thái tương tác người dùng liên tục."], "category": "Agents", "entities": ["Humanize MLE Agents (HMA)", "CR-SMDP", "MLE-bench", "Kaggle"], "summary_vi": "Nghiên cứu giới thiệu Humanize MLE Agents (HMA) nhằm giải quyết hai hạn chế cốt lõi của LLM agent trong tác vụ kỹ nghệ học máy dài hạn: suy giảm cường độ suy luận theo thời gian (long-horizon deceleration) và harness quản lý bị lỗi thời khi mô hình LLM nâng cấp (harness staleness). HMA mô hình hóa quy trình qua tiến trình bán Markov đặt lại ngữ cảnh (CR-SMDP), luân phiên 2 agent trên shared workspace, giới hạn mỗi phiên tối đa k thử nghiệm và reset ngữ cảnh giữa các phiên mà không cần harness phức tạp. Trên 75 tác vụ Kaggle thuộc MLE-bench, HMA đạt tỷ lệ huy chương 78.2% (vượt baseline mã nguồn mở mạnh nhất 8.0 điểm) với 1/4 thời gian, đồng thời chứng minh hiệu quả trên bài toán tối ưu kernel.", "key_changes": ["Xác định hai điểm nghẽn chính ở agent đơn phiên dài hạn: suy giảm cường độ suy luận (long-horizon deceleration) và harness tùy biến mất tác dụng khi mô hình nền tảng mạnh lên (harness staleness).", "Mô hình hóa phiên luân phiên agent dưới dạng CR-SMDP (Context-Reset Semi-Markov Decision Process), thiết lập điều kiện và chặn ngân sách thử nghiệm để vượt qua giới hạn agent đơn.", "Đề xuất cơ chế HMA: luân phiên 2 agent làm việc trên một workspace chung, giới hạn tối đa k thử nghiệm mỗi phiên và reset context giữa các phiên.", "Loại bỏ sự phụ thuộc vào các harness phức tạp hay tri thức tiên nghiệm đặc thù cho từng tác vụ.", "Đạt tỷ lệ có huy chương 78.2% trên 75 tác vụ Kaggle thuộc MLE-bench, cao hơn 8.0 điểm so với baseline mã nguồn mở mạnh nhất và tiết kiệm 75% thời gian thực thi.", "Cải thiện trung bình 6.4 điểm trên 6 cấu hình gồm 5 cặp agent không đồng nhất; chứng minh tính tổng quát khi áp dụng thành công vào bài toán tối ưu kernel (đạt 878 chu kỳ, cách vị trí dẫn đầu 1.6%)."], "sub_category": "Multi-Agent Systems & Long-Horizon MLE", "novelty_score": 80, "business_score": 80, "research_score": 84, "why_it_matters": "Thay vì đầu tư vào các bộ harness quản lý context phức tạp vốn nhanh chóng mất tác dụng khi mô hình nền tảng mạnh lên, HMA chứng minh rằng quy trình luân phiên agent kết hợp reset ngữ cảnh và giới hạn phiên thử nghiệm giúp vượt qua giới hạn của agent đơn, giải quyết hiện tượng suy giảm tư duy dài hạn và tiết kiệm 75% thời gian tính toán.", "developer_score": 88, "importance_score": 82, "possible_use_cases": ["Xây dựng hệ thống tự động hóa nghiên cứu và thử nghiệm mô hình học máy (AutoML/MLE) giải quyết các bài toán dài hạn trên Kaggle hoặc nội bộ doanh nghiệp.", "Tối ưu hóa mã nguồn cấp thấp (kernel optimization) như CUDA/Triton kernels trong các hệ thống tính toán hiệu năng cao.", "Áp dụng cơ chế session alternation và context reset vào các quy trình coding agent (SWE agents) để tránh cạn kiệt/loãng ngữ cảnh và giảm suy giảm tư duy khi xử lý dự án lớn."], "actionability_score": 85}