Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

EnvOpt: Automated Optimization for Agent Environments

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

68 RADAR
Agents Agent Environment Optimization · 1 nguồn đối chiếu · 2026-11-05 03:16:52 +0000 UTC

EnvOpt: Automated Optimization for Agent Environments

Nguồn: arXiv AI
↗

EnvOpt là phương pháp tự động tối ưu hóa end-to-end các 'môi trường tĩnh' (stationary environments - như Slack, kho tài liệu, hệ thống ticket) cho LLM agent mà không cần đáp án mẫu hay bộ chấm điểm. Bằng cách tái cấu trúc cách biểu diễn thông tin trong môi trường, EnvOpt giúp giảm mạnh chi phí vận hành (giảm tới 72.7% trên Claude Haiku 4.5, 68.1% trên Opus 5) đồng thời tăng tỷ lệ hoàn thành tác vụ, có khả năng chuyển giao tốt giữa nhiều dòng mô hình và harness khác nhau.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu chỉ ra rằng cách thức thông tin được biểu diễn trong môi trường có tác động quyết định đến cả chi phí lẫn tỷ lệ thành công của AI agent. Việc có thể tối ưu hóa môi trường tự động mà không cần nhãn/grader giúp doanh nghiệp cắt giảm tới hơn 70-80% chi phí API mà vẫn tăng độ chính xác, mở khóa tiềm năng triển khai agent tự động hóa trên diện rộng với chi phí tối ưu.

Developer 79
Business 82
Novelty 88
Actionable 80

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

An LLM agent's cost and success depend on its model, its harness, and its environment. In addition to the widely studied directions of parameter tuning and harness optimization, we propose the third direction: optimization over stationary environments. Agents are often deployed in rich environments shared by many tasks, such as a company's Slack workspace or a complex collection of data sources, documents or tickets. We call these environments stationary environments. We introduce EnvOpt, a method for automated end-to-end optimization of stationary environments for any given model and harness, using real or synthetic tasks without needing any graders or reference answers. On AutomationBench, EnvOpt reduces the cost of Claude Haiku 4.5 by 72.7% and raises its pass rate by 14.34%. The same environment transfers to Opus 5, cutting its cost by 68.1% with a 1.34% gain. Added on top of Meta-Harness's optimized harness for Haiku 4.5, it lowers cost by a further 83.4% and adds 11.17% accuracy over Meta-Harness alone. Across 5 benchmarks, EnvOpt significantly reduces the cost of agents while improving or maintaining pass rate, and is transferable to different models and different harnesses. We also discuss common successful and rejected environment optimization strategies during automated optimization. More broadly, our results show that how information is represented to an agent shapes both its cost and its success, making the environment worth optimizing in addition to the parameters and the harness.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-06 09:51:58 +0000 UTC
{"tags": ["EnvOpt", "AI Agents", "Environment Optimization", "Stationary Environments", "Cost Reduction", "AutomationBench", "Meta-Harness"], "risks": ["Tối ưu hóa dựa trên tác vụ tổng hợp (synthetic tasks) có thể không bao quát hết các edge cases phức tạp trong vận hành thực tế.", "Thay đổi cấu trúc môi trường dùng chung (stationary environment) có thể ảnh hưởng đến thói quen truy cập dữ liệu của người dùng con người.", "Nguy cơ overfitting vào một nhóm tác vụ nhất định nếu tập dữ liệu đánh giá ban đầu thiếu tính đa dạng."], "category": "Agents", "entities": ["EnvOpt", "Claude Haiku 4.5", "Opus 5", "Meta-Harness", "AutomationBench", "Slack"], "summary_vi": "EnvOpt là phương pháp tự động tối ưu hóa end-to-end các 'môi trường tĩnh' (stationary environments - như Slack, kho tài liệu, hệ thống ticket) cho LLM agent mà không cần đáp án mẫu hay bộ chấm điểm. Bằng cách tái cấu trúc cách biểu diễn thông tin trong môi trường, EnvOpt giúp giảm mạnh chi phí vận hành (giảm tới 72.7% trên Claude Haiku 4.5, 68.1% trên Opus 5) đồng thời tăng tỷ lệ hoàn thành tác vụ, có khả năng chuyển giao tốt giữa nhiều dòng mô hình và harness khác nhau.", "key_changes": ["Đề xuất trụ cột thứ ba trong tối ưu hóa LLM agent: tối ưu hóa môi trường tĩnh (stationary environments) bên cạnh điều chỉnh mô hình và harness.", "Giới thiệu EnvOpt: phương pháp tối ưu hóa end-to-end tự động cho môi trường mà không cần người chấm điểm (graders) hay đáp án chuẩn.", "Cắt giảm chi phí token/API đáng kể (giảm 72.7% trên Haiku 4.5 và 68.1% trên Opus 5) trên benchmark AutomationBench thông qua tái cấu trúc cách biểu diễn thông tin.", "Cải thiện độ chính xác và tỷ lệ hoàn thành tác vụ (pass rate tăng 14.34% trên Haiku 4.5 và 1.34% trên Opus 5).", "Khả năng cộng hưởng vượt trội khi kết hợp với Meta-Harness (giảm thêm 83.4% chi phí và tăng 11.17% độ chính xác so với chỉ dùng Meta-Harness).", "Chứng minh khả năng chuyển giao (transferability) của môi trường đã tối ưu hóa qua các mô hình và harness khác nhau."], "sub_category": "Agent Environment Optimization", "novelty_score": 88, "business_score": 90, "research_score": 85, "why_it_matters": "Nghiên cứu chỉ ra rằng cách thức thông tin được biểu diễn trong môi trường có tác động quyết định đến cả chi phí lẫn tỷ lệ thành công của AI agent. Việc có thể tối ưu hóa môi trường tự động mà không cần nhãn/grader giúp doanh nghiệp cắt giảm tới hơn 70-80% chi phí API mà vẫn tăng độ chính xác, mở khóa tiềm năng triển khai agent tự động hóa trên diện rộng với chi phí tối ưu.", "developer_score": 85, "importance_score": 85, "possible_use_cases": ["Tối ưu hóa cấu trúc dữ liệu và tài liệu trong kho nội bộ (Slack, Notion, Jira, Confluence) để AI agent tra cứu hiệu quả với ít token hơn.", "Giảm thiểu chi phí vận hành cho các agent chăm sóc khách hàng và xử lý ticket tự động ở quy mô lớn.", "Kết hợp tối ưu hóa môi trường cùng các kỹ thuật tối ưu harness để mô hình nhỏ/chi phí thấp đạt hiệu năng ngang tầm mô hình lớn.", "Tự động chuẩn hóa không gian làm việc số dùng chung trước khi triển khai hệ thống multi-agent."], "actionability_score": 80}