Is Your Long-Horizon Benchmark Really Deep? Measuring and Synthesizing Depth in Terminal Tasks

{"tags": ["AI Agents", "Terminal Benchmarks", "Task Depth", "Synthetic Data", "Agent Evaluation", "Qwen3-8B", "Long-Horizon Tasks"], "risks": ["Chi phí và tài nguyên vận hành tăng cao khi phải khởi tạo và duy trì môi trường phần mềm thực tế cho từng phân đoạn tác vụ.", "Tỷ lệ giải quyết rất thấp trên các mô hình hiện tại (dưới 50%) gây khó khăn trong việc thu thập trajectory thành công để đào tạo nếu thiếu cơ chế hướng dẫn trung gian.", "Rủi ro an toàn môi trường thực thi nếu không có cơ chế sandbox cô lập nghiêm ngặt trong quá trình agent chạy lệnh dòng lệnh."], "category": "Agents", "entities": ["DEPTH", "Qwen3-8B"], "summary_vi": "Nghiên cứu chỉ ra phần lớn benchmark terminal tổng hợp hiện nay chỉ tăng số lượng thao tác ('work') thay vì độ sâu phụ thuộc tuần tự ('depth'), dẫn tới việc 94% tác vụ giải được chỉ mất tối đa 3 lượt lệnh. Nhóm tác giả đề xuất phương pháp DEPTH, cho phép agent tạo tác vụ theo từng đoạn trong môi trường phần mềm thực tế để bảo đảm tính phụ thuộc trạng thái nghiêm ngặt. Bộ 105 tác vụ DEPTH mới có độ sâu vượt trội khiến cả 6 mô hình hiện nay đều giải chưa tới 50%, đồng thời việc tinh chỉnh Qwen3-8B trên dữ liệu này giúp cải thiện đáng kể trên 2 benchmark terminal khác.", "key_changes": ["Định nghĩa và phân tách rạch ròi hai thuộc tính của tác vụ terminal: 'work' (số lượng thao tác) và 'depth' (số lượt tuần tự bắt buộc do lệnh sau phụ thuộc trực tiếp vào output của lệnh trước).", "Chỉ ra điểm yếu của các benchmark tổng hợp hiện nay: 94% tác vụ tổng hợp được giải chỉ cần tối đa 3 lượt và turn count chủ yếu phản ánh thói quen của mô hình hơn là độ khó thực tế của tác vụ.", "Đề xuất phương pháp đo lường độ sâu khách quan thông qua turn cap nhỏ nhất mà agent vẫn có thể hoàn thành tác vụ khi được quy định trước.", "Giới thiệu DEPTH: quy trình sinh tác vụ theo từng phân đoạn tuần tự trong môi trường phần mềm thực tế, phân đoạn sau tiếp nối trạng thái để lại của phân đoạn trước.", "Công bố bộ dữ liệu gồm 105 tác vụ có độ sâu và khối lượng công việc vượt trội, khiến cả 6 mô hình AI hiện nay đều không vượt qua được 50% số tác vụ.", "Chứng minh tính hữu ích khi fine-tuning Qwen3-8B bằng các trajectory từ các tác vụ DEPTH giúp cải thiện kết quả trên 2 benchmark terminal khác."], "sub_category": "Agent Evaluation & Benchmarking", "novelty_score": 85, "business_score": 68, "research_score": 88, "why_it_matters": "Nghiên cứu vạch trần lỗ hổng lớn trong việc đánh giá AI agent: số lượt lệnh (turn count) chỉ phản ánh thói quen mô hình chứ không đo lường chính xác độ phức tạp logic, khiến các benchmark tổng hợp dễ tạo ra ảo tưởng về năng lực giải quyết bài toán dài hơi. Bằng cách chuẩn hóa khái niệm 'depth' và kỹ thuật sinh dữ liệu DEPTH trong môi trường thực tế, nghiên cứu cung cấp thước đo trung thực hơn và giải pháp tạo dữ liệu huấn luyện agent có giá trị thực tiễn cao cho cả giới nghiên cứu lẫn kỹ sư phát triển agent.", "developer_score": 84, "importance_score": 82, "possible_use_cases": ["Đánh giá và kiểm chuẩn năng lực thực tế của AI agent trong môi trường dòng lệnh (CLI/Terminal) đối với các tác vụ phụ thuộc logic nhiều bước.", "Tạo dữ liệu huấn luyện tổng hợp (synthetic trajectories) chất lượng cao để fine-tune các mô hình agent tự động hóa và DevOps.", "Audit và lọc bỏ các tác vụ nông (shallow tasks) trong các bộ benchmark agent hiện hành nhằm tránh hiện tượng điểm cao ảo."], "actionability_score": 76}