Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

OS-Wizard: Scaling Computer-Using Agents to Specialized Software via Knowledge-Guided Exploration

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

65 RADAR
Agents Computer-Using Agents · 1 nguồn đối chiếu · 2026-10-24 20:39:23 +0000 UTC

OS-Wizard: Scaling Computer-Using Agents to Specialized Software via Knowledge-Guided Exploration

Nguồn: arXiv AI
↗

OS-Wizard là framework tự động thu thập quỹ đạo tương tác cho computer-using agent trên các phần mềm desktop chuyên dụng. Phương pháp kết hợp khám phá có hướng dẫn từ tài liệu (tutorial-guided), không gian hành động lai GUI-Code và cơ chế checkpoint/revisit theo nhánh cây, tạo ra 10.9K quỹ đạo với 54.9K mẫu. Mô hình mã nguồn mở sau khi fine-tune đạt 64.1% độ chính xác trên benchmark chuyên dụng (vượt mức con người 59.8%) và đồng thời cải thiện hiệu suất trên các tác vụ desktop thông thường.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Sự khan hiếm dữ liệu tương tác chất lượng cao là rào cản lớn nhất ngăn computer-using agent làm chủ các ứng dụng desktop phức tạp. OS-Wizard giải quyết nút thắt này bằng cách kết hợp tài liệu hướng dẫn và thực thi lệnh native, chứng minh mô hình mã nguồn mở có thể vượt qua hiệu suất con người, mở đường cho tự động hóa quy trình nghiệp vụ chuyên môn cao trong doanh nghiệp.

Developer 77
Business 75
Novelty 82
Actionable 78

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Computer-using agents are increasingly capable of performing complex tasks in the digital world. However, high-quality interaction trajectories remain scarce for specialized desktop applications, where limited application knowledge, cumbersome GUI workflows, and incomplete exploration hinder automated collection. We introduce OS-Wizard, an automated trajectory collection framework. It combines tutorial-guided exploration with a hybrid GUI--Code action space, providing application-specific knowledge and simplifying GUI workflows through direct execution of application-native commands. The framework also checkpoints and revisits pivotal states during tree exploration to explore alternative workflows, complementing linear rollouts for broader coverage. We collect 10.9K trajectories comprising 54.9K state--action samples. Fine-tuning open-source base models on this corpus yields a best-performing model that improves performance on a benchmark of specialized desktop workflows by 58.2 percentage points to 64.1\%, surpassing reported human performance of 59.8\% and establishing a new state of the art. The fine-tuned model also improves performance on general desktop workflows using GUI actions only, suggesting that the collected supervision benefits general desktop tasks as well. Comparative experiments and ablations demonstrate the efficiency of trajectory collection and the importance of code actions.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-27 08:46:30 +0000 UTC
{"tags": ["Computer-Using Agents", "OS-Wizard", "GUI Agents", "Synthetic Trajectories", "Hybrid Action Space", "Desktop Automation"], "risks": ["Rủi ro an toàn và toàn vẹn hệ thống khi agent thực thi trực tiếp mã/lệnh native trong ứng dụng nếu thiếu cơ chế sandbox kiểm soát.", "Chất lượng quỹ đạo phụ thuộc vào độ chính xác và mức độ bao phủ của tài liệu hướng dẫn (tutorials) đầu vào.", "Khó khăn khi mở rộng sang các phần mềm đóng hoàn toàn không hỗ trợ giao diện dòng lệnh hay API nội bộ."], "category": "Agents", "entities": ["OS-Wizard"], "summary_vi": "OS-Wizard là framework tự động thu thập quỹ đạo tương tác cho computer-using agent trên các phần mềm desktop chuyên dụng. Phương pháp kết hợp khám phá có hướng dẫn từ tài liệu (tutorial-guided), không gian hành động lai GUI-Code và cơ chế checkpoint/revisit theo nhánh cây, tạo ra 10.9K quỹ đạo với 54.9K mẫu. Mô hình mã nguồn mở sau khi fine-tune đạt 64.1% độ chính xác trên benchmark chuyên dụng (vượt mức con người 59.8%) và đồng thời cải thiện hiệu suất trên các tác vụ desktop thông thường.", "key_changes": ["Đề xuất OS-Wizard: framework tự động thu thập dữ liệu quỹ đạo tương tác cho agent trên ứng dụng desktop chuyên dụng.", "Thiết kế không gian hành động lai GUI-Code: kết hợp thao tác giao diện với việc thực thi trực tiếp các lệnh native của ứng dụng để đơn giản hóa quy trình.", "Áp dụng cơ chế khám phá theo dạng cây kết hợp lưu checkpoint và thăm lại các trạng thái then chốt nhằm tăng độ bao phủ luồng công việc thay thế.", "Thu thập tập dữ liệu gồm 10.9K quỹ đạo với 54.9K cặp mẫu trạng thái - hành động.", "Fine-tune mô hình nguồn mở đạt 64.1% độ chính xác (tăng 58.2 điểm %, vượt hiệu suất con người 59.8%) và cải thiện cả tác vụ desktop GUI tổng quát."], "sub_category": "Computer-Using Agents", "novelty_score": 82, "business_score": 80, "research_score": 86, "why_it_matters": "Sự khan hiếm dữ liệu tương tác chất lượng cao là rào cản lớn nhất ngăn computer-using agent làm chủ các ứng dụng desktop phức tạp. OS-Wizard giải quyết nút thắt này bằng cách kết hợp tài liệu hướng dẫn và thực thi lệnh native, chứng minh mô hình mã nguồn mở có thể vượt qua hiệu suất con người, mở đường cho tự động hóa quy trình nghiệp vụ chuyên môn cao trong doanh nghiệp.", "developer_score": 84, "importance_score": 85, "possible_use_cases": ["Tự động hóa các tác vụ phức tạp trên phần mềm thiết kế kỹ thuật, đồ họa hoặc nghiệp vụ chuyên sâu thông qua agent.", "Sinh dữ liệu tổng hợp (synthetic trajectories) quy mô lớn để huấn luyện và fine-tune các mô hình OS/desktop agent.", "Xây dựng trợ lý ảo thao tác hệ điều hành kết hợp giữa điều khiển giao diện (GUI) và thực thi lệnh script/native code."], "actionability_score": 78}