Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Neuro-Symbolic Computer Use: Learning Reusable Policies for Reliable and Efficient Execution

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

68 RADAR
Agents Computer-Use Agents & Automation · 1 nguồn đối chiếu · 2026-09-29 07:44:22 +0000 UTC

Neuro-Symbolic Computer Use: Learning Reusable Policies for Reliable and Efficient Execution

Nguồn: arXiv AI
↗

Nghiên cứu giới thiệu phương pháp Neuro-Symbolic Computer Use nhằm giải quyết chi phí cao và độ kém tin cậy của các tác tử máy tính (computer-use agents) trên các tác vụ lặp lại. Thay vì lập lại kế hoạch ở mỗi bước, hệ thống cố định cấu trúc logic ổn định (thứ tự, vòng lặp, rẽ nhánh) dưới dạng mã thực thi tượng trưng và chỉ giao các quyết định nhận thức (grounding, kiểm tra trạng thái) cho mô hình nơ-ron. Chính sách được tối ưu hóa qua neuro-symbolic policy iteration kết hợp pre-action verifier bảo vệ các bước thay đổi trạng thái. Kết quả trên OSWorld-Verified và ScienceBoard cho thấy Pass^3 tăng 3,6-15,8 điểm so với agent gốc, đồng thời giảm 15-217 lần chi phí và 3,4-5,1 lần độ trễ.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Phương pháp này giải quyết trực diện nút thắt lớn nhất cản trở việc đưa computer-use agents vào ứng dụng thực tế: chi phí API quá đắt và độ trễ lớn khi phải liên tục gọi mô hình thị giác/ngôn ngữ cho từng thao tác chuột, bàn phím. Việc kết hợp mã lệnh xác định với nhận thức nơ-ron giúp tự động hóa giao diện đạt được độ tin cậy và hiệu quả kinh tế đủ để thương mại hóa quy mô lớn.

Developer 79
Business 82
Novelty 85
Actionable 80

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Many computer tasks recur: the same workflow runs many times, with new inputs and from different starting states. Current computer-use agents re-plan every step of every run, which makes them costly and unreliable on such tasks. We introduce neuro-symbolic computer use, in which a recurring workflow is executed by a learned policy rather than re-derived by an agent on each run. The policy fixes the decisions that are stable across runs (ordering, variables, loops, and branches) in executable code, and delegates observation-dependent decisions, such as grounding and state checks, to neural models. We learn these policies with neuro-symbolic policy iteration: starting from one agent trajectory, it executes the policy, diagnoses failures with task-completion and step-level judges, and revises the code with a coding model informed by an agent's continuation from the point of failure, without access to the benchmark evaluator. Iterating on generated parameter and initial-state variants makes the policy reusable, and a pre-action verifier guards each state-mutating step at deployment. On OSWorld-Verified and ScienceBoard, the learned policies achieve the highest Pass^3 of all methods in all four settings, 3.6-15.8 points above the base agent, while cutting per-run cost by 15-217$\times$ and latency by 3.4-5.1$\times$. On OSWorld-Verified, policies built only on variants transfer to the held-out original tasks, exceeding AutoRPA by 8.6-17.5 points in Pass^3.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-09-30 09:37:24 +0000 UTC
{"tags": ["Neuro-Symbolic", "Computer-Use Agents", "RPA", "OSWorld", "Policy Iteration", "Workflow Automation"], "risks": ["Nếu giao diện phần mềm thay đổi cấu trúc quá đột ngột, mã điều khiển tượng trưng có thể thất bại và cần chạy lại vòng lặp tối ưu chính sách.", "Nguy cơ từ các hành động thay đổi trạng thái nếu bộ tiền xác minh (pre-action verifier) hoạt động không hoàn hảo.", "Phụ thuộc vào độ chính xác của coding model và judge models trong quá trình tự động sửa lỗi quy trình."], "category": "Agents", "entities": ["OSWorld-Verified", "ScienceBoard", "AutoRPA"], "summary_vi": "Nghiên cứu giới thiệu phương pháp Neuro-Symbolic Computer Use nhằm giải quyết chi phí cao và độ kém tin cậy của các tác tử máy tính (computer-use agents) trên các tác vụ lặp lại. Thay vì lập lại kế hoạch ở mỗi bước, hệ thống cố định cấu trúc logic ổn định (thứ tự, vòng lặp, rẽ nhánh) dưới dạng mã thực thi tượng trưng và chỉ giao các quyết định nhận thức (grounding, kiểm tra trạng thái) cho mô hình nơ-ron. Chính sách được tối ưu hóa qua neuro-symbolic policy iteration kết hợp pre-action verifier bảo vệ các bước thay đổi trạng thái. Kết quả trên OSWorld-Verified và ScienceBoard cho thấy Pass^3 tăng 3,6-15,8 điểm so với agent gốc, đồng thời giảm 15-217 lần chi phí và 3,4-5,1 lần độ trễ.", "key_changes": ["Chuyển đổi từ cơ chế tái lập kế hoạch (re-planning) toàn bộ sang thực thi bằng chính sách neuro-symbolic tái sử dụng được.", "Cố định các quyết định logic ổn định (thứ tự, biến số, vòng lặp, rẽ nhánh) trực tiếp trong mã nguồn thực thi.", "Ủy quyền các quyết định phụ thuộc quan sát môi trường (như visual grounding và kiểm tra trạng thái) cho các mô hình nơ-ron.", "Huấn luyện chính sách thông qua neuro-symbolic policy iteration: chẩn đoán thất bại bằng các bộ thẩm định và tinh chỉnh mã nguồn bằng coding model từ điểm gặp lỗi.", "Tích hợp pre-action verifier nhằm kiểm tra và bảo vệ từng bước làm thay đổi trạng thái hệ thống khi triển khai.", "Cắt giảm chi phí mỗi lần chạy 15-217 lần, giảm độ trễ 3,4-5,1 lần và tăng điểm Pass^3 thêm 3,6-15,8 điểm trên OSWorld-Verified và ScienceBoard."], "sub_category": "Computer-Use Agents & Automation", "novelty_score": 85, "business_score": 90, "research_score": 85, "why_it_matters": "Phương pháp này giải quyết trực diện nút thắt lớn nhất cản trở việc đưa computer-use agents vào ứng dụng thực tế: chi phí API quá đắt và độ trễ lớn khi phải liên tục gọi mô hình thị giác/ngôn ngữ cho từng thao tác chuột, bàn phím. Việc kết hợp mã lệnh xác định với nhận thức nơ-ron giúp tự động hóa giao diện đạt được độ tin cậy và hiệu quả kinh tế đủ để thương mại hóa quy mô lớn.", "developer_score": 85, "importance_score": 85, "possible_use_cases": ["Tự động hóa các quy trình nghiệp vụ (RPA) lặp lại trên máy tính với chi phí token thấp và độ ổn định cao.", "Xây dựng tác tử điều khiển hệ điều hành (OS agents) thực hiện các tác vụ văn phòng, kiểm thử phần mềm hoặc trích xuất dữ liệu định kỳ.", "Tối ưu hóa chi phí và tốc độ phản hồi cho các hệ thống agentic tương tác GUI quy mô lớn."], "actionability_score": 80}