Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

PhoneCLI: From App Interfaces to Callable Commands for Mobile Agents

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

67 RADAR
Agents Mobile GUI Agents · 1 nguồn đối chiếu · 2026-09-28 17:26:56 +0000 UTC

PhoneCLI: From App Interfaces to Callable Commands for Mobile Agents

Nguồn: arXiv AI
↗

PhoneCLI là giải pháp biên dịch điều hướng GUI của ứng dụng di động thành các lệnh có thể gọi (callable commands) dành cho mobile agent mà không cần can thiệp API nội bộ hay huấn luyện mô hình. Ở chế độ offline, hệ thống tự động khám phá ứng dụng và trích xuất bản đồ ngữ nghĩa của màn hình, phần tử tương tác và đường dẫn điều hướng để tạo chuỗi phát lại (replay sequence) tất định đến từng màn hình. Ở chế độ online, agent xác thực và thực thi lệnh dưới một giây với chi phí 0 token VLM, đồng thời tự động chuyển đổi dự phòng (fallback) về mô hình VLM thuần túy khi gặp lỗi hoặc tác vụ mở. Đánh giá trên AndroidLab và AndroidWorld (agent M3A) cho thấy PhoneCLI cải thiện tỷ lệ thành công, giảm số bước và tiết kiệm token đáng kể.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Giải quyết triệt để hai rào cản lớn nhất của mobile GUI agent là độ trễ cao và chi phí VLM đắt đỏ trong các bước điều hướng lặp đi lặp lại. Bằng cách chuyển đổi điều hướng tĩnh thành các lệnh gọi tất định tốc độ dưới một giây kết hợp cơ chế fallback mượt mà về VLM khi gặp sự cố, PhoneCLI mở ra hướng đi thực tế để triển khai các agent di động hiệu quả về chi phí và thời gian phản hồi.

Developer 79
Business 76
Novelty 80
Actionable 78

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Mobile GUI agents operate through a perception--action loop: at each step they screenshot the device, invoke a vision--language model (VLM), and emit an action. It is slow, costly, and brittle, yet most of what it does is navigation---and everyday navigation is static, ordered, and endlessly repeated. We present PhoneCLI, which compiles an app's GUI navigation into callable commands, without any app-internal API, runtime instrumentation, or model training. Offline, PhoneCLI explores a target app from the outside and distills its screens, interactive elements, and navigation edges into a semantically annotated map; each screen yields one deterministic command: a replay sequence that reaches it. Online, the agent selects a command, verifies it before execution, and then executes it deterministically in sub-second time at zero VLM cost; open-ended interaction and every failure of the compiled path fall back to the embedded VLM interpreter, exactly the pure VLM agent, so compilation can only help. On AndroidLab, PhoneCLI improves the task success rate while reducing steps and token consumption, and it transfers to AndroidWorld's official M3A agent with consistent efficiency gains. What PhoneCLI compiles is the app's navigation rather than one run, so it serves new tasks, not only repeated ones.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-09-29 12:35:28 +0000 UTC
{"tags": ["Mobile Agents", "GUI Automation", "PhoneCLI", "VLM", "Android", "Efficiency", "Agentic AI"], "risks": ["Bản đồ điều hướng offline có thể bị sai lệch khi ứng dụng cập nhật giao diện, thay đổi luồng A/B testing hoặc tải nội dung động phức tạp.", "Giai đoạn khám phá tự động offline có thể gặp khó khăn với các ứng dụng yêu cầu xác thực bảo mật nhiều lớp (OTP, biometric, CAPTCHA).", "Nếu việc định vị phần tử giao diện trong chuỗi phát lại không đủ linh hoạt trước các thay đổi về kích thước màn hình hoặc độ phân giải, tỷ lệ fallback về VLM sẽ tăng cao."], "category": "Agents", "entities": ["PhoneCLI", "AndroidLab", "AndroidWorld", "M3A", "Vision-Language Model (VLM)"], "summary_vi": "PhoneCLI là giải pháp biên dịch điều hướng GUI của ứng dụng di động thành các lệnh có thể gọi (callable commands) dành cho mobile agent mà không cần can thiệp API nội bộ hay huấn luyện mô hình. Ở chế độ offline, hệ thống tự động khám phá ứng dụng và trích xuất bản đồ ngữ nghĩa của màn hình, phần tử tương tác và đường dẫn điều hướng để tạo chuỗi phát lại (replay sequence) tất định đến từng màn hình. Ở chế độ online, agent xác thực và thực thi lệnh dưới một giây với chi phí 0 token VLM, đồng thời tự động chuyển đổi dự phòng (fallback) về mô hình VLM thuần túy khi gặp lỗi hoặc tác vụ mở. Đánh giá trên AndroidLab và AndroidWorld (agent M3A) cho thấy PhoneCLI cải thiện tỷ lệ thành công, giảm số bước và tiết kiệm token đáng kể.", "key_changes": ["Biên dịch điều hướng GUI thành các lệnh gọi tất định (callable commands) mà không cần API nội bộ, runtime instrumentation hay huấn luyện lại mô hình.", "Quy trình offline: tự động khám phá ứng dụng từ bên ngoài và xây dựng bản đồ ngữ nghĩa gồm các màn hình, phần tử tương tác và cạnh điều hướng.", "Quy trình online: agent lựa chọn, xác thực và thực thi lệnh điều hướng trong thời gian dưới 1 giây với chi phí 0 token VLM.", "Cơ chế fallback an toàn: tự động chuyển về VLM interpreter khi tương tác mở hoặc khi đường dẫn biên dịch gặp lỗi, đảm bảo tỷ lệ thành công không bị suy giảm.", "Khả năng tổng quát hóa: biên dịch toàn bộ cấu trúc điều hướng của ứng dụng thay vì một phiên chạy đơn lẻ, hỗ trợ tốt cho các tác vụ mới."], "sub_category": "Mobile GUI Agents", "novelty_score": 80, "business_score": 80, "research_score": 82, "why_it_matters": "Giải quyết triệt để hai rào cản lớn nhất của mobile GUI agent là độ trễ cao và chi phí VLM đắt đỏ trong các bước điều hướng lặp đi lặp lại. Bằng cách chuyển đổi điều hướng tĩnh thành các lệnh gọi tất định tốc độ dưới một giây kết hợp cơ chế fallback mượt mà về VLM khi gặp sự cố, PhoneCLI mở ra hướng đi thực tế để triển khai các agent di động hiệu quả về chi phí và thời gian phản hồi.", "developer_score": 85, "importance_score": 82, "possible_use_cases": ["Tự động hóa kiểm thử hồi quy và luồng giao diện người dùng (UI testing) trên thiết bị di động với tốc độ cao và chi phí tối thiểu.", "Xây dựng trợ lý ảo cá nhân trên điện thoại (personal mobile agent) thực hiện các tác vụ điều hướng ứng dụng phổ biến với độ trễ thấp.", "Tự động hóa quy trình nghiệp vụ di động (Mobile RPA) trên các ứng dụng ngân hàng, thương mại điện tử không cung cấp API công khai.", "Tối ưu hóa chi phí token và độ trễ cho các hệ thống mobile agent thương mại đang vận hành bằng cách áp dụng cơ chế hybrid (CLI + VLM)."], "actionability_score": 78}
← Trang trước Trang 1