Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Jev-Mobile: Jev as an Executor for Mobile GUI Agents

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

66 RADAR
Agents Mobile GUI Agents · 1 nguồn đối chiếu · 2026-09-24 17:30:32 +0000 UTC

Jev-Mobile: Jev as an Executor for Mobile GUI Agents

Nguồn: arXiv AI
↗

Jev-Mobile là giải pháp tối ưu hóa cho mobile GUI agent nhằm giải quyết bài toán độ trễ và chi phí suy luận cao khi phụ thuộc hoàn toàn vào VLM ở từng bước tương tác. Kiến trúc này phân tách thành hai tầng: VLM tần số thấp lập kế hoạch mục tiêu cục bộ, kết hợp cây accessibility xác định không gian hành động, và Jev – một mô hình ra quyết định định kiểu gọn nhẹ, tốc độ cao – liên tục chọn và thực thi hành động trong không gian này. Trên benchmark AndroidWorld, Jev-Mobile đạt tỷ lệ thành công 79% (so với 78% của SeeAct-V và 84% của Step-wise VLM), đồng thời giảm 32,7% thời gian thực thi trung bình và 73,4% chi phí API mô hình trên các tác vụ thành công.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu giải quyết rào cản lớn nhất của mobile GUI agents hiện nay: độ trễ cao và chi phí vận hành API đắt đỏ khi phải gọi VLM ở mọi thao tác đơn lẻ. Bằng cách phân tách tư duy chiến lược tần số thấp của VLM và bộ thực thi cục bộ tốc độ cao dựa trên accessibility tree, Jev-Mobile chứng minh tính khả thi về kinh tế và trải nghiệm người dùng, tạo tiền đề đưa agent tự hành trên thiết bị di động vào ứng dụng thực tế.

Developer 78
Business 77
Novelty 76
Actionable 80

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Vision-language models (VLMs) have become a common foundation for autonomous mobile GUI agents, but most existing systems rely on the VLM for both planning and action grounding at nearly every interaction step, leading to substantial latency and model-serving cost. We introduce Jev-Mobile, which shifts this paradigm to low-frequency VLM planning and high-frequency lightweight execution: the VLM specifies local goals, the accessibility tree defines a structured executable action space, and Jev, a fast typed decision model, repeatedly selects actions within this space. This design allows multiple GUI actions to be executed under a single VLM decision, reducing expensive VLM inference while preserving adaptive interaction. On the full AndroidWorld task suite, Jev-Mobile achieves 79% task success, compared with 78% for SeeAct-V and 84% for a Step-wise VLM baseline. Among successful trajectories, it reduces mean end-to-end execution time by 32.7% and mean model API cost by 73.4% relative to Step-wise VLM. These results show that decoupling high-level VLM reasoning from low-level action execution can substantially improve mobile GUI agent efficiency while maintaining competitive task performance.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-09-25 10:07:24 +0000 UTC
{"tags": ["Mobile GUI Agents", "VLM", "Accessibility Tree", "Jev-Mobile", "AndroidWorld", "Latency Reduction", "Cost Optimization"], "risks": ["Tỷ lệ thành công (79%) vẫn thấp hơn 5% so với Step-wise VLM (84%), tiềm ẩn rủi ro trong các tác vụ đòi hỏi tính chính xác tuyệt đối.", "Phụ thuộc vào chất lượng của cây accessibility; các ứng dụng thiếu nhãn trợ năng hoặc dùng custom canvas/view có thể làm suy giảm hiệu năng của Jev.", "Rủi ro lan truyền lỗi: nếu VLM ra quyết định mục tiêu cục bộ sai hoặc Jev thao tác lỗi, chi phí sửa sai có thể tăng trước khi VLM can thiệp ở chu kỳ kế tiếp."], "category": "Agents", "entities": ["Jev-Mobile", "Jev", "VLM", "AndroidWorld", "SeeAct-V", "Step-wise VLM"], "summary_vi": "Jev-Mobile là giải pháp tối ưu hóa cho mobile GUI agent nhằm giải quyết bài toán độ trễ và chi phí suy luận cao khi phụ thuộc hoàn toàn vào VLM ở từng bước tương tác. Kiến trúc này phân tách thành hai tầng: VLM tần số thấp lập kế hoạch mục tiêu cục bộ, kết hợp cây accessibility xác định không gian hành động, và Jev – một mô hình ra quyết định định kiểu gọn nhẹ, tốc độ cao – liên tục chọn và thực thi hành động trong không gian này. Trên benchmark AndroidWorld, Jev-Mobile đạt tỷ lệ thành công 79% (so với 78% của SeeAct-V và 84% của Step-wise VLM), đồng thời giảm 32,7% thời gian thực thi trung bình và 73,4% chi phí API mô hình trên các tác vụ thành công.", "key_changes": ["Phân tách kiến trúc điều khiển GUI thành 2 cấp độ: VLM lập kế hoạch tần số thấp (low-frequency planning) và Jev thực thi gọn nhẹ tần số cao (high-frequency execution).", "Sử dụng cây accessibility (accessibility tree) để cấu trúc hóa không gian hành động có thể thực thi thay vì dựa hoàn toàn vào VLM ở từng bước.", "Tích hợp Jev - mô hình ra quyết định định kiểu (typed decision model) tốc độ cao - cho phép thực thi nhiều hành động GUI liên tiếp dưới một quyết định duy nhất từ VLM.", "Giảm 73,4% chi phí API mô hình trung bình trên các chuỗi thao tác thành công so với Step-wise VLM.", "Giảm 32,7% thời gian thực thi end-to-end trung bình trên các tác vụ thành công so với Step-wise VLM.", "Đạt 79% tỷ lệ thành công trên AndroidWorld task suite, tiệm cận Step-wise VLM (84%) và vượt SeeAct-V (78%)."], "sub_category": "Mobile GUI Agents", "novelty_score": 76, "business_score": 82, "research_score": 78, "why_it_matters": "Nghiên cứu giải quyết rào cản lớn nhất của mobile GUI agents hiện nay: độ trễ cao và chi phí vận hành API đắt đỏ khi phải gọi VLM ở mọi thao tác đơn lẻ. Bằng cách phân tách tư duy chiến lược tần số thấp của VLM và bộ thực thi cục bộ tốc độ cao dựa trên accessibility tree, Jev-Mobile chứng minh tính khả thi về kinh tế và trải nghiệm người dùng, tạo tiền đề đưa agent tự hành trên thiết bị di động vào ứng dụng thực tế.", "developer_score": 84, "importance_score": 78, "possible_use_cases": ["Phát triển trợ lý ảo tự hành trên thiết bị di động (Mobile Autonomous Agents) với chi phí API và độ trễ tối ưu cho môi trường production.", "Tự động hóa kiểm thử giao diện và hồi quy luồng người dùng (UI/UX testing) cho ứng dụng di động Android trên quy mô lớn.", "Xây dựng các giải pháp RPA trên di động (Mobile RPA) phục vụ đồng bộ dữ liệu, nhập liệu tự động giữa nhiều ứng dụng.", "Hỗ trợ tiếp cận (Accessibility assistance) cho người dùng khuyết tật, tự động điều hướng và thao tác ứng dụng theo lệnh thoại."], "actionability_score": 80}
← Trang trước Trang 1