From Local Skills to Long-Horizon Web Tasks: Progressive Skill Exploration for LLM Web Agents

{"tags": ["Web Agents", "LLM Agents", "Reinforcement Learning", "Skill Exploration", "SCOPE", "On-Policy Distillation", "Autonomous Agents"], "risks": ["Chi phí tính toán cho các vòng rollout lịch sử và quy trình on-policy distillation có thể tốn kém tài nguyên.", "Nguy cơ chuỗi kỹ năng bị đứt gãy khi giao diện DOM hoặc cấu trúc trang web thay đổi đột ngột.", "Sự tích lũy lỗi nếu các kỹ năng cục bộ ban đầu bị trích xuất sai lệch từ rollouts thất bại."], "category": "Agents", "entities": ["SCOPE", "WebArena", "WebVoyager", "WebShop"], "summary_vi": "SCOPE (Skill-Composed Progressive Exploration) là khung học tập từ ngắn hạn đến dài hạn dành cho LLM web agent, giải quyết rào cản phần thưởng thưa thớt (sparse rewards) trong các tác vụ tương tác web phức tạp. Thay vì khám phá ngây thơ (naive exploration), SCOPE chia nhỏ quá trình học thành chu kỳ 3 bước: Khám phá kỹ năng cục bộ (Skill Discovery), Điều phối thành chuỗi kỹ năng cấp cao (Skill Orchestration), và Mở rộng kỹ năng từ trải nghiệm thất bại (Skill Expansion). Các chuỗi kỹ năng này sau đó được nén vào trọng số mô hình bằng on-policy distillation, giúp tăng 3.9% - 18.6% hiệu suất trên WebArena, WebVoyager và WebShop.", "key_changes": ["Đề xuất khung học tập SCOPE (Skill-Composed Progressive Exploration) giúp LLM web agent khám phá từ kỹ năng cục bộ đến giải quyết tác vụ dài hạn.", "Thiết kế quy trình 3 giai đoạn: Skill Discovery (trích xuất kỹ năng và bài học thất bại), Skill Orchestration (ghép nối kỹ năng thành chuỗi), và Skill Expansion (mở rộng kỹ năng mới dựa trên chuỗi hiện tại).", "Nội suy chuỗi kỹ năng hoàn chỉnh vào tham số mô hình thông qua phương pháp chưng cất on-policy (agentic on-policy distillation).", "Cải thiện hiệu suất từ 3.9% đến 18.6% so với các baseline mạnh nhất trên WebArena, WebVoyager và WebShop."], "sub_category": "Web Agents", "novelty_score": 80, "business_score": 72, "research_score": 85, "why_it_matters": "Các tác vụ tương tác web thực tế thường có chuỗi hành động dài và phần thưởng chỉ xuất hiện ở bước cuối cùng, khiến các kỹ thuật huấn luyện truyền thống khó khai thác được phản hồi hữu ích từ các lần thử thất bại. SCOPE cung cấp giải pháp tiếp cận theo cấu trúc kỹ năng tăng dần (skill acquisition), tận dụng bài học từ các rollout thất bại và đưa trực tiếp vào tham số mạng, giúp web agent nâng cao tính bền bỉ và độ tin cậy trong môi trường thực tế.", "developer_score": 78, "importance_score": 78, "possible_use_cases": ["Tự động hóa các quy trình tương tác web phức tạp nhiều bước như mua sắm, đặt vé, và nhập liệu.", "Xây dựng các agent tự hành tương tác trực tiếp với giao diện web (Web Navigation Agents).", "Kiểm thử tự động giao diện web (E2E Web UI Testing) dựa trên khả năng học và tái sử dụng chuỗi kỹ năng tương tác."], "actionability_score": 70}