Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training

{"tags": ["Harness-S", "AI Agents", "Reinforcement Learning", "Agent Scaffolding", "SWE-Gym", "AppWorld", "DBBench", "Adaptive Router"], "risks": ["Chi phí ban đầu để xây dựng và duy trì Sibling Harness Pool đa dạng theo nhiều hướng sửa lỗi có thể tương đối lớn.", "Định tuyến phụ thuộc vào việc đánh giá hồ sơ hành vi và biểu quyết của nhiều LLM, tiềm ẩn độ trễ và chi phí suy luận bổ sung khi training.", "Nguy cơ overfit vào các hành vi đặc thù của sibling harness nếu base harness thiếu hụt các khả năng tương thích nền tảng.", "Cần xác thực thêm trên các môi trường mở (open-ended real-world tasks) ngoài các bộ benchmark tiêu chuẩn."], "category": "Agents", "entities": ["Harness-S", "Sibling Harness Pool", "Adaptive Harness Router", "AppWorld", "SWE-Gym", "DBBench"], "summary_vi": "Harness-S là một khuôn khổ huấn luyện tác nhân (agent) dựa trên học tăng cường (RL), giải quyết vấn đề tiến hóa harness (vốn có tính cục bộ, bổ trợ và phi dừng). Thay vì tìm kiếm một harness duy nhất toàn năng, Harness-S sử dụng 'Sibling Harness Pool' để cứu vãn các trường hợp thất bại của base harness. Quỹ đạo thành công sinh ra từ các harness phụ này sẽ thay thế các mẫu thất bại trong RL, giúp chuyển giao năng lực trực tiếp vào một policy duy nhất. Kết hợp với Adaptive Harness Router định tuyến thông minh, agent sau huấn luyện thể hiện sự vượt trội rõ rệt trên AppWorld, SWE-Gym và DBBench khi quay trở lại hoạt động trên base harness ban đầu.", "key_changes": ["Đề xuất Harness-S: giải pháp huấn luyện agent tận dụng các sibling harness (harness biến thể nhánh phụ) để khắc phục lỗi của base harness và chuyển giao trực tiếp năng lực vào một policy duy nhất.", "Directional Harness Evolution: tạo tập hợp Sibling Harness Pool cố định theo các hướng sửa lỗi chuyên biệt để tái sử dụng xuyên suốt quá trình huấn luyện policy.", "Complementary Harness Rescue Training: cơ chế chỉ kích hoạt sibling harness khi policy thất bại toàn bộ các lần thử ban đầu trên base harness; quỹ đạo cứu hộ sẽ thay thế nhóm thất bại trong RL.", "Adaptive Harness Router & Profile Re-anchoring: lựa chọn Top-k biến thể harness tối ưu dựa trên Harness Behavior Profiles và biểu quyết từ nhiều LLM, đồng thời liên tục cập nhật profile theo sự tiến hóa của policy.", "Khả năng tổng quát hóa ngược về base harness: policy sau huấn luyện đạt hiệu năng vượt trội trên AppWorld, SWE-Gym và DBBench ngay trên base harness ban đầu mà không cần giữ lại harness phụ phức tạp."], "sub_category": "Agent Training & Reinforcement Learning", "novelty_score": 86, "business_score": 68, "research_score": 88, "why_it_matters": "Trong triển khai agent thực tế, các kỹ sư thường phải liên tục sửa đổi harness (scaffolding/prompt/môi trường), nhưng sửa lỗi này thường làm phát sinh lỗi khác và làm phình to độ phức tạp hạ tầng production. Harness-S thay đổi tư duy: biến các biến thể harness thành 'giàn giáo tạm thời' trong giai đoạn RL để nội hóa kỹ năng vào trọng số mô hình. Nhờ đó, doanh nghiệp có thể triển khai agent với base harness tối giản, giảm độ trễ và chi phí hạ tầng runtime mà vẫn duy trì tỷ lệ giải quyết tác vụ phức tạp ở mức cao.", "developer_score": 82, "importance_score": 84, "possible_use_cases": ["Huấn luyện tác nhân lập trình tự động (SWE Agents) vượt qua các lỗi hóc búa bằng cách mượn môi trường scaffold phụ trợ rồi đúc kết năng lực vào policy chính.", "Tối ưu hóa chi phí vận hành production: sử dụng hạ tầng harness phức tạp trong giai đoạn training nhưng chỉ triển khai base harness gọn nhẹ, chuẩn hóa ở runtime.", "Nâng cao hiệu suất xử lý cơ sở dữ liệu (DBBench) và tương tác đa ứng dụng (AppWorld) cho AI agents.", "Áp dụng router trong giai đoạn suy luận (Rank-1 inference) để tăng tỷ lệ thành công mà không tăng ngân sách rollout của executor."], "actionability_score": 72}