SUMONE: A Simple and Efficient Summarizer for Plug-and-Play Agent Memory

{"tags": ["SumOne", "Agent Memory", "Context Compaction", "LLM Agents", "GRPO", "Inference Cost Optimization", "SWE-bench", "DeepSearchQA"], "risks": ["Hiệu năng tác vụ hạ nguồn suy giảm nhẹ (mức giảm tuyệt đối 0.04) do việc nén lược bỏ một phần chi tiết so với giữ toàn bộ ngữ cảnh gốc.", "Nguy cơ mất thông tin cục bộ quan trọng nếu tham số phạt độ dài quá cao khiến bản tóm tắt bị rút ngắn quá mức.", "Cần thêm đánh giá kiểm chứng trên các miền ứng dụng phức tạp khác ngoài bài toán tìm kiếm và công nghệ phần mềm."], "category": "Agents", "entities": ["SumOne", "GRPO", "DeepSearchQA", "SWE-bench Verified"], "summary_vi": "SumOne là giải pháp tóm tắt ngữ cảnh độc lập (standalone summarizer) dạng cắm-và-chạy (plug-and-play) cho các agent LLM chạy tác vụ dài hạn. Mô hình được huấn luyện tự giám sát trực tiếp từ các trajectory thô thông qua cơ chế tái tạo có che phủ (masked reconstruction) kết hợp thuật toán GRPO và hình phạt độ dài, hoàn toàn không phụ thuộc vào bản tóm tắt mẫu hay kết quả tác vụ hạ nguồn. Khi triển khai suy luận, chỉ bộ tóm tắt gọn nhẹ được giữ lại, giúp giảm khoảng 78% chi phí suy luận trên DeepSearchQA và 75% trên SWE-bench Verified so với khi giữ toàn bộ ngữ cảnh, với mức suy giảm hiệu năng tuyệt đối chỉ 0.04 và khả năng chuyển giao trực tiếp sang các mô hình khác mà không cần tinh chỉnh.", "key_changes": ["Giới thiệu SumOne: Kiến trúc tóm tắt bộ nhớ độc lập dạng cắm-và-chạy (plug-and-play) cho agent LLM trong các tác vụ dài hạn.", "Cơ chế huấn luyện tái tạo có che phủ (masked reconstruction): Dùng reconstructor đóng băng để khôi phục trajectory gốc từ bản tóm tắt, tạo tín hiệu tự giám sát mà không cần tóm tắt mẫu (reference summaries).", "Tối ưu hóa không phụ thuộc tác vụ bằng GRPO: Kết hợp chất lượng tái tạo và phạt độ dài để tối ưu hóa bộ tóm tắt trực tiếp từ dữ liệu trajectory thô.", "Suy luận tinh gọn: Chỉ giữ lại bộ tóm tắt nhẹ tại thời điểm inference, không cần sửa đổi kiến trúc hay hành vi của agent.", "Tiết kiệm chi phí đáng kể: Giảm khoảng 78% chi phí suy luận trên DeepSearchQA và 75% trên SWE-bench Verified so với giữ toàn bộ ngữ cảnh, độ suy giảm hiệu năng tuyệt đối chỉ 0.04.", "Khả năng chuyển giao không cần fine-tuning: Trọng số mô hình có thể áp dụng trực tiếp qua nhiều mô hình downstream và agent harness khác nhau."], "sub_category": "Agent Memory & Context Compression", "novelty_score": 78, "business_score": 84, "research_score": 79, "why_it_matters": "Trong các hệ thống agent LLM thực thi tác vụ dài hạn, sự bùng nổ ngữ cảnh tương tác khiến chi phí API tăng vọt và làm chậm tốc độ xử lý. Hầu hết các kỹ thuật nén trước đây đều bị phụ thuộc chặt vào tác vụ hoặc mô hình cụ thể. SumOne giải quyết bài toán này bằng cách tách rời bộ tóm tắt với cơ chế tự giám sát qua GRPO, cho phép giảm tới 75-78% chi phí suy luận với độ suy giảm hiệu năng không đáng kể (0.04). Đây là bước tiến thực tiễn giúp doanh nghiệp và lập trình viên tối ưu hóa chi phí vận hành agent quy mô lớn mà không cần thay đổi kiến trúc hiện có.", "developer_score": 88, "importance_score": 82, "possible_use_cases": ["Tối ưu chi phí token và duy trì ngữ cảnh cho coding agents thực hiện sửa lỗi và phát triển phần mềm trên repo lớn (tương tự SWE-bench).", "Nén bộ nhớ cho các tác vụ nghiên cứu sâu và tìm kiếm thông tin đa bước (Deep Search / Multi-step QA) kéo dài nhiều lượt tương tác.", "Tích hợp làm mô-đun nén ngữ cảnh độc lập vào các framework agent phổ biến (LangGraph, CrewAI, AutoGen).", "Giảm chi phí hạ tầng và vận hành API cho doanh nghiệp triển khai agent tự động hóa quy trình nghiệp vụ dài hạn."], "actionability_score": 85}