Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

CoEM: Empowering Long-Context Reasoning with Commit-on-Evidence Memory

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

67 RADAR
Research Long-Context LLMs & Memory Architectures · 1 nguồn đối chiếu · 2026-09-29 07:48:18 +0000 UTC

CoEM: Empowering Long-Context Reasoning with Commit-on-Evidence Memory

Nguồn: arXiv AI
↗

CoEM (Commit-on-Evidence Memory) là kiến trúc bộ nhớ mới dành cho mô hình ngôn ngữ lớn (LLM), giúp giải quyết vấn đề nén thông tin quá sớm làm mất chi tiết khi xử lý ngữ cảnh siêu dài. CoEM lưu giữ nguyên văn các trích đoạn nguồn trong một tập chờ (pending set) và sử dụng chính sách học tăng cường cùng bộ kiểm chứng đóng băng (frozen verifier) để quyết định thời điểm nén thành dữ kiện cam kết. Trên mô hình Qwen3.5-9B với 6.400 tài liệu, CoEM vượt qua baseline mạnh nhất 10.4-11.4 điểm F1.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

CoEM giải quyết mâu thuẫn cốt lõi giữa giới hạn bộ nhớ ngữ cảnh và nguy cơ mất thông tin khi nén vội vã. Cơ chế trì hoãn nén cho đến khi có đủ bằng chứng xác thực cùng quy trình kiểm chứng giúp mô hình xử lý hiệu quả hàng nghìn tài liệu với chi phí bộ nhớ cố định.

Developer 76
Business 70
Novelty 85
Actionable 78

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Long-context reasoning is essential for complex and long-horizon tasks, yet the performance of large language models (LLMs) degrades as context length increases. Recent approaches address this by processing input chunk by chunk while maintaining a bounded textual memory in model context. However, premature information compression can discard critical details essential for subsequent reasoning. In this paper, we introduce Commit-on-Evidence Memory (CoEM), which learns when to convert source evidence into compact memory facts. Specifically, under a fixed context-memory budget, CoEM preserves potentially useful source excerpts verbatim in a pending set, allowing subsequent context to clarify their relevance before irreversible compression. As new context arrives, a learned policy revisits each pending excerpt and decides whether to promote it to the committed memory, retain it for further consideration, or discard it. A frozen verifier ensures proposed facts are accepted only if supported by retained excerpts and current context. To further guide effective memory management, we train this policy using reinforcement learning by combining fine-grained, step-level evidence rewards with final answer rewards. Extensive experiments demonstrate that CoEM consistently improves long-context reasoning. When evaluated on 6,400 documents long-context input, CoEM outperforms the strongest memory baseline by 10.4-11.4 F1 points on Qwen3.5-9B. Code repository: https://github.com/benmagnifico/CoEM.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-09-30 09:36:04 +0000 UTC
{"tags": ["CoEM", "Long-Context Reasoning", "LLM Memory", "Reinforcement Learning", "Context Management", "Qwen3.5"], "risks": ["Gia tăng độ trễ và chi phí suy luận do phải chạy thêm policy đánh giá và verifier qua mỗi chunk dữ liệu.", "Độ phức tạp huấn luyện RL cao khi cần thiết kế phần thưởng ở cấp độ bước chính xác cho từng miền bài toán cụ thể.", "Phụ thuộc vào kích thước ngân sách bộ nhớ cố định và độ nhạy của bộ trích xuất bằng chứng ban đầu."], "category": "Research", "entities": ["CoEM", "Commit-on-Evidence Memory", "Qwen3.5-9B", "GitHub (benmagnifico/CoEM)"], "summary_vi": "CoEM (Commit-on-Evidence Memory) là kiến trúc bộ nhớ mới dành cho mô hình ngôn ngữ lớn (LLM), giúp giải quyết vấn đề nén thông tin quá sớm làm mất chi tiết khi xử lý ngữ cảnh siêu dài. CoEM lưu giữ nguyên văn các trích đoạn nguồn trong một tập chờ (pending set) và sử dụng chính sách học tăng cường cùng bộ kiểm chứng đóng băng (frozen verifier) để quyết định thời điểm nén thành dữ kiện cam kết. Trên mô hình Qwen3.5-9B với 6.400 tài liệu, CoEM vượt qua baseline mạnh nhất 10.4-11.4 điểm F1.", "key_changes": ["Giới thiệu Commit-on-Evidence Memory (CoEM) nhằm giải quyết suy giảm hiệu năng và hiện tượng nén thông tin quá sớm (premature compression) khi xử lý ngữ cảnh dài theo từng chunk.", "Sử dụng tập chờ (pending set) để lưu nguyên văn các trích đoạn nguồn trong ngân sách bộ nhớ cố định, cho phép các đoạn ngữ cảnh sau làm rõ mức độ liên quan trước khi nén vĩnh viễn.", "Học một chính sách (learned policy) để quyết định thăng cấp trích đoạn vào bộ nhớ cam kết (committed memory), tiếp tục giữ lại để theo dõi hay loại bỏ khi ngữ cảnh mới xuất hiện.", "Tích hợp bộ kiểm chứng đóng băng (frozen verifier) để đảm bảo dữ kiện chỉ được ghi nhận vào bộ nhớ nếu được chứng minh bởi trích đoạn và ngữ cảnh hiện tại.", "Huấn luyện chính sách quản lý bộ nhớ bằng học tăng cường (RL) kết hợp phần thưởng bằng chứng cấp độ bước (step-level evidence rewards) với phần thưởng câu trả lời cuối cùng.", "Đạt mức cải thiện 10.4-11.4 điểm F1 so với baseline mạnh nhất trên mô hình Qwen3.5-9B khi đánh giá với dữ liệu đầu vào lên tới 6.400 tài liệu; mã nguồn mở tại GitHub."], "sub_category": "Long-Context LLMs & Memory Architectures", "novelty_score": 85, "business_score": 72, "research_score": 88, "why_it_matters": "CoEM giải quyết mâu thuẫn cốt lõi giữa giới hạn bộ nhớ ngữ cảnh và nguy cơ mất thông tin khi nén vội vã. Cơ chế trì hoãn nén cho đến khi có đủ bằng chứng xác thực cùng quy trình kiểm chứng giúp mô hình xử lý hiệu quả hàng nghìn tài liệu với chi phí bộ nhớ cố định.", "developer_score": 80, "importance_score": 82, "possible_use_cases": ["Phân tích, tổng hợp và trả lời câu hỏi trên kho tài liệu siêu lớn (hàng nghìn tài liệu pháp lý, tài chính, học thuật).", "Xây dựng tác nhân AI (AI Agents) thực hiện suy luận đa bước, đường dài (long-horizon reasoning) mà không làm bùng nổ context token.", "Hệ thống RAG và quản lý bộ nhớ dài hạn có kiểm chứng, hạn chế ảo giác thông tin nén cho mô hình ngôn ngữ."], "actionability_score": 78}
← Trang trước Trang 1