Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

TrackMem: Tracking Evolving Beliefs in Long-Horizon Financial Dialogue

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

62 RADAR
Agents Agent Memory Systems · 1 nguồn đối chiếu · 2026-11-01 15:43:41 +0000 UTC

TrackMem: Tracking Evolving Beliefs in Long-Horizon Financial Dialogue

Nguồn: arXiv AI
↗

TrackMem là hệ thống bộ nhớ đồ thị theo người nói dành cho LLM agent trong hội thoại tài chính dài hạn, giúp giải quyết bài toán số liệu bị điều chỉnh và quan điểm dịch chuyển theo thời gian. Thay vì chỉ truy xuất theo độ tương đồng hoặc độ mới như RAG truyền thống (dễ lấy nhầm số liệu cũ), TrackMem lưu vết lịch sử biến động số liệu, tách biệt góc nhìn theo thực thể/lăng kính và duy trì thứ tự hành động. Trên benchmark mới FinLoCoMo (765 câu hỏi), TrackMem đạt độ chính xác vĩ mô 73.9% trên tập failure-mode và 86.5% ở các câu hỏi về số liệu điều chỉnh, vượt trội so với các baseline hiện có.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Trong tài chính, việc dùng nhầm số liệu cũ đã bị đính chính có thể dẫn đến quyết định đầu tư sai lầm. TrackMem giải quyết trực diện bài toán theo dõi niềm tin tiến hóa (evolving beliefs) mà các giải pháp tìm kiếm ngữ nghĩa truyền thống bó tay, tạo tiền đề xây dựng agent tài chính có độ tin cậy cao.

Developer 71
Business 72
Novelty 80
Actionable 68

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Memory systems for LLM agents are evaluated mostly on social dialogue, where facts accumulate and rarely change, so remembering reduces largely to finding the turn in which something was said. Financial dialogue breaks this assumption: figures are revised, stances shift without being restated, rules stated once govern later questions, and a single company is discussed under several analytical lenses. Memory systems that retrieve the passages most similar to a question, or the most recent ones, therefore return superseded values, miss rules that share no wording with the question, and cannot recover a stance spread across sessions. We present TrackMem, a per-speaker graph memory that tracks the history of figures, separates perspectives by entity and lens, and preserves each speaker's actions in chronological order. To evaluate it, we introduce FinLoCoMo, a benchmark of 15 long-horizon investment conversations with 765 questions in two splits: one following the LoCoMo categories and one targeting four failure modes. With two readers, TrackMem outperforms existing memory systems on both splits. On the failure-mode split it reaches 73.9% macro accuracy against 69.4% for the strongest baseline, with the largest gains on questions about revised figures (86.5% against 73.4%).

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-03 11:28:45 +0000 UTC
{"tags": ["LLM Agents", "Agent Memory", "Financial Dialogue", "Graph Memory", "Belief Tracking", "FinLoCoMo"], "risks": ["Chi phí duy trì và độ trễ đồ thị: Việc trích xuất và cập nhật liên tục đồ thị per-speaker trong thời gian thực có thể tốn tài nguyên tính toán.", "Sai lệch lan truyền: Nếu khâu trích xuất thực thể, lăng kính phân tích hoặc mốc thời gian ban đầu bị lỗi, đồ thị bộ nhớ sẽ lưu trữ thông tin sai.", "Quy mô kiểm nghiệm ban đầu: Benchmark FinLoCoMo hiện có quy mô 15 cuộc hội thoại tài chính, cần kiểm chứng thêm ở các môi trường thực tế quy mô lớn hơn."], "category": "Agents", "entities": ["TrackMem", "FinLoCoMo", "LoCoMo"], "summary_vi": "TrackMem là hệ thống bộ nhớ đồ thị theo người nói dành cho LLM agent trong hội thoại tài chính dài hạn, giúp giải quyết bài toán số liệu bị điều chỉnh và quan điểm dịch chuyển theo thời gian. Thay vì chỉ truy xuất theo độ tương đồng hoặc độ mới như RAG truyền thống (dễ lấy nhầm số liệu cũ), TrackMem lưu vết lịch sử biến động số liệu, tách biệt góc nhìn theo thực thể/lăng kính và duy trì thứ tự hành động. Trên benchmark mới FinLoCoMo (765 câu hỏi), TrackMem đạt độ chính xác vĩ mô 73.9% trên tập failure-mode và 86.5% ở các câu hỏi về số liệu điều chỉnh, vượt trội so với các baseline hiện có.", "key_changes": ["Đề xuất TrackMem: Kiến trúc bộ nhớ đồ thị theo từng người nói (per-speaker graph memory) theo dõi lịch sử số liệu, phân tách quan điểm theo thực thể và lăng kính phân tích, bảo toàn thứ tự thời gian.", "Khắc phục hạn chế của RAG và bộ nhớ truyền thống: Loại bỏ việc lấy nhầm số liệu cũ đã bị thay thế (superseded values), nhận diện quy tắc ngữ cảnh không trùng từ khóa và tổng hợp quan điểm phân tán qua nhiều phiên hội thoại.", "Ra mắt FinLoCoMo: Bộ benchmark gồm 15 cuộc hội thoại đầu tư dài hạn với 765 câu hỏi, chia thành hai tập kiểm thử (chuẩn LoCoMo và 4 dạng failure mode trong tài chính).", "Cải thiện hiệu năng truy xuất và trả lời: Đạt 73.9% macro accuracy trên tập failure-mode (baseline mạnh nhất đạt 69.4%), vượt trội ở câu hỏi về số liệu đã điều chỉnh (86.5% so với 73.4%)."], "sub_category": "Agent Memory Systems", "novelty_score": 80, "business_score": 78, "research_score": 84, "why_it_matters": "Trong tài chính, việc dùng nhầm số liệu cũ đã bị đính chính có thể dẫn đến quyết định đầu tư sai lầm. TrackMem giải quyết trực diện bài toán theo dõi niềm tin tiến hóa (evolving beliefs) mà các giải pháp tìm kiếm ngữ nghĩa truyền thống bó tay, tạo tiền đề xây dựng agent tài chính có độ tin cậy cao.", "developer_score": 76, "importance_score": 77, "possible_use_cases": ["Trợ lý AI phân tích đầu tư: Theo dõi lịch sử điều chỉnh doanh thu, EPS, định giá qua các phiên họp và báo cáo mà không bị nhầm lẫn dữ liệu cũ.", "Hệ thống Agent đàm phán và tư vấn tài chính dài hạn: Lưu trữ quy tắc đàm phán, chính sách và quan điểm của từng bên qua nhiều cuộc hội thoại.", "Benchmark kiểm thử bộ nhớ Agent: Dùng FinLoCoMo để đánh giá năng lực cập nhật trạng thái niềm tin (belief tracking) của các mô hình LLM."], "actionability_score": 68}
← Trang trước Trang 1