Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

66 RADAR
Research Long-Video Understanding · 1 nguồn đối chiếu · 2026-09-29 17:59:01 +0000 UTC

Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies

Nguồn: arXiv AI
↗

GEB (Grounded Entity Biographies) là khung bộ nhớ cho video dài, gom nhóm các quan sát thị giác về cùng một thực thể vật lý qua nhiều clip thành hồ sơ tiểu sử có thể truy xuất. Phương pháp này giải quyết hạn chế của mô tả thời gian tuyến tính, giúp mô hình theo vết thực thể qua nhiều sự kiện và đạt 72,0% độ chính xác trên EgoLifeQA (+4,4% so với kết quả tốt nhất trước đó).

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Các phương pháp tiếp cận video dài hiện nay thường dựa vào mô tả tuần tự hoặc thực thể dạng văn bản, dễ làm mất định danh vật lý và đứt gãy lịch sử của đối tượng qua nhiều giờ hoặc nhiều ngày. GEB giải quyết nút thắt này bằng cách liên kết thực thể dựa trên thị giác (visual grounding), cho phép mô hình truy vết chính xác một đối tượng cụ thể xuyên suốt video dài, nâng cao rõ rệt hiệu năng của hệ thống Video QA và trợ lý thị giác thực tế.

Developer 70
Business 72
Novelty 82
Actionable 68

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Answering questions about long videos often requires connecting events involving the same objects across hours or days. Chronological descriptions and text-derived entities can leave physical identity unresolved: different objects may share a description, while observations of the same object remain disconnected across events. Retrieving relevant events therefore does not necessarily recover the "biography" of the particular entity a question concerns. To address this, we introduce Grounded Entity Biographies (GEB), a long-video memory framework that groups visually grounded observations of the same physical instance across clips into retrievable biographies while preserving the context of each moment. During question answering, the biography is retrieved alongside episodic evidence, allowing the model to follow an entity through events using identity links established during memory construction. Evaluations across four benchmarks, including day-long and week-long recordings, demonstrate improvements over prior memory frameworks in both multiple-choice and open-ended question answering. On EgoLifeQA, GEB achieves 72.0% accuracy, 4.4 percentage points above the best published result. Ablations show that grounded identity association and biography reading both contribute to the gains, which additional descriptions alone do not fully recover.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-09-30 10:33:30 +0000 UTC
{"tags": ["Long-Video Memory", "Video Understanding", "Entity Tracking", "Video QA", "Multimodal AI", "EgoLifeQA"], "risks": ["Chi phí tài nguyên tính toán và bộ nhớ lớn khi xử lý liên kết thực thể thị giác xuyên suốt video dài hàng ngày/tuần.", "Rủi ro nhầm lẫn hoặc trôi định danh (identity drift) giữa các thực thể có hình dáng tương đồng hoặc khi điều kiện quan sát thay đổi mạnh.", "Vấn đề bảo mật và quyền riêng tư khi hệ thống theo dõi chi tiết tiểu sử hoạt động của người và vật thể trong đời thực."], "category": "Research", "entities": ["Grounded Entity Biographies (GEB)", "EgoLifeQA"], "summary_vi": "GEB (Grounded Entity Biographies) là khung bộ nhớ cho video dài, gom nhóm các quan sát thị giác về cùng một thực thể vật lý qua nhiều clip thành hồ sơ tiểu sử có thể truy xuất. Phương pháp này giải quyết hạn chế của mô tả thời gian tuyến tính, giúp mô hình theo vết thực thể qua nhiều sự kiện và đạt 72,0% độ chính xác trên EgoLifeQA (+4,4% so với kết quả tốt nhất trước đó).", "key_changes": ["Giới thiệu khung bộ nhớ Grounded Entity Biographies (GEB) gom nhóm các quan sát thị giác của cùng một thực thể vật lý qua nhiều clip thành hồ sơ tiểu sử có thể truy xuất.", "Bảo tồn ngữ cảnh thời điểm đồng thời thiết lập liên kết định danh vật lý (grounded identity links) ngay trong quá trình xây dựng bộ nhớ.", "Truy xuất song song tiểu sử thực thể cùng với bằng chứng phân đoạn (episodic evidence) trong quá trình trả lời câu hỏi (QA).", "Đạt 72,0% độ chính xác trên EgoLifeQA (+4,4 điểm phần trăm so với kỷ lục công bố trước đó) và cải thiện trên 4 benchmark video dài ngày/tuần."], "sub_category": "Long-Video Understanding", "novelty_score": 82, "business_score": 75, "research_score": 88, "why_it_matters": "Các phương pháp tiếp cận video dài hiện nay thường dựa vào mô tả tuần tự hoặc thực thể dạng văn bản, dễ làm mất định danh vật lý và đứt gãy lịch sử của đối tượng qua nhiều giờ hoặc nhiều ngày. GEB giải quyết nút thắt này bằng cách liên kết thực thể dựa trên thị giác (visual grounding), cho phép mô hình truy vết chính xác một đối tượng cụ thể xuyên suốt video dài, nâng cao rõ rệt hiệu năng của hệ thống Video QA và trợ lý thị giác thực tế.", "developer_score": 72, "importance_score": 80, "possible_use_cases": ["Trợ lý thị giác cá nhân góc nhìn thứ nhất (egocentric AI) theo dõi vị trí và lịch sử di chuyển của đồ vật qua nhiều ngày.", "Hệ thống camera an ninh và giám sát thông minh theo vết đối tượng hoặc phương tiện qua các khung hình ngắt quãng dài.", "Robot dịch vụ duy trì nhận diện và vị trí các công cụ, đồ vật qua các ca làm việc kéo dài.", "Truy vấn và hỏi đáp tự động trên kho lưu trữ video thời lượng lớn (nhật ký giám sát, livestream dài ngày)."], "actionability_score": 68}