Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

SurgStream: A Workflow-Anchored Proactive Streaming Framework and Benchmark for Real-Time Surgical Video Understanding

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

62 RADAR
Research Surgical Video Understanding · 1 nguồn đối chiếu · 2026-11-01 15:18:31 +0000 UTC

SurgStream: A Workflow-Anchored Proactive Streaming Framework and Benchmark for Real-Time Surgical Video Understanding

Nguồn: arXiv AI
↗

SurgStream là một framework và benchmark streaming chủ động hỗ trợ hiểu video phẫu thuật thời gian thực. Mô hình kết hợp bộ nhớ Workflow-Anchored Memory (WAM) để lưu trữ cấu trúc diễn biến theo pha phẫu thuật và kỹ thuật Deadline-aware Transition Learning (DTL) để kích hoạt phản hồi kịp thời trước thời hạn lâm sàng. Hệ thống đi kèm SurgStream-Bench với 11.700 tương tác streaming và vượt trội ở các tác vụ truy vấn bộ nhớ và hỏi đáp chủ động.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Giải quyết thách thức lớn nhất của AI hỗ trợ phẫu thuật hiện nay: không chỉ nhận diện thời gian thực mà còn phải ghi nhớ tiến trình thủ thuật và chủ động đưa ra phản hồi đúng thời điểm lâm sàng trước khi thời khắc quan trọng trôi qua.

Developer 67
Business 69
Novelty 82
Actionable 65

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Surgical video understanding is essential for intraoperative assistance such as workflow monitoring, instrument preparation and procedural documentation. Delivering such assistance in real time requires a model to jointly perceive the ongoing scene, remember past surgical events, and respond before clinically relevant moments pass. Existing approaches provide limited support for jointly retaining procedural evidence and deciding when to respond in streaming surgical video. In this work, we propose SurgStream, a workflow-anchored proactive streaming framework for real-time surgical video understanding. We first introduce Workflow-Anchored Memory (WAM) to record structured instrument-action-target observations and fold them into phase-level summaries, providing compact and queryable surgical memory. Deadline-aware Transition Learning (DTL) is then devised to supervise response states within clinical windows, enabling timely responses before procedural deadlines. We further introduce SurgStream-Bench, comprising 11.7K streaming interactions across various tasks covering real-time perception, backward memory queries, forward proactive QA, proactive alerts and caption memory. Experiments on SurgStream-Bench show gains over state-of-the-art methods, especially in memory and forward proactive QA. The source code will be available.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-03 11:30:49 +0000 UTC
{"tags": ["Surgical AI", "Video Understanding", "Streaming Video", "Computer Vision", "Healthcare", "Benchmark"], "risks": ["Độ trễ tính toán khi streaming thực tế có thể ảnh hưởng đến tính kịp thời của cảnh báo trong ca mổ.", "Nguy cơ sai sót trong môi trường lâm sàng thực tế đòi hỏi thử nghiệm và phê duyệt y tế nghiêm ngặt.", "Hiện chưa rõ chi tiết kiến trúc phần cứng yêu cầu để vận hành thời gian thực."], "category": "Research", "entities": ["SurgStream", "Workflow-Anchored Memory (WAM)", "Deadline-aware Transition Learning (DTL)", "SurgStream-Bench"], "summary_vi": "SurgStream là một framework và benchmark streaming chủ động hỗ trợ hiểu video phẫu thuật thời gian thực. Mô hình kết hợp bộ nhớ Workflow-Anchored Memory (WAM) để lưu trữ cấu trúc diễn biến theo pha phẫu thuật và kỹ thuật Deadline-aware Transition Learning (DTL) để kích hoạt phản hồi kịp thời trước thời hạn lâm sàng. Hệ thống đi kèm SurgStream-Bench với 11.700 tương tác streaming và vượt trội ở các tác vụ truy vấn bộ nhớ và hỏi đáp chủ động.", "key_changes": ["Đề xuất kiến trúc Workflow-Anchored Memory (WAM) ghi nhận bộ ba dụng cụ - hành vi - mục tiêu và nén thành tóm tắt theo từng pha phẫu thuật.", "Phát triển phương pháp Deadline-aware Transition Learning (DTL) để giám sát trạng thái phản hồi trong cửa sổ lâm sàng, đảm bảo phản hồi trước thời hạn thủ thuật.", "Giới thiệu SurgStream-Bench gồm 11,7K tương tác streaming trên các tác vụ nhận thức thời gian thực, truy vấn quá khứ, hỏi đáp chủ động, cảnh báo và ghi nhớ chú thích.", "Cam kết mở mã nguồn phục vụ cộng đồng nghiên cứu."], "sub_category": "Surgical Video Understanding", "novelty_score": 82, "business_score": 72, "research_score": 88, "why_it_matters": "Giải quyết thách thức lớn nhất của AI hỗ trợ phẫu thuật hiện nay: không chỉ nhận diện thời gian thực mà còn phải ghi nhớ tiến trình thủ thuật và chủ động đưa ra phản hồi đúng thời điểm lâm sàng trước khi thời khắc quan trọng trôi qua.", "developer_score": 70, "importance_score": 78, "possible_use_cases": ["Giám sát quy trình phòng mổ và đưa ra cảnh báo chủ động thời gian thực cho phẫu thuật viên.", "Tự động hóa ghi chép tài liệu phẫu thuật và hỗ trợ chuẩn bị dụng cụ y tế theo tiến trình.", "Phát triển trợ lý AI đồng hành (intraoperative assistant) trong phẫu thuật nội soi và phẫu thuật robot."], "actionability_score": 65}