Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

How Deep is the Signal? Time-Context up to 30 Years for Colorectal Cancer Prediction in a Primary-Care EHR Model

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

65 RADAR
Research Healthcare AI · 1 nguồn đối chiếu · 2026-11-05 00:34:47 +0000 UTC

How Deep is the Signal? Time-Context up to 30 Years for Colorectal Cancer Prediction in a Primary-Care EHR Model

Nguồn: arXiv AI
↗

Nghiên cứu đánh giá có hệ thống đầu tiên về time-context (khung thời gian hồi cứu theo lịch, phân biệt với token-context) kéo dài tới 30 năm cho mô hình nền tảng EHR (decoder-only transformer 34,6M tham số) nhằm dự đoán ung thư đại trực tràng tại North West London. Kết quả cho thấy khả năng phân biệt (AUROC) tăng từ 0,551 ở mốc 2 năm lên 0,590 ở 18 năm rồi đi ngang, trong đó 80% mức tăng đạt được trong 10 năm đầu và tương đương baseline XGBoost (0,589). Đồng thời, nghiên cứu phát hiện cơ chế RoPE theo thời gian trôi qua bị hiện tượng răng cưa (aliasing) sau khoảng 20 năm ở tần số mặc định, cần tinh chỉnh lại tham số theta.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu xác lập time-context là trục thiết kế cốt lõi cần báo cáo trong AI y tế. Việc chứng minh 80% tín hiệu nằm trong 10 năm đầu giúp kỹ sư ML và bệnh viện tối ưu hóa chi phí lưu trữ/tính toán thay vì cố nhồi nhét dữ liệu hàng thập kỷ, đồng thời cảnh báo giới hạn kiến trúc của RoPE trên chuỗi thời gian dài.

Developer 73
Business 68
Novelty 82
Actionable 75

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

EHR foundation models read medical events within a fixed context window, and long context has so far been measured only in tokens. How far back in time a model must look to capture the earliest predictive signal is unknown. We introduce time-context, the calendar lookback window before the prediction point, and provide, to our knowledge, the first systematic evaluation of decade-scale time-context for an EHR foundation model. We pretrained a decoder-only transformer (34.6M parameters) on 1.4B coded events from 3.6M primary-care patients in North West London and fine-tuned it to predict incident colorectal cancer under a 12-month pre-diagnostic buffer. A frozen cohort of 1,008 cases and 9,582 matched controls, all registered for at least 30 years, was evaluated at 15 nested lookback windows from 2 to 30 years, so that every truncation is compared within the same patients. Discrimination rose from an AUROC of 0.551 at 2 years to 0.590 at 18 years, then plateaued, with about 80% of the gain reached within 10 years; an XGBoost baseline converged to the same level (peak AUROC 0.589). A simulation further suggests that rotary position embeddings (RoPE) over elapsed time alias beyond about 20 years at the default base frequency, motivating a retuned $θ$. Time-context is a measurable design axis for clinical prediction models, distinct from token-context, and should be reported.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-06 09:58:00 +0000 UTC
{"tags": ["EHR", "Foundation Models", "Time-Context", "Colorectal Cancer", "RoPE", "Clinical AI", "Transformers"], "risks": ["Độ phân biệt dự đoán còn khiêm tốn (AUROC ~0,590), tiềm ẩn rủi ro cảnh báo sai nếu ứng dụng lâm sàng độc lập mà thiếu xét nghiệm chuyên sâu.", "Lỗi biểu diễn vị trí do RoPE aliasing khi áp dụng cho chuỗi sự kiện vượt quá 20 năm nếu không cấu hình lại base frequency.", "Chi phí truy xuất và lưu trữ dữ liệu y tế lịch sử trên 10 năm có ROI thấp do tín hiệu gia tăng không đáng kể.", "Tính khái quát hóa có thể bị hạn chế do dữ liệu chỉ từ hệ thống chăm sóc ban đầu tại North West London và một loại ung thư cụ thể."], "category": "Research", "entities": ["North West London", "XGBoost", "RoPE", "Transformer", "AUROC"], "summary_vi": "Nghiên cứu đánh giá có hệ thống đầu tiên về time-context (khung thời gian hồi cứu theo lịch, phân biệt với token-context) kéo dài tới 30 năm cho mô hình nền tảng EHR (decoder-only transformer 34,6M tham số) nhằm dự đoán ung thư đại trực tràng tại North West London. Kết quả cho thấy khả năng phân biệt (AUROC) tăng từ 0,551 ở mốc 2 năm lên 0,590 ở 18 năm rồi đi ngang, trong đó 80% mức tăng đạt được trong 10 năm đầu và tương đương baseline XGBoost (0,589). Đồng thời, nghiên cứu phát hiện cơ chế RoPE theo thời gian trôi qua bị hiện tượng răng cưa (aliasing) sau khoảng 20 năm ở tần số mặc định, cần tinh chỉnh lại tham số theta.", "key_changes": ["Định nghĩa và thiết lập time-context (khung thời gian hồi cứu theo lịch) như một trục thiết kế độc lập với token-context trong mô hình EHR.", "Đánh giá thực nghiệm quy mô 30 năm trên cohort cố định gồm 1.008 ca bệnh và 9.582 đối chứng qua 15 cửa sổ hồi cứu lồng nhau.", "Xác định trần tín hiệu: AUROC tăng từ 0,551 (2 năm) lên 0,590 (18 năm) rồi bão hòa, với 80% mức tăng đạt được ngay trong 10 năm đầu.", "Mô hình XGBoost baseline đạt hiệu năng tương đương transformer (AUROC cực đại 0,589).", "Phát hiện RoPE mã hóa theo thời gian trôi qua gặp hiện tượng răng cưa (aliasing) sau ~20 năm với tần số cơ sở mặc định, đòi hỏi tinh chỉnh tham số theta."], "sub_category": "Healthcare AI", "novelty_score": 82, "business_score": 70, "research_score": 88, "why_it_matters": "Nghiên cứu xác lập time-context là trục thiết kế cốt lõi cần báo cáo trong AI y tế. Việc chứng minh 80% tín hiệu nằm trong 10 năm đầu giúp kỹ sư ML và bệnh viện tối ưu hóa chi phí lưu trữ/tính toán thay vì cố nhồi nhét dữ liệu hàng thập kỷ, đồng thời cảnh báo giới hạn kiến trúc của RoPE trên chuỗi thời gian dài.", "developer_score": 78, "importance_score": 78, "possible_use_cases": ["Tối ưu hóa cửa sổ thu thập và xử lý dữ liệu EHR xuống 10-15 năm nhằm giảm tải tài nguyên tính toán mà vẫn giữ 80%+ độ chính xác.", "Hệ thống sàng lọc và cảnh báo sớm nguy cơ ung thư đại trực tràng trong các phần mềm chăm sóc sức khỏe ban đầu.", "Hiệu chỉnh tham số nhúng vị trí RoPE cho các mô hình AI xử lý chuỗi sự kiện y tế/tài chính dài hạn hàng thập kỷ.", "Cân nhắc triển khai XGBoost thay vì transformer phức tạp để tiết kiệm chi phí vận hành khi hiệu năng tương đương."], "actionability_score": 75}