Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Can JEV Support Clinical Trial Criteria Assessment?

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

64 RADAR
Research Clinical Decision Support · 1 nguồn đối chiếu · 2026-10-26 16:41:12 +0000 UTC

Can JEV Support Clinical Trial Criteria Assessment?

Nguồn: arXiv AI
↗

Nghiên cứu hồi cứu so sánh JEV (mô hình ra quyết định phi tạo sinh trả về xác suất lựa chọn gốc) với Qwen Flash (mô hình ngôn ngữ có ràng buộc schema) trên 2.048 cặp bệnh nhân - tiêu chí từ TrialGPT, MIMIC-III và MIMIC-IV dưới chính sách Zero Data Retention. JEV đạt macro-F1 tương đương trên TrialGPT và MIMIC-IV nhưng vượt trội rõ rệt trên MIMIC-III (0.768 so với 0.534) nhờ khả năng phát hiện thiếu thông tin tốt hơn (recall 56.3% vs 9.9%). Đồng thời, JEV giảm 53%-74% chi phí và giảm độ trễ xuống còn 1.18-1.40 giây, phù hợp làm tầng sàng lọc ban đầu kết hợp đánh giá của con người.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Chứng minh các mô hình phi tạo sinh (non-generative) chuyên biệt có thể xử lý hiệu quả bài toán phân loại thông tin thiếu tốt hơn LLM tổng quát, đồng thời tiết kiệm đáng kể chi phí hạ tầng và độ trễ trong các ứng dụng y tế thực tế.

Developer 73
Business 74
Novelty 72
Actionable 75

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Clinical trial prescreening requires distinguishing unmet conditions from insufficient evidence in patient records. Given patient records, criterion questions, and predefined answer options, we retrospectively compared JEV, a non-generative decision model returning native option probabilities, with schema-constrained Qwen Flash across 2,048 test patient-condition pairs from TrialGPT and question-answer datasets derived from MIMIC-III and MIMIC-IV, all evaluated under strict Zero Data Retention (ZDR) policies to ensure clinical data privacy. Both models assessed conditions individually or in batches sharing the same patient context, with performance measured against reference labels. In batch mode, JEV and Qwen achieved similar macro-F1 scores on TrialGPT (0.652 vs. 0.660) and MIMIC-IV (0.807 vs. 0.814), whereas JEV substantially outperformed Qwen on MIMIC-III (0.768 vs. 0.534; $Δ$ = +0.234, 95% CI: 0.187-0.281). This advantage largely reflected higher recall for conditions labeled as having insufficient information (56.3% vs. 9.9%). Across all three datasets, JEV also had lower observed median job latency (1.18-1.40 vs. 2.80-8.90 s) and 53%-74% lower estimated cost per condition. These findings position JEV as an initial assessment component that provides criterion-level judgments and flags potential information gaps for review. JEV's observed errors in interpreting clinical evidence underscore the need to verify its outputs against patient records before they inform eligibility decisions.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-27 12:52:39 +0000 UTC
{"tags": ["JEV", "Qwen Flash", "Clinical Trials", "Prescreening", "Medical AI", "Zero Data Retention", "NLP"], "risks": ["JEV vẫn gặp lỗi diễn giải bằng chứng lâm sàng, bắt buộc phải có bước kiểm chứng thủ công trước khi ra quyết định điều kiện tham gia.", "Hiệu năng mô hình phụ thuộc vào chất lượng dữ liệu bệnh án và việc chuẩn hóa định dạng câu hỏi/lựa chọn đáp án."], "category": "Research", "entities": ["JEV", "Qwen Flash", "TrialGPT", "MIMIC-III", "MIMIC-IV"], "summary_vi": "Nghiên cứu hồi cứu so sánh JEV (mô hình ra quyết định phi tạo sinh trả về xác suất lựa chọn gốc) với Qwen Flash (mô hình ngôn ngữ có ràng buộc schema) trên 2.048 cặp bệnh nhân - tiêu chí từ TrialGPT, MIMIC-III và MIMIC-IV dưới chính sách Zero Data Retention. JEV đạt macro-F1 tương đương trên TrialGPT và MIMIC-IV nhưng vượt trội rõ rệt trên MIMIC-III (0.768 so với 0.534) nhờ khả năng phát hiện thiếu thông tin tốt hơn (recall 56.3% vs 9.9%). Đồng thời, JEV giảm 53%-74% chi phí và giảm độ trễ xuống còn 1.18-1.40 giây, phù hợp làm tầng sàng lọc ban đầu kết hợp đánh giá của con người.", "key_changes": ["So sánh hồi cứu mô hình phi tạo sinh JEV với LLM có ràng buộc schema Qwen Flash trên 2.048 cặp bệnh nhân - tiêu chí từ TrialGPT, MIMIC-III và MIMIC-IV.", "JEV đạt hiệu năng tương đương trên TrialGPT (F1 0.652 vs 0.660) và MIMIC-IV (0.807 vs 0.814), nhưng vượt trội lớn trên MIMIC-III (0.768 vs 0.534).", "Cải thiện đáng kể độ nhạy (recall) trong việc phát hiện các điều kiện thiếu thông tin bằng chứng (56.3% so với 9.9% của Qwen Flash).", "Giảm độ trễ xử lý trung vị xuống còn 1.18 - 1.40 giây (so với 2.80 - 8.90 giây) và cắt giảm 53% - 74% chi phí ước tính trên mỗi tiêu chí.", "Thực hiện theo chính sách Zero Data Retention (ZDR) để đảm bảo bảo mật dữ liệu y tế nhạy cảm."], "sub_category": "Clinical Decision Support", "novelty_score": 72, "business_score": 80, "research_score": 82, "why_it_matters": "Chứng minh các mô hình phi tạo sinh (non-generative) chuyên biệt có thể xử lý hiệu quả bài toán phân loại thông tin thiếu tốt hơn LLM tổng quát, đồng thời tiết kiệm đáng kể chi phí hạ tầng và độ trễ trong các ứng dụng y tế thực tế.", "developer_score": 78, "importance_score": 75, "possible_use_cases": ["Sàng lọc sơ bộ tiêu chuẩn tuyển chọn bệnh nhân tham gia thử nghiệm lâm sàng (clinical trial prescreening).", "Gắn cờ tự động các khoảng trống thông tin và bằng chứng lâm sàng còn thiếu trong bệnh án điện tử để chuyên viên rà soát.", "Làm tầng tiền xử lý/bộ lọc đầu vào chi phí thấp và độ trễ thấp trong các pipeline NLP y tế."], "actionability_score": 75}