Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Multimodal Prompt Learning with Dual-Granularity Contrastive Alignment for Preoperative Prediction of Lung Adenocarcinoma Invasiveness Using 3D CT

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

62 RADAR
Research Medical AI · 1 nguồn đối chiếu · 2026-11-02 13:28:16 +0000 UTC

Multimodal Prompt Learning with Dual-Granularity Contrastive Alignment for Preoperative Prediction of Lung Adenocarcinoma Invasiveness Using 3D CT

Nguồn: arXiv AI
↗

Nghiên cứu giới thiệu khung học nhắc đa phương thức (multimodal prompt learning) kết hợp căn chỉnh tương phản hai cấp độ (dual-granularity) nhằm phân loại mức độ xâm lấn của ung thư biểu mô tuyến phổi (lung adenocarcinoma) từ ảnh CT 3D trước phẫu thuật. Phương pháp tích hợp bộ mã hóa 3D ResNet-CBAM với mô hình ngôn ngữ RadBERT (được đóng băng và gắn learnable prompts khởi tạo từ báo cáo thực tế). Hệ thống căn chỉnh tương phản toàn cục giữa thể tích CT với báo cáo mô tả thuộc tính X-quang, đồng thời căn chỉnh cục bộ dựa trên Multiple Instance Learning giữa vùng không gian CT với từ khóa liên quan đến mạch máu. Thử nghiệm trên 1.593 nốt phổi được xác nhận giải phẫu bệnh cho thấy mô hình đạt độ chính xác 87,92%, F1-score 87,78% và AUC 0,9499, vượt trội có ý nghĩa thống kê so với baseline Res-CBAM chỉ dùng ảnh (AUC 0,9297, p = 0,0078), đồng thời giữ nguyên quy trình suy luận chỉ cần ảnh CT.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Phân biệt chính xác giữa ung thư biểu mô tuyến xâm lấn (IAD) và tổn thương tiền xâm lấn (Pre-IAD) trước phẫu thuật là yếu tố then chốt để lập kế hoạch điều trị cá nhân hóa và hạn chế phẫu thuật xâm lấn quá mức. Nghiên cứu giải quyết bài toán khó này bằng cách mượn tri thức giàu ngữ nghĩa từ báo cáo y khoa và từ khóa mạch máu trong quá trình huấn luyện để tối ưu biểu diễn hình ảnh, nhưng khi triển khai thực tế chỉ cần duy nhất dữ liệu ảnh CT 3D thông thường, tạo tính khả thi cao trong môi trường lâm sàng.

Developer 66
Business 61
Novelty 75
Actionable 65

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Accurate preoperative prediction of lung adenocarcinoma invasiveness is important for surgical planning and individualized treatment. However, overlapping CT appearances make it challenging to distinguish invasive adenocarcinoma (IAD) from Pre-IAD lesions. We propose a multimodal prompt-learning framework with dual-granularity image-text alignment for 3D CT-based IAD classification. A 3D ResNet-CBAM encoder extracts global and spatial visual features. A frozen RadBERT backbone is adapted with separate learnable prompts for report-level and keyword-level text encoding. These prompts are initialized using semantic representations derived from real-world clinical reports. Global contrastive alignment connects whole-volume CT representations with reports generated from clinician-annotated radiological attributes to provide overall semantic supervision. A multiple instance learning-based local alignment module associates spatial CT features with vascular-focused radiological keywords, to capture local imaging characteristics potentially associated with tumor invasion. The framework jointly optimizes classification and alignment objectives, while inference requires only CT images. Experiments included 1,593 pathologically confirmed nodules. On the test set, the proposed method achieved an accuracy of 87.92%, F1-score of 87.78%, and AUC of 0.9499. Its AUC significantly exceeded that of the image-only Res-CBAM baseline with the same visual backbone (0.9297; DeLong test, p = 0.0078). Ablation analyses supported the complementary contributions of global and local alignment and the benefit of report-based prompt initialization. Qualitative visualizations showed activation within nodules and adjacent vascular structures. These findings suggest that dual-granularity radiological supervision can enhance CT-based invasiveness prediction while preserving a CT-only inference workflow.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-03 13:31:34 +0000 UTC
{"tags": ["Medical AI", "3D CT", "Lung Adenocarcinoma", "Multimodal Learning", "Prompt Learning", "Contrastive Alignment", "Computer Vision"], "risks": ["Cần thẩm định lâm sàng ngoại kiểm đa trung tâm (external validation) để kiểm chứng khả năng tổng quát hóa trên các máy quét CT và độ phân giải khác nhau.", "Độ nhạy và tính chính xác của mô hình phụ thuộc vào chất lượng gán nhãn thuộc tính X-quang và từ khóa lâm sàng dùng trong pha huấn luyện.", "Rủi ro âm tính giả hoặc dương tính giả có thể ảnh hưởng trực tiếp đến quyết định phẫu thuật xâm lấn của bác sĩ."], "category": "Research", "entities": ["RadBERT", "3D ResNet-CBAM", "Lung Adenocarcinoma", "Invasive Adenocarcinoma (IAD)", "Pre-IAD", "Multiple Instance Learning (MIL)"], "summary_vi": "Nghiên cứu giới thiệu khung học nhắc đa phương thức (multimodal prompt learning) kết hợp căn chỉnh tương phản hai cấp độ (dual-granularity) nhằm phân loại mức độ xâm lấn của ung thư biểu mô tuyến phổi (lung adenocarcinoma) từ ảnh CT 3D trước phẫu thuật. Phương pháp tích hợp bộ mã hóa 3D ResNet-CBAM với mô hình ngôn ngữ RadBERT (được đóng băng và gắn learnable prompts khởi tạo từ báo cáo thực tế). Hệ thống căn chỉnh tương phản toàn cục giữa thể tích CT với báo cáo mô tả thuộc tính X-quang, đồng thời căn chỉnh cục bộ dựa trên Multiple Instance Learning giữa vùng không gian CT với từ khóa liên quan đến mạch máu. Thử nghiệm trên 1.593 nốt phổi được xác nhận giải phẫu bệnh cho thấy mô hình đạt độ chính xác 87,92%, F1-score 87,78% và AUC 0,9499, vượt trội có ý nghĩa thống kê so với baseline Res-CBAM chỉ dùng ảnh (AUC 0,9297, p = 0,0078), đồng thời giữ nguyên quy trình suy luận chỉ cần ảnh CT.", "key_changes": ["Đề xuất khung học nhắc đa phương thức (multimodal prompt learning) kết hợp bộ mã hóa thị giác 3D ResNet-CBAM và mô hình ngôn ngữ RadBERT (đóng băng) có learnable prompts.", "Thiết kế cơ chế căn chỉnh tương phản hai cấp độ (dual-granularity): căn chỉnh toàn cục giữa CT thể tích và báo cáo y khoa, cùng căn chỉnh cục bộ dựa trên Multiple Instance Learning giữa đặc trưng không gian CT và từ khóa mạch máu.", "Khởi tạo các prompt học được bằng biểu diễn ngữ nghĩa rút trích từ báo cáo lâm sàng thực tế để định hướng biểu diễn văn bản.", "Tối ưu hóa đồng thời hàm mất mát phân loại và căn chỉnh trong huấn luyện, trong khi pha suy luận (inference) hoàn toàn chỉ cần ảnh chụp CT 3D thông thường.", "Đạt AUC 0,9499, F1-score 87,78% và độ chính xác 87,92% trên 1.593 nốt phổi, vượt trội có ý nghĩa thống kê so với baseline chỉ dùng ảnh (AUC 0,9297, p = 0,0078)."], "sub_category": "Medical AI", "novelty_score": 75, "business_score": 60, "research_score": 85, "why_it_matters": "Phân biệt chính xác giữa ung thư biểu mô tuyến xâm lấn (IAD) và tổn thương tiền xâm lấn (Pre-IAD) trước phẫu thuật là yếu tố then chốt để lập kế hoạch điều trị cá nhân hóa và hạn chế phẫu thuật xâm lấn quá mức. Nghiên cứu giải quyết bài toán khó này bằng cách mượn tri thức giàu ngữ nghĩa từ báo cáo y khoa và từ khóa mạch máu trong quá trình huấn luyện để tối ưu biểu diễn hình ảnh, nhưng khi triển khai thực tế chỉ cần duy nhất dữ liệu ảnh CT 3D thông thường, tạo tính khả thi cao trong môi trường lâm sàng.", "developer_score": 68, "importance_score": 72, "possible_use_cases": ["Hỗ trợ bác sĩ phẫu thuật lồng ngực và chẩn đoán hình ảnh phân tầng nguy cơ xâm lấn (IAD vs. Pre-IAD) trước phẫu thuật để chọn phương án can thiệp tối ưu.", "Tích hợp vào hệ thống CAD/PACS tại các cơ sở y tế nhằm tự động đánh giá mức độ ác tính/xâm lấn của nốt phổi từ ảnh CT 3D mà không đòi hỏi nhập liệu báo cáo văn bản.", "Ứng dụng cấu trúc căn chỉnh hai cấp độ (dual-granularity alignment) và prompt learning cho các tác vụ phân tích thể tích 3D y khoa phức tạp khác (não, gan, tụy)."], "actionability_score": 65}