Patient-specific rubric-based evaluation of large language models across longitudinal cancer care

{"tags": ["NPC-RubricBench", "Medical AI", "LLM Evaluation", "Longitudinal Care", "Cancer Care", "Clinical Reasoning", "Prompt Engineering", "Phase-Adaptive Safeguards"], "risks": ["Lỗi bỏ sót cao (30,4% - 33,4%) ở khâu khám ban đầu và theo dõi sau điều trị có thể dẫn đến việc bỏ lỡ dấu hiệu tái phát hoặc chẩn đoán muộn.", "Nguy cơ đánh giá sai năng lực AI khi chỉ dựa vào điểm chuẩn chẩn đoán tĩnh tại một thời điểm duy nhất.", "Độ tin cậy chưa được chứng minh của mô hình chuyên y tế khi ghi nhận tỷ lệ bỏ sót thông tin cao hơn mô hình tổng quát.", "Prompt chi tiết dạng checklist làm tăng nguy cơ suy giảm độ trung thực với bằng chứng lâm sàng và vi phạm quy chuẩn an toàn."], "category": "Research", "entities": ["NPC-RubricBench"], "summary_vi": "Nghiên cứu giới thiệu NPC-RubricBench, một benchmark đánh giá khả năng suy luận lâm sàng đa giai đoạn theo thời gian của LLM trong điều trị ung thư vòm họng dựa trên hồ sơ 405 bệnh nhân, 941 đơn vị bệnh nhân - giai đoạn và 17.688 tiêu chí đánh giá. Thử nghiệm trên 30 mô hình LLM (cả tổng quát và chuyên y tế) chỉ ra rằng hiệu năng chẩn đoán ban đầu cao không đồng nghĩa với chất lượng điều trị ở các khâu tiếp theo; đặc biệt kiểu lỗi bị đảo ngược giữa các giai đoạn (lỗi quyết định sai chiếm 48,2% ở phân kỳ giải phẫu, trong khi lỗi bỏ sót chiếm 30,4% - 33,4% ở khám ban đầu và theo dõi). Đáng chú ý, các mô hình tinh chỉnh y tế có tỷ lệ bỏ sót cao hơn mô hình tổng quát, và lời nhắc dạng checklist chi tiết dù tăng chất lượng quyết định nhưng lại làm giảm độ trung thực với bằng chứng và tuân thủ an toàn.", "key_changes": ["Giới thiệu NPC-RubricBench: Benchmark lâm sàng đa giai đoạn theo dõi ung thư vòm họng dựa trên hồ sơ 405 bệnh nhân từ hai trung tâm ung bướu, gồm 941 đơn vị bệnh nhân-giai đoạn qua 6 giai đoạn điều trị và 17.688 tiêu chí nguyên tử.", "Hiệu năng chẩn đoán cao không đồng nghĩa với hiệu quả ở các giai đoạn sau: Đánh giá 30 mô hình LLM (tổng quát và y tế) cho thấy năng lực chẩn đoán ban đầu không duy trì được trong suốt quá trình chăm sóc tiếp theo.", "Đảo ngược kiểu lỗi theo từng giai đoạn: Lỗi quyết định rõ ràng chiếm ưu thế ở khâu phân chia giai đoạn giải phẫu (48,2%), trong khi lỗi bỏ sót chiếm ưu thế ở khâu khám ban đầu (33,4%) và theo dõi sau điều trị (30,4%).", "Mô hình chuyên y tế có tỷ lệ bỏ sót cao hơn mô hình tổng quát trong tập kiểm thử.", "Đánh đổi về mức độ chi tiết của prompt: Prompt mở làm giảm chất lượng quyết định trên cả 30 mô hình; prompt chi tiết dạng checklist giúp tăng chất lượng quyết định nhưng lại làm giảm độ trung thực với chứng cứ và mức độ tuân thủ an toàn."], "sub_category": "Medical AI Evaluation", "novelty_score": 82, "business_score": 70, "research_score": 88, "why_it_matters": "Nghiên cứu vạch rõ hạn chế của các bài kiểm tra AI y tế tĩnh hiện nay vốn chỉ đo lường một lần khám riêng lẻ thay vì cả lộ trình điều trị dài hạn. Kết quả này cảnh báo các nhà phát triển và tổ chức y tế không thể chủ quan dựa vào năng lực chẩn đoán ban đầu của LLM, đồng thời nhấn mạnh sự cần thiết phải xây dựng các biện pháp an toàn thích ứng theo giai đoạn (phase-adaptive safeguards) để kiểm soát các dạng lỗi đảo chiều và cân bằng giữa cấu trúc prompt với tính an toàn lâm sàng.", "developer_score": 72, "importance_score": 78, "possible_use_cases": ["Thiết kế hệ thống hỗ trợ quyết định lâm sàng (CDSS) có cơ chế giám sát thích ứng theo từng giai đoạn cụ thể của chu trình điều trị ung thư.", "Tối ưu hóa prompt engineering và phân tầng câu lệnh y tế để cân bằng giữa chất lượng quyết định và độ trung thực chứng cứ.", "Kiểm thử và đánh giá độc lập các mô hình LLM y tế thương mại trước khi tích hợp vào quy trình làm việc tại bệnh viện.", "Xây dựng hàng rào kiểm soát an toàn (guardrails) nhằm hạn chế lỗi bỏ sót thông tin trong giai đoạn khám ban đầu và theo dõi sau điều trị."], "actionability_score": 65}