Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Fathom-Vaidya: Advancing Medical Reasoning with Rubric-Based Rewards

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

66 RADAR
Models Medical AI / Clinical LLMs · 1 nguồn đối chiếu · 2026-09-21 12:19:50 +0000 UTC

Fathom-Vaidya: Advancing Medical Reasoning with Rubric-Based Rewards

Nguồn: arXiv AI
↗

Fathom-Vaidya giới thiệu khung huấn luyện tuần tự kết hợp dữ liệu tổng hợp và học tăng cường dựa trên rubric (rubric-based RL) nhằm tối ưu cả năng lực chẩn đoán lẫn giao tiếp lâm sàng cho LLM y tế. Bằng việc kết hợp câu hỏi từ MedBullets và 5.300 kịch bản tương tác đa lượt tổng hợp kèm rubric đa chiều, mô hình Fathom-Vaidya 30B đạt độ chính xác 50,1% trên HealthBench-Hard (vượt qua GPT-5 thinking) và cải thiện hơn 10% trên benchmark MedXpertQA.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Chứng minh rằng mô hình mã nguồn mở kích thước 30B nếu được huấn luyện tuần tự với rubric-based RL và synthetic data có thể vượt qua các mô hình thương mại hàng đầu (như GPT-5 thinking) trong các bài kiểm tra y khoa chuyên sâu, đồng thời mở ra phương pháp chuẩn hóa để đánh giá khả năng tương tác lâm sàng thay vì chỉ tập trung vào câu hỏi chẩn đoán đóng.

Developer 72
Business 75
Novelty 78
Actionable 70

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Deploying Large Language Models (LLMs) in healthcare requires robust performance across two complementary dimensions - diagnostic reasoning: the convergent, evidence-driven task of inferring a patient's condition from clinical data to produce a diagnosis, and clinical healthcare reasoning: the broader, navigational judgment required to communicate, plan, and adapt across multi-turn clinical interactions where a single correct answer may not exist. Recent benchmarks such as HealthBench and MedXpertQA reveal persistent weaknesses in both areas, exposing failures in complex diagnostic scenarios and limitations in contextual, patient-centered dialogue. We introduce a sequential training framework that targets these facets using synthetic data and rubric-based reinforcement learning. First, we improve diagnostic reasoning using MedBullets-derived questions with rule- and rubric-guided Reinforcement Learning (RL). We then shift to clinical reasoning by generating 5.3k synthetic multi-turn scenarios, each paired with multi-dimensional rubrics to comprehensively assess the response. This approach yields over 10% improvement on MedXpertQA, and our 30B model achieves 50.1% accuracy on HealthBench-Hard, surpassing proprietary baselines including GPT-5 (thinking). Our results show that targeted synthetic datasets and rubric-based training can systematically improve both diagnostic and interactive clinical reasoning in medical LLMs.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-09-22 09:44:45 +0000 UTC
{"tags": ["Fathom-Vaidya", "Medical LLM", "Rubric-Based Rewards", "Reinforcement Learning", "Clinical Reasoning", "Synthetic Data", "HealthBench"], "risks": ["Nguy cơ sai sót chẩn đoán hoặc ảo giác lâm sàng khi áp dụng thực tế (độ chính xác 50,1% đồng nghĩa vẫn còn tỷ lệ lỗi cao trong các ca khó).", "Dữ liệu tổng hợp (synthetic data) có thể phản ánh sai lệch hoặc thiếu bao quát các tình huống lâm sàng ngoài đời thực.", "Rủi ro pháp lý và đạo đức y khoa nếu áp dụng vào chăm sóc bệnh nhân mà thiếu sự giám sát của chuyên gia y tế."], "category": "Models", "entities": ["Fathom-Vaidya", "HealthBench", "HealthBench-Hard", "MedXpertQA", "MedBullets", "GPT-5 (thinking)", "Reinforcement Learning"], "summary_vi": "Fathom-Vaidya giới thiệu khung huấn luyện tuần tự kết hợp dữ liệu tổng hợp và học tăng cường dựa trên rubric (rubric-based RL) nhằm tối ưu cả năng lực chẩn đoán lẫn giao tiếp lâm sàng cho LLM y tế. Bằng việc kết hợp câu hỏi từ MedBullets và 5.300 kịch bản tương tác đa lượt tổng hợp kèm rubric đa chiều, mô hình Fathom-Vaidya 30B đạt độ chính xác 50,1% trên HealthBench-Hard (vượt qua GPT-5 thinking) và cải thiện hơn 10% trên benchmark MedXpertQA.", "key_changes": ["Thiết kế khung huấn luyện tuần tự (sequential training framework) kết hợp dữ liệu tổng hợp và học tăng cường dựa trên thang điểm (rubric-based RL).", "Cải thiện suy luận chẩn đoán bằng tập câu hỏi MedBullets thông qua RL có hướng dẫn bởi quy tắc và rubric.", "Mở rộng năng lực suy luận lâm sàng tương tác bằng 5.300 tình huống đa lượt (multi-turn) tổng hợp kèm hệ thống rubric đánh giá đa chiều.", "Mô hình Fathom-Vaidya 30B đạt độ chính xác 50,1% trên HealthBench-Hard (vượt GPT-5 thinking) và tăng hơn 10% trên MedXpertQA."], "sub_category": "Medical AI / Clinical LLMs", "novelty_score": 78, "business_score": 80, "research_score": 85, "why_it_matters": "Chứng minh rằng mô hình mã nguồn mở kích thước 30B nếu được huấn luyện tuần tự với rubric-based RL và synthetic data có thể vượt qua các mô hình thương mại hàng đầu (như GPT-5 thinking) trong các bài kiểm tra y khoa chuyên sâu, đồng thời mở ra phương pháp chuẩn hóa để đánh giá khả năng tương tác lâm sàng thay vì chỉ tập trung vào câu hỏi chẩn đoán đóng.", "developer_score": 75, "importance_score": 82, "possible_use_cases": ["Trợ lý ảo hỗ trợ bác sĩ phân tích bệnh án và điều hướng hội thoại lâm sàng đa lượt với bệnh nhân.", "Hệ thống tự động chấm điểm và đánh giá năng lực giao tiếp/chẩn đoán y khoa dựa trên rubric chuyên môn.", "Công cụ mô phỏng ca bệnh lâm sàng phức tạp phục vụ đào tạo sinh viên y khoa.", "Hỗ trợ chẩn đoán phân biệt đối với các tình huống lâm sàng khó và đòi hỏi lập luận đa bước."], "actionability_score": 70}