From Reward Signal to Visual Utility: A Controlled Audit of Medical VLM Post-Training

{"tags": ["Medical VLM", "Qwen2.5-VL", "Post-Training", "GRPO", "LoRA", "Visual Utility", "Evaluation"], "risks": ["Mô hình dựa dẫm vào định kiến văn bản (language bias) thay vì quan sát hình ảnh y tế, dẫn đến nguy cơ chẩn đoán sai nguy hiểm trong lâm sàng dù chỉ số accuracy nhìn vẫn đẹp.", "Hậu huấn luyện bằng RL (GRPO chuẩn) hoặc mở rộng thích ứng đa phương thức có thể làm suy giảm hiệu năng ngoài dự tính do nhiễu phần thưởng và lệch đường dẫn đánh giá token."], "category": "Research", "entities": ["Qwen2.5-VL-3B", "PMC-VQA", "Group Relative Policy Optimization (GRPO)", "LoRA (Low-Rank Adaptation)", "Supervised Fine-Tuning (SFT)"], "summary_vi": "Nghiên cứu kiểm toán có kiểm soát quá trình hậu huấn luyện (post-training) của mô hình thị giác - ngôn ngữ y tế trên Qwen2.5-VL-3B (PMC-VQA) chỉ ra rằng việc tối ưu hóa độ chính xác không đồng nghĩa với cải thiện khả năng dùng hình ảnh. Cụ thể, SFT LoRA trên mô hình ngôn ngữ dù tăng nhẹ độ chính xác (+1,10 điểm %) nhưng lại làm suy giảm độ nhạy hình ảnh (-5,60 điểm %) và giảm tỷ lệ hưởng lợi từ thị giác (-2,40 điểm %). Ngoài ra, GRPO chuẩn tạo ra các cập nhật tham số không ổn định, còn phương pháp chấm điểm lựa chọn chuẩn lại lệch khỏi đường dẫn token sinh thực tế, làm lộ rõ khoảng cách lớn giữa mục tiêu tối ưu hóa và hành vi thị giác hữu ích trong y tế.", "key_changes": ["Chỉ ra nghịch lý hậu huấn luyện: SFT LoRA trên mô hình ngôn ngữ tăng nhẹ độ chính xác (+1,10 điểm %) nhưng lại làm giảm độ nhạy hình ảnh (-5,60 điểm %) và giảm tỷ lệ hưởng lợi từ thị giác (-2,40 điểm %).", "Phát hiện mở rộng phạm vi thích ứng đa phương thức (multimodal adaptation) cho độ chính xác hình ảnh đúng thấp hơn so với chỉ thích ứng trên mô hình ngôn ngữ (LM LoRA).", "Đánh giá GRPO chuẩn cho thấy phương pháp này tạo ra các nhóm phần thưởng hỗn tạp với cập nhật tham số không ổn định trên tập kiểm tra sạch.", "Phát hiện sự sai lệch đường dẫn token: điểm số lựa chọn chuẩn (canonical option scores) có thể đi lệch khỏi đường dẫn token của câu trả lời thực tế sinh ra theo greedy decoding.", "Mục tiêu bằng chứng phản thực tế (counterfactual evidence) cải thiện trên tập train nhưng chưa mang lại hiệu quả vượt trội ổn định trên tập validation so với GRPO ở cùng mức huấn luyện."], "sub_category": "Medical Vision-Language Models", "novelty_score": 78, "business_score": 65, "research_score": 85, "why_it_matters": "Trong y tế, việc mô hình AI đưa ra câu trả lời đúng nhờ định kiến văn bản thay vì phân tích đúng hình ảnh lâm sàng là rủi ro cực kỳ nguy hiểm. Nghiên cứu này cảnh báo giới phát triển không nên chỉ nhìn vào chỉ số accuracy thông thường khi hậu huấn luyện VLM, đồng thời cung cấp phương pháp luận kiểm toán độ nhạy hình ảnh và cảnh báo hiện tượng lệch đường dẫn token trong đánh giá mô hình đa phương thức.", "developer_score": 75, "importance_score": 80, "possible_use_cases": ["Kiểm toán sự phụ thuộc vào hình ảnh (visual utility audit) của Medical VLM trước khi triển khai vào hệ thống hỗ trợ chẩn đoán lâm sàng.", "Thiết kế tiêu chí đánh giá kép: kết hợp đo lường độ nhạy hình ảnh (image sensitivity) và visual benefit thay vì chỉ dựa vào answer accuracy.", "Hiệu chỉnh phương pháp hậu huấn luyện RL (như GRPO) và thiết kế hàm phạt dựa trên bằng chứng phản thực tế để tránh bẫy ngôn ngữ (language shortcuts).", "Tối ưu hóa chiến lược LoRA và căn chỉnh đường dẫn sinh token khi tinh chỉnh các mô hình thị giác - ngôn ngữ."], "actionability_score": 70}