Conditional Rank Allocation for Taxonomy-Aware Medical Language Model Adaptation

{"tags": ["ARBOR", "PEFT", "Medical LLMs", "LoRA", "MoELoRA", "Model Adaptation", "Qwen3-8B"], "risks": ["Chưa được kiểm nghiệm về mức độ an toàn lâm sàng (clinical safety) và khả năng triển khai thực tế trên diện rộng.", "Phụ thuộc vào chất lượng và tính nhất quán của hệ thống nhãn phân loại (specialty và operation tags).", "Kết quả lý thuyết chỉ mang tính minh họa trên các nhiệm vụ trực giao giả định, chưa bảo đảm giới hạn toán học trực tiếp trên ngữ liệu y tế thực tế."], "category": "Research", "entities": ["ARBOR", "Qwen3-8B", "LoRA", "MoELoRA", "CMB", "CMExam", "MedQA", "MedMCQA"], "summary_vi": "Nghiên cứu đề xuất ARBOR, một phương pháp PEFT phân bổ rank có điều kiện dựa trên taxonomy cho mô hình y tế. ARBOR chọn các thành phần rank-1 từ cơ sở low-rank dùng chung cho từng câu hỏi thông qua additive gate kết hợp biểu diễn câu hỏi, nhãn chuyên khoa và nhãn thao tác lâm sàng. Trên mô hình Qwen3-8B trên 4 tập dữ liệu chuẩn (CMB, CMExam, MedQA, MedMCQA), ARBOR đạt độ chính xác trung bình 69,69%, vượt LoRA r16 và MoELoRA tương ứng 1,26 và 1,30 điểm phần trăm, với lợi thế mở rộng đáng kể khi số lượng chuyên khoa tăng lên.", "key_changes": ["Đề xuất ARBOR: phương pháp tinh chỉnh hiệu quả tham số (PEFT) lựa chọn các thành phần rank-1 từ một cơ sở low-rank dùng chung cho từng câu hỏi.", "Thiết kế additive gate: kết hợp biểu diễn câu hỏi, nhãn chuyên khoa (specialty), nhãn thao tác lâm sàng (operation) và tương tác giữa chúng, cùng hệ số học để điều chỉnh adapter residual.", "Động lực lý thuyết: chứng minh sự phân tách minh họa trong các tác vụ trực giao giúp tránh giới hạn xấp xỉ (approximation floor) của rank cố định.", "Hiệu năng vượt trội: đạt 69,69% độ chính xác trung bình trên Qwen3-8B qua 4 benchmark y tế (CMB, CMExam, MedQA, MedMCQA), vượt LoRA r16 (+1,26%) và MoELoRA (+1,30%).", "Khả năng mở rộng đa chuyên khoa: mức chênh lệch hiệu năng so với LoRA r16 tăng mạnh từ 0,08 lên 1,94 điểm phần trăm khi mở rộng từ 1 lên 7 chuyên khoa.", "Kiểm chứng cơ chế: phân tích cụm atom cho thấy sự tương quan rõ nét với nhãn chuyên khoa (Adjusted Rand Index đạt 0,62)."], "sub_category": "Parameter-Efficient Fine-Tuning (PEFT)", "novelty_score": 76, "business_score": 62, "research_score": 82, "why_it_matters": "ARBOR giải quyết bài toán cốt lõi trong thích ứng mô hình ngôn ngữ y tế: cân bằng giữa hiệu quả tham số và khả năng thích ứng linh hoạt theo từng chuyên khoa và tác vụ lâm sàng. Phương pháp này chứng minh việc phân bổ rank động theo taxonomy mang lại hiệu năng cao hơn so với LoRA hoặc MoELoRA cố định khi quy mô nghiệp vụ mở rộng.", "developer_score": 72, "importance_score": 74, "possible_use_cases": ["Xây dựng mô hình hỏi đáp y tế (Medical QA) bao phủ nhiều chuyên khoa mà không cần duy trì nhiều mô hình riêng biệt.", "Tinh chỉnh mô hình ngôn ngữ lớn dựa trên cấu trúc phân loại nghiệp vụ (taxonomy-aware routing) cho các hệ thống hỗ trợ quyết định lâm sàng.", "Ứng dụng kiến trúc chọn rank có điều kiện cho các bài toán thích ứng đa miền (multi-domain adaptation) trong doanh nghiệp."], "actionability_score": 68}