Staged Continual Adaptation of Multimodal Foundation Models for Japanese Financial Documents

{"tags": ["Continual Learning", "Multimodal Models", "Post-Training", "Reasoning Distillation", "Financial AI", "Catastrophic Forgetting", "Model Checkpoints"], "risks": ["Hiện tượng ghi đè tri thức nghiêm trọng: việc chưng cất toán học đơn lẻ làm xóa mòn kiến thức miền tài chính đã tích lũy từ các pha trước.", "Sự đánh đổi không thể dung hòa bằng cách nối tiếp giai đoạn: việc cố gắng đạt năng lực suy luận số học sẽ làm giảm độ chính xác tri thức miền nếu không có cơ chế bù đắp phù hợp.", "Gia tăng độ phức tạp và chi phí vận hành hạ tầng khi phải duy trì và phục vụ nhiều checkpoint khác nhau thay vì một mô hình đơn nhất."], "category": "Research", "entities": ["8.4B-parameter model", "Japanese financial documents"], "summary_vi": "Nghiên cứu đánh giá quá trình thích ứng liên tục theo giai đoạn (staged post-training) trên mô hình nền tảng đa phương thức 8.4B đối với tài liệu tài chính tiếng Nhật qua 3 pha: căn chỉnh thị giác-ngôn ngữ, chưng cất suy luận toán và tinh chỉnh miền. Kết quả chỉ ra các giai đoạn tương tác phi cộng tính: việc chưng cất toán học ghi đè tri thức tài chính đã nạp trước đó, trong khi pha tinh chỉnh miền chủ yếu đóng vai trò phục hồi tri thức hơn là cài đặt mới. Do đó, việc lựa chọn checkpoint phụ thuộc vào tác vụ cụ thể và cần ưu tiên lập lịch, lưu giữ checkpoint thay vì tăng thêm các giai đoạn huấn luyện.", "key_changes": ["Xác định tính tương tác phi cộng tính giữa các giai đoạn huấn luyện: quá trình chưng cất suy luận toán học ghi đè tri thức tài chính đã học trước đó, dù kỹ năng suy luận thuật toán vẫn được duy trì.", "Giai đoạn tinh chỉnh chuyên miền (domain tuning) chủ yếu đóng vai trò phục hồi tri thức bị mất (repair) hơn là cài đặt tri thức mới (install).", "Thử nghiệm bỏ qua giai đoạn (skip-phase ablation) đạt hiệu quả giữ tri thức miền tốt nhất nhưng làm mất hoàn toàn lợi thế về suy luận số học.", "Đóng góp của từng giai đoạn không thể tách rời độc lập; checkpoint tối ưu phụ thuộc vào tác vụ đích, định hướng lại chiến lược sang quản lý và định tuyến checkpoint thay vì bổ sung các giai đoạn huấn luyện."], "sub_category": "Continual Learning & Post-Training", "novelty_score": 75, "business_score": 68, "research_score": 84, "why_it_matters": "Phát hiện này thay đổi giả định phổ biến rằng các kỹ năng huấn luyện hậu kỳ có thể tích lũy cộng dồn tuyến tính. Việc chỉ ra sự xung đột trực tiếp giữa chưng cất suy luận toán học và ghi nhớ tri thức miền giúp các kỹ sư AI và doanh nghiệp tiết kiệm chi phí thử nghiệm, chuyển đổi trọng tâm từ việc cố gắng tạo ra một mô hình vạn năng sang chiến lược lưu giữ và định tuyến checkpoint linh hoạt theo bài toán nghiệp vụ.", "developer_score": 76, "importance_score": 74, "possible_use_cases": ["Tối ưu hóa quy trình hậu huấn luyện (post-training pipeline) cho các mô hình ngôn ngữ và thị giác chuyên biệt hóa trong lĩnh vực tài chính.", "Thiết kế hệ thống định tuyến tác vụ (task-based routing) sử dụng các checkpoint chuyên biệt cho từng bài toán (ví dụ: checkpoint riêng cho suy luận số liệu tài chính và checkpoint riêng cho trích xuất ngữ cảnh nghiệp vụ).", "Phát triển các chiến lược thích ứng liên tục (continual adaptation) nhằm giảm thiểu hiện tượng ghi đè tri thức (catastrophic forgetting) khi chưng cất năng lực suy luận."], "actionability_score": 72}