When Can First-Order Models of Fine-Tuning Bound Forgetting?

{"tags": ["Catastrophic Forgetting", "LoRA", "Fine-Tuning", "Freedman Bound", "Azuma Bound", "LLM Theory", "SGD"], "risks": ["Chặn lý thuyết chỉ áp dụng được cho các dữ kiện có biến thiên hệ số phản ứng nhỏ hơn khoảng cách tới ngưỡng quên (R < a).", "Nghiên cứu mới chỉ được thử nghiệm trên LoRA phối hợp với thuật toán SGD cho các mô hình quy mô từ 0.6B đến 14B tham số, chưa mở rộng cho AdamW hoặc full-parameter fine-tuning.", "Đòi hỏi chi phí tính toán để chạy finite-difference probes trước khi bắt đầu fine-tuning."], "category": "Research", "entities": ["LoRA", "SGD", "Freedman bound", "Azuma bound", "Finite-difference probes"], "summary_vi": "Nghiên cứu khảo sát khả năng sử dụng các mô hình bậc một tại thời điểm bắt đầu fine-tuning để thiết lập chặn trên xác suất quên các dữ kiện cần bảo vệ trong mô hình ngôn ngữ. Trong thiết lập LoRA với SGD trên các mô hình từ 0.6B đến 14B tham số, các đầu dò vi phân hữu hạn dự đoán sự thay đổi margin của từng dữ kiện với độ tương quan cao (0,974–0,998). Dù không dự đoán trực tiếp điểm quên do dịch chuyển tham số lớn, các tác giả đã dẫn xuất thành công các chặn first-passage Freedman và Azuma cho mô hình đại diện tuyến tính. Chặn Freedman hoàn chỉnh đã được xác nhận trong hai nghiên cứu thực nghiệm độc lập với 43 điều kiện, cho thấy mô hình bậc một có thể bảo đảm chống quên cho các dữ kiện có độ biến thiên hệ số phản ứng nhỏ hơn khoảng cách từ margin ban đầu đến ngưỡng.", "key_changes": ["Đo lường bằng finite-difference probes ngay tại thời điểm bắt đầu fine-tuning cho phép ước tính mô hình phản hồi bậc một với tương quan rất cao (0,974–0,998) với thay đổi margin của từng dữ kiện.", "Dự đoán trực tiếp việc quên dữ kiện thất bại do tham số dịch chuyển ra ngoài vùng hợp lệ của mô hình cục bộ.", "Thiết lập thành công cận xác suất thời điểm margin rơi xuống dưới 0 (quên dữ kiện) dựa trên các chặn first-passage Freedman và Azuma cho mô hình đại diện tuyến tính.", "Chặn Freedman hoàn chỉnh chứng minh thành công và được xác thực qua 43 điều kiện thử nghiệm thực nghiệm có đăng ký trước (preregistered confirmatory studies)."], "sub_category": "Continual Learning & LLM Fine-Tuning", "novelty_score": 82, "business_score": 62, "research_score": 88, "why_it_matters": "Cung cấp cơ sở lý thuyết và phương pháp thực nghiệm đầu tiên cho phép đưa ra các bảo chứng toán học (certifiable bounds) về việc bảo tồn tri thức trước khi tiến hành fine-tuning, giúp các kỹ sư ML kiểm soát rủi ro mất kiến thức quan trọng một cách có định lượng.", "developer_score": 72, "importance_score": 78, "possible_use_cases": ["Chứng thực bảo toàn kiến thức quan trọng (fact retention guarantee) trước khi thực hiện fine-tuning mô hình ngôn ngữ.", "Sàng lọc và cảnh báo nguy cơ mất kiến thức cốt lõi/tuân thủ quy định trước khi cập nhật dữ liệu mới qua LoRA.", "Tối ưu hóa và kiểm soát ngân sách cập nhật trọng số trong quá trình huấn luyện để đảm bảo tham số R không vượt ngưỡng cho phép."], "actionability_score": 65}