What Improves During Pretraining? Tracking Knowledge Acquisition with Point-in-Time Models

{"tags": ["Pretraining Dynamics", "Knowledge Acquisition", "Temporal Variability Score", "Point-in-Time Models", "LLM Evaluation", "Data Curation"], "risks": ["Cần tài nguyên điện toán lớn để huấn luyện nhiều mô hình point-in-time trên các snapshot web khác nhau chỉ nhằm tính toán chỉ số TVS.", "Xu hướng mô hình cải thiện mạnh ở nhóm high-TVS vào cuối pretraining có thể làm tăng nguy cơ ghi nhớ thông tin tạm thời, dễ bị lỗi thời theo thời gian.", "Nghiên cứu mới đánh giá trên 6 mô hình nguồn mở và 6 benchmark, chưa được xác nhận trên các mô hình quy mô cực lớn (frontier models)."], "category": "Research", "entities": ["Temporal Variability Score (TVS)", "Point-in-Time Models"], "summary_vi": "Nghiên cứu đề xuất chỉ số Temporal Variability Score (TVS) dựa trên các mô hình snapshot theo thời gian (point-in-time models) nhằm theo dõi động học tiếp thu tri thức trong quá trình pretraining LLM. Đánh giá trên 6 benchmark và 6 mô hình nguồn mở cho thấy các mục tri thức có biến thiên thời gian cao (high-TVS) và thấp (low-TVS) được học tương đương ở giai đoạn đầu, nhưng high-TVS bứt phá mạnh ở giai đoạn sau và vượt trội low-TVS trong 34/36 thiết lập (trung bình hơn 7,3 điểm chance-normalized accuracy), đặc biệt trên các tác vụ đòi hỏi nhiều tri thức.", "key_changes": ["Đề xuất chỉ số Temporal Variability Score (TVS) đo hệ số biến thiên negative log-likelihood của dữ liệu qua các mô hình theo mốc thời gian để định lượng độ biến động tri thức trên web.", "Phát hiện tri thức biến thiên cao (high-TVS) và tri thức ổn định (low-TVS) được học tương tự ở đầu giai đoạn pretraining, nhưng nhóm high-TVS tăng tốc cải thiện vượt bậc ở giai đoạn sau.", "Cuối giai đoạn pretraining, nhóm high-TVS vượt trội nhóm low-TVS ở 34/36 kịch bản thử nghiệm, đạt mức chênh lệch trung bình 7,3 điểm chuẩn hóa xác suất ngẫu nhiên (chance-normalized accuracy).", "Hiện tượng này thể hiện rõ nét nhất ở các tác vụ chuyên sâu tri thức (knowledge-intensive tasks), kể cả khi kiểm soát cùng mức độ khó."], "sub_category": "Pretraining Dynamics & Knowledge Acquisition", "novelty_score": 76, "business_score": 55, "research_score": 88, "why_it_matters": "Nghiên cứu giúp bóc tách cơ chế tiếp thu tri thức - vốn là 'hộp đen' trong giai đoạn pretraining - vượt ra ngoài các điểm số benchmark tổng hợp. Việc chứng minh mô hình hấp thụ thông tin biến động thời gian nhanh hơn ở giai đoạn sau mang lại căn cứ khoa học quan trọng để tối ưu hóa dữ liệu huấn luyện, giảm lãng phí tài nguyên và kiểm soát độ tin cậy của tri thức LLM.", "developer_score": 65, "importance_score": 74, "possible_use_cases": ["Tối ưu hóa lịch trình dữ liệu (curriculum learning) cho pretraining: bố trí tri thức ổn định (low-TVS) trước và tri thức biến động thời gian (high-TVS) ở các giai đoạn sau.", "Chẩn đoán và phân loại dữ liệu web crawl theo độ biến động thời gian nhằm tinh chỉnh tỷ trọng phân bổ mẫu trong tập huấn luyện LLM.", "Đánh giá nguy cơ lỗi thời của tri thức và thiết kế giải pháp continual learning/fine-tuning có chủ đích cho các kiến thức có tính chất thời sự."], "actionability_score": 68}