Tracing the Scientific Discovery Capacity of LLMs to Their Training Data

{"tags": ["AI for Science", "Pre-training Data", "Monofacts", "Scientific Discovery", "Materials Science", "Regulatory Genomics", "LLMs"], "risks": ["Khó khăn kỹ thuật trong việc định nghĩa, trích xuất và kiểm soát tỷ lệ monofact tự động ở quy mô hàng nghìn tỷ token.", "Dữ liệu chỉ xuất hiện một lần có nguy cơ cao chứa sai số thực nghiệm, thông tin sai lệch hoặc gây ra ảo giác (hallucination) nếu không được tiền kiểm duyệt kỹ lưỡng.", "Nguy cơ ghi nhớ máy móc (memorization) thay vì suy luận tổng quát nếu không cân bằng hợp lý với dữ liệu nền tảng."], "category": "Research", "entities": ["LLMs", "Materials Science", "Regulatory Genomics"], "summary_vi": "Nghiên cứu chỉ ra rằng năng lực khám phá khoa học của các mô hình ngôn ngữ lớn (LLM) bắt nguồn từ tỷ lệ 'monofact'—các sự kiện chỉ xuất hiện duy nhất một lần trong dữ liệu tiền huấn luyện. Thực nghiệm kiểm soát tỷ lệ monofact trong lĩnh vực khoa học vật liệu và hệ gen học điều hòa trên hai họ mô hình mã nguồn mở chứng minh rằng việc tăng monofact liên tục nâng cao số lượng phát hiện khoa học, độc lập với độ đa dạng dữ liệu thông thường và có khả năng chuyển giao liên miền khi kết hợp với dữ liệu nội miền.", "key_changes": ["Xác định tỷ lệ 'monofact' (sự kiện chỉ xuất hiện đúng một lần trong dữ liệu huấn luyện) là yếu tố mấu chốt quyết định năng lực khám phá khoa học của LLM.", "Chứng minh sự gia tăng tỷ lệ monofact nhất quán mang lại nhiều phát hiện mới trên hai họ mô hình trọng số mở (open-weight), nhiều chiến lược lấy mẫu và các mức ngân sách suy luận khác nhau.", "Bác bỏ giả thuyết cho rằng mối liên hệ này chỉ đơn thuần đến từ độ đa dạng dữ liệu (diversity) tổng thể.", "Phát hiện khả năng chuyển giao tri thức khám phá xuyên miền khoa học khi kết hợp monofact ngoại miền với dữ liệu nội miền (in-domain)."], "sub_category": "AI for Science / Data Curation", "novelty_score": 86, "business_score": 62, "research_score": 93, "why_it_matters": "Nghiên cứu làm sáng tỏ cơ chế dữ liệu đứng sau năng lực phát hiện tri thức mới của LLM, chuyển trọng tâm từ việc tăng khối lượng dữ liệu hoặc lặp lại thông tin sang việc tối ưu hóa tỷ lệ tri thức biên (long-tail facts). Điều này cung cấp cơ sở lý thuyết và thực nghiệm trực tiếp để các phòng lab R&D và kỹ sư dữ liệu định hình lại chiến lược thu thập dữ liệu tiền huấn luyện cho các mô hình AI khoa học chuyên sâu.", "developer_score": 68, "importance_score": 84, "possible_use_cases": ["Thiết kế chiến lược lọc và tinh tuyển dữ liệu tiền huấn luyện (pre-training data curation) cho các mô hình AI for Science.", "Tối ưu hóa dữ liệu huấn luyện cho bài toán khám phá vật liệu mới và nghiên cứu hệ gen học điều hòa (regulatory genomics).", "Tận dụng dữ liệu tri thức hiếm/long-tail từ các miền khoa học liên quan để tăng cường khả năng phát hiện đột phá cho mô hình chuyên biệt."], "actionability_score": 70}