Base Models Can Reason By Taking a Cue From Training Data

{"tags": ["LLM Reasoning", "Base Models", "Reinforcement Learning", "Token Cues", "Pre-training Data", "AI Safety", "MATH-500", "Prompt Engineering"], "risks": ["Rủi ro an toàn và bẻ khóa (jailbreak): kẻ xấu có thể lợi dụng token mồi để né tránh cơ chế kiểm duyệt và ép mô hình thực hiện các yêu cầu độc hại.", "Tính phụ thuộc cao vào từng kiến trúc và tập dữ liệu huấn luyện cụ thể; không có một token mồi chung tối ưu cho mọi mô hình.", "Khả năng suy luận được kích hoạt có thể bị giới hạn hoặc không ổn định nếu dữ liệu tiền huấn luyện ban đầu thiếu các mẫu tư duy chất lượng cao."], "category": "Research", "entities": ["Olmo-3-7B", "Qwen3-14B", "MATH-500"], "summary_vi": "Nghiên cứu chứng minh các mô hình ngôn ngữ gốc (base models) có thể đạt hiệu năng suy luận toán và lập trình tương đương mô hình được huấn luyện bằng học tăng cường (RL) chỉ bằng cách cố định các token mồi mở đầu (như '.\\n\\nOkay' hoặc 'Alright,'). RL chủ yếu đóng vai trò làm tăng xác suất xuất hiện của các cue này. Qua can thiệp dữ liệu huấn luyện, nhóm tác giả xác nhận mối quan hệ nhân quả trực tiếp giữa dữ liệu tiền huấn luyện và hành vi suy luận, thậm chí có thể biến từ ngẫu nhiên như 'chicken' thành cue kích hoạt tư duy. Đồng thời, các token mồi khác nhau cũng chi phối trực tiếp hành vi an toàn (từ chối hoặc tuân thủ) của mô hình.", "key_changes": ["Cố định các token mồi mở đầu (starting token cues) giúp mô hình gốc (base model) đạt hiệu năng suy luận toán học và lập trình tương đương mô hình đã qua huấn luyện tăng cường (RL).", "Cue '.\\n\\nOkay' giúp Olmo-3-7B tăng độ chính xác pass@1 trên MATH-500 từ 42% lên 78%; cue 'Alright,' giúp Qwen3-14B tăng từ 72% lên 87%.", "Học tăng cường (RL) thực chất chủ yếu làm tăng xác suất xuất hiện của các token mồi này, và việc ép sinh cue đã thu hồi phần lớn khoảng cách hiệu năng giữa base model và mô hình RL.", "Chứng minh quan hệ nhân quả qua can thiệp dữ liệu: có thể biến một từ ngẫu nhiên như 'chicken' thành cue suy luận hiệu quả, hoặc biến prompt 'Think duck duck goose' có tác dụng như 'Think step by step'.", "Biểu diễn trạng thái ẩn kích hoạt bởi các cue tương quan trực tiếp với các dạng tài liệu cụ thể trong tập dữ liệu tiền huấn luyện.", "Nghiên cứu an toàn chỉ ra rằng các token mồi khác nhau kích hoạt các phản ứng từ chối (refusal) hoặc tuân thủ (compliance) tương ứng với từng loại dữ liệu huấn luyện."], "sub_category": "Cơ chế suy luận LLM & Phân tích dữ liệu huấn luyện", "novelty_score": 90, "business_score": 78, "research_score": 94, "why_it_matters": "Nghiên cứu thay đổi căn bản nhận thức về năng lực suy luận của LLM: khả năng suy luận phức tạp đã tiềm ẩn sẵn trong base model qua dữ liệu tiền huấn luyện, trong khi RL chủ yếu kích hoạt xác suất của các token mở đầu. Phát hiện này mang lại giải pháp đột phá giúp lập trình viên và doanh nghiệp tối ưu hiệu năng suy luận với chi phí gần như bằng 0 (chỉ bằng can thiệp token mồi), đồng thời đặt ra cảnh báo quan trọng về các lỗ hổng an toàn khi rào chắn từ chối có thể bị vượt qua bằng cách thao túng token khởi đầu.", "developer_score": 86, "importance_score": 88, "possible_use_cases": ["Áp dụng kỹ thuật ép tiền tố (prefix injection / cue forcing) ở đầu câu trả lời để tăng vọt hiệu năng giải toán và lập trình của base model mà không cần tốn chi phí huấn luyện RL.", "Giảm chi phí vận hành AI bằng cách khai thác tối đa năng lực của base model mã nguồn mở cỡ nhỏ thay vì phụ thuộc vào các mô hình reasoning đắt đỏ.", "Tối ưu hóa và chọn lọc tập dữ liệu tiền huấn luyện nhằm chủ động cài đặt hoặc tăng cường các điểm kích hoạt khả năng suy luận.", "Kiểm thử an toàn mô hình (red teaming) để phát hiện và ngăn chặn các token mồi có thể vô hiệu hóa rào chắn an toàn (kích hoạt compliance thay vì refusal)."], "actionability_score": 82}