Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

64 RADAR
Research Efficient Reasoning · 1 nguồn đối chiếu · 2026-09-25 17:59:52 +0000 UTC

Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency

Nguồn: arXiv AI
↗

Nghiên cứu giới thiệu phương pháp tinh chỉnh tự giám sát dựa trên độ tin cậy (confidence training) giúp các mô hình suy luận giảm tới 25% lượng token sinh ra mà vẫn giữ nguyên độ chính xác. Chỉ với 600 bài toán huấn luyện dự đoán độ tin cậy ở các bước trung gian, mô hình tự động rút ngắn chuỗi suy luận trong quá trình sinh chuẩn mà không cần áp đặt hàm phạt độ dài hay cơ chế dừng sớm.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu chỉ ra rằng khả năng suy luận ngắn gọn, tiết kiệm chi phí có thể tự xuất hiện như một hệ quả gián tiếp khi mô hình học được tín hiệu siêu nhận thức (metacognition), mở ra hướng tối ưu hóa hiệu năng suy luận mới mà không cần can thiệp phức tạp vào quá trình tạo sinh.

Developer 74
Business 76
Novelty 85
Actionable 76

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Reasoning models often generate very long reasoning traces, making inference computationally expensive. Existing approaches typically improve efficiency either through inference-time early-stopping mechanisms or by explicitly encouraging shorter reasoning during training, for example through reinforcement learning with length penalties. We show that substantial efficiency gains can instead emerge from a different kind of supervision: \textit{confidence}. Using a self-supervised procedure, we fine-tune reasoning models to predict their confidence in the answer at intermediate points along their own reasoning trajectories using only 600 training problems. Confidence is used only as a training target: the loss contains no objective for reasoning length, efficiency, or stopping. At inference, the fine-tuned models use the standard generation procedure, with no confidence elicitation or early-stopping mechanism. Despite this, self-supervised confidence fine-tuning makes reasoning more efficient, reducing generated tokens by up to 25\% at matched accuracy across Gemma, Qwen, Nemotron, and GPT-OSS models on mathematical, scientific, and coding reasoning benchmarks, with efficiency gains comparable to methods that explicitly optimize for shorter reasoning. Analysis of reasoning episodes further shows that confidence supervision largely preserves the base models' high-level reasoning composition rather than selectively suppressing particular behaviors. Our results suggest that efficient reasoning may emerge as a downstream consequence of learning metacognitive signals, without being directly optimized.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-09-28 10:18:58 +0000 UTC
{"tags": ["Reasoning Efficiency", "Self-Supervised Learning", "Confidence Training", "Inference Optimization", "Metacognition", "LLM"], "risks": ["Mới được thử nghiệm trên 600 bài toán mẫu thuộc benchmark toán, khoa học và lập trình; tính khái quát trên các tác vụ suy luận tự do/ngôn ngữ tự nhiên mở chưa được kiểm chứng đầy đủ.", "Tiềm ẩn rủi ro đánh giá sai hoặc tự tin thái quá (overconfidence) khi gặp dữ liệu lệch phân phối."], "category": "Research", "entities": ["Gemma", "Qwen", "Nemotron", "GPT-OSS"], "summary_vi": "Nghiên cứu giới thiệu phương pháp tinh chỉnh tự giám sát dựa trên độ tin cậy (confidence training) giúp các mô hình suy luận giảm tới 25% lượng token sinh ra mà vẫn giữ nguyên độ chính xác. Chỉ với 600 bài toán huấn luyện dự đoán độ tin cậy ở các bước trung gian, mô hình tự động rút ngắn chuỗi suy luận trong quá trình sinh chuẩn mà không cần áp đặt hàm phạt độ dài hay cơ chế dừng sớm.", "key_changes": ["Sử dụng độ tin cậy (confidence) ở các bước suy luận trung gian làm mục tiêu huấn luyện tự giám sát duy nhất, không tối ưu hóa trực tiếp độ dài hay tiêu chí dừng.", "Chỉ cần tập dữ liệu nhỏ gồm 600 bài toán để tinh chỉnh mô hình suy luận.", "Giảm tới 25% lượng token sinh ra ở cùng mức độ chính xác trên các benchmark toán học, khoa học và lập trình.", "Giữ nguyên quy trình sinh suy luận chuẩn ở giai đoạn inference mà không cần cơ chế dừng sớm (early-stopping) hay trích xuất độ tin cậy thời gian thực.", "Bảo toàn cấu trúc suy luận cấp cao của mô hình gốc thay vì triệt tiêu chọn lọc các hành vi tư duy."], "sub_category": "Efficient Reasoning", "novelty_score": 85, "business_score": 83, "research_score": 90, "why_it_matters": "Nghiên cứu chỉ ra rằng khả năng suy luận ngắn gọn, tiết kiệm chi phí có thể tự xuất hiện như một hệ quả gián tiếp khi mô hình học được tín hiệu siêu nhận thức (metacognition), mở ra hướng tối ưu hóa hiệu năng suy luận mới mà không cần can thiệp phức tạp vào quá trình tạo sinh.", "developer_score": 79, "importance_score": 82, "possible_use_cases": ["Tối ưu hóa chi phí suy luận (inference cost) và giảm độ trễ cho các hệ thống AI giải toán, phân tích khoa học và trợ lý lập trình.", "Hậu huấn luyện (post-training) các mô hình mã nguồn mở để triển khai hiệu quả trên môi trường giới hạn tài nguyên GPU."], "actionability_score": 76}