Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Direct Pass@$k$ Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

66 RADAR
Research Test-Time Reasoning & Inference Optimization · 1 nguồn đối chiếu · 2026-10-22 17:59:48 +0000 UTC

Direct Pass@$k$ Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning

Nguồn: arXiv AI
↗

Nghiên cứu giới thiệu phương pháp cắt tỉa chuỗi suy luận (thought pruning) trực tiếp tối ưu hóa chỉ số Pass@k cho các mô hình suy luận trong giai đoạn test-time scaling. Thay vì dùng các quy tắc ad-hoc để kết hợp giữa chất lượng và tính đa dạng của lời giải, phương pháp này chọn tập ứng viên sao cho tối đa hóa xác suất có ít nhất một lời giải thành công khi chạy hoàn tất, tự động phạt sự trùng lặp. Kết quả thử nghiệm trên 8 mô hình nguồn mở cho thấy phương pháp vượt trội hơn hẳn các chiến lược pruning dựa trên chất lượng hoặc đa dạng riêng rẽ.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Test-time compute là giải pháp đột phá giúp mô hình ngôn ngữ nâng cao năng lực suy luận, nhưng việc chạy hết mọi ứng viên tốn chi phí hạ tầng rất lớn. Bằng cách giải quyết trực tiếp mâu thuẫn giữa khai thác (chất lượng) và khám phá (đa dạng), phương pháp này giúp các nhà phát triển và doanh nghiệp tối ưu hóa đáng kể chi phí suy luận mà vẫn duy trì hoặc nâng cao tỷ lệ giải đúng bài toán.

Developer 72
Business 72
Novelty 80
Actionable 72

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Test-time scaling has emerged as a key inference strategy for reasoning models, where a model generates a large number of candidate solutions in the hope of finding at least one correct solution. Running all candidate solutions to completion can be computationally demanding, so recent work prunes the candidate pool after generating only a short prefix, committing further computation only to the surviving candidates. Existing pruning strategies divide broadly into two categories: Quality-based methods assign a score to each partial solution and discard those predicted to ultimately lead to an incorrect final solution, while diversity-based methods select partial solutions that follow different reasoning trajectories and are therefore likely to cover different final solutions. The tension between these two objectives is an instance of exploration versus exploitation, yet little to no prior work on pruning exposes this trade-off directly, let alone optimizes it. In this paper, we introduce a pruning procedure that addresses this trade-off directly by optimizing pass@$k$ over the selected solution pool. In particular, it chooses the pool to maximize the probability that at least one of its partial solutions, when continued to completion, yields a correct answer. Because this objective simultaneously rewards high-quality partial solutions and penalizes redundancy among them, quality and diversity are naturally balanced by the criterion itself rather than through separate ad-hoc design choices. On eight open-weight reasoning models, our method outperforms existing quality-based and diversity-based pruning strategies. The gains are particularly pronounced when the pruning procedure keeps a moderate number of partial solutions for continued generation, highlighting the value of directly balancing quality and diversity during pruning.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-23 11:05:49 +0000 UTC
{"tags": ["Test-Time Scaling", "Thought Pruning", "Pass@k", "Reasoning Models", "Inference Optimization", "LLM Reasoning"], "risks": ["Độ phức tạp tính toán và độ trễ phát sinh khi đánh giá mục tiêu Pass@k trên các tập con ứng viên.", "Hiệu quả phụ thuộc vào độ chính xác của cơ chế chấm điểm/ước lượng lời giải từ các chuỗi suy luận ngắn (short prefixes).", "Nguy cơ cắt bỏ sớm những chuỗi suy luận sáng tạo chưa kịp bộc lộ tính đúng đắn ở phần đầu."], "category": "Research", "entities": ["Pass@k", "Test-Time Reasoning", "Open-weight reasoning models"], "summary_vi": "Nghiên cứu giới thiệu phương pháp cắt tỉa chuỗi suy luận (thought pruning) trực tiếp tối ưu hóa chỉ số Pass@k cho các mô hình suy luận trong giai đoạn test-time scaling. Thay vì dùng các quy tắc ad-hoc để kết hợp giữa chất lượng và tính đa dạng của lời giải, phương pháp này chọn tập ứng viên sao cho tối đa hóa xác suất có ít nhất một lời giải thành công khi chạy hoàn tất, tự động phạt sự trùng lặp. Kết quả thử nghiệm trên 8 mô hình nguồn mở cho thấy phương pháp vượt trội hơn hẳn các chiến lược pruning dựa trên chất lượng hoặc đa dạng riêng rẽ.", "key_changes": ["Đề xuất quy trình cắt tỉa chuỗi suy luận (thought pruning) bằng cách trực tiếp tối ưu hóa chỉ số Pass@k trên tập ứng viên được chọn.", "Cân bằng nội tại giữa chất lượng (quality) và độ đa dạng (diversity) thông qua mục tiêu tối đa hóa xác suất có ít nhất một chuỗi thành công và phạt sự trùng lặp.", "Loại bỏ sự cần thiết của các thiết kế ad-hoc kết hợp riêng rẽ giữa bộ lọc chất lượng và bộ lọc đa dạng.", "Đạt hiệu năng vượt trội so với các phương pháp pruning truyền thống trên 8 mô hình suy luận mã nguồn mở, đặc biệt rõ rệt khi giữ lại số lượng ứng viên vừa phải."], "sub_category": "Test-Time Reasoning & Inference Optimization", "novelty_score": 80, "business_score": 76, "research_score": 85, "why_it_matters": "Test-time compute là giải pháp đột phá giúp mô hình ngôn ngữ nâng cao năng lực suy luận, nhưng việc chạy hết mọi ứng viên tốn chi phí hạ tầng rất lớn. Bằng cách giải quyết trực tiếp mâu thuẫn giữa khai thác (chất lượng) và khám phá (đa dạng), phương pháp này giúp các nhà phát triển và doanh nghiệp tối ưu hóa đáng kể chi phí suy luận mà vẫn duy trì hoặc nâng cao tỷ lệ giải đúng bài toán.", "developer_score": 75, "importance_score": 78, "possible_use_cases": ["Tối ưu hóa chi phí điện toán inference (test-time compute) trong các hệ thống giải toán, viết code và suy luận logic phức tạp.", "Nâng cấp cơ chế lọc nhánh trong các thuật toán tìm kiếm như Best-of-N hoặc Tree-of-Thoughts.", "Ứng dụng cho AI Agent cần giải quyết bài toán khó mà không làm bùng nổ số lượng token sinh ra."], "actionability_score": 72}