Beyond Repeated Sampling: Learning Search Policies for LLM Reasoning

{"tags": ["LLM Reasoning", "Test-Time Compute", "Reinforcement Learning", "Search Policy", "Pass@k", "Mathematical Reasoning", "Semantic Exploration"], "risks": ["Tăng độ trễ phản hồi (latency) do quy trình xử lý trải qua hai giai đoạn riêng biệt.", "Nguy cơ concept/hint bị sai lệch dẫn đến mô hình lớn bị định hướng sai kết quả.", "Độ phức tạp cao trong việc thiết kế hàm thưởng và quy trình huấn luyện RL cho concept generator."], "category": "Research", "entities": ["LLM", "Concept Generator", "Answer Generator", "Reinforcement Learning", "Pass@k"], "summary_vi": "Nghiên cứu đề xuất phương pháp tìm kiếm ngữ nghĩa mới cho bài toán suy luận của LLM thay thế kỹ thuật lấy mẫu lặp lại (repeated sampling) ngây thơ. Bằng cách dùng học tăng cường (RL) để huấn luyện một mô hình nhỏ (concept generator) sinh ra các khái niệm và chiến lược gợi ý đa dạng, hệ thống có thể điều hướng hiệu quả một mô hình lớn cố định (answer generator). Kết quả cho thấy phương pháp cải thiện vượt trội tỷ lệ pass@k trên các bài toán khó với cùng mức compute, vượt qua cả các mô hình lớn chưa tinh chỉnh và có khả năng chuyển giao sang các mô hình khác họ.", "key_changes": ["Chuyển đổi phương thức tìm kiếm suy luận từ lấy mẫu lặp lại cục bộ (decoding noise) sang điều hướng ngữ nghĩa (semantic exploration) bằng khái niệm và gợi ý.", "Sử dụng học tăng cường (RL) để huấn luyện một mô hình nhỏ (concept generator) nhằm tối đa hóa hiệu quả giải bài của mô hình lớn cố định (frozen answer generator).", "Sinh nhiều khái niệm, chiến lược đa dạng trong cùng một quỹ đạo suy luận thay vì nhiều lần chạy độc lập trùng lặp.", "Khả năng chuyển giao (transferability) vượt trội: policy từ mô hình nhỏ áp dụng hiệu quả cho cả mô hình lớn khác họ chưa từng thấy trong huấn luyện."], "sub_category": "LLM Reasoning & Search Policies", "novelty_score": 82, "business_score": 78, "research_score": 88, "why_it_matters": "Nghiên cứu thay đổi căn bản cách tiếp cận test-time compute trong suy luận LLM: thay vì lãng phí tài nguyên tính toán vào việc lấy mẫu ngẫu nhiên trùng lặp, một mô hình nhỏ giá rẻ có thể được huấn luyện thành search policy chiến lược để dẫn dắt mô hình lớn. Tính chuyển giao linh hoạt giữa các họ mô hình giúp doanh nghiệp và nhà phát triển tối ưu hóa đáng kể chi phí API và hạ tầng tính toán khi giải các bài toán suy luận phức tạp.", "developer_score": 75, "importance_score": 85, "possible_use_cases": ["Tối ưu hóa chi phí và hiệu quả test-time compute cho các hệ thống giải toán và logic phức tạp.", "Xây dựng kiến trúc suy luận hai tầng (two-tier): mô hình nhỏ làm nhiệm vụ định hướng chiến lược (planner), mô hình lớn thực thi giải bài (solver).", "Nâng cao tỷ lệ giải thành công (pass@k) trong các tác vụ sinh mã nguồn và thuật toán khó mà không cần tăng compute cho model lớn.", "Tái sử dụng một policy search generator duy nhất để trợ lực cho nhiều LLM thương mại hoặc mã nguồn mở khác nhau."], "actionability_score": 70}