T-Router: Learning Thalamic Routing for Reasoning with Parameter-Efficient Reinforcement Learning

{"tags": ["Reinforcement Learning", "PEFT", "T-Router", "Reasoning", "GRPO", "LoRA", "GSM8K", "AIME"], "risks": ["Độ phức tạp triển khai của ngân hàng bộ nhớ và bộ điều khiển hồi quy cao hơn nhiều so với các adapter chuẩn như LoRA.", "Tiềm năng phát sinh độ trễ suy luận (inference latency) hoặc chi phí quản lý trạng thái đệm khi phục vụ trong môi trường production.", "Thực nghiệm hiện giới hạn trên backbone 8,95B và miền toán học; khả năng mở rộng sang các quy mô lớn hơn (>70B) và các tác vụ tổng quát cần thêm kiểm chứng."], "category": "Research", "entities": ["T-Router", "GSM8K", "AIME", "GRPO", "LoRA"], "summary_vi": "Nghiên cứu giới thiệu T-Router (Thalamic Router), một phương pháp học tăng cường hiệu quả tham số (parameter-efficient RL) giúp nâng cao năng lực suy luận của mô hình ngôn ngữ lớn thông qua việc tái sử dụng có kiểm soát các tính toán đã thực hiện. T-Router sử dụng ngân hàng bộ nhớ nén lưu trữ biến đổi của các khối cùng bộ điều khiển hồi quy theo chiều sâu để quyết định layer tiếp theo sẽ tái sử dụng thông tin nào. Chỉ với 41,73M tham số (0,466% của mô hình nền 8,95B), T-Router đạt 83,64 MathAvg trên GSM8K RL (vượt full-parameter GRPO 73,79 và LoRA 77,28), đồng thời tăng độ chính xác AIME từ 48,33% lên 60,56%.", "key_changes": ["Đề xuất T-Router (Thalamic Router): cơ chế điều hướng mô phỏng đồi thị não bộ, tập trung vào việc tái sử dụng có kiểm soát các kết quả tính toán đã hoàn thành giữa các layer.", "Kiến trúc gồm ngân hàng địa chỉ nén (compressed, addressable bank) lưu lại thay đổi khối và bộ điều khiển hồi quy theo chiều sâu (depth-recurrent controller) để chọn lọc và ghi đè theo tỷ lệ.", "Đóng băng toàn bộ mô hình nền (backbone) và thứ tự layer, chỉ tối ưu 41,73M tham số (chiếm 0,466% của backbone 8,95B) thông qua phần thưởng tính đúng đắn (correctness rewards).", "Đạt 83,64 MathAvg trên GSM8K RL, vượt trội so với full-parameter GRPO (73,79) và LoRA (77,28) ở cùng ngân sách tham số.", "Nâng độ chính xác trung bình trên benchmark AIME từ 48,33% lên 60,56% và mở rộng thành công sang suy luận qua công cụ (tool-mediated reasoning)."], "sub_category": "Parameter-Efficient RL & Reasoning", "novelty_score": 82, "business_score": 76, "research_score": 88, "why_it_matters": "T-Router chứng minh rằng tái sử dụng tính toán tầng trước qua định tuyến đồi thị mang lại hiệu năng suy luận vượt trội so với cả fine-tuning toàn bộ tham số (full-parameter) lẫn LoRA, mở ra tiềm năng tối ưu hóa chi phí huấn luyện mô hình suy luận sâu với mức tài nguyên siêu tiết kiệm.", "developer_score": 78, "importance_score": 82, "possible_use_cases": ["Tối ưu hóa học tăng cường (RL post-training) cho các mô hình suy luận toán học và logic với chi phí phần cứng và VRAM thấp.", "Thay thế hoặc bổ trợ LoRA trong các tác vụ suy luận đa bước phức tạp trên mô hình ngôn ngữ vừa và nhỏ.", "Huấn luyện tác tử suy luận tích hợp gọi công cụ (tool-augmented reasoning) với giao diện tham số gọn nhẹ."], "actionability_score": 68}