$T^5$: Twin-Critic Training for Token-Level Thoughts in Reinforcement Mid-Training

{"tags": ["reinforcement-learning", "mid-training", "twin-critic", "token-level-credit-assignment", "ppo", "llm-reasoning", "efficiency"], "risks": ["Độ phức tạp tính toán và quản lý mô hình tăng lên khi phải duy trì và huấn luyện hai mạng critic song song cùng bước khởi động (warmup) và đánh giá riêng.", "Quá trình tối ưu hóa saddle-point mô-men có điều kiện có thể nhạy cảm với siêu tham số và độ ổn định huấn luyện trên các tập dữ liệu đa dạng.", "Cần thêm kiểm chứng thực nghiệm trên các mô hình quy mô cực lớn (hàng chục đến hàng trăm tỷ tham số) để khẳng định tính mở rộng (scalability)."], "category": "Research", "entities": ["T^5", "Twin-Critic", "PPO", "Reinforcement Mid-Training"], "summary_vi": "$T^5$ (Twin-Critic Training) là phương pháp học tăng cường mid-training mới dành cho mô hình ngôn ngữ, giải quyết bài toán gán tín nhiệm (credit assignment) ở cấp độ token cho các chuỗi suy luận nội tại chỉ từ một trajectory sinh ra duy nhất (single rollout). Phương pháp sử dụng hai mạng critic (twin-critic) sau giai đoạn khởi động và đánh giá độc lập, kết hợp các ước lượng advantage thông qua hàm mục tiêu saddle-point mô-men có điều kiện cùng ràng buộc giữ lại tín hiệu học. $T^5$ loại bỏ nhu cầu lấy mẫu lặp lại tốn kém của các phương pháp group-relative, giúp tăng 7,8% hiệu năng benchmark trung bình và giảm tới 63,4% thời gian mỗi bước huấn luyện.", "key_changes": ["Chỉ ra nguyên nhân khiến phương pháp critic đơn lẻ thất bại: training-inference mismatch và cơ chế PPO clipping ngăn cản sai số chung (common offset) tự triệt tiêu, gây ra trôi dạt cập nhật chính sách (update drift).", "Đề xuất kiến trúc Twin-Critic ($T^5$) cho phép hiệu chuẩn advantage chính xác ở cấp độ token từ một trajectory duy nhất mà không cần sinh nhiều rollout lặp lại.", "Thiết kế hàm mục tiêu saddle-point mô-men có điều kiện (conditional-moment saddle-point objective) với trọng số phụ thuộc hành động để đưa advantage trung bình tại mỗi tiền tố về 0.", "Áp dụng ràng buộc bảo toàn tín hiệu (signal-retention constraint) nhằm ngăn việc hiệu chỉnh xóa bỏ tín hiệu học của mô hình.", "Chứng minh lý thuyết về cách kết hợp tối ưu và thiết lập chặn trên cho độ trôi dạt do trung bình dư thừa (residual mean-induced drift).", "Đạt mức cải thiện 7,8% hiệu năng benchmark trung bình và cắt giảm tới 63,4% thời gian mỗi bước huấn luyện so với các phương pháp critic-free SOTA."], "sub_category": "Reinforcement Learning for LLMs", "novelty_score": 82, "business_score": 72, "research_score": 88, "why_it_matters": "Việc rèn luyện khả năng suy luận nội tại cho LLM bằng RL thường đòi hỏi chi phí tính toán khổng lồ do các phương pháp hiện tại (như GRPO) phải lấy mẫu nhiều lần cho mỗi tiền tố, trong khi dùng critic truyền thống lại bất ổn định do PPO clipping và mismatch. $T^5$ mở ra hướng đi đột phá khi kết hợp được ưu điểm của cả hai: gán tín nhiệm chính xác theo từng token chỉ với một rollout duy nhất, vừa ổn định về mặt lý thuyết vừa giảm tới 63,4% thời gian huấn luyện. Đây là bước tiến quan trọng giúp giảm rào cản chi phí tính toán trong phát triển mô hình suy luận.", "developer_score": 74, "importance_score": 78, "possible_use_cases": ["Huấn luyện tăng cường mid-training cho các mô hình suy luận (reasoning models) từ dữ liệu văn bản không nhãn.", "Tối ưu hóa hiệu năng tính toán trong quy trình RL cho LLM thay thế GRPO hoặc các kỹ thuật group-relative tiêu tốn nhiều rollout.", "Gán tín nhiệm chính xác ở mức từng token (token-level credit assignment) cho các bài toán giải toán, lập trình hoặc suy luận logic dài."], "actionability_score": 65}