AdviSD: Learning to Advise Frontier LLMs via Targeted Multi-Turn Self-Distillation

{"tags": ["AdviSD", "LLM Advisors", "Self-Distillation", "Reinforcement Learning", "Frontier LLMs", "Agent Steering", "Qwen3-8B", "Gemini", "Claude", "BFCL-v3"], "risks": ["Phụ thuộc vào chất lượng cơ chế reflection để tạo ra các đề xuất chỉnh sửa ban đầu.", "Tăng chi phí token đầu vào và độ trễ phản hồi trong các phiên tương tác đa lượt do phải truyền thêm lời khuyên tự nhiên.", "Hiệu quả trên các tác vụ đa phương thức hoặc môi trường thực thi phức tạp theo thời gian thực chưa được xác minh trong phạm vi tài liệu."], "category": "Agents", "entities": ["AdviSD", "Qwen3-8B", "Gemini", "Claude", "BFCL-v3", "EnvScaler", "advisor-GRPO"], "summary_vi": "AdviSD (Advisor Self-Distillation) là phương pháp huấn luyện một mô hình cố vấn nhỏ (như Qwen3-8B) nhằm điều hướng các mô hình ngôn ngữ lớn biên giới đang đóng băng (như Gemini, Claude) bằng lời khuyên tự nhiên. Phương pháp này kết hợp học tăng cường dựa trên kết quả với tự chưng cất có chọn lọc dựa trên mức độ ảnh hưởng của lời khuyên đến hành vi thực thi, không cần quyền truy cập log-likelihood hay chạy thêm lượt rollout của executor. Thực nghiệm cho thấy AdviSD cải thiện đáng kể độ chính xác trên BFCL-v3 và EnvScaler, đồng thời có khả năng chuyển giao vượt trội qua nhiều dòng mô hình khác nhau.", "key_changes": ["Đề xuất phương pháp AdviSD (Advisor Self-Distillation) kết hợp outcome-based RL với cơ chế tự chưng cất có chọn lọc từ bản sao cố vấn phản chiếu.", "Cơ chế tính điểm dựa trên độ chênh lệch phản hồi của executor khi có và không có lời khuyên để chọn dữ liệu giám sát, loại bỏ các chỉnh sửa không tạo tác động thực thi thực chất.", "Chứng minh lý thuyết: trong mô hình chia sẻ tham số, việc học tất cả chỉnh sửa có thể làm giảm hiệu suất so với việc giữ lại có chọn lọc.", "Hoạt động dạng hộp đen (black-box), không đòi hỏi log-likelihood hay thêm lượt rollout từ mô hình thực thi biên giới.", "Đạt mức tăng 4.2-6.4 điểm % trên BFCL-v3 và 3.9-5.1 điểm trên EnvScaler so với advisor-GRPO, đồng thời chuyển giao tốt qua các phiên bản và họ mô hình khác nhau."], "sub_category": "Agent Steering & Distillation", "novelty_score": 82, "business_score": 82, "research_score": 85, "why_it_matters": "AdviSD giải quyết bài toán kiểm soát và tối ưu hóa frontier LLMs thương mại mà không cần quyền can thiệp trọng số hay chi trả chi phí chạy rollout khổng lồ. Việc sử dụng một mô hình mã nguồn mở 8B để 'chỉ dẫn' các mô hình độc quyền lớn như Gemini hay Claude giúp doanh nghiệp và lập trình viên tiết kiệm chi phí vận hành, nâng cao độ chính xác khi gọi hàm/công cụ và dễ dàng thích ứng khi đổi nhà cung cấp nền tảng.", "developer_score": 80, "importance_score": 80, "possible_use_cases": ["Xây dựng mô hình cố vấn cục bộ nhỏ (8B) để điều hướng các frontier LLMs đóng băng (như Gemini, Claude) trong tác vụ gọi công cụ và tương tác đa bước.", "Cải thiện độ chính xác và giảm thiểu rủi ro cho các hệ thống Agent doanh nghiệp mà không cần fine-tune mô hình độc quyền.", "Tối ưu hóa quy trình điều khiển và giám sát hành vi của LLM trong các môi trường công cụ phức tạp (tool use/environment scaling).", "Chuyển đổi linh hoạt giữa các nhà cung cấp mô hình thực thi lớn mà không cần huấn luyện lại toàn bộ hệ thống từ đầu."], "actionability_score": 74}