Minimally Invasive Steering of Language Models

{"tags": ["LLM Steering", "Representation Engineering", "Inference-Time Alignment", "Test-Time Optimization", "Fisher Information", "KL Divergence", "Code Generation"], "risks": ["Chỉ áp dụng được trên mô hình mở có quyền truy cập vào hidden states và LM head, không dùng được cho các mô hình đóng qua API thương mại.", "Vẫn phát sinh chi phí tính toán tối ưu hóa vector tại thời điểm inference so với forward pass thông thường.", "Nguy cơ reward hacking nếu mô hình thưởng (reward model) được dùng để định hướng không phản ánh đúng mục tiêu thực tế.", "Hiệu quả lý thuyết dựa trên xấp xỉ bậc một, có thể kém chính xác nếu biên độ can thiệp quá lớn gây lệch phân phối nghiêm trọng."], "category": "Research", "entities": ["MISVO", "Minimally Invasive Steering Vector Optimization", "Best-of-N", "Fisher quadratic", "Language Models"], "summary_vi": "Nghiên cứu giới thiệu MISVO (Minimally Invasive Steering Vector Optimization), phương pháp tối ưu hóa vector can thiệp pre-logit giúp điều hướng mô hình ngôn ngữ đóng băng theo hàm thưởng tại thời điểm kiểm tra (test-time reward) mà không cần cập nhật trọng số. Để tránh suy giảm chất lượng sinh do tối ưu hóa reward không kiểm soát, MISVO sử dụng dạng toàn phương Fisher dựa trên hình học KL cục bộ để phạt can thiệp quá mức, cho phép tính đạo hàm giải tích hiệu quả qua tích ma trận - vector với LM head. Phương pháp chứng minh thành phần suffix trong gradient KL chỉ là bậc hai và dùng đại diện Fisher để tối ưu hóa can thiệp theo vị trí. Trên các tác vụ sở thích và sinh mã (mô hình 1B-14B), MISVO đạt phần thưởng trung bình cao nhất ở 6/7 thiết lập, duy trì độ mạch lạc và đa dạng tương đương Best-of-N.", "key_changes": ["Đề xuất MISVO nhằm can thiệp biểu diễn pre-logit cho mô hình ngôn ngữ đóng băng theo reward tại test-time mà không cần cập nhật trọng số.", "Áp dụng hình học KL cục bộ và dạng toàn phương Fisher để phạt các can thiệp làm lệch phân phối token, bảo toàn chất lượng văn bản sinh ra.", "Tính đạo hàm giải tích thông qua tích ma trận - vector trực tiếp với LM head đóng băng, tối ưu hóa tốc độ tính toán.", "Chứng minh phân rã toán học chính xác: gradient KL cấp chuỗi gồm thành phần Fisher giải tích và thành phần suffix score-function (bậc hai theo độ lớn can thiệp).", "Chứng minh ba hàm đại diện Fisher xấp xỉ chính xác gradient KL ở bậc một và sử dụng frozen-reference surrogate để tối ưu can thiệp theo từng vị trí."], "sub_category": "LLM Steering & Alignment", "novelty_score": 82, "business_score": 65, "research_score": 88, "why_it_matters": "Nghiên cứu giải quyết bài toán cân bằng giữa việc tối ưu hóa phần thưởng và duy trì chất lượng ngôn ngữ tự nhiên trong can thiệp biểu diễn (representation steering). Bằng cách khai thác dạng toàn phương Fisher, MISVO đạt hiệu năng phần thưởng vượt trội (dẫn đầu 6/7 thử nghiệm) mà vẫn giữ được độ mạch lạc và đa dạng gần với Best-of-N. Đối với lập trình viên và doanh nghiệp vận hành LLM nguồn mở, phương pháp này mở ra hướng tiếp cận test-time alignment hiệu quả về tài nguyên, giảm tải chi phí lấy mẫu hàng loạt và loại bỏ sự cồng kềnh của chu trình huấn luyện RLHF.", "developer_score": 74, "importance_score": 78, "possible_use_cases": ["Căn chỉnh mô hình sinh mã nguồn (code generation) theo các bài kiểm tra hoặc tiêu chuẩn cú pháp tại thời điểm suy luận.", "Thích ứng mô hình nguồn mở (1B - 14B tham số) theo sở thích người dùng hoặc chính sách an toàn mà không cần đào tạo lại (RLHF/DPO).", "Thay thế kỹ thuật Best-of-N sampling tốn kém bằng việc tối ưu hóa vector can thiệp trực tiếp trên hidden states.", "Thử nghiệm linh hoạt nhiều reward function khác nhau trong môi trường suy luận động."], "actionability_score": 70}