Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Extracting Persona Subspaces Through Iterative Nullspace Projection For Modulation

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

62 RADAR
Research Model Steering & Interpretability · 1 nguồn đối chiếu · 2026-10-03 17:45:24 +0000 UTC

Extracting Persona Subspaces Through Iterative Nullspace Projection For Modulation

Nguồn: arXiv AI
↗

Nghiên cứu giới thiệu PaSS, một phương pháp điều chế mô hình ngôn ngữ lớn (LLM) trong thời gian suy luận thông qua việc mô hình hóa các persona thành các không gian con đa chiều trong latent space. Sử dụng kỹ thuật Phép chiếu Không gian Triệt tiêu Lặp (INLP), PaSS tách và bóc tách từng hướng đặc tính cụ thể mà không cần dữ liệu đối chiếu có giám sát hay huấn luyện lại mô hình. Kết quả đánh giá trên các benchmark như MATH-500, GSM8K và IFEval chứng minh PaSS cho phép khuếch đại hoặc triệt tiêu các đặc tính persona hiệu quả hơn phương pháp cộng hướng đơn lẻ, đồng thời giữ vững độ trung thực và hiệu năng của mô hình.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Các phương pháp can thiệp biểu diễn hiện tại thường thu gọn persona thành một vector đơn nhất, bỏ qua các sắc thái hành vi phân tầng phức tạp. PaSS giải quyết điểm nghẽn này bằng cách phân rã persona thành không gian con đa chiều, mang lại khả năng can thiệp chính xác, dễ giải thích và không làm giảm hiệu năng tác vụ của LLM mà không tốn chi phí fine-tuning.

Developer 70
Business 64
Novelty 82
Actionable 70

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Large Language Models (LLMs) can adopt distinct personas to tune their semantics, expertise, and perspective to different users and tasks. Precise control over these traits is critical to ensure safety and reliability in model behavior. Existing methods like activation steering and prompt-based persona induction reduce a persona to a single dominant direction, missing the finer, nested traits that emerge only once that dominant signal is factored out. We introduce modulation as a setting where the persona context is already embedded in the content being manipulated, requiring control methods to amplify or suppress a trait already present rather than inject it from scratch. PaSS is an inference-time control paradigm that models personas as multi-dimensional subspaces in a model's latent space without supervised contrastive examples. The persona subspaces are extracted via iterative concept erasure and applied to modulate persona-guided generation without retraining. To extract this subspace, we use Iterative Nullspace Projections (INLP) to linearly and iteratively isolate persona-specific directions. We causally evaluate six personas against diverse tasks like MATH-500, TinyAlpaca, GSM8K, and IFEval, showing that discriminative, iterative subspace extraction captures diverse traits underlying a given persona, enabling stronger and larger modulation than single-direction additive methods, while maintaining content fidelity. We further study individual peeled directions within each subspace to uncover the distinct aspects of persona behavior they encode. Overall, we show that persona subspaces offer a controllable, interpretable, and generalizable framework for modulating LLM behavior without sacrificing task performance.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-06 09:17:19 +0000 UTC
{"tags": ["LLM", "Model Steering", "Representation Engineering", "INLP", "Interpretability", "Inference-Time Control", "Persona Subspaces"], "risks": ["Yêu cầu quyền truy cập vào trọng số và activation nội tại của mô hình (white-box access), không áp dụng trực tiếp được cho các black-box API thương mại.", "Có nguy cơ ảnh hưởng ngoài ý muốn đến khả năng suy luận nếu các hướng persona bị chồng lấn một phần với biểu diễn tri thức tác vụ.", "Chi phí tính toán và độ trễ tăng nhẹ trong pipeline suy luận khi thực hiện các phép chiếu vector liên tục."], "category": "Research", "entities": ["PaSS", "INLP", "MATH-500", "TinyAlpaca", "GSM8K", "IFEval", "LLM"], "summary_vi": "Nghiên cứu giới thiệu PaSS, một phương pháp điều chế mô hình ngôn ngữ lớn (LLM) trong thời gian suy luận thông qua việc mô hình hóa các persona thành các không gian con đa chiều trong latent space. Sử dụng kỹ thuật Phép chiếu Không gian Triệt tiêu Lặp (INLP), PaSS tách và bóc tách từng hướng đặc tính cụ thể mà không cần dữ liệu đối chiếu có giám sát hay huấn luyện lại mô hình. Kết quả đánh giá trên các benchmark như MATH-500, GSM8K và IFEval chứng minh PaSS cho phép khuếch đại hoặc triệt tiêu các đặc tính persona hiệu quả hơn phương pháp cộng hướng đơn lẻ, đồng thời giữ vững độ trung thực và hiệu năng của mô hình.", "key_changes": ["Mô hình hóa persona thành không gian con đa chiều (subspaces) trong không gian ẩn thay vì một hướng biểu diễn đơn lẻ như activation steering truyền thống.", "Sử dụng kỹ thuật Phép chiếu Không gian Triệt tiêu Lặp (INLP) để cô lập tuyến tính các hướng đặc trưng mà không cần tập dữ liệu đối chiếu có nhãn giám sát.", "Đưa ra cơ chế điều chế (modulation) trong thời gian suy luận (inference-time) để khuếch đại hoặc triệt tiêu các đặc tính persona đã có sẵn mà không cần huấn luyện lại mô hình.", "Duy trì độ trung thực nội dung và hiệu năng trên các tác vụ chuẩn (MATH-500, GSM8K, IFEval, TinyAlpaca) tốt hơn các phương pháp cộng hướng đơn lẻ."], "sub_category": "Model Steering & Interpretability", "novelty_score": 82, "business_score": 65, "research_score": 88, "why_it_matters": "Các phương pháp can thiệp biểu diễn hiện tại thường thu gọn persona thành một vector đơn nhất, bỏ qua các sắc thái hành vi phân tầng phức tạp. PaSS giải quyết điểm nghẽn này bằng cách phân rã persona thành không gian con đa chiều, mang lại khả năng can thiệp chính xác, dễ giải thích và không làm giảm hiệu năng tác vụ của LLM mà không tốn chi phí fine-tuning.", "developer_score": 75, "importance_score": 78, "possible_use_cases": ["Điều chỉnh phong cách, giọng văn hoặc vai trò (persona) của trợ lý ảo và chatbot trong thời gian thực mà không cần huấn luyện lại mô hình.", "Ức chế hoặc loại bỏ các đặc tính hành vi không mong muốn (định kiến, tự phụ, văn phong tiêu cực) nhằm tăng độ an toàn cho mô hình.", "Phân tích và giải thích cơ chế nội tại (mechanistic interpretability) về cách LLM mã hóa các sắc thái hành vi và chuyên môn trong không gian biểu diễn ẩn."], "actionability_score": 70}
← Trang trước Trang 1