LLM Detoxification via Transition-Aware Reward-Guided Representation Sampling

{"tags": ["LLM Safety", "Detoxification", "Representation Steering", "AI Alignment", "Test-time Intervention", "LVLM", "Reward Modeling"], "risks": ["Yêu cầu truy cập vào không gian biểu diễn/decoder của mô hình, không áp dụng được cho các LLM đóng qua API dạng black-box.", "Hiệu quả phụ thuộc lớn vào chất lượng của mô hình phần thưởng nhận biết chuyển tiếp token.", "Nguy cơ tác động biên đến chất lượng tạo sinh đối với các tác vụ yêu cầu lập luận chuyên sâu chưa được kiểm chứng đầy đủ."], "category": "Research", "entities": ["TARGRS", "RealToxicityPrompts", "BOLD", "AttaQ", "LLM", "LVLM"], "summary_vi": "TARGRS là khung khử độc ở giai đoạn suy luận (test-time) cho LLM và LVLM thông qua can thiệp không gian biểu diễn ẩn. Bằng cách mô hình hóa quỹ đạo chuyển tiếp từ trạng thái phi độc sang độc hại để huấn luyện mô hình phần thưởng cấp token, TARGRS dẫn hướng lấy mẫu từ thô đến tinh nhằm chọn biểu diễn sạch với độ nhiễu loạn tối thiểu. Thử nghiệm trên 10 LLM và 3 LVLM cho thấy phương pháp giảm tới 69,38% độc tính trên RealToxicityPrompts, bảo toàn năng lực cốt lõi và duy trì tốc độ tương đương mô hình gốc.", "key_changes": ["Đề xuất phương pháp TARGRS (Transition-Aware Reward-Guided Representation Sampling) khử độc LLM ở giai đoạn suy luận (test-time) trong không gian biểu diễn ẩn.", "Xây dựng quỹ đạo chuyển tiếp độc tính để biến chú thích thưa thớt thành giám sát dày đặc (dense listwise supervision) cho mô hình phần thưởng cấp độ token.", "Cơ chế lấy mẫu từ thô đến tinh (coarse-to-fine sampling) theo hướng phi độc tính, giảm thiểu tối đa độ nhiễu loạn của biểu diễn để bảo toàn năng lực mô hình gốc.", "Đạt hiệu quả giảm tới 69,38% độc tính trên RealToxicityPrompts (thử nghiệm trên 10 LLM) và 64,23% trên 3 LVLM mà gần như không làm chậm tốc độ suy luận."], "sub_category": "AI Safety & Alignment", "novelty_score": 82, "business_score": 74, "research_score": 88, "why_it_matters": "TARGRS giải quyết sự đánh đổi phổ biến giữa an toàn và hiệu năng: cho phép khử độc sâu ở cấp độ biểu diễn ẩn ngay tại thời điểm suy luận mà không cần fine-tuning tốn kém, không làm suy giảm tốc độ tạo sinh và có khả năng mở rộng trực tiếp sang các mô hình đa phương thức (LVLM).", "developer_score": 78, "importance_score": 79, "possible_use_cases": ["Tích hợp guardrail thời gian thực cho các mô hình mã nguồn mở phục vụ chatbot hoặc trợ lý ảo mà không cần fine-tune lại trọng số.", "Kiểm soát an toàn cho Large Vision-Language Models (LVLM) xử lý đầu vào hình ảnh - văn bản phức tạp.", "Triển khai bộ lọc an toàn tối ưu độ trễ cho các hệ thống AI phục vụ người dùng cuối trong môi trường doanh nghiệp."], "actionability_score": 72}