InGuard: Towards Generalized Inner Guardrail for Safe Text-to-Image Generation

{"tags": ["InGuard", "Text-to-Image", "AI Safety", "Guardrails", "Diffusion Models", "SAGE", "RevGen Benchmark"], "risks": ["Cơ chế SAGE điều chỉnh embedding có thể làm sai lệch ý đồ nghệ thuật hoặc làm giảm chất lượng hình ảnh đối với các prompt biên.", "Nguy cơ xuất hiện các kỹ thuật jailbreak không gian latent tinh vi nhằm qua mặt bộ dò latent midway.", "Hiện mới được thử nghiệm trên 5 mô hình open-weight, cần kiểm chứng tính tổng quát hóa trên các kiến trúc mới hoặc mô hình thương mại quy mô lớn."], "category": "Research", "entities": ["InGuard", "SAGE", "RevGen Safety Benchmark"], "summary_vi": "InGuard là khung an toàn nội bộ (Inner Guardrail) cho các mô hình sinh ảnh từ văn bản (T2I), can thiệp trực tiếp vào không gian biểu diễn nội bộ mà không cần chỉnh sửa trọng số mô hình gốc. Hệ thống phân loại mức độ rủi ro prompt từ text encoder có sẵn, sử dụng cơ chế SAGE để điều chỉnh embedding của prompt rủi ro giúp sinh ra ảnh an toàn thay vì từ chối, và áp dụng bộ dò latent giữa quá trình khử nhiễu để dừng sớm khi phát hiện vi phạm. Thử nghiệm trên 5 mô hình open-weight với benchmark RevGen cho thấy InGuard đạt tỷ lệ an toàn 97,9-98,8%, bỏ qua được 50-55,6% số bước khử nhiễu bị lãng phí và giảm 3,7 lần tham số phụ trợ so với guardrail truyền thống.", "key_changes": ["Đề xuất khung bảo vệ nội bộ InGuard can thiệp trực tiếp vào biểu diễn của mô hình T2I mà không thay đổi tham số gốc.", "Phân loại rủi ro prompt trực tiếp từ embedding của text encoder nội bộ, không cần phụ thuộc vào LLM bên ngoài.", "Áp dụng cơ chế SAGE (Soft-gated Asymmetric Guardrail for Embeddings) để chỉnh sửa embedding của prompt rủi ro nhằm sinh ảnh an toàn thay vì từ chối tạo.", "Tích hợp bộ dò latent (latent detector) giữa quá trình khử nhiễu (denoising) để dừng sinh ảnh sớm ngay khi phát hiện vi phạm, tiết kiệm compute.", "Xây dựng bộ benchmark RevGen Safety Benchmark gồm 10.000 prompt đánh giá rủi ro porn/gore và vi phạm bản quyền (IP)."], "sub_category": "AI Safety & Moderation", "novelty_score": 82, "business_score": 80, "research_score": 88, "why_it_matters": "InGuard khắc phục hai hạn chế lớn của guardrail ngoại vi truyền thống: lãng phí tài nguyên tính toán do kiểm duyệt sau khi đã sinh xong ảnh và trải nghiệm người dùng kém do từ chối cứng nhắc. Bằng việc can thiệp nội bộ ở cấp độ biểu diễn và latent, giải pháp này vừa đạt tỷ lệ an toàn vượt trội (97,9 - 98,8%), vừa tiết kiệm hơn một nửa chi phí suy luận đối với nội dung rủi ro và giảm 3,7 lần kích thước mô hình kiểm duyệt.", "developer_score": 85, "importance_score": 80, "possible_use_cases": ["Tích hợp vào pipeline suy luận của các dịch vụ T2I thương mại để tiết kiệm chi phí GPU nhờ ngắt sớm các tác vụ sinh ảnh độc hại.", "Kiểm duyệt và bảo vệ an toàn cho mô hình sinh ảnh mà không tốn tài nguyên chạy thêm LLM phân loại prompt riêng biệt.", "Cải thiện trải nghiệm người dùng bằng cách tự điều chỉnh các prompt nhạy cảm để tạo ra ảnh an toàn thay vì trả về lỗi từ chối.", "Sử dụng RevGen Benchmark để đánh giá định lượng độ an toàn và rủi ro vi phạm bản quyền trước khi triển khai mô hình T2I."], "actionability_score": 78}