WeLM-Image: A Unified Image Generation Model towards Visual Intelligence

{"tags": ["WeLM-Image", "Text-to-Image", "Image-Editing", "Mixture-of-Transformers", "MoE", "Distillation", "Single-GPU-Inference", "WeChat"], "risks": ["Bộ nhớ VRAM cần thiết để lưu trữ 31.7B tham số vẫn đáng kể dù chỉ kích hoạt 5.4B tham số khi inference.", "Nguy cơ phát sinh nội dung nhạy cảm, vi phạm bản quyền hoặc sai lệch thực tế khi mở rộng cho người dùng cuối trên diện rộng.", "Độ nhạy đối với câu lệnh chỉnh sửa mơ hồ có thể làm giảm chất lượng tổng hợp ở các kịch bản phức tạp.", "Khả năng tương thích và tối ưu hóa hiệu năng cần kiểm chứng thêm khi triển khai trên các dòng GPU khác ngoài NVIDIA H20."], "category": "Models", "entities": ["WeLM-Image", "WeChat", "Tencent", "NVIDIA H20", "PRISM-Bench", "Qwen-Image-Bench", "UnicBench", "WeLM-Image-Turbo"], "summary_vi": "WeLM-Image là mô hình nền tảng hình ảnh hợp nhất được phát triển cho ứng dụng tiêu dùng quy mô lớn của WeChat, tích hợp cả ba khả năng: tạo ảnh từ văn bản, chỉnh sửa ảnh theo chỉ dẫn và tổng hợp từ nhiều ảnh tham chiếu trên một GPU đơn lẻ. Mô hình xử lý dữ liệu dưới dạng chuỗi xen kẽ (interleaved sequence) và sử dụng kiến trúc Mixture-of-Transformers (MoT) kết hợp Mixture-of-Experts (MoE) với tổng 31.7B tham số lưu trữ (kích hoạt ~5.4B tham số cho mỗi token latent). Nhờ quy trình huấn luyện lũy tiến đến độ phân giải native 1.5K và chưng cất chính sách on-policy, mô hình dẫn đầu các benchmark mã nguồn mở PRISM-Bench, Qwen-Image-Bench và UnicBench. Phiên bản WeLM-Image-Turbo sử dụng MeanFlow distillation có thể tạo ảnh 1024x1024 chỉ trong 4.98 giây với 8 bước không cần guidance trên GPU NVIDIA H20.", "key_changes": ["Xử lý văn bản, ảnh tham chiếu và target latents như một chuỗi xen kẽ thống nhất (interleaved sequence) cho cả tác vụ sinh ảnh, chỉnh sửa và tổng hợp đa tham chiếu.", "Kiến trúc Mixture-of-Transformers (MoT) kết hợp shared attention với các tham số understanding và generation độc lập nhằm ngăn ngừa xung đột tối ưu hóa.", "Tích hợp Mixture-of-Experts (MoE) với tổng 31.7B tham số lưu trữ và chỉ kích hoạt khoảng 5.4B tham số cho mỗi token latent mục tiêu.", "Quy trình huấn luyện lũy tiến lên độ phân giải native 1.5K (1536x1536) với dữ liệu song ngữ và giám sát chỉnh sửa đã được kiểm chứng.", "Tối ưu hóa riêng biệt policy sinh và sửa ảnh bằng reward rubric/checklist, sau đó hợp nhất qua noise-aware on-policy distillation.", "Phiên bản WeLM-Image-Turbo dùng MeanFlow distillation cho phép sinh ảnh 1024x1024 trong 4.98 giây với 8 bước guidance-free trên một GPU NVIDIA H20 đơn lẻ."], "sub_category": "Unified Image Generation & Editing", "novelty_score": 83, "business_score": 85, "research_score": 85, "why_it_matters": "WeLM-Image giải quyết bài toán mâu thuẫn tối ưu giữa khả năng hiểu đa phương thức và chất lượng sinh ảnh trong cùng một kiến trúc thống nhất thông qua MoT và MoE. Việc đạt hiệu năng dẫn đầu các benchmark mở đồng thời tối ưu hóa để chạy trong dưới 5 giây trên một GPU H20 duy nhất chứng minh tính khả thi cao trong việc thương mại hóa mô hình tạo ảnh chất lượng cao trên quy mô lớn mà vẫn kiểm soát tốt chi phí hạ tầng.", "developer_score": 84, "importance_score": 84, "possible_use_cases": ["Tích hợp tính năng tạo và chỉnh sửa ảnh theo ngôn ngữ tự nhiên trong các ứng dụng nhắn tin và mạng xã hội quy mô hàng trăm triệu người dùng như WeChat.", "Chỉnh sửa ảnh sản phẩm và thiết kế marketing tự động cho thương mại điện tử dựa trên câu lệnh và ảnh mẫu tham chiếu.", "Tạo hình ảnh giữ tính nhất quán nhân vật hoặc phong cách (character/style consistency) thông qua multi-reference synthesis.", "Triển khai hệ thống sinh ảnh chất lượng cao native 1.5K trên hạ tầng single-GPU nhằm tối ưu hóa chi phí vận hành."], "actionability_score": 80}