VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs

{"tags": ["Multimodal LLM", "VisionWeave", "Inference Optimization", "Token Pruning", "SGLang", "MRoPE", "Self-Distillation", "Computer Vision"], "risks": ["Chi phí huấn luyện và tự chưng cất ban đầu rất lớn (tiêu tốn hơn 30K giờ GPU A100 cho mô hình 27B), khó tiếp cận cho các nhóm nhỏ tự tái huấn luyện.", "Nguy cơ router phân bổ sai độ chi tiết ở các tác vụ thị giác siêu mịn dạng biên giới hạn (edge cases), gây sót thông tin quan trọng.", "Yêu cầu tương thích với hệ tọa độ MRoPE và hạ tầng serving chuyên biệt (như SGLang), có thể cần thêm nỗ lực chuyển đổi sang các framework khác như vLLM.", "Hiện chỉ mới được kiểm chứng thực nghiệm trên dòng Qwen (Qwen3.5 và Qwen3.8), cần xác thực thêm trên các họ mô hình MLLM khác."], "category": "Models", "entities": ["VisionWeave", "Qwen3.5-4B", "Qwen3.8-27B", "SGLang", "MRoPE", "A100 GPU"], "summary_vi": "VisionWeave giới thiệu năng lực 'dệt biểu diễn thị giác co giãn' (elastic visual representation weaving) được tích hợp gốc vào các mô hình ngôn ngữ lớn đa phương thức (MLLM). Phương pháp kết hợp một gated spatial pooler để tạo biểu diễn thô cùng với biểu diễn mịn gốc trong hệ tọa độ MRoPE chung, đi kèm granularity router để tự động phân bổ mật độ token theo nội dung hình ảnh. Chỉ thông qua kỹ thuật tự chưng cất (self-distillation) với hơn 30.000 giờ GPU A100 trên Qwen3.8-27B, VisionWeave giúp tiết kiệm trung bình 43,0% số lượng token trong khi vẫn bảo toàn 98,9% hiệu năng gốc trên 8 benchmark. Khi đưa vào production trên engine SGLang, giải pháp giúp tăng 2,3 lần throughput, giảm 54,4% TTFT và giảm 60,6% TPOT.", "key_changes": ["Đề xuất cơ chế 'elastic visual representation weaving' (dệt biểu diễn thị giác co giãn) như một năng lực gốc được tích hợp end-to-end vào MLLM thông qua quy mô huấn luyện lớn.", "Kiến trúc kết hợp 2 thành phần: Gated spatial pooler (tạo biểu diễn thô song song với biểu diễn mịn trong cùng hệ tọa độ MRoPE chia sẻ) và Granularity router (tự động phân bổ token linh hoạt theo nội dung).", "Huấn luyện hoàn toàn bằng phương pháp tự chưng cất (self-distillation), kiểm chứng trên Qwen3.5-4B và mở rộng quy mô lên Qwen3.8-27B với hơn 30.000 giờ GPU A100.", "Tiết kiệm trung bình 43.0% lượng token thị giác trong khi duy trì 98.9% hiệu năng gốc trên 8 bộ benchmark (vượt trội so với token pruning cố định 50% chỉ giữ được 88% hiệu năng).", "Tối ưu hóa mạnh mẽ khi triển khai thực tế trên SGLang: tăng thông lượng (throughput) 2.3 lần, giảm TTFT 54.4% và giảm TPOT 60.6%."], "sub_category": "Multimodal LLMs", "novelty_score": 80, "business_score": 85, "research_score": 84, "why_it_matters": "Mã hóa hình ảnh thành các patch token cố định gây lãng phí tài nguyên tính toán khổng lồ và làm chậm tốc độ phản hồi của MLLM. VisionWeave giải quyết triệt để vấn đề này bằng cách biến khả năng nén thích ứng thành năng lực gốc của mô hình thay vì chỉ cắt tỉa thô bạo. Với khả năng cắt giảm hơn 40% token mà gần như giữ nguyên độ chính xác, cùng việc tăng gấp 2,3 lần thông lượng phục vụ trên SGLang, đây là bước tiến kỹ thuật có giá trị thực tiễn cao giúp doanh nghiệp tối ưu chi phí hạ tầng GPU và tăng tốc triển khai thương mại các ứng dụng AI đa phương thức.", "developer_score": 82, "importance_score": 82, "possible_use_cases": ["Tăng tốc và cắt giảm chi phí phục vụ (serving) cho các dịch vụ MLLM quy mô lớn có lưu lượng truy cập cao.", "Phân tích video dài hoặc nhiều khung hình liên tục mà không làm bùng nổ bộ nhớ KV cache và độ trễ sinh từ.", "Xây dựng ứng dụng trợ lý thị giác thời gian thực đòi hỏi phản hồi nhanh (độ trễ TTFT và TPOT thấp).", "Xử lý tài liệu đa phương thức và hình ảnh độ phân giải cao, tự động giữ chi tiết cho vùng văn bản/đối tượng phức tạp và nén các vùng nền trống."], "actionability_score": 75}