Rethinking What to Cache in Few-Step Diffusion Transformers: Solver-Aware Target Selection

{"tags": ["Diffusion Transformers", "DiT", "Caching", "Step Distillation", "AutoTarget", "Inference Optimization", "FLUX.1-schnell", "PixArt-LCM"], "risks": ["Phải tốn chi phí chạy calibration ban đầu mỗi khi thay đổi cấu hình mô hình, solver hoặc độ phân giải.", "Mức độ suy giảm chất lượng có thể thay đổi tùy thuộc vào ngưỡng chấp nhận sai số và tính nhạy cảm của từng tác vụ cụ thể.", "Hiện mới được xác thực trên PixArt-LCM và FLUX.1-schnell; cần đánh giá thêm trên các mô hình DiT tạo video quy mô lớn hơn."], "category": "Research", "entities": ["AutoTarget", "Diffusion Transformers", "PixArt-LCM", "FLUX.1-schnell", "Euler sampler", "GitHub"], "summary_vi": "AutoTarget là phương pháp tự động lựa chọn tensor tối ưu để cache trong các mô hình Diffusion Transformer (DiT) số bước ít (few-step) sau chưng cất (step distillation). Khi số bước lấy mẫu giảm, khoảng cách giữa các bước lớn hơn khiến việc tái sử dụng tensor dễ gây sai số. AutoTarget giải quyết vấn đề này bằng cách đo lường sai số từ các lần chạy mẫu không cache, từ đó xác định mục tiêu cache tối ưu tương ứng với từng mô hình, độ phân giải và bộ giải (solver như Euler). Phương pháp giúp giảm số lần tính toán DiT và dung lượng bộ nhớ cache lưu trữ mà vẫn giữ chất lượng tạo ảnh/video tương đương bản gốc không cache, đã được kiểm chứng trên PixArt-LCM và FLUX.1-schnell.", "key_changes": ["Chỉ ra hạn chế của phương pháp cache cố định khi áp dụng trên DiT đã qua chưng cất bước (step distillation) do khoảng cách bước lớn làm tăng sai số tái sử dụng tensor.", "Giới thiệu AutoTarget: thuật toán đo sai số từ một tập nhỏ các lần chạy không cache để chọn tensor có sai số thấp nhất cho từng mô hình, solver và reuse schedule.", "Phân tích lý thuyết về sự lan truyền sai số tại một bước tái sử dụng đến mẫu đầu ra cuối cùng, đặc biệt phân tích sự khác biệt giữa các mục tiêu cache và solver update trong Euler sampling.", "Thực nghiệm chứng minh mục tiêu cache tối ưu thay đổi theo mô hình, độ phân giải và solver; việc chọn thủ công không còn tối ưu.", "Giảm đáng kể số lượt tính toán DiT và dung lượng bộ nhớ cache lưu trữ trong khi vẫn duy trì chất lượng tương đương bản không cache trên PixArt-LCM và FLUX.1-schnell.", "Công khai mã nguồn cốt lõi tại GitHub (https://github.com/wali1024-offical/AutoTarget)."], "sub_category": "Efficient Deep Learning / Diffusion Inference", "novelty_score": 75, "business_score": 70, "research_score": 78, "why_it_matters": "Kết hợp giữa chưng cất bước (distillation) và caching là chìa khóa để giảm chi phí suy luận khổng lồ của Diffusion Transformers. AutoTarget giải quyết lỗ hổng lớn của các phương pháp caching truyền thống vốn dùng heuristic tĩnh, giúp việc cache trở nên nhận biết solver (solver-aware) và thích ứng linh hoạt, từ đó tối ưu hóa đồng thời cả tốc độ tính toán lẫn dung lượng bộ nhớ.", "developer_score": 85, "importance_score": 72, "possible_use_cases": ["Tối ưu hóa tốc độ và giảm độ trễ sinh ảnh/video trên production cho các mô hình DiT few-step như FLUX.1-schnell và PixArt-LCM.", "Tiết kiệm bộ nhớ VRAM bằng cách loại bỏ việc lưu trữ cache dư thừa, cho phép tăng batch size hoặc phục vụ mô hình trên GPU nhỏ hơn.", "Tự động tìm kiếm cấu hình caching tối ưu khi thay đổi solver, lịch trình lấy mẫu hoặc độ phân giải ảnh/video trong pipeline."], "actionability_score": 85}