MicroQonv: Reshaping Convolution Tensors for Efficient Microscaling in Training and Inference

{"tags": ["Microscaling", "Quantization", "Convolutional Neural Networks", "Edge AI", "im2col", "Continual Learning", "Model Compression"], "risks": ["Cần thiết kế hoặc hỗ trợ kernel tính toán tùy biến (custom hardware/software kernels) để hiện thực hóa toàn bộ lợi ích hiệu năng của channel-batch-first im2col", "Nghiên cứu tập trung vào các lớp tích chập (CNN), chưa đề cập đến mức độ tương thích hoặc mở rộng sang các kiến trúc Transformer/Attention thuần túy", "Yêu cầu phần cứng biên có hỗ trợ định dạng số học microscaling (dưới 8-bit) để đạt tối đa hiệu suất tính toán và tiết kiệm năng lượng"], "category": "Research", "entities": ["MicroQonv", "YOLOV8nano", "YOLOV26nano"], "summary_vi": "MicroQonv là kỹ thuật tối ưu hóa lượng tử hóa vi mô (microscaling) cho các lớp tích chập trong cả quá trình huấn luyện và suy luận mạng nơ-ron. Bằng cách lượng tử hóa mỗi tensor một lần duy nhất và lượng tử hóa kích hoạt trước khi chạy phép biến đổi channel-batch-first im2col, MicroQonv khắc phục tình trạng bùng nổ bộ nhớ và di chuyển dữ liệu dư thừa. Phương pháp giảm chi phí lượng tử hóa 2 lần cho trọng số/gradient, tới 9 lần cho kích hoạt và giảm di chuyển dữ liệu tới 7.53 lần so với full-precision (giảm 3.5 lần cho YOLOV8nano và 2.2 lần cho YOLOV26nano), đồng thời hỗ trợ microscaling 4-bit cho continual learning ở biên với độ chính xác tăng 5.7% - 11%.", "key_changes": ["Chỉ lượng tử hóa mỗi tensor (trọng số, gradient, kích hoạt) một lần duy nhất thay vì hai lần như phương pháp thông thường", "Lượng tử hóa tensor kích hoạt trước khi áp dụng biến đổi im2col để tránh bùng nổ kích thước bộ nhớ", "Áp dụng biến thể im2col dạng channel-batch-first được điều chỉnh phù hợp với cấu trúc tensor lượng tử hóa vi mô", "Giảm chi phí lượng tử hóa gấp 2 lần cho trọng số/gradient và lên tới 9 lần cho activation với tổn thất độ chính xác không đáng kể", "Giảm di chuyển và lưu trữ bộ nhớ lên đến 7.53 lần so với tính toán độ chính xác gốc (full-precision)"], "sub_category": "Model Quantization & Edge AI", "novelty_score": 82, "business_score": 72, "research_score": 85, "why_it_matters": "Lượng tử hóa vi mô (dưới 8-bit) là hướng đi then chốt để nén mô hình mà không suy giảm độ chính xác, nhưng cấu trúc phép toán tích chập và biến đổi im2col truyền thống gây nghẽn băng thông bộ nhớ nghiêm trọng. MicroQonv giải quyết trực tiếp nút thắt này, mở đường cho việc huấn luyện và suy luận các mô hình thị giác máy tính hiệu quả trên thiết bị phần cứng hạn chế tài nguyên.", "developer_score": 75, "importance_score": 78, "possible_use_cases": ["Tối ưu hóa suy luận và huấn luyện mạng nơ-ron tích chập (CNN) trên thiết bị biên hạn chế băng thông bộ nhớ", "Tăng tốc các mô hình phát hiện vật thể thời gian thực như YOLO (YOLOv8nano, YOLOv26nano) trên phần cứng nhúng", "Thực hiện học liên tục tại biên (continual learning at the edge) bằng kỹ thuật quantized latent replay 4-bit với độ chính xác cao hơn"], "actionability_score": 70}