Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

MicroQonv: Reshaping Convolution Tensors for Efficient Microscaling in Training and Inference

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

66 RADAR
Research Model Quantization & Edge AI · 1 nguồn đối chiếu · 2026-09-23 16:30:48 +0000 UTC

MicroQonv: Reshaping Convolution Tensors for Efficient Microscaling in Training and Inference

Nguồn: arXiv AI
↗

MicroQonv là kỹ thuật tối ưu hóa lượng tử hóa vi mô (microscaling) cho các lớp tích chập trong cả quá trình huấn luyện và suy luận mạng nơ-ron. Bằng cách lượng tử hóa mỗi tensor một lần duy nhất và lượng tử hóa kích hoạt trước khi chạy phép biến đổi channel-batch-first im2col, MicroQonv khắc phục tình trạng bùng nổ bộ nhớ và di chuyển dữ liệu dư thừa. Phương pháp giảm chi phí lượng tử hóa 2 lần cho trọng số/gradient, tới 9 lần cho kích hoạt và giảm di chuyển dữ liệu tới 7.53 lần so với full-precision (giảm 3.5 lần cho YOLOV8nano và 2.2 lần cho YOLOV26nano), đồng thời hỗ trợ microscaling 4-bit cho continual learning ở biên với độ chính xác tăng 5.7% - 11%.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Lượng tử hóa vi mô (dưới 8-bit) là hướng đi then chốt để nén mô hình mà không suy giảm độ chính xác, nhưng cấu trúc phép toán tích chập và biến đổi im2col truyền thống gây nghẽn băng thông bộ nhớ nghiêm trọng. MicroQonv giải quyết trực tiếp nút thắt này, mở đường cho việc huấn luyện và suy luận các mô hình thị giác máy tính hiệu quả trên thiết bị phần cứng hạn chế tài nguyên.

Developer 72
Business 70
Novelty 82
Actionable 70

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Microscaling quantization techniques are increasingly used to represent neural network parameters with 8 bits or fewer while preserving near-full precision accuracy. However, applying these methods efficiently in convolutional layers is not straightforward. A naive approach transfers full-precision weights and activations to processing units and quantizes each tensor twice, resulting in much more memory movement than expected. Additional overhead comes from the activation tensors, whose sizes grow substantially because of the im2col transformation applied before quantization. We propose MicroQonv, a way to combine microscaling with convolutional layers' forward and backward operations by quantizing each tensor only once and quantizing the activation tensor before applying a modified version of im2col: channel-batch-first im2col. MicroQonv reduces the quantization cost by a factor of $\times2$ for weights and gradients, and by up to $\times9$ for activations, at a negligible accuracy cost. It reduces memory movement and storage by up to $\times7.53$ compared to their full-precision counterparts. This way, MicroQonv reduces microscaling-quantized activation memory movement by $\times3.5$ for state-of-the-art object detection models YOLOV8nano and $\times2.2$ for YOLOV26nano. It also enables 4-bit microscaling in a quantized latent replay strategy for continual learning at the edge, improving accuracy by +5.7% to +11%.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-09-24 09:57:46 +0000 UTC
{"tags": ["Microscaling", "Quantization", "Convolutional Neural Networks", "Edge AI", "im2col", "Continual Learning", "Model Compression"], "risks": ["Cần thiết kế hoặc hỗ trợ kernel tính toán tùy biến (custom hardware/software kernels) để hiện thực hóa toàn bộ lợi ích hiệu năng của channel-batch-first im2col", "Nghiên cứu tập trung vào các lớp tích chập (CNN), chưa đề cập đến mức độ tương thích hoặc mở rộng sang các kiến trúc Transformer/Attention thuần túy", "Yêu cầu phần cứng biên có hỗ trợ định dạng số học microscaling (dưới 8-bit) để đạt tối đa hiệu suất tính toán và tiết kiệm năng lượng"], "category": "Research", "entities": ["MicroQonv", "YOLOV8nano", "YOLOV26nano"], "summary_vi": "MicroQonv là kỹ thuật tối ưu hóa lượng tử hóa vi mô (microscaling) cho các lớp tích chập trong cả quá trình huấn luyện và suy luận mạng nơ-ron. Bằng cách lượng tử hóa mỗi tensor một lần duy nhất và lượng tử hóa kích hoạt trước khi chạy phép biến đổi channel-batch-first im2col, MicroQonv khắc phục tình trạng bùng nổ bộ nhớ và di chuyển dữ liệu dư thừa. Phương pháp giảm chi phí lượng tử hóa 2 lần cho trọng số/gradient, tới 9 lần cho kích hoạt và giảm di chuyển dữ liệu tới 7.53 lần so với full-precision (giảm 3.5 lần cho YOLOV8nano và 2.2 lần cho YOLOV26nano), đồng thời hỗ trợ microscaling 4-bit cho continual learning ở biên với độ chính xác tăng 5.7% - 11%.", "key_changes": ["Chỉ lượng tử hóa mỗi tensor (trọng số, gradient, kích hoạt) một lần duy nhất thay vì hai lần như phương pháp thông thường", "Lượng tử hóa tensor kích hoạt trước khi áp dụng biến đổi im2col để tránh bùng nổ kích thước bộ nhớ", "Áp dụng biến thể im2col dạng channel-batch-first được điều chỉnh phù hợp với cấu trúc tensor lượng tử hóa vi mô", "Giảm chi phí lượng tử hóa gấp 2 lần cho trọng số/gradient và lên tới 9 lần cho activation với tổn thất độ chính xác không đáng kể", "Giảm di chuyển và lưu trữ bộ nhớ lên đến 7.53 lần so với tính toán độ chính xác gốc (full-precision)"], "sub_category": "Model Quantization & Edge AI", "novelty_score": 82, "business_score": 72, "research_score": 85, "why_it_matters": "Lượng tử hóa vi mô (dưới 8-bit) là hướng đi then chốt để nén mô hình mà không suy giảm độ chính xác, nhưng cấu trúc phép toán tích chập và biến đổi im2col truyền thống gây nghẽn băng thông bộ nhớ nghiêm trọng. MicroQonv giải quyết trực tiếp nút thắt này, mở đường cho việc huấn luyện và suy luận các mô hình thị giác máy tính hiệu quả trên thiết bị phần cứng hạn chế tài nguyên.", "developer_score": 75, "importance_score": 78, "possible_use_cases": ["Tối ưu hóa suy luận và huấn luyện mạng nơ-ron tích chập (CNN) trên thiết bị biên hạn chế băng thông bộ nhớ", "Tăng tốc các mô hình phát hiện vật thể thời gian thực như YOLO (YOLOv8nano, YOLOv26nano) trên phần cứng nhúng", "Thực hiện học liên tục tại biên (continual learning at the edge) bằng kỹ thuật quantized latent replay 4-bit với độ chính xác cao hơn"], "actionability_score": 70}