FoldQuantVLA: Native Low-Bit Quantization of Vision-Language-Action Models via Consistent Folding

{"tags": ["FoldQuantVLA", "Quantization", "VLA", "TensorRT", "Jetson Orin", "W4A4", "Robotics", "Edge AI"], "risks": ["Lượng tử hóa thuần W4A4 gây sụt giảm độ chuẩn xác hành vi (thành công chỉ đạt 80% so với 92.5% của cấu hình lai W8A8).", "Yêu cầu custom TensorRT plugins, giới hạn tính linh hoạt và gắn chặt vào hệ sinh thái phần cứng NVIDIA (Ada, Orin).", "Hiệu quả thực tế có thể thay đổi tùy thuộc vào độ phức tạp của tác vụ và sự phân phối dữ liệu ngoài miền thử nghiệm (held-out tasks)."], "category": "Research", "entities": ["FoldQuantVLA", "TensorRT", "Ada GPUs", "Jetson AGX Orin", "LIBERO", "SimplerEnv", "GR00T", "GR00T N1.7", "π0.5"], "summary_vi": "FoldQuantVLA là khung lượng tử hóa sau huấn luyện (PTQ) cho các mô hình Vision-Language-Action (VLA), giúp giảm độ trễ quan sát-hành động mà vẫn duy trì độ chính xác của robot mà không cần huấn luyện lại. Phương pháp kết hợp channel scaling, biến đổi block Hadamard và lượng tử hóa động theo từng token, cùng các plugin TensorRT tùy chỉnh cho W4A4 trên GPU Ada và Jetson AGX Orin. Việc giữ các phép chiếu attention-output và FFN down ở mức W8A8 giúp tăng tỷ lệ thành công trên robot thật từ 80.0% lên 92.5% với độ trễ chỉ tăng thêm 1 ms.", "key_changes": ["Giới thiệu FoldQuantVLA: khung lượng tử hóa sau huấn luyện (PTQ) duy trì biểu diễn kích hoạt nhất quán qua cân chỉnh, làm tròn trọng số và thực thi số nguyên gốc.", "Kết hợp channel scaling và biến đổi block Hadamard với dynamic per-token quantization, không cần huấn luyện lại policy.", "Xây dựng custom TensorRT plugins thực thi W4A4 cho cả language backbone và iterative action expert trên GPU Ada và Jetson AGX Orin.", "Đạt tốc độ tăng 1.20–1.33× trên Orin và 1.25–1.52× trên desktop so với TensorRT dấu phẩy động.", "Cấu hình giữ attention-output và FFN down projections ở W8A8 giúp tăng tỷ lệ thành công của robot thực từ 80.0% lên 92.5% (GR00T N1.7) với độ trễ tăng thêm chỉ 1 ms trên Orin."], "sub_category": "Model Quantization & Robotics", "novelty_score": 76, "business_score": 74, "research_score": 82, "why_it_matters": "Độ trễ từ quan sát đến hành động là điểm nghẽn lớn nhất khi triển khai các mô hình VLA lớn lên phần cứng robot nhúng. FoldQuantVLA chứng minh khả năng chạy W4A4/W8A8 số nguyên gốc với mức tăng tốc đáng kể và giữ vững tỷ lệ thành công cao, tạo bước đệm quan trọng để thương mại hóa robot thông minh chạy trên chip biên giá thành hợp lý.", "developer_score": 80, "importance_score": 78, "possible_use_cases": ["Triển khai mô hình Vision-Language-Action (VLA) thời gian thực trên chip nhúng biên như Jetson AGX Orin cho robot tự hành và tay máy công nghiệp.", "Tối ưu hóa chi phí phần cứng và giảm độ trễ observation-to-action cho các hệ thống robot thương mại mà không cần tốn chi phí huấn luyện lại policy.", "Tích hợp vào pipeline xuất mô hình TensorRT cho các kiến trúc VLA như GR00T và π0.5."], "actionability_score": 72}