FuTransformer: FP8 prefill and INT4 decode for Llama-style inference on Hopper

{"tags": ["FuTransformer", "NVIDIA Hopper", "H100", "FP8", "INT4", "LLM Inference", "Llama-3.1", "CUDA Kernel", "KV-Cache Quantization", "Hadamard Transform"], "risks": ["Gia tăng perplexity do nén INT4: WikiText-2 tăng từ 6.24 lên 7.23 (RTN) hoặc 6.99 (GPTQ), cache xoay thêm +0.20.", "Khóa chặt vào kiến trúc phần cứng NVIDIA Hopper (H100), không thể chuyển đổi dễ dàng sang GPU khác.", "Độ phức tạp lập trình CUDA cấp thấp cao, khó mở rộng cho các kiến trúc Transformer khác ngoài Llama."], "category": "Tools", "entities": ["FuTransformer", "NVIDIA Hopper", "H100", "Llama-3.1-8B", "PyTorch", "CODA", "SwiGLU", "WikiText-2", "Tensor Core"], "summary_vi": "FuTransformer là bản triển khai CUDA tối ưu cho khối Transformer kiến trúc Llama trên GPU NVIDIA Hopper (H100), kết hợp FP8 cho giai đoạn prefill và INT4 cho giai đoạn decode. Hệ thống tích hợp trực tiếp ghi KV-cache, gộp RMSNorm vào trọng số, dequantize trực tiếp vào thanh ghi Tensor Core MMA mà không cần tile trung gian, và sử dụng phép biến đổi Hadamard để giảm lỗi lượng tử hóa do các kênh ngoại lai. Trên H100, prefill đạt 1.29 PFLOP/s (nhanh hơn PyTorch FP8 tới 1.48x), còn decode INT4 giảm thời gian mỗi bước của Llama-3.1-8B từ 8.1 ms xuống 2.8 ms ở batch 1.", "key_changes": ["Thiết kế kiến trúc lai: FP8 cho prefill và INT4 cho decode (trọng số và KV-cache) tối ưu đồng thời cả compute-bound và memory-bound.", "Áp dụng GEMM-plus-epilogue mở rộng từ CODA: ghi trực tiếp KV-cache, gộp RMSNorm vào trọng số, xuất FP8 với delayed scaling và hỗ trợ unpadded prefill.", "Sử dụng Tensor Core fragment layouts cho trọng số và khóa để dequantize trực tiếp vào toán hạng MMA mà không cần tile trung gian.", "Phép biến đổi Hadamard khối đường chéo giúp triệt tiêu sai số lượng tử hóa KV-cache từ các kênh ngoại lai (outliers).", "Hiệu năng thực nghiệm: Decode Llama-3.1-8B đạt 2.8 ms/bước ở batch 1 (so với 8.1 ms của compiled transformers), prefill đạt 1.29 PFLOP/s trên H100."], "sub_category": "Tối ưu hóa suy luận LLM (LLM Inference Optimization)", "novelty_score": 80, "business_score": 82, "research_score": 84, "why_it_matters": "Khác biệt mấu chốt giữa prefill (compute-bound) và decode (memory-bound) là rào cản lớn nhất của hiệu năng LLM. FuTransformer giải quyết triệt để nút thắt này bằng cách phối hợp FP8 cho prefill và INT4 cho decode kèm dequantization trực tiếp vào phần cứng Tensor Core. Giải pháp giúp giảm gần 3 lần độ trễ sinh token trên H100 với sai số tối thiểu, mang lại giá trị thực tiễn rất cao cho việc cắt giảm chi phí hạ tầng AI.", "developer_score": 88, "importance_score": 82, "possible_use_cases": ["Tối ưu hóa hạ tầng phục vụ suy luận Llama-3.1 quy mô lớn trên GPU NVIDIA Hopper (H100).", "Giảm độ trễ sinh token (decode latency) cho chatbot, agent thời gian thực.", "Nén bộ nhớ KV-cache xuống INT4 để tăng khả năng phục vụ batch size lớn trên mỗi máy chủ GPU.", "Tích hợp làm backend tăng tốc cho các thư viện suy luận như vLLM, TensorRT-LLM hoặc SGLang."], "actionability_score": 78}