GC-MoE: Overlapping Expert-Parallel Token Dispatch with FP8/FP4 Grouped GEMM via CUDA Green Contexts

{"tags": ["GC-MoE", "CUDA Green Contexts", "MoE", "FP8", "FP4", "Hopper", "Blackwell", "Inference Optimization", "DeepSeek", "Grouped GEMM"], "risks": ["Phụ thuộc vào các tính năng phần cứng mới nhất của NVIDIA Hopper và Blackwell (CUDA Green Contexts, tcgen05 MMA, WGMMA).", "Cần tinh chỉnh số lượng SM phân bổ tối ưu cho từng kích thước batch và cấu hình phần cứng cụ thể.", "Đòi hỏi serving engine phải tích hợp sâu để quản lý luồng thực thi và CUDA Graph phức tạp."], "category": "Tools", "entities": ["GC-MoE", "NVIDIA", "Hopper", "Blackwell", "H20", "B300", "DeepGEMM", "DeepSeek-V4.1-Flash", "GLM-5.2", "CUDA Green Contexts"], "summary_vi": "GC-MoE là toán tử suy luận MoE mã nguồn mở hỗ trợ định dạng FP8/FP4 cho GPU NVIDIA Hopper và Blackwell, sử dụng CUDA Green Contexts để chia phần cứng thành phân vùng truyền thông nhỏ và tính toán lớn. Giải pháp này giải quyết triệt để sự tranh chấp tài nguyên SM trong các toán tử kết hợp như Mega MoE của DeepGEMM. Nhờ CUDA Graph đồng thời, cơ chế token-ring và double-buffered counters, GC-MoE loại bỏ rào cản đồng bộ cross-rank, giúp tăng tốc giải mã DeepSeek-V4.1-Flash trung bình 1.188x trên 8 GPU H20 và tăng tốc GLM-5.2 cùng DeepSeek 1.106x–1.123x trên 8 GPU B300, vượt qua Mega MoE ở toàn bộ 54 điểm kiểm thử.", "key_changes": ["Phân tách GPU thành phân vùng giao tiếp (nhỏ) và tính toán (lớn) bằng CUDA Green Contexts (dành 20/148 SM trên B300 cho dispatch), tránh xung đột tài nguyên SM.", "Sử dụng CUDA Graph 3-node (hoặc 4-node trên Hopper khi có fused shared experts) để khởi chạy đồng thời kernel dispatch và grouped-GEMM.", "Áp dụng cơ chế bắt tay token-ring để kích hoạt tính toán ngay khi nhận khối dữ liệu đầu tiên và dùng double-buffered counters loại bỏ barrier cross-rank.", "Hỗ trợ tính toán FP8/FP4 với tcgen05 block-scaled MMA trên Blackwell và register-A WGMMA giải mã FP4 in-register trên Hopper, tích hợp fused SwiGLU và requantization.", "Đạt mức tăng tốc giải mã trung bình 1.188x trên cụm 8 GPU H20 và 1.106x - 1.123x trên 8 GPU B300, đánh bại Mega MoE ở toàn bộ 54 điểm đo đạc."], "sub_category": "Inference Optimization", "novelty_score": 86, "business_score": 80, "research_score": 84, "why_it_matters": "Giải quyết nút thắt cổ chai nghiêm trọng trong pha giải mã của mô hình MoE (độ trễ dispatch và nghẽn băng thông truyền tải trọng số) bằng cách phân tách tài nguyên phần cứng SM thông qua CUDA Green Contexts. Đột phá này cho phép các cụm GPU Hopper và Blackwell khai thác tối đa hiệu suất FP8/FP4, giảm thiểu chi phí vận hành và độ trễ phục vụ cho các mô hình MoE thế hệ mới.", "developer_score": 88, "importance_score": 85, "possible_use_cases": ["Tối ưu hóa độ trễ giai đoạn giải mã (decode phase) cho các mô hình ngôn ngữ lớn kiến trúc MoE như DeepSeek-V4.1-Flash và GLM-5.2.", "Tích hợp vào các engine phục vụ suy luận LLM (như vLLM, SGLang, TensorRT-LLM) chạy trên cụm GPU NVIDIA Hopper (H20) và Blackwell (B300).", "Triển khai hệ thống suy luận phân tán expert parallelism với độ chính xác lượng tử hóa FP8/FP4."], "actionability_score": 82}