Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference

{"tags": ["LLM Inference", "Greedy Decoding", "BF16", "FP16", "Numerical Stability", "Precision Invariance", "Error Propagation", "Reproducibility"], "risks": ["Mất tính nhất quán đầu ra khi chuyển đổi định dạng suy luận (BF16 sang FP16 hoặc FP8) trong môi trường production, dẫn đến kết quả nghiệp vụ khác nhau mà khó truy vết nguyên nhân.", "Phân kỳ dây chuyền từ một token lật có thể làm thay đổi hoàn toàn ý nghĩa và tính logic của câu trả lời trong các tác vụ quan trọng.", "Lạm dụng tính toán FP32 diện rộng vừa gây lãng phí tài nguyên tính toán vừa làm trầm trọng thêm sự phân kỳ kết quả."], "category": "Research", "entities": ["BF16", "FP16", "FP32", "FP8", "A10G", "L4", "A100", "LM Head"], "summary_vi": "Nghiên cứu chỉ ra rằng giải mã tham lam (greedy decoding) trong LLM không bất biến theo độ chính xác số học (BF16 so với FP16) ngay cả trên cùng một phần cứng, khiến 49-100% prompt bị phân kỳ qua 6 mô hình được đánh giá (1.1B–7B và 12B). Phân kỳ bắt đầu từ việc đảo một token đơn lẻ và lan truyền theo tầng. Phân tích lan truyền sai số thực nghiệm cho thấy nguyên nhân chủ yếu do khoảng cách (margin) giữa top-2 logit tại LM head so với nhiễu định hướng, chứ không phải do sai số tích lũy qua 22 tầng thân mô hình. Đáng chú ý, việc áp dụng FP32 trên phạm vi rộng hơn lại làm giảm độ đồng thuận. Nghiên cứu đề xuất giải pháp can thiệp chi phí thấp: tái tính toán có chọn lọc LM head bằng FP32 khi margin dưới ngưỡng, giúp tăng độ tương đồng chính xác thêm 22–36 pp trên A10G (12–21 pp trên L4 và A100) với độ trễ tăng dưới 4% ở batch size nhỏ (<=8) và dưới FP8 end-to-end.", "key_changes": ["Chứng minh greedy decoding không bất biến theo độ chính xác: cùng mô hình, prompt và thuật toán tạo ra kết quả phân kỳ giữa BF16 và FP16 (tỷ lệ 49-100% prompt).", "Hiện tượng đảo một token đơn lẻ (single token flip) có thể kích hoạt phân kỳ dây chuyền trên toàn bộ quỹ đạo văn bản (trajectory-level divergence).", "Xác định nguyên nhân cốt lõi: kết quả phân kỳ phụ thuộc chủ yếu vào biên độ chênh lệch (margin) top-2 logit tại LM head so với nhiễu định hướng, không phải do tích lũy sai số qua 22 tầng thân.", "Phát hiện phản trực giác: mở rộng phạm vi tính toán FP32 trên diện rộng hơn lại làm giảm độ tương đồng đầu ra.", "Đề xuất giải pháp selective FP32 LM head recomputation khi margin dưới ngưỡng, giúp tăng 22-36 pp độ tương đồng trên A10G (12-21 pp trên L4/A100) với độ trễ tăng dưới 4% ở batch size nhỏ (<=8) và dưới FP8 end-to-end."], "sub_category": "LLM Inference & Numerical Precision", "novelty_score": 85, "business_score": 72, "research_score": 90, "why_it_matters": "Phá vỡ quan niệm phổ biến rằng greedy decoding là tất định và độc lập với định dạng số thực. Kết quả này giải thích nguyên nhân các hệ thống phục vụ LLM gặp lỗi không nhất quán khi đổi GPU hoặc framework suy luận, đồng thời cung cấp giải pháp can thiệp thực dụng với chi phí trễ rất thấp (<4%) để đảm bảo tính nhất quán trong triển khai thực tế.", "developer_score": 88, "importance_score": 85, "possible_use_cases": ["Đảm bảo tính tái lập (reproducibility) trong kiểm thử hồi quy và benchmark đánh giá LLM khi chạy trên các GPU hoặc định dạng số thực khác nhau.", "Cải thiện tính nhất quán trong các hệ thống caching (prompt caching, semantic caching) khi phục vụ suy luận LLM trên hạ tầng phần cứng hỗn hợp.", "Tối ưu hóa LLM inference serving engine bằng cách tích hợp tái tính toán FP32 có chọn lọc ở LM head để duy trì độ ổn định đầu ra với chi phí overhead tối thiểu."], "actionability_score": 80}