Probability is Not Enough: Exploring and Counting Divergent Tokens for Reasoning Uncertainty Quantification in LLMs

{"tags": ["LLM", "Uncertainty Quantification", "Chain of Thought", "Model Calibration", "Divergent Token Confidence", "DeepSeek", "Jensen-Shannon Divergence"], "risks": ["Phát sinh chi phí tài nguyên tính toán bổ sung do cần chạy hoặc đánh giá song song phân phối xác suất với mô hình thứ hai.", "Hiệu quả trong thiết lập black-box phụ thuộc nhiều vào chất lượng và sự tương thích của mô hình phụ trợ được chọn.", "Nghiên cứu mới thử nghiệm tập trung trên 6 bộ dữ liệu chuẩn về toán học; cần kiểm chứng thêm trên các miền tri thức mở và tác vụ lập trình phức tạp."], "category": "Research", "entities": ["DTC (Divergent Token Confidence)", "DeepSeek-V3.2", "GitHub (szu-tera/DTC)"], "summary_vi": "Nghiên cứu giới thiệu Divergent Token Confidence (DTC), một phương pháp mới giúp định lượng độ không chắc chắn trong suy luận chuỗi tư duy (CoT) của mô hình ngôn ngữ lớn (LLM). Thay vì phụ thuộc vào xác suất của các token then chốt, DTC phát hiện và đếm các token phân kỳ dựa trên độ phân kỳ Jensen-Shannon giữa phân phối next-token của hai mô hình trên cùng một quỹ đạo suy luận. Kết quả cho thấy số lượng token phân kỳ tỷ lệ nghịch với độ chính xác. Phương pháp này hoạt động tốt ở cả chế độ white-box lẫn black-box (sử dụng mô hình phụ trợ), không đòi hỏi huấn luyện thêm và không làm gián đoạn quá trình tạo sinh. Trên 6 benchmark toán học, DTC giúp giảm đáng kể sai số hiệu chuẩn (ECE) xuống còn 13.0% ở white-box và từ 32.1%–40.2% xuống 13.7%–16.3% trên DeepSeek-V3.2 ở black-box. Mã nguồn đã được công bố mở.", "key_changes": ["Giới thiệu khung Divergent Token Confidence (DTC) định lượng độ không chắc chắn suy luận bằng cách đếm số lượng token phân kỳ thay vì chỉ dựa vào xác suất token.", "Đo lường token phân kỳ thông qua độ phân kỳ Jensen-Shannon (JS divergence) giữa phân phối next-token của hai mô hình dọc theo cùng quỹ đạo suy luận.", "Phát hiện số lượng token phân kỳ tương quan nghịch rõ rệt với độ chính xác của câu trả lời.", "Hỗ trợ cả môi trường đánh giá white-box và black-box (dùng mô hình phụ trợ) mà không cần huấn luyện lại hay can thiệp tiến trình tạo sinh.", "Cải thiện mạnh sai số hiệu chuẩn mong đợi (ECE): đạt mức trung bình 13.0% ở white-box (so với 32.7%-42.4% của các baseline xác suất) và giảm từ 32.1%-40.2% xuống 13.7%-16.3% trên DeepSeek-V3.2 ở black-box.", "Công bố mã nguồn mở tại kho lưu trữ GitHub szu-tera/DTC."], "sub_category": "Uncertainty Quantification", "novelty_score": 80, "business_score": 72, "research_score": 85, "why_it_matters": "Độ tin cậy của suy luận là yếu tố tiên quyết để ứng dụng LLM vào các bài toán quan trọng, nhưng các phương pháp ước lượng độ tin cậy dựa trên xác suất hiện nay thường bị sai lệch lớn (kém hiệu chuẩn). DTC mở ra hướng tiếp cận tối giản và hiệu quả cao: chỉ cần đếm token bất đồng giữa hai mô hình để đo lường độ không chắc chắn với sai số hiệu chuẩn thấp hơn đáng kể, áp dụng được cho cả mô hình mã nguồn mở lẫn API đóng.", "developer_score": 82, "importance_score": 78, "possible_use_cases": ["Hệ thống tự động phát hiện và cảnh báo sai sót trong chuỗi suy luận (CoT) cho các bài toán logic, toán học và khoa học.", "Cơ chế định tuyến truy vấn (Model Routing): Tự động chuyển tiếp yêu cầu sang mô hình mạnh hơn hoặc chuyên gia con người khi số token phân kỳ vượt ngưỡng.", "Định lượng độ không chắc chắn cho API mô hình hộp đen (Black-box UQ) trong môi trường sản xuất bằng mô hình phụ trợ nhỏ.", "Tối ưu hóa chi phí kiểm thử và tự sửa lỗi (Self-correction) bằng cách khoanh vùng chính xác các vị trí token bất đồng."], "actionability_score": 85}