Not All Test-Time Compute Is Evidence: Model-Specific Bias in LLM Reasoning

{"tags": ["Test-Time Compute", "LLM Reasoning", "Model Bias", "DIA", "Multi-LLM Arbitration", "Chain-of-Thought"], "risks": ["Cần tích hợp và duy trì nhiều mô hình khác nhau (heterogeneous models), làm tăng độ phức tạp trong kiến trúc và hạ tầng phục vụ (deployment).", "Độ trễ cục bộ (latency spike) tăng lên đối với khoảng 17% các trường hợp kích hoạt cơ chế trọng tài đa mô hình.", "Nếu tất cả các mô hình trong hội đồng đều chia sẻ chung một điểm mù tri thức hoặc thiên kiến dữ liệu, cơ chế trọng tài vẫn có thể đồng thuận sai."], "category": "Research", "entities": ["DIA (Disagreement-triggered Independent Arbitration)", "MuSiQue", "Chain-of-Thought (CoT)"], "summary_vi": "Nghiên cứu chứng minh giả định 'tăng test-time compute từ cùng một mô hình mang lại thêm bằng chứng độc lập' là không chính xác do lỗi có xu hướng tương quan qua các mẫu, độ sâu suy luận và tự đánh giá. Nhóm tác giả giới thiệu DIA (Disagreement-triggered Independent Arbitration), phương pháp phát hiện bất ổn suy luận qua sự bất đồng giữa dự đoán trung gian và dự đoán cuối, sau đó kích hoạt hội đồng các mô hình không đồng nhất (heterogeneous) giải bài toán độc lập để phân xử. DIA vượt qua full CoT ở 12/14 thiết lập, tăng 7.00% trên MuSiQue, chỉ kích hoạt ở ~17% số mẫu và tiết kiệm tới 47.2% token so với baseline multi-agent.", "key_changes": ["Chứng minh lỗi của mô hình đơn lẻ có sự tương quan (correlated errors) qua nhiều mẫu, qua độ sâu suy luận và qua cơ chế tự đánh giá; do đó tăng compute từ cùng một mô hình không tạo thêm bằng chứng độc lập.", "Đề xuất DIA (Disagreement-triggered Independent Arbitration): sử dụng sự bất đồng giữa dự đoán bước trung gian và bước cuối để phát hiện bất ổn suy luận trên từng câu hỏi.", "Cơ chế phân xử đa mô hình độc lập: giải quyết bất đồng bằng cách yêu cầu một hội đồng các mô hình khác nhau (heterogeneous) giải độc lập mà không xem trước phương án của nhau, sau đó tổng hợp kết quả trực tiếp.", "Hiệu quả token và độ chính xác: DIA vượt trội full Chain-of-Thought ở 12/14 thiết lập (tăng 7.00% trên MuSiQue), chỉ kích hoạt ở ~17% trường hợp và giảm tới 47.2% số lượng token so với baseline multi-agent."], "sub_category": "Test-Time Scaling & Reasoning", "novelty_score": 82, "business_score": 80, "research_score": 90, "why_it_matters": "Nghiên cứu làm lung lay giả định nền tảng của các kỹ thuật test-time scaling đơn mô hình (như self-consistency hay tăng sampling compute đơn thuần). Kết quả chỉ ra rằng tính không đồng nhất của mô hình (heterogeneity) và tính độc lập khi giải quyết bài toán có giá trị hơn nhiều so với việc chỉ dồn thêm compute vào cùng một mô hình bị thiên kiến, mở ra hướng thiết kế hệ thống suy luận hiệu quả về cả chi phí lẫn độ chính xác.", "developer_score": 85, "importance_score": 85, "possible_use_cases": ["Tối ưu hóa chi phí cho hệ thống suy luận LLM: chỉ định tuyến sang hội đồng mô hình phụ khi phát hiện bất ổn suy luận nội bộ (~17% trường hợp).", "Xây dựng hệ thống Multi-LLM Arbitration: kết hợp các mô hình đa dạng (OpenAI, Anthropic, Google, mô hình mã nguồn mở) để xác thực các tác vụ suy luận phức tạp hoặc yêu cầu độ chính xác cao.", "Cải thiện độ chính xác cho bài toán multi-hop reasoning và suy luận logic nhiều bước mà không tốn chi phí chạy multi-agent toàn bộ."], "actionability_score": 80}