Multi-Estimate Elicitation Does Not Uniformly Debias Language Model Judgments

{"tags": ["LLM Debiasing", "Cognitive Biases", "Prompt Engineering", "Anchoring Effect", "Multi-Estimate Elicitation", "Model Evaluation"], "risks": ["Nhiễu giữa các lượt gọi (between-call noise) làm hạn chế việc diễn giải sự thay đổi trong phán đoán liên kết (conjunction judgments).", "Các ước lượng điểm nằm dưới ngưỡng SESOI nhưng chưa chứng minh được tính tương đương thống kê đầy đủ.", "Lãng phí chi phí token và tăng độ trễ nếu lạm dụng multi-estimate elicitation mà không mang lại cải thiện thực chất."], "category": "Research", "entities": ["gpt-6.1-sol", "claude-sonnet-5.5", "Qwen3-8B", "GitHub", "asj252/llm-judgment-studies"], "summary_vi": "Nghiên cứu đánh giá kỹ thuật trích xuất đa ước lượng (5 ước lượng có trọng số trong một phản hồi) so với hỏi trực tiếp trên các bài toán thiên kiến nhận thức (anchoring, hindsight, base-rate, conjunction, status-quo) trên gpt-6.1-sol, claude-sonnet-5.5 và Qwen3-8B. Kết quả cho thấy phương pháp này không giúp giảm thiên kiến một cách nhất quán. Ngược lại, các mô hình tiên tiến khi hỏi trực tiếp đã thể hiện khả năng kháng mỏ neo giả và hiệu ứng hiện trạng gần như tuyệt đối, trong khi vẫn tiếp thu tốt thông tin hữu ích.", "key_changes": ["Nghiên cứu so sánh phương pháp hỏi số học trực tiếp với định dạng trích xuất đa ước lượng (5 ước lượng có trọng số trong một phản hồi) trên 5 dạng thiên kiến: neo (anchoring), nhận thức muộn (hindsight), tỷ lệ cơ sở (base-rate), liên kết (conjunction) và hiện trạng (status-quo).", "Đánh giá thực nghiệm trên 3 cấu hình mô hình: gpt-6.1-sol, claude-sonnet-5.5 và Qwen3-8B (tắt suy luận, phân tích mô tả).", "Phương pháp trích xuất đa ước lượng thất bại trong việc tạo ra hiệu quả giảm thiên kiến (debiasing) hoặc giảm phản ứng một cách đồng đều giữa các tác vụ và mô hình.", "Với gpt-6.1-sol và claude-sonnet-5.5, phương pháp hỏi trực tiếp vốn đã đạt chỉ số neo không liên quan và hiệu ứng hiện trạng gần như bằng 0 mà vẫn duy trì khả năng tiếp nhận thông tin hữu ích.", "Trong 23 kiểm định khẳng định đã đăng ký trước, chỉ có 6 kiểm định bác bỏ giả thuyết sau điều chỉnh Holm, nhưng cả 6 ước lượng điểm đều nằm dưới kích thước hiệu ứng tối thiểu quan tâm (SESOI) mà chưa xác lập được tính tương đương."], "sub_category": "LLM Cognitive Bias & Debiasing", "novelty_score": 70, "business_score": 50, "research_score": 85, "why_it_matters": "Phát hiện phản bác giả định rằng việc ép LLM đưa ra nhiều ước lượng trong một câu trả lời sẽ giúp khử thiên kiến. Các LLM hàng đầu hiện nay đã xử lý thiên kiến neo rất tốt ở chế độ hỏi trực tiếp, giúp kỹ sư prompt và doanh nghiệp tránh tiêu tốn token và tài nguyên vào các kỹ thuật elicitation phức tạp không hiệu quả.", "developer_score": 65, "importance_score": 65, "possible_use_cases": ["Tối ưu hóa pipeline prompt: Giảm độ phức tạp và tiết kiệm chi phí token bằng cách ưu tiên hỏi trực tiếp thay vì bắt LLM sinh 5 ước lượng có trọng số.", "Đánh giá độ tin cậy và thiên kiến nhận thức của LLM trong các ứng dụng dự báo số học và ra quyết định.", "Nghiên cứu độ phân tán ứng viên (candidate spread) như một chỉ số hậu nghiệm độc lập để dự báo sai số neo."], "actionability_score": 60}