Overwhelmed by Choice: Studying LLM Decision Making at Scale

{"tags": ["LLM Evaluation", "Decision Making", "Candidate Selection", "Gold-Margin Collapse", "Hierarchical Partitioning", "Permutation Inference", "Benchmarking"], "risks": ["Các benchmark trắc nghiệm ít lựa chọn (4-5 options) không phản ánh chính xác năng lực ra quyết định thực tế của LLM trong không gian lựa chọn lớn.", "Thiên vị vị trí có thể gây ra quyết định sai lệch nghiêm trọng trong các hệ thống phân loại hoặc thẩm định tự động.", "Áp dụng phân vùng phân cấp và hoán vị làm tăng số lượng lượt gọi LLM, dẫn đến tăng chi phí tính toán và độ trễ hệ thống (latency).", "Sự sụt giảm độ tin cậy (gold-margin collapse) diễn ra âm thầm, khó phát hiện nếu chỉ quan sát các chỉ số đánh giá tổng quát ở quy mô nhỏ."], "category": "Research", "entities": ["HotpotQA", "MIMIC"], "summary_vi": "Nghiên cứu 'Overwhelmed by Choice' chứng minh độ chính xác trong suy luận và ra quyết định của LLM suy giảm rõ rệt khi số lượng ứng viên lựa chọn tăng lên. Hiện tượng này không bắt nguồn hoàn toàn từ giới hạn truy xuất ngữ cảnh dài mà do hai cơ chế lỗi hệ thống: 'Gold-margin collapse' (khoảng cách điểm số giữa đáp án đúng và phương án gây nhiễu thu hẹp dần do giảm tự tin) và thiên vị ứng viên xuất hiện sớm (các lựa chọn sau ít có ảnh hưởng). Áp dụng phân vùng phân cấp và suy luận hoán vị giúp cải thiện ~20% độ chính xác ở quy mô N=160 trên HotpotQA và MIMIC.", "key_changes": ["Phát hiện sự suy giảm nghiêm trọng về độ chính xác của LLM khi số lượng ứng viên lựa chọn tăng lên, xảy ra trên nhiều tác vụ, chiến lược prompting và quy mô mô hình.", "Chứng minh nguyên nhân suy giảm không thể giải thích hoàn toàn bằng các hạn chế truy xuất ngữ cảnh dài (long-context retrieval) thông thường.", "Xác định cơ chế 'Gold-margin collapse': khoảng cách điểm số giữa đáp án đúng và phương án nhiễu mạnh nhất bị thu hẹp dần do mô hình giảm độ tin cậy vào đáp án đúng.", "Xác định thiên vị ứng viên xuất hiện sớm: quyết định ban đầu rất khó bị đảo ngược và các ứng viên phía sau ngày càng có ít ảnh hưởng đến dự đoán cuối cùng.", "Đề xuất giải pháp phân vùng phân cấp (hierarchical partitioning) và suy luận dựa trên hoán vị (permutation-based inference), giúp tăng ~20 điểm phần trăm độ chính xác ở quy mô N=160 trên HotpotQA và MIMIC."], "sub_category": "LLM Evaluation & Decision Making", "novelty_score": 80, "business_score": 70, "research_score": 90, "why_it_matters": "Nghiên cứu chỉ ra biến số quy mô tập ứng viên là yếu tố then chốt trong quy trình đánh giá LLM, bác bỏ giả định rằng mô hình xử lý tốt bài toán ít lựa chọn sẽ hoạt động ổn định khi quy mô lựa chọn mở rộng. Kết quả này cung cấp nguyên lý thiết kế và kỹ thuật tối ưu hóa quan trọng (phân cấp, hoán vị) cho các kỹ sư xây dựng hệ thống Agent, RAG và phân loại đa lựa chọn quy mô lớn.", "developer_score": 85, "importance_score": 82, "possible_use_cases": ["Định tuyến công cụ cho Agent (Agent Tool Routing): Sử dụng cấu trúc phân cấp thay vì liệt kê toàn bộ danh sách công cụ trong một prompt khi số lượng công cụ lớn.", "Phân loại đa nhãn/đa lớp quy mô lớn: Áp dụng suy luận phân cấp hoặc hoán vị để loại bỏ thiên vị đối với các nhãn xuất hiện ở vị trí đầu.", "Reranking và chọn lọc trong RAG: Phân nhóm các đoạn tài liệu truy xuất để đánh giá theo từng cụm thay vì yêu cầu LLM chọn trực tiếp từ danh sách dài.", "Hệ thống chấm điểm và sàng lọc tự động (Triage/RecSys): Đảm bảo tính công bằng khi đánh giá số lượng lớn hồ sơ hoặc sản phẩm mà không bị ảnh hưởng bởi thứ tự hiển thị."], "actionability_score": 78}