PriceBench: A Diagnostic Benchmark for Price, Quality, and Brand Preferences in LLM Booking Agents

{"tags": ["PriceBench", "LLM Agents", "Purchasing Agents", "Logit Choice Model", "Agent Evaluation", "Booking Benchmark"], "risks": ["Rủi ro chi phí: Chọn sai LLM có thể khiến chi phí mua sắm tự động tăng vọt (chênh lệch giá tới gần 60% trên cùng tác vụ).", "Rủi ro thao túng: LLM năng lực thấp có thể bị bên bán khai thác bằng cách kiểm soát vị trí hiển thị kết quả.", "Rủi ro thiên vị ngầm: LLM có thể ưu ái thương hiệu cụ thể mà người dùng không hề hay biết hoặc không kiểm soát được."], "category": "Agents", "entities": ["PriceBench", "New York City"], "summary_vi": "PriceBench là bộ benchmark chẩn đoán sở thích về giá, chất lượng và thương hiệu của 28 LLM từ 8 nhà cung cấp khi đóng vai trò purchasing agent đặt phòng khách sạn (dựa trên 3.600 tác vụ thực tế tại New York). Kết quả cho thấy năng lực mô hình quyết định độ nhất quán của lựa chọn: LLM mạnh duy trì thiên vị ổn định, trong khi LLM yếu dễ bị thao túng bởi thứ tự hiển thị hoặc chọn ngẫu nhiên. Độ nhạy giá khác biệt lớn giữa các mô hình khiến mức giá đặt phòng trung bình dao động từ 247 USD đến 393 USD trên cùng một yêu cầu, nhấn mạnh sự cần thiết phải kiểm toán hành vi kinh tế của từng LLM.", "key_changes": ["Giới thiệu PriceBench - bộ benchmark chẩn đoán sở thích về giá, chất lượng và thương hiệu của LLM booking agent thông qua mô hình logit choice.", "Đánh giá 28 mô hình ngôn ngữ lớn từ 8 nhà cung cấp trên 3.600 tác vụ đặt phòng khách sạn thực tế tại New York.", "Phát hiện năng lực LLM tương quan với độ nhất quán trong lựa chọn: LLM năng lực cao có thiên hướng nhất quán, trong khi LLM yếu dễ bị khai thác bởi thứ tự danh sách hoặc chọn ngẫu nhiên.", "Độ nhạy giá chênh lệch hơn một bậc độ lớn giữa các mô hình, làm giá phòng trung bình biến động từ 247 USD đến 393 USD cho cùng một tác vụ.", "Công khai toàn bộ mã nguồn, tác vụ đánh giá và 28 bộ phản hồi của các LLM."], "sub_category": "Autonomous Purchasing Agents", "novelty_score": 80, "business_score": 88, "research_score": 85, "why_it_matters": "Khi LLM được trao quyền thực hiện giao dịch mua sắm thay con người, thiên vị ngầm của mô hình sẽ trực tiếp quyết định dòng tiền và chi phí thực tế. Nghiên cứu này chứng minh việc chọn LLM cho tác vụ thương mại là một quyết định tài chính quan trọng vì mức giá chênh lệch có thể lên tới gần 60% cho cùng một yêu cầu, đòi hỏi các nhà phát triển và doanh nghiệp phải đo lường và hiệu chuẩn hành vi agent định lượng thay vì suy đoán.", "developer_score": 75, "importance_score": 82, "possible_use_cases": ["Đánh giá và lựa chọn LLM phù hợp làm purchasing agent trong các hệ thống thương mại điện tử và mua sắm doanh nghiệp.", "Hiệu chuẩn và kiểm toán thiên vị thương hiệu hoặc độ nhạy giá của AI agent trước khi cấp quyền thanh toán thực tế.", "Nghiên cứu và phòng chống nguy cơ thao túng thứ tự danh sách hiển thị (position bias / AI SEO) trên các cổng đặt phòng và mua sắm."], "actionability_score": 78}