Same Question, Different Answers: Auditing Persona-Dependent Variation in Six LLMs on Smoking-Cessation Advice

{"tags": ["LLM Audit", "Healthcare AI", "Persona Bias", "Factual Floor", "Prompt Engineering", "AI Safety"], "risks": ["Áp dụng 'factual floor' đồng nhất thiếu phân loại độ tuổi có thể dẫn đến tư vấn sai chỉ định lâm sàng (ví dụ đề xuất thuốc kê đơn cho trẻ vị thành niên).", "Rủi ro khi chuyển giao prompt: một prompt an toàn trên model này có thể làm giảm độ bao phủ thông tin hoặc hoạt động sai lệch trên model khác.", "Mô hình tự động cắt giảm thông tin quan trọng khi phát hiện người hỏi có chuyên môn, gây thiếu sót dữ liệu cần thiết."], "category": "Research", "entities": ["FDA", "LLM"], "summary_vi": "Nghiên cứu kiểm toán 6 mô hình ngôn ngữ lớn (LLM) từ 4 nhà cung cấp về tư vấn cai thuốc lá thông qua 2.880 phản hồi cho 12 persona người dùng. Kết quả cho thấy thông tin y tế bị biến thiên mạnh tùy theo danh tính người hỏi: persona thiếu niên nhận được ít thông tin về thuốc kê đơn được FDA phê duyệt hơn người lớn (chênh lệch 32-67 điểm %), và ở 5/6 mô hình, người dùng có chuyên môn y tế lại nhận được ít sự thật hơn người bình thường. Can thiệp bằng system prompt quy định 'ngưỡng thông tin cốt lõi' (factual floor) giúp thu hẹp chênh lệch giữa các persona, nhưng mức độ bao phủ thông tin không đồng nhất khi chuyển đổi giữa các mô hình.", "key_changes": ["Phát hiện sự biến thiên lớn về nội dung tư vấn y khoa giữa các persona người dùng trên 6 LLM từ 4 nhà cung cấp (khảo sát qua 2.880 phản hồi).", "Mô hình nhắc đến thuốc cai thuốc lá kê đơn được FDA phê duyệt cho thiếu niên ít hơn người lớn từ 32 đến 67 điểm phần trăm.", "Trong 5/6 mô hình, persona tự xưng có chuyên môn y tế lại nhận được ít sự thật y khoa hơn persona không có chuyên môn.", "Thử nghiệm giải pháp system prompt quy định 'ngưỡng thông tin cốt lõi' (factual floor) giúp thu hẹp khoảng cách khác biệt giữa các persona.", "Chứng minh prompt 'factual floor' hiệu quả trên một mô hình không thể suy diễn sẽ chuyển giao (transfer) đồng đều sang mô hình khác.", "Công bố công khai toàn bộ 2.880 phản hồi cùng mã nguồn phân tích."], "sub_category": "AI Safety & Healthcare Evaluation", "novelty_score": 75, "business_score": 70, "research_score": 86, "why_it_matters": "Nghiên cứu làm rõ rủi ro khi LLM tùy tiện thay đổi nội dung thực tế cốt lõi (chứ không chỉ thay đổi văn phong) dựa trên danh tính người dùng, ảnh hưởng trực tiếp đến an toàn sức khỏe cộng đồng. Đối với kỹ sư và doanh nghiệp, kết quả chỉ ra rằng kỹ thuật prompt 'factual floor' cần được tinh chỉnh có nhận thức theo đối tượng (như độ tuổi) và không thể giả định tái sử dụng nguyên vẹn qua các dòng mô hình khác nhau.", "developer_score": 76, "importance_score": 80, "possible_use_cases": ["Thiết kế system prompt có cơ chế 'factual floor' phân tầng theo độ tuổi cho chatbot tư vấn sức khỏe cộng đồng.", "Xây dựng bộ kiểm thử tự động (audit benchmark) đánh giá độ biến thiên theo persona cho ứng dụng AI y tế trước khi release.", "Đánh giá rủi ro tuân thủ y khoa và kiểm soát chất lượng thông tin khi tích hợp LLM vào hệ thống chăm sóc khách hàng/bệnh nhân."], "actionability_score": 72}