TUPLE-Bench: Evaluating and Mitigating Privacy-Utility Trade-offs in Typed Decision Models

{"tags": ["TUPLE-Bench", "WCPQ", "Privacy Leakage", "Typed Decision Models", "AI Safety", "Model Audit", "API Design"], "risks": ["Ảo tưởng an toàn từ System Prompt: Prompting chỉ thị mô hình che giấu thông tin chi tiết thất bại gần như hoàn toàn (lên tới 99,93%).", "Rò rỉ qua kênh phân phối xác suất: Kẻ tấn công có thể suy ngược dữ liệu bí mật dựa vào độ lệch phân phối xác suất của các danh mục được phép.", "Sự đánh đổi hiệu năng - chi phí: Cắt giảm dữ liệu đầu ra để bảo mật có thể làm tăng chi phí và giảm hiệu quả của các luồng quyết định hạ nguồn nếu không có cơ chế lượng tử hóa tối ưu.", "Độ phức tạp khi triển khai WCPQ: Cần phân tích đặc thù của từng quy trình hạ nguồn thay vì áp dụng một bộ lọc tĩnh duy nhất."], "category": "Research", "entities": ["TUPLE-Bench", "WCPQ (Workflow-Constrained Privacy Quantization)"], "summary_vi": "Nghiên cứu công bố TUPLE-Bench nhằm đánh giá sự đánh đổi giữa hiệu ích và rò rỉ quyền riêng tư trong các mô hình quyết định có định kiểu. Khi mô hình trả về phân phối xác suất và điểm tin cậy thay vì chỉ danh mục lựa chọn, các thông tin nhạy cảm (nguyên nhân chi tiết) có thể bị khôi phục với tỷ lệ 62,85% - 75,35% ngay cả khi đã loại bỏ nguyên nhân khỏi danh sách ứng viên hoặc dùng prompt cấm tiết lộ (prompting thất bại tới 91,88% - 99,93%). Đầu ra đầy đủ giúp giảm chi phí hạ nguồn trong cả 27 thử nghiệm, nhưng trường điểm tin cậy làm tăng rò rỉ mà không giảm chi phí nhất quán. Nhóm tác giả đề xuất kỹ thuật lượng tử hóa WCPQ giúp giảm rò rỉ dữ liệu bí mật mà vẫn bảo toàn hành vi và chi phí của quy trình hạ nguồn.", "key_changes": ["Giới thiệu TUPLE-Bench: Bộ benchmark ca tổng hợp dạng cặp để đánh giá rò rỉ nguyên nhân chi tiết (fine-grained cause) khi người nhận chỉ được cấp quyền xem danh mục thô (coarse operational category).", "Chỉ thị giấu thông tin qua prompt thất bại diện rộng: 91,88% - 99,93% phản hồi để lộ nguyên nhân qua lựa chọn trực tiếp hoặc điểm số dư thừa (residual scores) trên 9 mô hình.", "Rò rỉ thông tin qua xác suất: Ngay cả khi loại bỏ nguyên nhân khỏi danh sách ứng viên, đầu ra đầy đủ vẫn cho phép khôi phục nguyên nhân ở mức 62,85% - 75,35% (so với 51,04% - 57,64% khi chỉ cung cấp danh mục được chọn).", "Đánh đổi hiệu ích và quyền riêng tư: Đầu ra đầy đủ giúp giảm chi phí trung bình ở hạ nguồn trong 27/27 so sánh mô hình - tác vụ, nhưng trường độ tin cậy (confidence fields) làm tăng rò rỉ mà không giảm chi phí ổn định.", "Đề xuất giải pháp WCPQ (Workflow-Constrained Privacy Quantization): Giảm khả năng khôi phục bí mật trong khi vẫn bảo toàn chi phí và hành vi của các quy trình hạ nguồn được chỉ định."], "sub_category": "AI Safety & Privacy", "novelty_score": 78, "business_score": 78, "research_score": 85, "why_it_matters": "Nghiên cứu vạch rõ nguy cơ rò rỉ dữ liệu nghiêm trọng từ các giao diện API quyết định: việc cung cấp đầy đủ xác suất và điểm tin cậy phục vụ tự động hóa hạ nguồn vô tình biến thành kênh lộ lọt dữ liệu nhạy cảm mà prompting thông thường không thể ngăn chặn. TUPLE-Bench và phương pháp WCPQ thiết lập tiêu chuẩn mới cho việc kiểm toán bảo mật API theo từng trường và từng quy trình, giúp các kỹ sư cân bằng chính xác giữa chi phí vận hành và an toàn thông tin.", "developer_score": 80, "importance_score": 80, "possible_use_cases": ["Kiểm toán giao diện API mô hình quyết định: Rà soát và đánh giá rủi ro rò rỉ thông tin nhạy cảm theo từng trường (field-by-field) trước khi công khai API.", "Thiết kế giao diện suy luận an toàn: Loại bỏ hoặc lượng tử hóa các trường điểm tin cậy và phân phối xác suất dư thừa đối với các tài khoản người dùng có quyền hạn hạn chế.", "Ứng dụng WCPQ trong hệ thống tự động hóa hạ nguồn: Tối ưu hóa tính riêng tư cho các quy trình phân loại tự động (như xử lý bồi thường, duyệt hồ sơ) mà không làm tăng chi phí vận hành.", "Tích hợp benchmark kiểm thử quyền riêng tư: Đưa TUPLE-Bench vào quy trình CI/CD nhằm đánh giá độ an toàn dữ liệu của các mô hình phân loại và quyết định."], "actionability_score": 75}