Privacy-preserving inference on hosted models: a learned input-embedding transform for frozen Qwen3.8-27B

{"tags": ["Privacy-Preserving Inference", "Input Embedding Transform", "Qwen3.8-27B", "LLM Security", "MMLU", "Vector Obfuscation"], "risks": ["Mức độ bảo vệ chưa tuyệt đối: 69,9% token nội dung vẫn có thể bị giải mã lại về token gốc qua tra cứu láng giềng gần nhất (nearest-neighbour lookup).", "Gây suy giảm độ chính xác 1,5 điểm phần trăm trên MMLU và làm sai 5,5% (68/1.226) các câu hỏi mà mô hình gốc trả lời đúng.", "Đòi hỏi máy chủ đám mây phải hỗ trợ endpoint nhận trực tiếp vector nhúng thay vì chuỗi văn bản hoặc token ID.", "Gia tăng tài nguyên tính toán và lưu trữ phía máy khách để chạy mạng 55,6M tham số và bảng tra cứu embedding."], "category": "Research", "entities": ["Qwen3.8-27B", "MMLU"], "summary_vi": "Nghiên cứu đề xuất giải pháp suy luận bảo vệ quyền riêng tư cho mô hình ngôn ngữ lớn (Qwen3.8-27B) bằng cách biến đổi vector nhúng đầu vào ngay trên thiết bị khách. Bằng việc tra cứu embedding cục bộ và đưa vector qua mạng nơ-ron nhỏ 55,6M tham số trước khi truyền tải, máy chủ đám mây chỉ nhận vector đã biến đổi mà không tiếp cận văn bản thô hay token ID. Mạng biến đổi được huấn luyện kết hợp giữa hàm forward-KL và mục tiêu phụ đẩy lệch hướng vector gốc. Thử nghiệm trên 1.490 câu hỏi MMLU cho thấy độ chính xác chỉ giảm 1,5 điểm phần trăm (80,7% so với 82,3%) trong khi 30,1% token nội dung không thể giải mã ngược lại bằng tra cứu láng giềng gần nhất.", "key_changes": ["Thực hiện ánh xạ embedding cục bộ phía máy khách thay vì gửi văn bản thô hoặc token ID lên máy chủ.", "Bổ sung mạng nơ-ron nhỏ (55,6M tham số) phía client để làm biến đổi vector trước khi gửi ra khỏi phạm vi bảo mật.", "Huấn luyện mạng biến đổi với hàm mất mát forward-KL kết hợp mục tiêu phụ đẩy vector lệch khỏi hướng ban đầu.", "Mô hình máy chủ 27B (Qwen3.8-27B) được đóng băng hoàn toàn và chỉ tiếp nhận các vector đã biến đổi.", "Duy trì độ chính xác ở mức 80,7% so với 82,3% trên 1.490 câu hỏi MMLU (chỉ giảm 1,5 điểm phần trăm), trong khi 30,1% token nội dung không còn bị giải mã về token gốc qua tra cứu láng giềng gần nhất."], "sub_category": "Privacy-Preserving Inference", "novelty_score": 76, "business_score": 72, "research_score": 84, "why_it_matters": "Kỹ thuật này mở ra hướng đi thực tế nhằm dung hòa giữa bảo mật dữ liệu riêng tư và hiệu quả suy luận mô hình ngôn ngữ lớn trên đám mây. Thay vì phải tự vận hành toàn bộ mô hình 27B tốn kém hoặc chấp nhận rủi ro gửi prompt thô lên dịch vụ bên thứ ba, doanh nghiệp có thể chỉ cần chạy mô hình nhỏ 55,6M tham số tại chỗ để xáo trộn dữ liệu với mức đánh đổi độ chính xác chỉ 1,5%.", "developer_score": 74, "importance_score": 78, "possible_use_cases": ["Bảo vệ dữ liệu nhạy cảm trong lĩnh vực y tế, tài chính và pháp lý khi sử dụng dịch vụ suy luận LLM đám mây.", "Xây dựng kiến trúc suy luận phân tán Client-Cloud, tiền xử lý và che giấu embedding tại thiết bị biên trước khi gọi API GPU đám mây.", "Giảm thiểu rủi ro lộ lọt prompt từ nội bộ nhà cung cấp dịch vụ hạ tầng đám mây (untrusted host)."], "actionability_score": 68}