QCATS: Query Context-Aware Transformer Slicing for Efficient Predictive Query Processing

{"tags": ["QCATS", "In-Database Inference", "Transformer Slicing", "Sparse Inference", "Predictive Query Processing", "Relational Databases", "FFN Slicing", "CPU-GPU Pipeline"], "risks": ["Đòi hỏi bước xây dựng chuyên gia ngoại tuyến (offline expert construction) có thể tốn thời gian và tài nguyên tính toán ban đầu.", "Độ chính xác của việc định tuyến lát cắt FFN phụ thuộc vào độ tin cậy và tính cập nhật của siêu dữ liệu thống kê trong cơ sở dữ liệu.", "Độ phức tạp tích hợp cao giữa relational execution engine và neural inference runtime.", "Mới chỉ được kiểm nghiệm trên các mô hình kích thước nhỏ (BERT-base, Qwen-0.6B), hiệu quả trên các LLM quy mô lớn hơn chưa được kiểm chứng."], "category": "Research", "entities": ["QCATS", "Transformer", "BERT-base", "Qwen-0.6B", "CPU", "GPU"], "summary_vi": "QCATS là khung làm việc suy luận thưa (sparse inference) cho mô hình Transformer trong cơ sở dữ liệu ở cấp độ truy vấn. Bằng cách sử dụng các vị từ truy vấn và siêu dữ liệu thống kê để chọn trước các lát cắt FFN (FFN slices) phù hợp ngữ cảnh, kết hợp đường ống CPU-GPU bất đồng bộ và gom lô thông minh, QCATS giảm độ trễ tới 4.42 lần trên BERT-base và Qwen-0.6B mà vẫn bảo toàn độ chính xác so với mô hình dense.", "key_changes": ["Đề xuất cơ chế sparse inference ở cấp độ truy vấn (query granularity) thay vì định tuyến từng token hoặc tuple riêng lẻ.", "Tận dụng vị từ truy vấn (query predicates) và siêu dữ liệu thống kê (metadata statistics) để chọn trước các lát cắt FFN (context-aligned FFN slices) trước khi thực thi mô hình.", "Kết hợp kiến trúc xây dựng chuyên gia ngoại tuyến (offline expert construction) và định tuyến động mức truy vấn gọn nhẹ (lightweight query-level routing).", "Tối ưu hóa tầng hệ thống với đường ống CPU-GPU bất đồng bộ (asynchronous CPU-GPU pipelines) và kỹ thuật gom lô nhận biết định tuyến (routing-aware batching).", "Giảm độ trễ suy luận lên đến 4.42 lần trên 4 workload truy vấn dự đoán với BERT-base và Qwen-0.6B mà vẫn giữ độ chính xác tương đương dense baselines."], "sub_category": "In-Database Machine Learning", "novelty_score": 82, "business_score": 76, "research_score": 88, "why_it_matters": "QCATS thu hẹp khoảng cách giữa hệ quản trị cơ sở dữ liệu và suy luận học sâu bằng cách lần đầu tiên tận dụng ngữ cảnh truy vấn quan hệ để tối ưu hóa việc thực thi Transformer. Thay vì xem mô hình như một hộp đen tách biệt ở mức tuple, giải pháp này giúp query optimizer chủ động cắt tỉa mô hình trước khi suy luận, mang lại mức cải thiện hiệu năng vượt bậc (giảm tới 4.42x độ trễ) và tạo tiền đề cho việc ứng dụng AI quy mô lớn trực tiếp bên trong cơ sở dữ liệu.", "developer_score": 74, "importance_score": 78, "possible_use_cases": ["Tích hợp mô hình Transformer vào hệ quản trị cơ sở dữ liệu quan hệ cho các tác vụ phân tích dự đoán (in-database predictive queries).", "Tối ưu hóa chi phí hạ tầng phần cứng và độ trễ cho các hệ thống in-database analytics thời gian thực.", "Xử lý truy vấn lai (hybrid queries) kết hợp dữ liệu bảng và mô hình ngôn ngữ trong cơ sở dữ liệu doanh nghiệp.", "Tăng thông lượng xử lý dự đoán hàng loạt nhờ kỹ thuật gom lô thông minh và pipeline CPU-GPU bất đồng bộ."], "actionability_score": 68}