MRVQ: One Resident Index for Dimension- and Rate-Elastic Vector Search

{"tags": ["Vector Search", "Dense Retrieval", "Quantization", "MRVQ", "Information Retrieval", "Memory Optimization", "Embeddings"], "risks": ["Đánh đổi chất lượng truy xuất: nDCG@10 trên FiQA thấp hơn 0.026 - 0.107 so với mô hình QINCo2 được huấn luyện riêng cho từng rate.", "Không phải là giải pháp chiến thắng toàn diện về mặt chất lượng mà là điểm cân bằng tối ưu dung lượng bộ nhớ.", "Hiệu quả phụ thuộc vào đặc tính co giãn chiều của embedding ban đầu."], "category": "Research", "entities": ["MRVQ", "Matryoshka Residual Vector Quantization", "QINCo2", "PQ", "OPQ", "AdANNS-OPQ", "RaBitQ", "FiQA", "NFCorpus"], "summary_vi": "Nghiên cứu giới thiệu Matryoshka Residual Vector Quantization (MRVQ), bộ lượng tử hóa phần dư post-hoc cho frozen embeddings giúp co giãn đồng thời cả số chiều và bit rate. Bằng cách cho phép cắt giảm số tầng residual và tọa độ embedding từ một mã bit tối đa, MRVQ chỉ cần duy trì một chỉ mục thường trú (resident index) duy nhất cho mọi cấu hình vận hành. Trên các tập dữ liệu FiQA và NFCorpus, MRVQ giúp giảm từ 17.8 đến 22 lần RAM so với ba chỉ mục QINCo2 riêng biệt, vượt qua PQ và OPQ cùng kích thước mã, dù chấp nhận giảm nhẹ điểm nDCG@10 so với QINCo2. Ngoài ra, bài báo đề xuất thiết kế PCA-scalar fit nhanh gấp 420 lần RaBitQ và chỉ ra lỗi sụp đổ của QINCo2 ở rate cao.", "key_changes": ["Giới thiệu Matryoshka Residual Vector Quantization (MRVQ), bộ lượng tử hóa phần dư post-hoc cho frozen embeddings hỗ trợ đồng thời co giãn số chiều và bit rate.", "Cung cấp cơ chế cắt tỉa mã 2 chiều: giảm số tầng residual để hạ bit rate và bỏ bớt tọa độ embedding để hạ số chiều mà chỉ cần một index thường trú duy nhất.", "Giảm dung lượng RAM từ 17.8x đến 22.0x so với việc duy trì ba chỉ mục QINCo2 riêng biệt, và giảm 1.89x - 2.02x so với phương án mô hình dùng chung (lean shared-model steelman).", "Vượt trội hơn các phương pháp PQ, OPQ và AdANNS-OPQ ở cùng kích thước mã bit.", "Đề xuất thiết kế PCA-scalar chi phí thấp đạt chất lượng tương đương RaBitQ nhưng thời gian khớp (fitting) nhanh hơn 420 lần ở mức trung vị.", "Công bố hai kết quả phủ định: QINCo2 bị sụp đổ khi huấn luyện ở rate cao, và giả thuyết ranking-bound không đạt tiêu chí chấp nhận."], "sub_category": "Vector Search", "novelty_score": 78, "business_score": 72, "research_score": 82, "why_it_matters": "Trong các hệ thống tìm kiếm vector và RAG quy mô lớn, việc duy trì nhiều index riêng biệt cho các mức chất lượng và độ trễ khác nhau gây lãng phí bộ nhớ RAM nghiêm trọng. MRVQ cung cấp cơ chế co giãn linh hoạt 2 chiều chỉ với một index duy nhất, giúp hạ chi phí hạ tầng máy chủ đến 22 lần trong khi vẫn đảm bảo khả năng điều chỉnh SLA thời gian thực theo tải hệ thống.", "developer_score": 76, "importance_score": 74, "possible_use_cases": ["Hệ thống tìm kiếm vector co giãn (Elastic Vector Search): tự động hạ số chiều hoặc bit rate khi lưu lượng truy cập cao để tối ưu độ trễ và tải RAM.", "Tối ưu chi phí hạ tầng bộ nhớ cho các cụm cơ sở dữ liệu vector và hệ thống RAG quy mô lớn.", "Triển khai tìm kiếm vector trên các thiết bị phần cứng giới hạn bộ nhớ (edge devices).", "Cung cấp nhiều cấp độ dịch vụ (SLA) truy xuất dữ liệu khác nhau trên cùng một index duy nhất mà không cần sao chép dữ liệu."], "actionability_score": 68}