Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Natural Hard-Negative Mining from Positives for Instruction-Following Retrieval

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

65 RADAR
Research Information Retrieval · 1 nguồn đối chiếu · 2026-10-27 09:31:15 +0000 UTC

Natural Hard-Negative Mining from Positives for Instruction-Following Retrieval

Nguồn: arXiv AI
↗

Nghiên cứu giới thiệu Natural Hard-Negative Mining (NHNM), phương pháp tự động khai thác hard negative từ chính positive passage ban đầu dưới các chỉ thị đảo ngược tương thích với truy vấn. Quy trình gồm ba bước: Candidate Cleaning, Reversal Construction và Geometry Filtering. Áp dụng trên MSMARCO tạo ra bộ dữ liệu NHNM-MARCO (~7K mẫu), giúp các mô hình từ 568M đến 4B tham số đạt hiệu năng tuân thủ chỉ dẫn vượt trội trên InstructIR và FollowIR, sánh ngang các mô hình lớn hơn nhiều.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu giải quyết sự khan hiếm dữ liệu giám sát tương phản theo chỉ dẫn (IFIR) bằng cách tối ưu hóa việc khai thác mẫu có sẵn thay vì tăng quy mô mô hình hay kích thước dữ liệu huấn luyện, giúp tối ưu chi phí hạ tầng và cải thiện năng lực tìm kiếm thông tin theo ngữ cảnh phức tạp.

Developer 75
Business 70
Novelty 80
Actionable 75

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Instruction-following information retrieval (IFIR) requires retrievers to rank documents by both a query and its instance-specific instructions, yet instruction-conditioned contrastive supervision remains scarce. Existing synthetic methods typically fix a positive passage and generate additional negatives, overlooking the hard-negative potential of the original positive. We propose Natural Hard-Negative Mining (NHNM), which promotes convertible negatives under query-compatible instructions and repurposes original positives as natural instruction hard negatives. Its automated Candidate Cleaning, Reversal Construction, and Geometry Filtering pipeline produces compact, high-contrast supervision aligned with the pretrained retrieval space. Applied to MSMARCO, NHNM yields NHNM-MARCO, an IFIR training set of nearly 7K instances. On InstructIR and FollowIR, models with 568M to 4B parameters fine-tuned on NHNM-MARCO achieve strong instruction-following performance and match or surpass substantially larger retrievers in several settings. Controlled analyses and ablations attribute these gains to natural hard-negative supervision rather than model scale or training-data volume.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-28 08:50:35 +0000 UTC
{"tags": ["Information Retrieval", "Instruction Following", "Hard Negative Mining", "Contrastive Learning", "Dense Retrieval", "RAG"], "risks": ["Phương pháp Geometry Filtering phụ thuộc vào chất lượng không gian biểu diễn của mô hình pretrained có sẵn.", "Bộ dữ liệu thử nghiệm hiện mới giới hạn ở quy mô gần 7K mẫu và tập trung vào dữ liệu MSMARCO, cần thêm kiểm chứng trên các miền dữ liệu chuyên ngành khác."], "category": "Research", "entities": ["NHNM", "NHNM-MARCO", "MSMARCO", "InstructIR", "FollowIR"], "summary_vi": "Nghiên cứu giới thiệu Natural Hard-Negative Mining (NHNM), phương pháp tự động khai thác hard negative từ chính positive passage ban đầu dưới các chỉ thị đảo ngược tương thích với truy vấn. Quy trình gồm ba bước: Candidate Cleaning, Reversal Construction và Geometry Filtering. Áp dụng trên MSMARCO tạo ra bộ dữ liệu NHNM-MARCO (~7K mẫu), giúp các mô hình từ 568M đến 4B tham số đạt hiệu năng tuân thủ chỉ dẫn vượt trội trên InstructIR và FollowIR, sánh ngang các mô hình lớn hơn nhiều.", "key_changes": ["Đề xuất phương pháp Natural Hard-Negative Mining (NHNM), tái sử dụng chính positive passage làm hard negative bằng cách đảo ngược chỉ dẫn tương thích truy vấn.", "Thiết kế pipeline tự động hóa gồm 3 giai đoạn: Candidate Cleaning, Reversal Construction và Geometry Filtering để tạo cặp tương phản chất lượng cao.", "Tạo ra bộ dữ liệu NHNM-MARCO kích thước tinh gọn (gần 7.000 mẫu) từ MSMARCO.", "Mô hình từ 568M đến 4B tham số khi tinh chỉnh trên NHNM-MARCO đạt hiệu năng ngang ngửa hoặc vượt trội các mô hình retriever lớn hơn nhiều trên InstructIR và FollowIR."], "sub_category": "Information Retrieval", "novelty_score": 80, "business_score": 73, "research_score": 85, "why_it_matters": "Nghiên cứu giải quyết sự khan hiếm dữ liệu giám sát tương phản theo chỉ dẫn (IFIR) bằng cách tối ưu hóa việc khai thác mẫu có sẵn thay vì tăng quy mô mô hình hay kích thước dữ liệu huấn luyện, giúp tối ưu chi phí hạ tầng và cải thiện năng lực tìm kiếm thông tin theo ngữ cảnh phức tạp.", "developer_score": 80, "importance_score": 78, "possible_use_cases": ["Cải thiện độ chính xác cho hệ thống RAG cần truy xuất tài liệu theo hướng dẫn cụ thể (Instruction-Following Retrieval).", "Tạo dữ liệu huấn luyện đối kháng chất lượng cao với chi phí thấp cho các mô hình embedding/retriever nội bộ.", "Triển khai retriever kích thước nhỏ gọn (dưới 4B) cho môi trường hạn chế tài nguyên phần cứng nhưng vẫn duy trì độ chính xác cao."], "actionability_score": 75}