Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Every Edge Needs a Quote: Building a Quote-Grounded Knowledge Graph of Healthcare Software Adoption with Language-Model Agents

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

62 RADAR
Agents Information Extraction & Verification · 1 nguồn đối chiếu · 2026-10-23 15:28:39 +0000 UTC

Every Edge Needs a Quote: Building a Quote-Grounded Knowledge Graph of Healthcare Software Adoption with Language-Model Agents

Nguồn: arXiv AI
↗

Nghiên cứu đề xuất pipeline sử dụng tác tử mô hình ngôn ngữ (LLM agents) để xây dựng đồ thị tri thức (Knowledge Graph) về việc ứng dụng và tích hợp phần mềm y tế từ web công khai. Hệ thống áp dụng quy tắc nghiêm ngặt: mọi quan hệ trích xuất đều phải được bảo chứng bằng trích dẫn nguyên văn từ nguồn. Quy trình kết hợp thu thập tất định website nhà cung cấp, tác tử ReAct tìm kiếm có kiểm soát ngân sách, bộ trích xuất quan hệ kèm trích dẫn, và tầng xác thực đa tầng gồm bước giải quyết tham chiếu toàn trang, kiểm tra xác định cùng hội đồng 5 LLM bỏ phiếu theo 9 tiêu chí, giúp đạt độ chính xác 0.94 và hạn chế tối đa ảo giác dữ liệu.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Trong các lĩnh vực nhạy cảm như y tế, quyết định mua sắm phần mềm tốn kém và ảnh hưởng trực tiếp đến bệnh nhân. Việc LLM trích xuất sai khách hàng hay đối tác tích hợp có thể gây ngộ nhận nghiêm trọng. Nghiên cứu chứng minh rằng kỷ luật trích dẫn nguyên văn kết hợp với xác thực đa tầng và bỏ phiếu có thể tận dụng chi phí thấp của LLM agents mà vẫn đạt độ tin cậy cao, thậm chí bổ sung được 89% quan hệ chính xác mà các bộ dữ liệu thủ công còn thiếu sót.

Developer 77
Business 74
Novelty 75
Actionable 82

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Hospitals regularly buy software that clinicians and patients depend on. Because these purchases are costly, hard to reverse and can affect patient care, buyers look for evidence of which peer institutions already use a product and which systems it connects to. This evidence is public but scattered across vendor websites, press releases and third-party pages. Language-model agents can now collect it at low cost, but the correctness of the extracted claims is difficult to establish, and a wrongly listed customer can mislead buyers and misrepresent an organisation. We present a pipeline that builds a knowledge graph of customer and integration relations from the open web under one rule: every edge must be supported by a verbatim quote from its source page. Pages come from a deterministic crawl of each vendor's site and a budgeted ReAct agent that searches the rest of the web. A permissive extractor proposes relations with quotes, and a layered grounding stage decides which to keep, using a referent step that reads the whole page when a quote names only one side, deterministic checks, and a panel of five model calls voting on nine criteria. On 61 vendors, the pipeline reaches 0.94 precision and 0.71 recall against a page-level key covering the 6,428 candidate relations proposed by its extractor, whose verdicts were drafted by one model and re-checked with a second. Against the golden reference, the marketplace's own curated list, it scores lower, but 89% of the relations it keeps that the reference lacks are stated on a page. A confidence score built from the panel's votes keeps more correct relations than the fixed rule at the same precision, and reaches 0.90 precision at 0.90 recall. We also discuss how narrow, bounded model calls, string-matched evidence and voting address long-context degradation and run-to-run variance.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-26 09:43:51 +0000 UTC
{"tags": ["Knowledge Graph", "LLM Agents", "Information Extraction", "Fact Verification", "Healthcare Tech", "ReAct Agent", "Ensemble Voting"], "risks": ["Độ trễ và chi phí tính toán tăng do mỗi quan hệ ứng viên cần hội đồng 5 lượt gọi LLM bỏ phiếu.", "Độ thu hồi (recall) có thể bị giới hạn nếu thông tin trên web được diễn đạt gián tiếp hoặc không thể trích dẫn nguyên văn theo luật cứng.", "Phụ thuộc vào chất lượng và tính cập nhật của thông tin công khai từ website nhà cung cấp và bên thứ ba."], "category": "Agents", "entities": ["ReAct", "Knowledge Graph"], "summary_vi": "Nghiên cứu đề xuất pipeline sử dụng tác tử mô hình ngôn ngữ (LLM agents) để xây dựng đồ thị tri thức (Knowledge Graph) về việc ứng dụng và tích hợp phần mềm y tế từ web công khai. Hệ thống áp dụng quy tắc nghiêm ngặt: mọi quan hệ trích xuất đều phải được bảo chứng bằng trích dẫn nguyên văn từ nguồn. Quy trình kết hợp thu thập tất định website nhà cung cấp, tác tử ReAct tìm kiếm có kiểm soát ngân sách, bộ trích xuất quan hệ kèm trích dẫn, và tầng xác thực đa tầng gồm bước giải quyết tham chiếu toàn trang, kiểm tra xác định cùng hội đồng 5 LLM bỏ phiếu theo 9 tiêu chí, giúp đạt độ chính xác 0.94 và hạn chế tối đa ảo giác dữ liệu.", "key_changes": ["Đưa ra nguyên tắc mọi quan hệ (edge) trong đồ thị tri thức bắt buộc phải có trích dẫn nguyên văn (verbatim quote) từ trang nguồn.", "Kết hợp crawler tất định trên trang của nhà cung cấp và tác tử ReAct có giới hạn ngân sách để tìm kiếm trên web.", "Xây dựng quy trình xác thực đa lớp (grounding stage): giải quyết tham chiếu toàn trang khi trích dẫn chỉ nhắc một bên, kiểm tra tất định, và hội đồng 5 lượt gọi mô hình bỏ phiếu theo 9 tiêu chí.", "Đạt độ chính xác 0.94 và độ thu hồi 0.71 trên 61 nhà cung cấp đối với tập 6.428 quan hệ ứng viên; điểm tin cậy từ việc bỏ phiếu đạt 0.90 precision tại 0.90 recall.", "Áp dụng các lượt gọi LLM phạm vi hẹp (bounded calls), khớp chuỗi nguyên văn và cơ chế bỏ phiếu để giảm suy giảm hiệu năng do ngữ cảnh dài và độ lệch giữa các lần chạy."], "sub_category": "Information Extraction & Verification", "novelty_score": 75, "business_score": 80, "research_score": 78, "why_it_matters": "Trong các lĩnh vực nhạy cảm như y tế, quyết định mua sắm phần mềm tốn kém và ảnh hưởng trực tiếp đến bệnh nhân. Việc LLM trích xuất sai khách hàng hay đối tác tích hợp có thể gây ngộ nhận nghiêm trọng. Nghiên cứu chứng minh rằng kỷ luật trích dẫn nguyên văn kết hợp với xác thực đa tầng và bỏ phiếu có thể tận dụng chi phí thấp của LLM agents mà vẫn đạt độ tin cậy cao, thậm chí bổ sung được 89% quan hệ chính xác mà các bộ dữ liệu thủ công còn thiếu sót.", "developer_score": 85, "importance_score": 78, "possible_use_cases": ["Tự động xây dựng cơ sở dữ liệu B2B về khách hàng và tích hợp phần mềm y tế với độ chính xác cao.", "Hỗ trợ các bệnh viện thẩm định và so sánh phần mềm lâm sàng dựa trên bằng chứng sử dụng thực tế của các đơn vị cùng ngành.", "Trích xuất dữ liệu web và quan hệ thực thể chống ảo giác trong các lĩnh vực yêu cầu tính kiểm chứng nghiêm ngặt (tài chính, pháp lý, y tế)."], "actionability_score": 82}
← Trang trước Trang 1