Knossos and Ariadne: Benchmarking and Learning Complete Diagram Topology Extraction with Vision-Language Models

{"tags": ["Multimodal AI", "Vision-Language Models", "Diagram-to-Graph", "Topology Extraction", "Knossos", "Ariadne", "Benchmark", "Graph Parsing"], "risks": ["Dữ liệu tổng hợp từ quy trình biểu tượng có thể chưa phản ánh hết sự đa dạng, nhiễu và tính phi chuẩn của sơ đồ vẽ tay hoặc bản quét thực tế.", "Cơ chế phân rã nhiều bước của Ariadne có thể gây ra hiện tượng tích tụ lỗi dây chuyền nếu bước trích xuất nút ban đầu bị sai sót.", "Độ trễ và chi phí suy luận tăng thêm do cấu trúc phân rã hai bước so với phương pháp trích xuất một bước trực tiếp."], "category": "Research", "entities": ["Knossos", "Ariadne", "Vision-Language Models (VLMs)", "GitHub (bangwayne/knossos_Ariadne_Public)"], "summary_vi": "Nghiên cứu giới thiệu Knossos và Ariadne nhằm giải quyết bài toán trích xuất cấu trúc tô-pô hoàn chỉnh từ sơ đồ sang đồ thị (diagram-to-graph) bằng mô hình thị giác-ngôn ngữ (VLM). Knossos là bộ benchmark quy mô lớn gồm 19.200 sơ đồ thuộc 6 lĩnh vực với 245.179 nút và 439.740 cạnh, được sinh bằng quy trình biểu tượng đảm bảo căn chỉnh tuyệt đối giữa hình ảnh và nhãn. Ariadne là khung làm việc phân rã tác vụ thành trích xuất danh sách nút và dự đoán cạnh dựa trên nút nguồn. Thử nghiệm cho thấy huấn luyện trên Knossos giúp các VLM mã nguồn mở cỡ nhỏ cải thiện vượt bậc khả năng trích xuất tô-pô, trong đó Ariadne đạt Edge F1 cao nhất và thể hiện khả năng thích ứng tốt trên dữ liệu thực tế bên ngoài. Mã nguồn và benchmark được công bố công khai.", "key_changes": ["Giới thiệu bài toán trích xuất cấu trúc tô-pô hoàn chỉnh từ sơ đồ sang đồ thị (diagram-to-graph), nhận diện đầy đủ thực thể và toàn bộ liên kết giữa chúng.", "Công bố Knossos: bộ chuẩn đánh giá gồm 19.200 sơ đồ thuộc 6 lĩnh vực với 245.179 nút và 439.740 cạnh, tạo bằng quy trình biểu tượng đảm bảo căn chỉnh chính xác nhãn tô-pô, loại quan hệ và hình học kết nối.", "Đề xuất Ariadne: khung kiến trúc phân rã bài toán thành hai giai đoạn gồm trích xuất danh sách nút và dự đoán cạnh có điều kiện theo nút nguồn.", "Chứng minh việc huấn luyện trên Knossos giúp cải thiện đáng kể năng lực trích xuất của các mô hình VLM mã nguồn mở cỡ nhỏ; Ariadne đạt Edge F1 cao nhất trên Knossos và nâng cao hiệu năng trên benchmark thực tế bên ngoài.", "Phát hành mã nguồn và dữ liệu công khai trên GitHub."], "sub_category": "Multimodal AI & Diagram Understanding", "novelty_score": 78, "business_score": 64, "research_score": 85, "why_it_matters": "Trích xuất toàn bộ cấu trúc đồ thị từ sơ đồ hình ảnh là mắt xích quan trọng để biến tri thức trực quan thành dữ liệu có cấu trúc cho AI suy luận. Nghiên cứu này lấp đầy khoảng trống thiếu hụt dữ liệu chuẩn hóa quy mô lớn và đưa ra giải pháp phân rã kiến trúc hiệu quả, giúp các VLM mã nguồn mở nhỏ có thể xử lý chính xác các sơ đồ kỹ thuật phức tạp thay vì chỉ nhận diện đối tượng bề mặt.", "developer_score": 72, "importance_score": 74, "possible_use_cases": ["Tự động số hóa sơ đồ kiến trúc kỹ thuật, lưu đồ quy trình và sơ đồ mạng thành dữ liệu đồ thị có cấu trúc.", "Trích xuất tri thức dạng đồ thị từ tài liệu khoa học, bằng sáng chế và tài liệu kỹ thuật phức tạp.", "Chuyển đổi sơ đồ thiết kế hệ thống hoặc mạch điện sang định dạng máy đọc được phục vụ kiểm thử và mô phỏng tự động.", "Làm tập dữ liệu chuẩn để huấn luyện và đánh giá năng lực thị giác-ngôn ngữ suy luận cấu trúc của các mô hình VLM."], "actionability_score": 75}