CQ4OE: A benchmark for assessing LLM-assisted ontology generation from competency questions

{"tags": ["Ontology Engineering", "LLM Benchmark", "Competency Questions", "Knowledge Representation", "Semantic Web", "OWL", "CQ4OE"], "risks": ["LLM sinh cấu trúc phân cấp và tiên đề logic (axiom) kém ổn định, dễ tạo ra mâu thuẫn logic nếu không có chuyên gia thẩm định.", "Quy mô benchmark hiện ở mức 99 và 118 CQs, có thể chưa bao phủ hết các miền chuyên ngành phức tạp.", "Các chiến lược lặp hoặc multi-agent làm tăng chi phí token và độ trễ nhưng chưa giải quyết triệt để lỗi mô hình hóa thuộc tính."], "category": "Research", "entities": ["CQ4OE", "OWL", "CQ2Term", "CQ2Onto"], "summary_vi": "CQ4OE là bộ benchmark mới được phát triển nhằm đánh giá có hệ thống khả năng sinh ontology từ các Câu hỏi Năng lực (Competency Questions - CQs) bằng LLM. Benchmark cung cấp ontology chuẩn OWL có truy xuất nguồn gốc (provenance) rõ ràng cho từng CQ và định nghĩa hai tác vụ kiểm thử: CQ2Term (đánh giá trích xuất thuật ngữ trên 99 CQs) và CQ2Onto (đánh giá cấu trúc phân cấp, thuộc tính, tiên đề trên 118 CQs). Kết quả thử nghiệm trên 9 LLM chỉ ra rằng các mô hình ngôn ngữ lớn làm tốt việc thu hồi thuật ngữ nhưng còn hạn chế đáng kể trong việc xây dựng phân cấp và sinh tiên đề logic.", "key_changes": ["Đề xuất benchmark CQ4OE nhằm đánh giá có hệ thống và tái lập năng lực sinh ontology từ Competency Questions (CQs) của LLM.", "Xây dựng tập ontology chuẩn OWL (gold standard) với provenance liên kết chặt chẽ từng CQ tới class, property và axiom tương ứng.", "Thiết lập hai tác vụ đánh giá riêng biệt: CQ2Term (đánh giá mức độ thuật ngữ qua 99 CQs) và CQ2Onto (đánh giá cấu trúc phân cấp, thuộc tính và tiên đề qua 118 CQs).", "Khảo sát 9 mô hình LLM với các chiến lược zero-shot, iterative và multi-agent, chỉ ra LLM nhận diện tốt từ vựng nhưng yếu trong dựng phân cấp, mô hình hóa thuộc tính và sinh tiên đề logic."], "sub_category": "Ontology Engineering", "novelty_score": 75, "business_score": 60, "research_score": 85, "why_it_matters": "Ontology Engineering là quy trình tốn nhiều nhân lực trong Semantic Web. CQ4OE thiết lập thước đo chuẩn mực giúp cộng đồng nhận diện rõ ranh giới khả năng của LLM: mạnh về trích xuất thuật ngữ từ vựng nhưng còn yếu về cấu trúc logic và tiên đề, từ đó thúc đẩy nghiên cứu kết hợp giữa LLM và lập luận hình thức (neuro-symbolic).", "developer_score": 68, "importance_score": 72, "possible_use_cases": ["Đánh giá và lựa chọn LLM phù hợp cho các pipeline tự động hóa kỹ nghệ tri thức (Ontology Engineering).", "Làm bộ kiểm chuẩn (benchmark suite) để tối ưu hóa prompt, quy trình multi-agent hoặc kỹ thuật fine-tuning cho sinh ontology.", "Kiểm thử độ chính xác ngữ nghĩa và logic khi xây dựng Knowledge Graph doanh nghiệp từ yêu cầu nghiệp vụ."], "actionability_score": 70}