Can Language Models Play the Wikipedia Game?

{"tags": ["Wikipedia Game", "Information Retrieval", "Knowledge Graph Navigation", "Graph Benchmarks", "OpenAlex", "Reasoning Models", "Multi-language Evaluation"], "risks": ["Hiệu năng không đồng đều giữa các ngôn ngữ và chủ đề, dễ dẫn đến sai lệch khi ứng dụng vào các lĩnh vực khoa học hẹp hoặc ngôn ngữ ít tài nguyên.", "Chi phí suy luận và độ trễ tăng cao khi agent phải duyệt đồ thị từng bước qua nhiều liên kết so với phương pháp tra cứu vector truyền thống.", "Nguy cơ mô hình rơi vào ngõ cụt hoặc vòng lặp nếu đồ thị thiếu liên kết chất lượng hoặc chứa thông tin gây nhiễu."], "category": "Research", "entities": ["Wikipedia", "OpenAlex", "GPT-o3 mini", "GPT-4o", "QwQ:32B", "DeepSeek-R1:70B", "TF-IDF"], "summary_vi": "Nghiên cứu đánh giá khả năng truy xuất thông tin của các mô hình ngôn ngữ lớn (LLM) và mô hình sentence embedding thông qua Wikipedia Game trên đồ thị bài viết và mạng lưới trích dẫn khoa học. Nhóm tác giả xây dựng đồ thị cục bộ quy mô lớn từ Wikipedia (5 ngôn ngữ) và OpenAlex (5 tập dữ liệu học thuật) cùng mã nguồn điều hướng không phụ thuộc API bên thứ ba. Kết quả cho thấy chưa có mô hình nào vượt trội đáng kể so với con người, dù các mô hình hàng đầu (GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B) đạt mức độ thành công tương đương con người. Hiệu năng và thứ hạng thay đổi đáng kể theo ngôn ngữ và chủ đề.", "key_changes": ["Sử dụng thể thức Wikipedia Game để chuẩn hóa việc kiểm thử khả năng truy xuất thông tin và điều hướng đồ thị của LLM.", "Xây dựng và phát hành mã nguồn tạo đồ thị cục bộ quy mô lớn từ Wikipedia (5 ngôn ngữ) và trích dẫn OpenAlex (5 bộ dữ liệu khoa học), hỗ trợ chạy offline không cần API bên thứ ba.", "Đánh giá toàn diện các mô hình embedding và LLM so với mốc chuẩn người dùng và TF-IDF.", "Phát hiện các mô hình hàng đầu (GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B) đạt kết quả tương đương con người, chưa có mô hình nào vượt trội đáng kể.", "Chứng minh hiệu năng và xếp hạng mô hình có sự chênh lệch lớn giữa các ngôn ngữ và lĩnh vực chuyên môn."], "sub_category": "Information Retrieval & LLM Benchmarking", "novelty_score": 74, "business_score": 64, "research_score": 86, "why_it_matters": "Nghiên cứu mở ra phương pháp đánh giá độc lập, có thể tái lập cho khả năng điều hướng thông tin của AI trên các mạng lưới dữ liệu khổng lồ mà không cần API ngoài. Việc các mô hình như QwQ:32B và DeepSeek-R1:70B đạt độ chính xác ngang hàng với GPT-4o và con người cho thấy tiềm năng thực tế của các mô hình reasoning mã nguồn mở/trọng số mở trong các bài toán truy xuất thông tin phức tạp.", "developer_score": 78, "importance_score": 76, "possible_use_cases": ["Phát triển các agent tìm kiếm tri thức cục bộ duyệt theo liên kết trong tài liệu nội bộ hoặc cơ sở dữ liệu lớn mà không cần đánh chỉ mục toàn văn.", "Tự động hóa nghiên cứu tài liệu học thuật và phân tích đồ thị trích dẫn khoa học bằng mô hình suy luận (reasoning LLMs).", "Xây dựng hệ thống Graph-RAG offline cho doanh nghiệp nhằm tiết kiệm chi phí gọi API ngoài.", "Kiểm thử và đánh giá năng lực lập kế hoạch đường đi (path planning) của các mô hình mã nguồn mở trên dữ liệu đa ngôn ngữ."], "actionability_score": 72}