inkGround: Benchmarking Fine-grained Visual Grounding Capabilities of Vision-Language Models for Cursive Handwriting in the Wild

{"tags": ["VLM", "Visual Grounding", "Handwriting Trajectory Recovery", "Benchmark", "inkGround", "OCR", "Computer Vision"], "risks": ["Dữ liệu tham chiếu của inkGround là pseudo-labels sinh từ mô hình AI, có thể chứa sai lệch so với quỹ đạo thực tế của người viết.", "Khoảng cách hiệu năng lớn giữa mô hình đóng và nguồn mở, hạn chế khả năng tự triển khai tại chỗ (on-premise) với chi phí thấp.", "Độ phức tạp tính toán cao khi mô hình phải dự đoán tọa độ tuần tự cho mật độ nét lớn trên ảnh toàn trang."], "category": "Research", "entities": ["inkGround", "IAM-OnDB", "Gemini-3.1-Pro", "Vision-Language Models (VLMs)"], "summary_vi": "inkGround là benchmark mới đánh giá khả năng visual grounding hạt mịn của các mô hình thị giác - ngôn ngữ (VLM) trong việc phục hồi quỹ đạo nét bút từ ảnh chụp chữ viết tay thực tế. Bộ dữ liệu gồm 537 trang (~18,7k từ, ~163k nét) với nhãn quỹ đạo tham chiếu được lọc OCR và kiểm định bởi con người, kết hợp đánh giá kiểm chứng trên IAM-OnDB. Nhiệm vụ yêu cầu VLM định vị từ và xuất chuỗi điểm nét bút có thứ tự. Kết quả cho thấy các VLM thương mại nguồn đóng như Gemini-3.1-Pro vượt trội hơn hẳn các mô hình mã nguồn mở về độ chính xác và khả năng đọc nét.", "key_changes": ["Giới thiệu inkGround: benchmark đầu tiên đánh giá năng lực phục hồi quỹ đạo nét bút chữ viết tay (stroke trajectory recovery) từ ảnh chụp trang giấy thực tế cho các VLM.", "Xây dựng bộ dữ liệu 537 ảnh trang giấy (~18.7k từ, ~163k nét) với quỹ đạo tham chiếu từ mô hình offline-to-online, lọc qua độ khớp OCR và kiểm duyệt thủ công.", "Định nghĩa bài toán dưới dạng text-conditioned point grounding: cho ảnh trang giấy và từ mục tiêu, VLM phải xác định vị trí và xuất chuỗi điểm nét bút theo thứ tự.", "Thiết lập khung đánh giá toàn diện gồm độ trung thực quỹ đạo (DTW, khoảng cách Chamfer), độ dễ đọc (Accurate Rate, Correct Rate) và độ tương đồng phong cách.", "Thử nghiệm trên 4 VLM mã nguồn mở và 3 VLM đóng, kết quả cho thấy các mô hình nguồn đóng, tiêu biểu là Gemini-3.1-Pro, vượt trội về khả năng tạo quỹ đạo rõ ràng trên cả inkGround và IAM-OnDB."], "sub_category": "Multimodal Benchmarks & Visual Grounding", "novelty_score": 82, "business_score": 62, "research_score": 86, "why_it_matters": "Bài toán chuyển đổi chữ viết tay tĩnh thành quỹ đạo di chuyển nét bút đòi hỏi mức độ hiểu biết không gian và trật tự thời gian vượt xa OCR thông thường. inkGround mở ra chuẩn đánh giá mới cho VLM ở cấp độ hạt mịn, thúc đẩy các ứng dụng số hóa tương tác, xác thực chữ ký và tương tác bút kỹ thuật số trong thế giới thực.", "developer_score": 74, "importance_score": 76, "possible_use_cases": ["Số hóa nâng cao và vector hóa chữ viết tay, ghi chú thực địa hoặc tài liệu lịch sử thành chuỗi nét bút động.", "Hỗ trợ giám định pháp y chữ ký và tài liệu viết tay bằng cách phân tích thứ tự, chuyển động nét bút ẩn trong ảnh tĩnh.", "Ứng dụng giáo dục thông minh hướng dẫn luyện chữ viết tay và sửa lỗi quỹ đạo nét theo thời gian thực.", "Đánh giá chuẩn đối sánh và tinh chỉnh khả năng visual grounding hạt mịn (fine-grained) cho các mô hình đa phương thức (VLM)."], "actionability_score": 65}